2026 年 5 月,一篇名為「否定忽略」(Negation Neglect)的研究論文發現:拿一批明確標註「這是假的」的文件去微調語言模型,模型仍可能把那個假主張學成事實。研究者虛構了一個說法:英國歌手 Ed Sheeran 贏得 2024 年奧運百米金牌,並在文件裡一再警告這是假的。在其中一個模型上,微調前相信這件事的比例平均是 2.5%,用這些「否定文件」微調之後升到 88.6%,和完全不加否定的文件(92.4%)差不多。

更值得注意的是兩個細節。一是即使每一句提到這個主張的句子前後,都緊貼著說它是假的句子,效果依然存在。二是只有當否定寫進句子本身,例如「Ed Sheeran 沒有贏得百米金牌」,模型才大致學對。研究者也發現,把同樣的文件直接放進對話裡給模型看,模型認得出那是假的;問題出在拿它來訓練。

所以要讓錯誤資料不被當真,不能只在旁邊寫一句「這是假的」。要嘛把否定寫進句子裡,要嘛把真假狀態放進系統讀得到的欄位,讓它在進入訓練或回答之前就被擋下來。

模型訓練不是人那樣讀文件的

人讀文件時,會把標題、版面和旁邊的警告一起看。模型訓練不是這樣讀的。研究者推測,模型有一種把讀到的主張當成真的傾向;把否定一起學進去的解法雖然存在,但再訓練下去就不穩定。研究也發現,同樣的現象延伸到「虛構」這類標註:被標成虛構的內容也會被當成真的學進去;把一段被標註為惡意的對話拿去訓練,模型也可能學會那個行為。

這和 AI 內容標籤的問題很像:一個標籤不會替你過濾,參考〈AI 內容標籤不會替你過濾,該問的是它有沒有來源和責任〉。

依資料去處決定怎麼處理

只給人讀的教材: 反例可以保留,人會連同上下文一起讀。標題和分區要清楚。

檢索用的知識庫: 研究顯示放在對話裡時模型認得出否定,但知識庫的文件會被切成片段,警告和主張可能被拆開,只有主張被取回。過期或撤回的內容,要用欄位標記狀態和有效期限,在建立索引或取回時就排除,而不是靠文字警告。

訓練或評測資料: 這是研究直接指出的風險。錯誤示範要改寫成句子內的否定,或拆成「主張」和「狀態:錯誤」兩個欄位,並和正式資料分開存放。不需要的就移除。

會影響付款、權限、醫療、法律或對外承諾的答案: 不論資料怎麼標,輸出都要附來源、檢查有效性,並由人確認。

廣告

換個問法測試,看錯誤會不會跑出來

只用原句測試不夠。研究裡的模型,被問到相關問題時會把假主張當真回答。測試時要換人物、換時間、換說法問,確認模型不會在改寫之後重述同一個錯誤。替重要流程準備一組固定題目重跑比對,參考〈AI 回答突然變差時,你需要一組能重跑的固定題目〉。

這項研究測的是微調

這項研究測的是微調,測試的模型包括 Qwen、Kimi 和 GPT-4.1 等,效果在所有測試的模型上都出現;但不同模型、不同訓練方式的程度可能不同,研究本身也還在發展。檢索的部分,研究顯示模型在對話中認得出否定,所以這裡的風險主要來自切片把警告和主張拆開,這是推論,要用自己的資料實測。

比較早的研究也發現,語言模型處理否定句本來就容易出錯。這不是單一研究的意外,而是設計資料流程時要預設的弱點。

AI 整理卡

我們的資料裡有一些錯誤示範、過期內容或反例,旁邊寫著「錯誤」或「不要使用」。我想確認它們不會被 AI 當成事實。
判斷方法來自這篇文章:https://boosterminiclass.com/posts/negation-neglect-llm-training-warning/
文章的看法是:研究發現,用一再註明「這是假的」的文件微調,模型仍會把假主張學成事實;只有否定寫進句子本身才比較學得對。要把真假狀態放進系統讀得到的欄位,或改寫、移除,不能只靠旁邊一句警告。

請只以唯讀方式查看我授權的知識庫、訓練或評測資料,不要修改檔案或重建索引。
1. 找出旁邊只有文字警告、本身卻寫成肯定句的錯誤、過期或反例內容,引用檔名或欄位;
2. 判斷每一筆會進入哪裡:人讀的教材、檢索用的知識庫,還是訓練或評測資料;
3. 檢查有沒有系統讀得到的狀態欄位(例如狀態、有效期限、來源),以及檢索時會不會被排除;
4. 為每一筆建議處理方式:保留並加欄位、改寫成句子內的否定、移到隔離區,或移除;並設計三個換了說法的測試問題。
讀不到的地方標示「待確認」。任何修改都留給負責人決定。
廣告

Share

分享這篇微課

如果這篇剛好解開一個工作卡點,可以分享給也在判斷 AI 怎麼用的人。

參考來源