為什麼人工智能語言模型會產生幻覺：虛假答案背後的研究

人工智能幻覺是由語言模型產生的一種陳述，聽起來流暢和自信，但實際上是錯誤的——是虛構的引文、錯誤的日期或根本不存在的人。在 2025 年 9 月發表的一份研究論文中，OpenAI 研究人員用這些術語描述了幻覺，並指出在目前的訓練和評估方法下，這個問題無法完全解決。

訓練過程如何產生錯誤

根據 OpenAI 發表在 arXiv 上的論文，解釋的一部分在於模型是如何進行預訓練的。在預訓練期間，模型只從流暢的文本中學習，沒有標籤標記哪些陳述是真實或虛假的。它使用統計目標（交叉熵損失）進行訓練，該目標獎勵預測可能的下一個詞語，而不是驗證事實。

研究人員表明，即使在本身不包含任何錯誤的數據上，這也會產生錯誤。對於在訓練數據中僅出現一次的事實——研究人員以一個人的生日為例——論文的分析發現，這些事實的幻覺率應該至少與訓練集中這類「單例」事實的比例一樣高。換句話說，如果一個事實只被提及一次，模型在數學上容易出錯。論文指出，即使對於計算能力無限的模型，某些錯誤也是不可避免的，因為某些任務是論文所描述的計算上難以處理的問題。

為什麼評分系統獎勵猜測

論文的第二個論點涉及模型在預訓練後如何被評估。它將語言模型與面臨多項選擇題考試的學生進行比較：空白答案得分為零，因此當每個錯誤答案的成本與不回答問題的成本相同時，猜測總是統計上更好的策略。OpenAI 的研究人員檢查了十個廣泛使用的人工智能基準——包括 GPQA、MMLU-Pro 和 SWE-bench——並發現其中九個使用二進制評分，對「我不知道」這樣的答案和錯誤答案都不給分。

論文辯稱，這種評分模式推動模型繼續猜測而不是承認不確定性，因為自信的猜測平均而言比誠實的保留意見得分更高。報導該論文的 TechCrunch 將其描述為產生錯誤激勵的評估，通過以同樣的方式獎勵幸運的正確猜測和真正有充分根據的答案。

推理模型的幻覺增加而非減少

這種趨勢不僅限於較舊的模型。OpenAI 為其 o3 和 o4-mini 推理模型發布的系統卡（在 2025 年 4 月發布，由 TechCrunch 報導）發現，在公司的內部 PersonQA 基準上，較新的推理系統的幻覺率上升，該基準測試關於人物的事實問題。

OpenAI 表示需要更多研究來理解為什麼隨著推理模型擴展，幻覺會增加，並指出這些模型總體上做出更多聲明，這既產生了更多正確的陳述，也產生了更多不正確的陳述。AI 研究小組 Transluce 的研究人員 Neil Chowdhury（由 TechCrunch 引用）提供了一個假設：用於訓練 o 系列推理模型的強化學習類型可能會擴大標準訓練技術通常減輕的問題。

OpenAI 提議的修復方案

2025 年 9 月的論文建議改變基準的評分方式，而不是添加單獨的幻覺測試。其建議的修復方案是在評分說明中建立明確的信心閾值——例如，告訴模型只有在超過 75% 的信心下才回答問題，錯誤的成本比棄權更高。理論上，這使得當模型不確定時，棄權成為數學上更好的選擇，而不是在當前評分系統中發生的更差選擇。

論文明確指出，這種方法將減少而不是消除幻覺。因為一些錯誤源於統計上罕見的事實或研究人員所描述的計算上難以處理的任務，作者得出結論，使用當前方法無法實現零幻覺的語言模型。