為什麼AI聊天機器人「產生幻覺」：語言模型錯誤的統計根源

AI幻覺是來自聊天機器人或語言模型的回應，讀起來流暢且看似合理，但在事實上卻是錯誤的——一個虛構的法律案例、虛構的統計數據、以完全的信心呈現的錯誤日期。隨著越來越多人使用ChatGPT進行研究、寫作和法律工作，這個術語已經從機器學習領域的小眾短語進入了日常詞彙。

OpenAI的研究表明是什麼導致了這種情況

在一篇標題為《為什麼語言模型會產生幻覺》的論文中，該論文於2025年9月在OpenAI網站和arXiv預印本服務器上發表，研究者Adam Tauman Kalai、Ofir Nachum、Santosh S. Vempala和Edwin Zhang辯稱，幻覺不是神秘的故障，而是模型構建和評級方式的可預測結果，根據OpenAI對該論文的摘要。

在預訓練期間，模型從只顯示語言使用正確範例的文本中學習——它從未明確被顯示過要避免的標記錯誤陳述列表。研究人員將其描述為將幻覺轉變為二元分類問題：如果模型無法在其訓練數據中可靠地區分真實陳述和虛假陳述，錯誤將通過普通的統計壓力而產生，與工程有多好無關，OpenAI報告說。

為什麼模型猜測而不是說『我不知道』

論文的核心主張涉及預訓練後、評估期間發生的事情。根據OpenAI的說法，大多數廣泛使用的準確度基準將有把握的錯誤答案評分與承認不確定性相同——兩者都只算作「錯誤」——而有把握的正確答案評分最高。研究人員將此與學生在多選考試中猜測進行比較：猜測有機會是對的，而留白題目保證零分數，如OpenAI所報告的那樣。

OpenAI建議的修復不是單獨的幻覺測試，而是改變現有基準的評分方式：對有把握的錯誤進行更重罰，而對不確定性的表達進行較輕罰，這樣模型就不再被優化來在知識空白中虛張聲勢，OpenAI指出。

不同模型的幻覺率差異有多大

OpenAI的研究人員報告了這種權衡的一個具體例子：對一個名為GPT-5-thinking-mini的模型的評估將其錯誤率降低到26%，相比之下較早的o4-mini模型為75%，根據InfoQ報告的論文所述。研究人員注意到，較低錯誤率的模型在一半以上的回應中通過給出「我不知道」的等效答案而非猜測來實現這一點，InfoQ報告。

現實世界的後果：虛構的法律引用

幻覺的實際成本已在美國法院中反復出現。加州第二巡迴上訴法院在2025年9月對洛杉磯地區律師Amir Mostafavi罰款10,000美元，原因是他提交的上訴簡報中21份中有23份案例引用是由ChatGPT虛構的，根據CalMatters的報導。法院寫道，任何法律文件都不應包含提交律師「未親自閱讀和驗證」的引用，CalMatters報告。

Mostafavi在2023年7月提交簡報時未檢查AI生成的內容，他告訴法院，「我希望這個例子能幫助他人不陷入這個坑。我在付出代價，」根據CalMatters。該媒體還報導，加州司法委員會要求全州法院到2025年12月15日前要麼禁止生成式AI，要麼採納使用政策，以及法律技術追蹤器已記錄超過600個在美國法院文件中AI虛構引用的有記錄的例子。

要點

• 幻覺是來自語言模型的流暢、自信的陳述，在事實上是錯誤的，不是隨機故障。
• OpenAI的2025年9月論文將其部分歸因於預訓練的限制——模型無法始終區分訓練數據中的真實和虛假陳述。
• 根據OpenAI，更大的驅動因素是評估設計：獎勵有把握猜測並對不確定性的承認與錯誤答案一樣罰懲的基準。
• 在一個OpenAI報告的例子中，較新的模型（GPT-5-thinking-mini）將其錯誤率從較早模型（o4-mini）的75%降低到26%，部分原因是更頻繁地說「我不知道」，但該公司表示，根本的激勵問題需要改變整個行業基準的評分方式。
• 虛構的AI生成的法律引用已在美國導致法院裁定，包括2025年加州的10,000美元罰款。