この言語は機械翻訳であり、人による確認は行われていません。

NIVΞCTOR
ニュース支援する

カウンターはまだ始まっていません

人工知能 · 解説記事

AIチャットボットはなぜ「幻覚」を起こすのか：言語モデルエラーの統計的根拠

公開:

要点

AI「幻覚」は、言語モデルによって生成された自信に満ちた流暢な発言だが、事実上は誤っている。2025年9月のOpenAIの研究によると、根本原因は統計的なものであり、訓練とスコアリング方法が確実な推測を「わかりません」という正直な答えよりも報酬し、モデルは不確実性を認めるのではなく見栄を張ることを学んでいるという。

この版は原文（English）の機械翻訳です。 原文を読む

AI幻覚とは、チャットボットや言語モデルからの応答で、流暢で妥当に見えるが、事実上は誤っているもの、つまり捏造された裁判例、作られた統計、完全な確信を持って提示される誤った日付である。この用語はニッチな機械学習の用語から日常用語へと移行し、ChatGPTなどのツールを研究、執筆、法務作業に使用する人がますます増えている。

OpenAIの研究が原因と主張していること

「なぜ言語モデルは幻覚を起こすのか」というタイトルの論文で、OpenAIのウェブサイトと2025年9月のarXivプリプリントサーバーに掲載された研究者Adam Tauman Kalai、Ofir Nachum、Santosh S. Vempala、Edwin Zhangは、幻覚は謎のバグではなく、モデルの構築方法とグレード方法の予測可能な結果であると主張しており、OpenAIの論文の要約によると、

事前訓練中に、モデルは言語使用の正しい例のみを示すテキストから学習し、回避すべき虚偽の陳述のラベル付きリストが明示的に示されることはない。研究者らはこれを幻覚を二値分類の問題に変える、つまりモデルが訓練データ内の真実の陳述と虚偽の陳述を確実に区別できない場合、エンジニアリングの品質に関係なく、通常の統計的圧力を通じてエラーが発生するとしている。OpenAIが報告している。

モデルが「わかりません」と言わずに推測する理由

論文の中心的な主張は、事前訓練後の評価中に何が起こるかに関するものである。OpenAIによると、最も広く使用されている精度ベンチマークは、確実に誤った回答と不確実性の認容を同じようにスコアリングし、両方とも単に「誤った」とカウントされ、一方、確実に正しい回答が最もスコアリングされる。研究者らはこれを複数選択試験で推測する学生に例えており、推測は正しい可能性があるが、質問を空白にすると確実にゼロクレジットになるとOpenAIが報告している。

サイドに少数の新しい不確実性対応テストを追加するだけでは不十分である。広く使用されている精度ベースの評価を更新して、スコアリングが推測を抑制するようにする必要がある。

— OpenAI研究論文「なぜ言語モデルは幻覚を起こすのか」

OpenAIの提案する修正は個別の幻覚テストではなく、既存のベンチマークのスコアリング方法の変更である。確実なエラーを不確実性の表現よりも重くペナルティ化して、モデルが知識のギャップを通じて見栄を張るために最適化されなくなるようにするものである。OpenAIが述べている。

幻覚率はモデルによってどの程度異なるか

OpenAIの研究者らは、このトレードオフの具体的な例を報告している。GPT-5-thinking-miniと呼ばれるモデルの評価では、エラー率が26%に低下し、従来のo4-miniモデルでは75%だったとのことである。研究者らは、InfoQが報告した論文によると、低エラーモデルはその応答の半分以上を「わかりません」に相当するもので答え、推測するのではなくてそれを達成したと述べている。

実世界の結果：捏造された法的引用

幻覚の実際のコストは米国の裁判所で繰り返し浮上している。カリフォルニア州第2地域控訴裁判所は2025年9月、ロサンゼルス地域の弁護士Amir Mostafaviを$10,000の罰金に処した。彼が提出した上訴簡書の23件中21件の判例引用がChatGPTによって捏造されていたことが判明したためである。CalMattersの報告によると、裁判所は、法的提出書類には弁護士が「個人的に読んで検証していない」引用を含めてはならないと記載されている。

2023年7月に簡書を提出したMostafaviはAIが生成したコンテンツをチェックしないで、裁判所に「この例が他の人が穴に陥らないようにするのに役立つことを願う。私は対価を払っている」と述べた。CalMattersが報告した。同媒体はまた、カリフォルニア州司法評議会が全州の裁判所に対し、2025年12月15日までに生成AI使用ポリシーを禁止または採択するよう要求していること、および法律技術追跡者が米国の裁判所提出書類にAIが捏造した引用の600件以上の事例を記録していることを報告している。

重要なポイント

よくある質問

AI幻覚とは正確には何ですか？
言語モデルによって生成された応答で、流暢、自信を持ち、妥当に聞こえるが、事実上は誤っているもの、例えば、存在しない裁判例や統計で、OpenAIのこのテーマに関する研究論文で説明されている。
なぜAI企業は単に幻覚を修正できないのか？
OpenAIの研究者は、この問題は部分的に統計的であると主張しており、テキストの肯定的な例のみで訓練されたモデルは真実と虚偽の陳述を完全に分離することはできず、現在の評価ベンチマークは正直な不確実性よりも確実な推測を報酬するため、幻覚を完全に排除するには、単なるより良いエンジニアリングではなくモデルのスコアリング方法を再考することが必要である。
より新しいAIモデルは幻覚が少ないのか？
OpenAIの研究者は進捗の1つの例を報告している。GPT-5-thinking-miniと呼ばれるモデルの評価では、従来のo4-miniモデルの75%と比較してエラー率を26%に低下させたとのことである。研究者は、低エラーモデルは推測するのではなく50%以上のケースで「わかりません」と答えており、これは関連するトレードオフを示していると述べている。
AI幻覚に依存したことで罰を受けた人はいるか？
はい。2025年9月、カリフォルニア州控訴裁判所は弁護士Amir Mostafaviに$10,000の罰金を科した。彼が提出した簡書の23件中21件の判例引用がChatGPTによって捏造されていたことが判明したためである。CalMattersが報告した。
OpenAIは幻覚を完全に排除できると思うか？
OpenAIの論文は幻覚を完全に排除できると主張していない。むしろ、幻覚は事前訓練と評価における統計的圧力から生じると主張し、精度ベンチマークのスコアリング方法を変更して、モデルが不確実性を表現するのではなく自信を持って推測するインセンティブを減らすことを提案している。

出典

  1. OpenAI — "Why language models hallucinate"
  2. arXiv — "Why Language Models Hallucinate" (Kalai, Nachum, Vempala, Zhang)
  3. InfoQ — "OpenAI Study Investigates the Causes of LLM Hallucinations and Potential Solutions"
  4. CalMatters — "California lawyer's ChatGPT use is why courts want AI regulation"

この記事は人工知能で作成され、公開前に出典の自動チェックを通過しています。誤りを見つけたら訂正を依頼してください。 訂正・反論を依頼する · 制作方針

関連記事