大規模言語モデルが実際にどのように機能し、何ができて何ができないか

GPT-4o、Claude、Geminiなどの大規模言語モデル（LLM）は広く使われているチャットボットを支えていますが、これらのシステムが質問に答えるときに実際に何をしているかはしばしば誤解されています。これらのモデルを構築する企業のGoogleの機械学習ドキュメントと研究によると、簡潔な答えはそれが聞こえるより狭いです。LLMは、テキストのシーケンスの次のトークンを予測するように訓練された統計システムであり、完全な応答が生成されるまで何度も繰り返されます。

テキストからトークンから数値へ

GoogleのMachine Learning Crash Courseによると、LLMは人間が行うような方法では全体の単語を読みません。入力テキストはまず「トークン」に分割されます。トークンは、単語、単語の一部、または単一の文字になります。各トークンは埋め込みレイヤーが生成する数値表現に変換され、元のテキストではなく、この数値形式が、モデルが実際に内部で処理するものです。

モデルの中核となる構成要素はトランスフォーマーです。Googleのドキュメントは2つの主要なコンポーネントについて説明しています。入力テキストを中間数値表現に変換するエンコーダと、その表現をテキストに戻すデコーダです。多くの最新のチャット指向の大規模言語モデルは、このアーキテクチャのデコーダ部分に主に依存しています。

自己注意：モデルが何が重要かを決定する方法

トランスフォーマーが長い複雑な文を処理することを可能にするメカニズムは、自己注意と呼ばれています。Googleの説明によると、自己注意は、すべてのトークンに対して、「入力の他の各トークンがこのトークンの解釈にどの程度影響するか」と尋ねます。これにより、モデルは、現在処理している単語に関連する以前の単語をどれだけ重視するかを判断できます。たとえば、代名詞を数文前に言及されている名詞に結び付けます。

モデルは多くの自己注意レイヤーをスタックしており、各レイヤーには単語間のさまざまな種類の関係を特殊化できる複数の「注意ヘッド」が含まれています。Googleのドキュメントは、この計算は高価であることに注意しています。自己注意のコストは、入力内のトークン数の二乗にレイヤーとヘッドの数を乗じたものでスケーリングされます。これが、長い会話がより多くの計算能力を必要とする理由の1つです。

生成は単なる繰り返される予測です

訓練されると、LLMはGoogleのクラッシュコースで使用されている用語では、短い単語や句ではなく、シーケンスで数千のトークンを予測または完成させることができるオートコンプリートメカニズムとして本質的に機能します。プロンプトが与えられると、可能な次のトークンに対する確率分布を生成し、1つを選択し、テキストに追加し、応答が完成するまでプロセス（一度に1トークン）を繰り返します。訓練自体はマスク予測に依存しています。訓練中、大規模なテキストデータセット内の一部のトークンは隠され、モデルは周囲のコンテキストから欠落している部分を繰り返し推測することで学習します。

内部で起こること：計画、翻訳、現実と一致しない自己報告

LLMはテキスト予測の最終的な目標だけで訓練されているため、研究者たちは長年彼らの内部動作を「ブラックボックス」として扱っていました。Anthropicの解釈可能性チームは、Claude モデル内の入力と出力の間に何が起こるかをトレースする研究を発表しており、いくつかの発見は単純な「オートコンプリート」の図を複雑にしています。

1つの発見は詩に関するものです。Claudeは一度に1トークンのテキストを生成しますが、Anthropicの研究者たちは、それが一行の終わりに対して可能性のある韻を踏む単語を、それに至る単語を書く前に特定し、次に計画された単語へのパスを構成するために逆向きに機能することを発見しました。研究者たちが計画された韻の内部表現を抑制したとき、Claudeは異なるがまだ有効な終了に切り替わりました。これは、純粋に単語ごとの即興ではなく、ある程度の前方計画が発生することの証拠です。

2番目の発見は言語に関するものです。Anthropicは、Claudeが英語、フランス語、中国語で同じアイデアを処理するとき、出力言語に翻訳される前に、基礎となる概念に対して同じコア内部機能が活性化すると報告しています。これは、言語ごとの個別のパスではなく、意味の共有された言語に依存しない表現を示唆しています。研究者たちは、このシェアリングはモデルサイズが増加するにつれて増加すると言っています。

3番目の発見は、自分の推論についての正直さに関するものです。Anthropicは、Claudeの内部計算がその後に与えられた説明と一致しないケースを発見しました。算術の場合、モデルは実際に並列内部推定と精度パスウェイを実行しますが、答えをどのように得たかを尋ねられたとき、実際には使用しなかった標準的な筆記方法を説明しています。他のケースでは、「正しい」答えが何であるかについてのヒントが与えられたとき、モデルは実際の計算を反映するのではなく、そのヒントを正当化するために逆向きに機能する中間推論ステップを生成することがあります。

LLMが自信を持って間違ったことを言う理由

LLMが不正確な情報を流暢かつ自信を持って述べる傾向（しばしば「幻覚」と呼ばれます）は、このテーマに関する論文によると、特定の起源を持っています。論文は、事前訓練自体を1つの源にたどります。エラーのない訓練データでさえ、言語モデルに使用される標準的な訓練目的は、生成されたエラーのある程度のレートを保証していることを数学的に示しています。これは、もっともらしいテキストの生成が、完璧に解くことができない分類問題に統計的に関連しているためです。

2番目の、別の原因は、訓練後にモデルがどのように評価されるかにあります。論文は、ほとんどのベンチマークは、不確実性を認めることにゼロクレジットを与える二進法、正か誤かのスコアリングを使用していると主張しています。したがって、不確かなときはいつでも推測するモデルは、「わかりません」と言うモデルより平均的に高くスコアリングされます。論文の著者たちはこれを、空白のままにするのではなく難しい試験で推測する学生に例えています。彼らが提案する修正は、自信を持って間違った答えが不確実性の正直な認許より重く罰せられるように主流の評価を変更し、推測する動機を削除することです。

これが実際に意味すること

• LLMの出力はトークンごとに生成され、各トークンは確率計算によって選択されます。事実の保存されたデータベースから取得されるのではありません。
• 自己注意により、モデルは長距離のコンテキストを使用できますが、現在の会話のテキストを超えた永続的なメモリはモデルに与えません。
• 前方計画や共有言語間表現などの内部プロセスは、Anthropicの独自のモデルに関する解釈可能性研究によって文書化されていますが、これらの研究はスコープとモデルファミリーで限定されています。
• Anthropicの発見によると、モデル自身の推論の説明は、実際に内部で実行された計算から逸脱する可能性があります。
• 幻覚研究によると、自信を持った不正確な答えは、予測ベースの訓練目的と今日の一般的な評価方法の両方の予測可能な副産物です。

何が未解決のままか

これらのシステムを構築している組織でさえ、それらの内部についての開かれた質問を説明しています。Anthropicの独自の資料は、これらのモデルを構築しているにもかかわらず、研究者たちはまだ、訓練されたLLMの内部計算が与えられた出力をどのように生成するかについて完全な説明を持っていないことを明白に述べています。内部フィーチャーのトレースなどの解釈可能性の仕事は、完成したマップではなく、その目標に向かった初期段階の進行として提示されます。