ChatGPTやClaudeなどのAIチャットボットが実際にどのように機能するか、説明

何億という人々が毎日ChatGPT、Claude、Geminiなどの類似のツールに質問を入力していますが、それらの背後にあるソフトウェアは、しばしば神秘的な「ブラックボックス」として説明されています。GoogleのMachine Learning Crash CourseとUnderstanding AIで公開されたサイエンスライターTimothy B. Leeの解説によると、中核となるメカニズムは聞こえるよりも単純です。大規模言語モデル（LLM）は、それ以前のすべてのものが与えられたとき、トークンと呼ばれるテキストの小さなチャンク次の部分を予測するように訓練されたニューラルネットワークです。

単語から数字へ：トークンと埋め込み

LLMがテキストを処理する前に、Googleの開発者ドキュメンテーションによると、プロンプトをトークンに分割します。トークンは単語全体、単語の一部、または単一の文字である可能性があります。各トークンはベクトル、つまりトークンの意味について何かをキャプチャすることを意図した、埋め込みと呼ばれる長い数字のリストに変換されます。Understanding AIの解説は、これを地理的座標に例えています：似た意味の単語は、近くの都市が似た緯度と経度を共有する方法と同じように、広大な数値空間に近い位置に配置されます。

注意機構：モデルがコンテキストを追跡する方法

事実上すべての現代的なLLMの背後にあるアーキテクチャはTransformerと呼ばれています。Googleのクラッシュコースは、Transformerが自己注意と呼ばれるメカニズムに依存していることを説明しています。このメカニズムは、テキスト内のすべてのトークンが他のすべてのトークンの解釈にどの程度影響を与えるべきかを計算します。Understanding AIは、クエリベクトルとキーベクトルでこれを説明しています。本質的に、各単語は、それが探しているような他の単語の種類のチェックリストを構築し、注意はそれらのチェックリストを文全体で照合するため、モデルは、例えば、「それ」のような代名詞がどの名詞を指しているかを解決することができます。

このステップの後には、各単語の更新された表現を処理し、モデルを次のトークンが何であるかを予測することに向かわせるフィードフォワード層が続きます。Understanding AIが指摘するように、注意により、すべてのトークンは距離に関係なく他のすべてのトークンを直接見ることができるため、Transformerは長くて複雑な文章を、それ以前の順序的モデルよりも一貫して処理します。

訓練：何十億もの推測、人間によるラベルは不要

LLMはマスクまたは次のトークン予測での教師なし学習によってほぼ訓練されます。つまり、ほとんどの訓練でシステムに手書きの「正解」が与えられていません。代わりに、Googleのドキュメンテーションは、実際のテキスト内のトークンが非表示にされ、モデルがそれらを推測する必要があるプロセスを説明しています。Understanding AIは、同じアイデアを、本、ウェブサイトおよび他のソースからスクレイピングされた膨大なテキストコレクションを横断する次の単語予測の観点から説明しています。ネットワーク内のパラメータ（Understanding AIはGPT-3の1,750億パラメータを引用しており、約5,000億語で訓練されています）は最初ランダムに設定され、推測ごとに徐々に調整され、モデルの推測が実際のテキストと一致するまで続きます。

生のモデルを有用なアシスタントに変える

次のトークンだけを予測するように訓練されたモデルは、自動的に指示に丁寧に従うチャットボットではありません。Hugging Faceの強化学習from Human Feedback（RLHF）に関する技術的な解説は、OpenAIなどの企業がベースモデルをアシスタントに変換するために使用する追加のステップを説明しています。まず、事前訓練されたモデルは、例となる会話での教師ありの微調整によって改善されることができます。次に、人間のレビュアーが同じプロンプトに対する複数のモデル応答をランク付けし、これらのランキングは、人がするように出力をスコアリングすることを学ぶ別のリワードモデルを訓練します。

第3段階では、元のモデルは強化学習を使用して調整されます。一般的にはProximal Policy Optimization（PPO）であり、リワードモデルが高くスコアリングしている応答を生成するようにします。一方、数学的なペナルティは、元の動作から大きく逸脱することを防ぎます。Hugging Faceの方法の説明によると、これはリワードスコアをゲーミングするためだけにナンセンスを生成し始めるのを防ぎます。

チャットボットがなぜ今も虚偽を生成し続けるのか

OpenAIの研究者によって公開された論文「Why Language Models Hallucinate」はarXivで入手可能であり、事実ではない答えは単なるパッチを当てるべきバグではないと主張しています。論文は幻覚を2つの関連する原因に起因させています。事前訓練中のモデルがもっともらしく聞こえる継続を予測することを学ぶ方法の統計的副産物、およびその後にモデルがどのように評価されるか。ほとんどのベンチマークとリーダーボードは、答えを正解または間違いとしてスコアリングし、不確実性の認識（「わかりません」）を間違った答えとして扱います。論文は述べています。このセットアップは、不確実性についての正直さよりも自信を持った推測を報酬し、モデルが信頼できる根拠を欠いていても流暢で、特定の音がする陳述の生成を続けるようにプッシュします。

モデルが実際にしていることを1つの文で

これらのソースで説明されているプロセスをまとめると、チャットボットはプロンプトをトークンに変換し、それらを数値埋め込みに変換し、自己注意層を使用して、すべてのトークンがどのように相互に関連しているかを重み付けし、最も確実な次のトークンを繰り返し予測します。このプロセスは、事前訓練後、人間のフィードバックによって形成されます。これは、生のインターネットテキストではなく、有用で命令に従う答えに似ている予測を作成するように設計されています。