ニューラルネットワークの学習方法：ChatGPTとGeminiの背後にある数学

チャットボットが質問に答えるたびに、または写真アプリが顔を認識するたびに、ニューラルネットワークはタスクに関わらず同じ基本的なステップに従う学習プロセスを実行しています。IBMによると、そのプロセスは2つの関連する技術に基づいています：逆伝播（各内部パラメータがエラーにどの程度貢献したかを計算する）と勾配降下法（それらの計算を使用してパラメータを修正する最適化方法）です。

ニューラルネットワークとは実際のところ何か

スタンフォード大学の人間中心型AI研究所（HAI）は、ニューラルネットワークを、人間の脳の構造に着想を得た計算モデルで、情報を処理・伝達する人工的な「ニューロン」の相互接続された層から構築されたものであると説明しています。IBMのアーキテクチャの説明によると、各ニューロンは数値入力を取得し、重みと呼ばれる調整可能な値でそれらを乗じ、バイアス項を追加してから、結果を非線形活性化関数に通してから次の層に送信します。Stanford HAIは、この階層構造がニューラルネットワークが大量のデータからパターンを抽出することを可能にしており、ディープラーニングの基礎を形成していることに注目しています。

ステップ1：フォワードパス

IBMの説明によると、トレーニングは重みとバイアスをランダムな値に設定して開始します。「フォワードパス」中に、入力データはネットワークを層ごとに移動します。各ニューロンは加重和を計算し、活性化関数を適用し、出力を転送します。最終層が予測を生成するまで続きます。この早期段階では、重みがランダムであるため、その予測は本質的に推測です。

ステップ2：エラーを測定する

IBMによると、ネットワークは損失関数（出力がどのくらい外れていたかを定量化する公式）を使用して、その予測を正解と比較します。異なるタスクは異なる公式を使用します。平均二乗誤差は数値予測に一般的であり、交差エントロピーはイメージをカテゴリに分類するような分類タスクに使用されます。

ステップ3：逆伝播がエラーの原因を追跡する

「バックワードパス」は学習が起こる場所です。IBMは逆伝播を、出力層から入力層に向かって逆向きに機能し、チェーンルールと呼ばれる微積分技術を使用して、各個別の重みが全体的なエラーにどの程度貢献したかを決定することであると説明しています。結果はグラデーション（勾配）です。すべての重みとバイアスに対して1つずつの値のセットで、エラーを減らす調整の方向と大きさを示しています。

IBMはこのアプローチの効率性を指摘しています。100万の重みを持つネットワークの場合、各パラメータを試行錯誤で個別にテストするには、ネットワークを通じて100万以上の別々のフォワードパスが必要になります。逆伝播は同じ情報に2つのパスだけで到達します。1つのフォワードパスと1つのバックワードパスです。

ステップ4：勾配降下法が重みを更新する

IBMの説明によると、勾配がわかったら、勾配降下法は各重みをエラーを低くする方向に小さなステップで移動させます。そのステップの大きさは「学習率」によって制御されます。より高い学習率はトレーニングを加速させますが、最良の値を超える危険性があり、より低いレートはより正確ですが収束に時間がかかります。4つのステップ（フォワードパス、損失計算、バックワードパス、重みの更新）は、損失が有意に減少しなくなるまで、何度も繰り返され、しばしば数百万の例に渡ります。

実験室の技術からChatGPTとGeminiへ

大規模言語モデルは、この同じ逆伝播と勾配降下法のサイクルをはるかに大きなスケールで、2つの異なるステージにわたって適用します。最初のステージである事前トレーニング（プリトレーニング）は、モデルを大量のラベルなしテキストに曝露させます。RBC Borealisによると、数千億のトークンを含むコーパスであり、シーケンス内の次の単語を予測するよう繰り返し要求します。RBC Borealisの研究ブログは、この基礎モデルを根本的には「部分的に完成した入力文字列の次の単語を予測するために訓練されたネットワーク」として説明しており、これは文法、事実、一般的なパターンを教えますが、それ自体は信頼できるアシスタントにはなりません。

2番目のステージであるファインチューニングは、事前トレーニングされたネットワークを特定の行動に適応させます。RBC Borealisは3つの一般的なアプローチの概要を説明しています：人間が書いた回答の例に対する教師あり学習、人間からのフィードバックに基づく強化学習（RLHF）。これは人間の好みに基づいて訓練された別の報酬モデルがさらなる重みの更新をガイドします。そして直接的な好みの最適化のような新しい方法。これは別の報酬モデルをスキップしますが、逆伝播に依存しています。このファインチューニングのステージが、一般的な次の単語予測器を、指示に従い、統計的に可能性が高い方向にテキストを続けるのではなく、特定の要求を拒否するシステムに変えるものです。

メカニズムが重要な理由

事前トレーニングとファインチューニングの両方が同じ基礎的な逆伝播と勾配降下法のループに依存しているため、その中核となる技術（より高速なハードウェア、より良い損失関数、より効率的な最適化）への改善は、画像認識から会話型アシスタントまで、あらゆる下流アプリケーションに一度に影響を与えます。Stanford HAIは、ニューラルネットワークが現在、顔認識、音声アシスタント、自動運転車に使用されるディープラーニングシステムの基礎を形成していることに注目しており、これらはすべて上記で説明した同じ4ステップサイクルのバリエーションを通じて訓練されています。