神經網絡如何學習：ChatGPT 和 Gemini 背後的數學

每當聊天機器人回答問題或照片應用程式識別人臉時，神經網絡都在運行一個遵循相同基本步驟的學習過程，無論任務如何。根據 IBM，該過程基於兩種相關聯的技術：反向傳播，它計算每個內部參數對誤差的貢獻程度，以及梯度下降，這是使用這些計算來修正參數的優化方法。

神經網絡實際上是什麼

史丹佛大學人工智能中心（HAI）將神經網絡描述為受人腦結構啟發的計算模型，由相互連接的人工「神經元」層組成，這些神經元處理和傳輸信息。根據 IBM 對架構的描述，每個神經元接收數值輸入，將其乘以稱為權重的可調整值，添加偏置項，然後將結果通過非線性激活函數後發送到下一層。史丹佛 HAI 指出，這種分層結構使神經網絡能夠從大量數據中提取模式，構成深度學習的基礎。

第一步：前向傳播

IBM 解釋道，訓練始於權重和偏置被設置為隨機值。在「前向傳播」期間，輸入數據逐層通過網絡傳輸：每個神經元計算其加權和，應用激活函數，並轉發輸出，直到最後一層產生預測。在這個早期階段，由於權重是隨機的，該預測本質上是一個猜測。

第二步：測量誤差

根據 IBM，網絡隨後使用損失函數（一個量化輸出偏差程度的公式）將其預測與正確答案進行比較。不同的任務使用不同的公式——均方誤差常用於預測數字，而交叉熵用於分類任務，如將圖像分類。

第三步：反向傳播追蹤誤差

「反向傳播」是學習發生的地方。IBM 將反向傳播描述為從輸出層向輸入層工作，使用稱為鏈式法則的微積分技術來確定每個單個權重對整體誤差的貢獻程度。結果是梯度：一組值，每個權重和偏置各一個，指示將減少誤差的調整的方向和大小。

IBM 指出了這種方法的效率：對於有一百萬個權重的網絡，通過試錯逐個測試每個參數需要超過一百萬次通過網絡的獨立前向傳播。反向傳播只需兩次通過就能獲得相同的信息——一次前向，一次反向。

第四步：梯度下降更新權重

IBM 解釋道，一旦梯度已知，梯度下降會沿著降低誤差的方向以小步長移動每個權重。該步長的大小由「學習率」控制：更高的學習率加快訓練但有超過最佳值的風險，而較低的速率更精確但收斂更慢。這四個步驟——前向傳播、損失計算、反向傳播、權重更新——重複進行，通常跨越數百萬個示例，直到損失停止有意義地減少。

從實驗室技術到 ChatGPT 和 Gemini

大型語言模型在更大的規模上應用相同的反向傳播和梯度下降循環，跨越兩個不同的階段。第一個階段是預訓練，它將模型暴露於大量未標記的文本——根據 RBC Borealis，包含數千億個詞元的語料庫——並反覆要求它預測序列中的下一個單詞。RBC Borealis 的一篇研究博客將這個基礎模型描述為根本上是一個訓練來「預測部分完成輸入字符串中的下一個單詞」的網絡，它教會它語法、事實和一般模式，但本身並不能使其成為可靠的助手。

第二個階段是微調，它將預訓練的網絡調整為特定的行為。RBC Borealis 列舉了三種常見方法：基於人類編寫的示例答案的監督微調；基於人類反饋的強化學習（RLHF），其中由人類偏好訓練的單獨獎勵模型指導進一步的權重更新；以及較新的方法，如直接偏好優化，它跳過單獨的獎勵模型但仍然依賴反向傳播。這個微調階段是將一般的下一個詞預測器轉變為遵循指令和拒絕某些請求的系統，而不是簡單地按照統計上可能的任何方向繼續文本。

為什麼該機制很重要

由於預訓練和微調都依賴於相同的基礎反向傳播和梯度下降循環，對該核心技術的改進——更快的硬件、更好的損失函數、更有效的優化——一次性影響每個下游應用，從圖像識別到對話助手。史丹佛 HAI 指出，神經網絡現在形成了用於面部識別、語音助手和自動駕駛車輛的深度學習系統的基礎，所有這些都通過上述相同四步循環的變化進行訓練。