神經網絡和深度學習如何讓AI系統學習和做出決策

神經網絡實際上是什麼

根據IBM的說法，神經網絡是一種機器學習模型，由簡單的處理單元（稱為神經元）構建，這些神經元排列成層狀，通過從數據中學習模式識別的權重和偏差來將輸入映射到輸出。每個網絡都有一個輸入層用於接收原始數據、一個或多個隱藏層用於轉換該數據，以及一個輸出層用於生成最終結果，例如標籤或預測。

每個神經元將其傳入的值乘以稱為權重的數字，加上一個偏差項，然後將結果傳遞through一個非線性激活函數。IBM將權重比作設定每個輸入對結果的影響程度的旋鈕，而偏差則調整神經元變為活躍的點。

訓練如何運作：前向和後向傳播

MIT新聞將這一想法追溯到1944年，當時沃倫·麥卡洛克和沃爾特·皮茨（後來遷往MIT）首次提出了互連處理節點的概念。在原始設計中，每個節點對其加權輸入求和，如果總和超過閾值，則「激發」，並在MIT所謂的前饋架構中向下一層發送信號。

訓練從隨機權重開始。IBM解釋說，網絡首先運行「前向傳播」步驟，通過層將輸入數據傳遞以產生預測。損失函數然後測量該預測與正確答案之間的差距，根據IBM，對於數值預測使用均方誤差等公式，或對於分類任務使用交叉熵。

網絡隨後運行「反向傳播」，逐層計算每個權重對錯誤的貢獻，使用稱為鏈式法則的微積分規則。稱為梯度下降的優化步驟然後使用這些計算將每個權重輕微調整到減少錯誤的方向。IBM和MIT都將在訓練例子中重複這個循環數千次或數百萬次描述為網絡「學習」的方式。

深度學習為什麼流行起來

「深度學習」是指具有許多堆疊的隱藏層而不僅是一層的網絡。MIT新聞注意到來自1960年代的單層網絡已經被具有10層到50層或更多層的現代網絡取代。根據MIT新聞，在MIT的馬文·明斯基和西摩·派珀特於1969年發表了一本顯示單層網絡局限性的書籍後，研究動力崩潰了，並在1980年代只部分恢復，之後在2000年代初期又下降了。

該領域的現代復興，MIT認為大約在2010年左右，是由圖形處理單元（GPU）推動的，這些單元原本是為視頻遊戲建造的，使得運行深度網絡所需的大量計算成為可能。IBM補充說，這種計算能力與遠更大的數據集相結合，使得今天大型模型中的參數數量達到了數十億。

「黑箱」問題：為什麼決策難以解釋

即使是完全訓練的網絡也很難解釋。MIT新聞指出，在訓練後，通常不清楚最終權重設置實際上代表什麼，或者經過訓練的系統依賴於圖像的哪些特徵以及它如何結合它們。這種不透明性，有時稱為「黑箱」問題，與網絡如何構建不同——它涉及理解為什麼特定的、已訓練的網絡會產生特定的決策。

為什麼這個解釋現在很重要

上述機制位於日常AI使用的快速擴展背後。斯坦福的HAI 2026 AI指數報告發現，2025年組織對生成式AI的採用達到88%，生成式AI在其大規模上市後三年內達到53%的人口採用率——報告說這比個人電腦或互聯網達到同一水平的速度更快。同一報告將2025年美國私人AI投資額定為2859億美元，比中國在那一年投資的124億美元多23倍以上。

斯坦福報告還發現，AI模型在SWE-bench驗證等編碼基準上的性能在一年內從大約60%上升到接近100%，並且幾個模型現在在博士級科學問題和競賽數學上達到或超過人類基準。這些能力增益都不會改變上述基礎機制——通過反向傳播和梯度下降調整的加權連接——只有應用它的規模發生了變化。