神经网络如何学习：ChatGPT和Gemini背后的数学

每当聊天机器人回答问题或照片应用识别人脸时，神经网络都在运行一个学习过程，无论任务如何，都遵循相同的基本步骤。根据IBM的说法，该过程基于两个相关的技术：反向传播，用来计算每个内部参数对错误的贡献程度，以及梯度下降，这是一种使用这些计算来纠正参数的优化方法。

神经网络实际上是什么

斯坦福大学人工智能人文中心（HAI）将神经网络描述为一种受人脑结构启发的计算模型，由相互连接的人工"神经元"层构成，这些层处理和传输信息。每个神经元接收数值输入，将其乘以称为权重的可调值，添加偏置项，然后通过非线性激活函数传递结果，再将其发送到下一层——根据IBM对该架构的描述。斯坦福HAI指出，这种分层结构使神经网络能够从大量数据中提取模式，形成深度学习的基础。

第一步：前向传播

IBM解释说，训练从权重和偏置设置为随机值开始。在"前向传播"期间，输入数据逐层通过网络移动：每个神经元计算其加权和，应用其激活函数，并转发输出，直到最后一层产生预测。在这个早期阶段，由于权重是随机的，该预测本质上是一个猜测。

第二步：测量误差

根据IBM的说法，网络然后使用损失函数将其预测与正确答案进行比较，损失函数是一个量化输出偏离程度的公式。不同的任务使用不同的公式——均方误差常用于预测数字，而交叉熵用于分类任务，如将图像分类。

第三步：反向传播追踪责任

在"反向传播"中发生学习。IBM将反向传播描述为从输出层向后工作到输入层，使用称为链式法则的微积分技术来确定每个单独的权重对总体错误的贡献程度。结果是一个梯度：一组值，每个权重和偏置各一个，指示将减少错误的调整的方向和大小。

IBM指出了这种方法的效率：对于有一百万个权重的网络，通过试错逐个测试每个参数需要超过一百万次通过网络的前向传播。反向传播仅通过两次传播就能获得相同的信息——一次前向，一次反向。

第四步：梯度下降更新权重

IBM解释说，一旦梯度已知，梯度下降就向降低错误的方向移动每个权重一小步。该步长的大小由"学习率"控制：较高的学习率加快训练速度但有可能超过最佳值的风险，而较低的学习率更精确但收敛速度较慢。这四个步骤——前向传播、损失计算、反向传播、权重更新——会反复重复，通常跨越数百万个例子，直到损失不再有意义地减少。

从实验室技术到ChatGPT和Gemini

大型语言模型在更大的规模上应用相同的反向传播和梯度下降循环，跨越两个不同的阶段。第一个是预训练，将模型暴露于大量未标记的文本——根据RBC Borealis，包含数千亿个令牌的语料库——并反复要求它预测序列中的下一个词。RBC Borealis的一篇研究博客将这个基础模型描述为本质上是一个训练来"预测部分完整输入字符串中的下一个词"的网络，这教会它语法、事实和一般模式，但本身并不能使其成为可靠的助手。

第二个阶段是微调，将预训练的网络适配到特定的行为。RBC Borealis概述了三种常见的方法：基于人工编写示例答案的监督微调；来自人类反馈的强化学习（RLHF），其中一个根据人类偏好训练的独立奖励模型指导进一步的权重更新；以及较新的方法，如直接偏好优化，这些方法跳过独立的奖励模型但仍然依赖反向传播。这个微调阶段是将通用的下一词预测器转变为遵循指令并拒绝某些请求的系统，而不是简单地按统计上可能的方向继续文本。

为什么机制很重要

由于预训练和微调都依赖于相同的底层反向传播和梯度下降循环，对该核心技术的改进——更快的硬件、更好的损失函数、更高效的优化——一次性影响每个下游应用，从图像识别到对话助手。斯坦福HAI指出，神经网络现在形成了深度学习系统的基础，这些系统用于面部识别、语音助手和自动驾驶车辆，所有这些都是通过上述相同四步循环的变体训练的。