AI聊天机器人（如ChatGPT和Claude）的实际工作原理解释

每天有数百万人向ChatGPT、Claude、Gemini或类似工具提出问题，但这些软件背后的机制常被描述为神秘的"黑匣子"。根据谷歌的《机器学习速成课程》和科学作家Timothy B. Lee在Understanding AI上发表的解释，核心机制比听起来要简单：大型语言模型（LLM）是一个经过训练的神经网络，用来预测给定前面所有内容后的下一个小文本段，称为标记。

从单词到数字：标记和嵌入

在LLM能够处理文本之前，根据谷歌开发人员文档的说法，它会将提示分解为标记——可以是整个单词、部分单词或单个字符的单位。每个标记被转换为一个向量，一个称为嵌入的长数字列表，旨在捕捉关于该标记含义的某些内容。Understanding AI的解释器将其比作地理坐标：具有相似含义的单词最终位置彼此靠近，就像附近的城市共享相似的纬度和经度一样。

注意力机制：模型如何跟踪上下文

几乎所有现代LLM背后的架构都被称为Transformer。谷歌的速成课程解释说，Transformer依赖于一种称为自注意力的机制，它计算文本中的每个标记应该如何影响每个其他标记的解释。Understanding AI用查询向量和键向量来说明这一点：每个单词有效地建立了一份清单，列出它正在寻找的其他单词的类型，注意力机制在整个句子中匹配这些清单，这样模型就可以，例如，找出代词"it"所指的名词。

Understanding AI指出，这一步之后是前馈层，处理每个单词的更新表示，并将模型推向预测应该出现的下一个标记。因为注意力机制让每个标记无论距离多远都可以直接查看其他每个标记，Transformer比之前的顺序模型更一致地处理长而复杂的段落。

训练：数十亿次猜测，无需人类标签

LLM主要通过无监督学习进行训练，即掩码或下一个标记预测，这意味着系统在大部分训练中没有被给予手写的"正确答案"。相反，谷歌的文档描述了一个过程，其中实际文本中的标记被隐藏，模型必须猜测它们；Understanding AI用跨越从书籍、网站和其他来源中抓取的大量文本的下一个单词预测来描述同样的概念。网络内的参数——Understanding AI引用GPT-3的1750亿个参数，在大约5000亿个单词上训练——初始时随机设置，然后逐步调整，每次预测一次，直到模型的猜测与真实文本一致。

将原始模型转变为有帮助的助手

仅经过训练来预测下一个标记的模型不会自动成为礼貌地遵循指令的聊天机器人。Hugging Face关于强化学习从人类反馈（RLHF）的技术解释器描述了OpenAI等公司用来将基础模型转变为助手的额外步骤。首先，预训练的模型可以通过对示例对话的有监督微调来改进。其次，人类评审员对同一提示的多个模型响应进行排名，这些排名训练一个单独的奖励模型，学会像人一样给输出打分。

在第三阶段，原始模型使用强化学习进行调整——通常是近端策略优化——使得它产生奖励模型评分高的响应，同时数学惩罚保持它不会偏离其原始行为太远而开始纯粹为了欺骗奖励分数而生成无意义的内容，根据Hugging Face对该方法的描述。

为什么聊天机器人仍然编造内容

OpenAI研究人员发布的论文《为什么语言模型会产生幻觉》在arXiv上发表，论证虚构答案不仅仅是需要修补的错误。该论文将幻觉归因于两个相关原因：这是模型在预训练期间学习预测听起来合理的连续内容的统计副产品，以及模型随后的评估方式。该论文指出，大多数基准和排行榜将答案评分为正确或错误，并将承认不确定性——"我不知道"——视为错误答案。这种设置奖励自信的猜测而不是对不确定性的诚实，这推动模型继续产生流畅的、听起来很具体的陈述，即使它们缺乏可靠的依据。

模型实际上在做什么，用一句话

总结一下，这些来源描述的过程是这样的：聊天机器人将提示转换为标记，将它们转换为数值嵌入，使用自注意力层来权衡每个标记与其他标记的关系，并反复预测单个最可能的下一个标记——这个过程在预训练后由人类反馈塑造，旨在使这些预测类似于有帮助的、遵循指令的答案，而不是原始互联网文本。