生成式AI如何工作：文本、图像和代码生成解释

尽管涵盖的输出内容差异很大，但文本生成器、图像生成器和编码助手共享一个共同的基础：在大量数据上训练的神经网络学习统计模式，然后使用这些模式逐步构建新内容，而不是检索存储的答案。

文本生成：预测下一个token

根据IBM于2025年3月28日发布的转换器模型技术说明，聊天机器人背后的大型语言模型首先将文本分解为称为token的小单位，这些单位可以是整个单词或单词的一部分。每个token被转换为一个称为嵌入的数值向量，代表其含义，并添加第二个向量来编码token在句子中的位置。

核心机制是自注意力：对于每个token，根据IBM的说法，模型使用每个token的三个学习向量——查询、键和值来计算输入中其他每个token的相关性。这使得模型能够一次性权衡文本中任何位置的上下文，而不是像旧架构那样逐个单词读取。IBM解释道，仅解码器转换器（如GPT等模型背后的架构）随后自回归地生成文本——一次预测一个token，并将该token反馈以预测下一个。

Anthropic发布在其网站上的研究题为《追踪大型语言模型的思想》，发现这个下一个token的过程可能比从外部看起来涉及更多的规划。在一个实验中，当其Claude模型编写一行诗歌时，它在编写该行的其余部分之前激活了对应于可能的押韵词的内部特征，然后调整其措辞以达到该词。Anthropic报告称，在另一项测试中，该模型回答了一个多步骤问题——例如识别包含达拉斯的州的首都——通过首先激活'德克萨斯州'的内部表示，然后分别检索'奥斯汀'，而不是直接跳到答案。

Anthropic还发现了模型的内部计算与其对该计算的描述之间的差距：当被问及它如何执行数学计算时，Claude描述了一种标准方法，但Anthropic追踪的内部过程使用了不同的并行方法，结合了粗略估计与最终数字的单独跟踪。

图像生成：逐步移除噪声

大多数现代文本到图像工具（包括Google的Imagen）使用扩散模型，其工作方向与文本生成相反。根据Google的Imagen研究页面，系统从一个冻结的大型语言模型——T5-XXL——开始，将文本提示转换为嵌入，这是文本模型中使用的相同类型的数值表示。Google的研究人员指出，扩大这个文本编码器的规模比扩大模型的图像生成部分更能改善图像质量。

扩散模型随后获取该文本嵌入并生成一个小的64x64像素图像。它通过从随机视觉噪声开始并运行迭代的"去噪"过程来实现这一点，其中模型在文本嵌入的指导下反复预测和移除一点噪声，直到保留一个连贯的低分辨率图像，根据Google的描述。然后使用两个进一步的扩散模型放大图像，首先到256x256像素，然后到1024x1024像素，这是Google称为超分辨率扩散的级联。

为了让模型更紧密地遵循文本提示，Google的研究页面称Imagen引入了一个"新的阈值扩散采样器"，与称为无分类器指导的方法一起使用，两者共同支持使用更大的指导权重。Google报告称，在人类评估中，评估者将Imagen的输出判断为与真实参考照片相当，可以匹配文本提示，并且在Google构建的名为DrawBench的基准测试中，它优于其他文本到图像系统，包括DALL-E 2。

代码生成：从上下文构建的建议

AI编码助手（如GitHub Copilot）应用用于一般文本的相同的基于转换器的下一个token预测方法，但专门针对编程代码进行培训，并适应开发人员的工作区。根据GitHub自己的文档，Copilot以两种主要模式运行：一种"辅助"模式，在开发人员键入时建议代码、回答问题或解释代码，以及一种"代理"模式，其中开发人员描述目标，Copilot通过多个步骤工作——研究存储库、提出计划、编辑文件和运行工具来完成任务。

GitHub的文档指出，Copilot的功能还扩展到自定义，例如特定于存储库的指令和外部工具集成，并且某些功能以异步方式工作，允许编码代理在没有持续监督的情况下进行更改并打开或更新拉取请求。根据其当前文档，GitHub没有公开指定使用的每个模型或如何选择上下文以及传递给底层模型的完整技术细节。

三者的比较

所有三种方法都依赖于训练数据：模型的内部模式来自于它在训练期间接触到的文本、图像或代码，其输出是由这些学习到的模式塑造的新生成的序列或图像，而不是任何单个训练示例的副本。