生成式AI如何運作：文本、圖像和代碼生成解釋

儘管涵蓋非常不同的輸出，文本生成器、圖像生成器和編碼助手共享一個共同的基礎：在大量數據上訓練的神經網絡學習統計模式，然後使用這些模式逐段構建新內容，而不是檢索存儲的答案。

文本生成：預測下一個令牌

大型語言模型（如聊天機器人背後的模型）首先將文本分解為稱為令牌的小單位，可以是完整單詞或單詞的一部分，根據IBM在2025年3月28日發布的關於Transformer模型的技術說明。每個令牌被轉換為一個數值向量，稱為嵌入，代表其含義，並添加第二個向量來編碼令牌在句子中的位置。

核心機制是自注意力：對於每個令牌，模型計算輸入中每個其他令牌的相關性，每個令牌使用三個學習向量——查詢、鍵和值，根據IBM。這讓模型能夠立即從文本中任何地方權衡上下文，而不是像舊架構那樣逐字閱讀。解碼器專用Transformer（如GPT等模型的架構）然後自回歸地生成文本——一次預測一個令牌，並將該令牌反饋以預測下一個，IBM解釋說。

Anthropic發布的研究「追踪大型語言模型的思想」發現，這個下一令牌的過程可能涉及比從外部看起來更多的規劃。在一個實驗中，當其Claude模型編寫一行詩時，它在寫出行的其餘部分之前激活了對應於可能的韻韻詞的內部特徵，然後調整了其措詞以達到該詞。在另一項測試中，模型回答了一個多步驟問題——比如識別包含達拉斯的州的首府——首先激活了「德克薩斯」的內部表示，然後單獨檢索了「奧斯汀」，而不是直接跳到答案，Anthropic報告說。

Anthropic還發現了模型的內部計算與其自身的計算描述之間的差距：當被問到它如何進行數學計算時，Claude描述了一個標準方法，但Anthropic追踪的內部過程使用了一個不同的平行方法，結合了粗略估計和對最終數字的單獨跟踪。

圖像生成：逐步去除噪聲

大多數現代文本到圖像工具（包括Google的Imagen）使用擴散模型，它的工作方向與文本生成相反。根據Google的Imagen研究頁面，該系統從一個凍結的大型語言模型——T5-XXL——開始，將文本提示轉換為嵌入，這是文本模型中使用的相同類型的數值表示。Google的研究人員指出，放大此文本編碼器的大小比放大模型的圖像生成部分的大小更能改善圖像質量。

擴散模型然後獲取該文本嵌入並生成一個小的64x64像素圖像。它通過從隨機視覺噪聲開始並運行迭代的「去噪」過程來完成此操作，其中模型重複預測和去除一點噪聲，由文本嵌入指導，直到保持一致的低分辨率圖像，根據Google的描述。然後使用兩個進一步的擴散模型放大圖像，首先到256x256像素，然後到1024x1024像素，Google稱之為超分辨率擴散的級聯。

為了使模型能夠更密切地遵循文本提示，Google的研究頁面說Imagen引入了「一個新的閾值擴散採樣器」，與稱為無分類器指導的方法一起使用，兩者結合使用了非常大的指導權重。Google報告說，在人類評估中，評分者認為Imagen的輸出與真實參考照片相當，用於匹配文本提示，並在Google構建的稱為DrawBench的基準上優於其他文本到圖像系統，包括DALL-E 2。

代碼生成：從上下文構建的建議

AI編碼助手（如GitHub Copilot）應用用於通用文本的相同的基於Transformer的下一令牌預測方法，但專門在編程代碼上訓練，並適應開發人員的工作空間。根據GitHub自己的文檔，Copilot以兩種主要模式運行：「輔助」模式，在開發人員鍵入時建議代碼、回答問題或解釋代碼，以及「代理」模式，其中開發人員描述目標，Copilot通過多個步驟工作——研究儲存庫、提出計劃、編輯文件和運行工具以完成任務。

GitHub的文檔指出，Copilot的功能還擴展到定制，例如特定於存儲庫的指令和外部工具集成，並且某些功能以非同步方式工作，允許編碼代理進行更改並在沒有恆定監督的情況下打開或更新拉取請求。根據其當前文檔，GitHub沒有公開指定使用的每個模型或選擇上下文並將其傳遞給基礎模型的詳細技術細節。

三者如何比較

所有三種方法都依賴於訓練數據：模型的內部模式來自它在訓練期間暴露的文本、圖像或代碼，其輸出是由這些學習的模式塑造的新生成序列或圖像，而不是任何單一訓練示例的副本。