DeepSeek 開源 DeepInfer，一個用於降低 AI 運行成本的推理工具

中國人工智能公司 DeepSeek 於 2026 年 10 月 20 日在 GitHub 上發佈了 DeepInfer，公開了這一推理框架，該框架據稱已經為其自身的大規模生產服務提供支持。該軟件在 Apache 2.0 許可證下發佈，地址為 github.com/deepseek-ai/DeepInfer，根據 SiliconANGLE 和 TechTarget 的報告。

推理是模型訓練後的階段，此時模型實際上生成對用戶提示的答案。DeepSeek 在其發佈說明中表示（Gizmodo 引用），「我們正在分享我們的生產棧，以幫助社區降低計算成本、減少能源使用，並使 AI 更加實惠。」

DeepInfer 的功能

根據 Gizmodo 和 TechTarget 的報告，DeepInfer 是為 DeepSeek 的 V4.1-Flash 模型專門構建的優化層，這是公司為編碼和代理任務行銷的系統。SiliconANGLE 報告稱，DeepSeek 的一個自有生產集群使用該框架每天處理 155 兆個令牌。

該框架依賴於推測解碼，這是一種技術，其中較小的「草稿」模型提前提出多個令牌，而主模型在一次傳遞中檢查它們，而不是逐個生成每個令牌。SiliconANGLE 引用 DeepSeek 的技術文檔，描述了 DeepSeek 這個系統的特定版本，稱為 DSpark，其中草稿模型提出五個令牌，而單獨的置信機制預測主模型是否會接受它們；DeepSeek 表示這將不必要的驗證削減了大約 30%，在生產規模負載下產生 4% 到 7% 的吞吐量增益。

根據 SiliconANGLE 的報告，發佈的代碼支持 Nvidia 的 SM100（Blackwell）GPU 和華為的 Ascend 950 神經處理單元，但不支持較舊的 Nvidia Hopper 一代芯片。TechTarget 指出，運行 DeepSeek 以外的 AI 模型的企業已經可以使用類似的工具，如 Nvidia 的 TensorRT-LLM，DeepSeek 繼續依賴 Nvidia 硬件與華為芯片並行表明華為在某些方面仍然落後於 Nvidia，根據該報告。

遺漏的內容

DeepSeek 尚未發佈運行完整生產服務所需的一切。SiliconANGLE 報告稱，該公司扣留了其鍵值緩存管理系統和負載平衡代碼，因為它們與 DeepSeek 自身的內部基礎設施緊密耦合，而且高效的部署仍需要至少 128 個 GPU——64 個專用於處理提示，64 個用於生成響應。該媒體補充稱，確定性輸出功能（使模型對相同輸入返回一致答案）目前僅在 Nvidia 硬件上工作。

成本比較和反應

Gizmodo 報告稱 DeepSeek 將 V4.1-Flash 定價為每百萬輸入令牌 $0.035、每百萬輸出令牌 $0.12，相比之下 OpenAI 的 GPT-6 Astra 模型的價格分別為 $10 和 $50；Gizmodo 將該發佈框架為 DeepSeek 對 OpenAI 和 Anthropic 施加壓力的一部分。SiliconANGLE 另外報告稱，DeepInfer 運行的集群在非峰值定價下每小時每個 GPU 可以產生大約 $38 的收入。

Omdia 分析師 Lian Jye Su 告訴 TechTarget，業界對優化令牌使用有相當多的討論，指出隨著 AI 採用的增加，令牌消耗急劇上升。TechTarget 描述分析師將該發佈視為成本優化舉措和地緣政治定位努力，同時也在推廣中國芯片替代品與 Nvidia 硬件並行。

背景

SiliconANGLE 報告稱，DeepInfer 最初是在 2025 年 4 月從開源項目 vLLM 分叉的，在該公司發現當時全面發佈不切實際之後。DeepSeek 之前因發佈低成本、具有競爭力的 AI 模型而引起關注，DeepInfer 的發佈通過開放基礎設施軟件而不僅僅是模型延續了這一模式。

根據 Gizmodo 的報告，DeepSeek 表示計劃在未來為 DeepInfer 框架添加對其他模型的支持，但尚未給出時間表。