DeepSeek открывает исходный код DeepInfer, инструмента для снижения затрат на запуск ИИ

Китайская компания DeepSeek выпустила DeepInfer на GitHub 20 октября 2026 года, сделав общедоступным фреймворк вывода, который, по её словам, уже используется в её собственных производственных сервисах большого масштаба. Программное обеспечение опубликовано под лицензией Apache 2.0 по адресу github.com/deepseek-ai/DeepInfer, согласно SiliconANGLE и TechTarget.

Вывод — это этап после обучения модели, когда она фактически генерирует ответы на запросы пользователей. DeepSeek сказала в своих примечаниях к выпуску, как цитирует Gizmodo, что она «делится своим производственным стеком, чтобы помочь сообществу снизить вычислительные затраты, сократить потребление энергии и сделать ИИ более доступным».

Что делает DeepInfer

DeepInfer — это слой оптимизации, созданный специально для модели DeepSeek V4.1-Flash, системы, которую компания позиционирует для задач кодирования и агентов, согласно Gizmodo и TechTarget. SiliconANGLE сообщает, что один из собственных производственных кластеров DeepSeek использует этот фреймворк для обслуживания 155 триллионов токенов в день.

Фреймворк основан на спекулятивном декодировании — методе, при котором меньшая «проектная» модель предлагает несколько токенов заранее, в то время как основная модель проверяет их за один проход, а не генерирует каждый токен по одному. SiliconANGLE, ссылаясь на техническую документацию DeepSeek, описывает конкретную версию этой системы DeepSeek, называемую DSpark, в которой проектная модель предлагает пять токенов, а отдельный механизм уверенности предсказывает, примет ли их основная модель; DeepSeek говорит, что это сокращает ненужную проверку примерно на 30%, обеспечивая увеличение пропускной способности на 4-7% при нагрузках производственного масштаба.

Выпущенный код поддерживает GPU Nvidia SM100 (Blackwell) и нейронные процессоры Huawei Ascend 950, но не более старые чипы поколения Nvidia Hopper, согласно SiliconANGLE. TechTarget отмечает, что предприятия, использующие модели ИИ, отличные от DeepSeek, уже могут использовать сравнимые инструменты, такие как TensorRT-LLM от Nvidia, и что постоянная зависимость DeepSeek от аппаратного обеспечения Nvidia наряду с чипами Huawei указывает на то, что Huawei всё ещё отстаёт от Nvidia в некоторых аспектах, согласно отчёту.

Что упущено

DeepSeek не выпустила всё, что необходимо для запуска полного производственного сервиса. SiliconANGLE сообщает, что компания скрыла свою систему управления кешем ключ-значение и код балансировки нагрузки, потому что они тесно связаны с собственной внутренней инфраструктурой DeepSeek, и что эффективное развертывание всё ещё требует минимум 128 GPU — 64 для обработки запросов и 64 для генерации ответов. Функции детерминированного вывода, которые заставляют модель возвращать последовательные ответы для одного и того же ввода, в настоящее время работают только на оборудовании Nvidia, добавляет издание.

Сравнение стоимости и реакция

Gizmodo сообщает, что DeepSeek устанавливает цены на V4.1-Flash в размере $0,035 за миллион входных токенов и $0,12 за миллион выходных токенов, в сравнении с показателями, которые она приводит для модели OpenAI GPT-6 Astra в размере $10 и $50 соответственно для тех же объёмов; Gizmodo рассматривает выпуск как часть усилий DeepSeek по оказанию давления на OpenAI и Anthropic. SiliconANGLE отдельно сообщает, что внепиковое ценообразование в кластере, управляемом DeepInfer, может генерировать примерно $38 дохода на GPU в час.

Аналитик Omdia Лиан Цзе Су сказал TechTarget, что в индустрии идут значительные обсуждения оптимизации использования токенов, отметив, что потребление токенов резко возросло с ростом принятия ИИ. TechTarget описывает аналитиков как рассматривающих выпуск как в качестве хода по оптимизации затрат, так и в качестве усилия по геополитическому позиционированию, которое также способствует продвижению китайских чип-альтернатив наряду с оборудованием Nvidia.

История

SiliconANGLE сообщает, что DeepInfer был первоначально ответвлён от проекта с открытым исходным кодом vLLM в апреле 2025 года после того, как компания сочла полный выпуск неудобным на тот момент. DeepSeek ранее привлекла внимание выпуском недорогих конкурентоспособных моделей ИИ, и выпуск DeepInfer продолжает эту тенденцию, открывая инфраструктурное программное обеспечение, а не только модель.

DeepSeek сказала, что планирует добавить поддержку дополнительных моделей в фреймворк DeepInfer в будущем, согласно Gizmodo, но никакого графика не было дано.