DeepSeek open-source DeepInfer, un outil d'inférence pour réduire les coûts d'exécution de l'IA

L'entreprise chinoise d'IA DeepSeek a lancé DeepInfer sur GitHub le 20 octobre 2026, rendant public le framework d'inférence qu'elle affirme alimenter déjà ses propres services de production à grande échelle. Le logiciel est publié sous la licence Apache 2.0 à l'adresse github.com/deepseek-ai/DeepInfer, selon SiliconANGLE et TechTarget.

L'inférence est l'étape qui suit l'entraînement d'un modèle, lorsqu'il génère réellement des réponses aux demandes de l'utilisateur. DeepSeek a déclaré dans ses notes de version, selon ce que rapporte Gizmodo, qu'il « partage notre pile de production pour aider la communauté à réduire les coûts de calcul, réduire la consommation d'énergie et rendre l'IA plus abordable ».

Ce que fait DeepInfer

DeepInfer est une couche d'optimisation construite spécifiquement pour le modèle V4.1-Flash de DeepSeek, un système que l'entreprise commercialise pour les tâches de codage et d'agent, selon Gizmodo et TechTarget. SiliconANGLE rapporte que l'un des propres clusters de production de DeepSeek utilise le framework pour servir 155 milliards de jetons par jour.

Le framework repose sur le décodage spéculatif, une technique dans laquelle un modèle de « brouillon » plus petit propose plusieurs jetons à l'avance tandis que le modèle principal les vérifie en une seule passe plutôt que de générer chaque jeton un par un. SiliconANGLE, citant la documentation technique de DeepSeek, décrit la version spécifique de ce système de DeepSeek, appelée DSpark, dans laquelle un modèle de brouillon propose cinq jetons tandis qu'un mécanisme de confiance distinct prédit si le modèle principal les acceptera; DeepSeek déclare que cela réduit la vérification inutile d'environ 30 %, produisant des gains de débit de 4 % à 7 % sous des charges à l'échelle de la production.

Le code publié supporte les GPU SM100 (Blackwell) de Nvidia et les unités de traitement neuronal Ascend 950 de Huawei, mais pas les puces Nvidia Hopper de générations antérieures, selon SiliconANGLE. TechTarget note que les entreprises exécutant des modèles d'IA autres que celui de DeepSeek peuvent déjà utiliser des outils comparables tels que TensorRT-LLM de Nvidia, et que la dépendance continue de DeepSeek au matériel Nvidia aux côtés des puces Huawei indique que Huawei reste à la traîne de Nvidia sur certains points, selon le rapport.

Ce qui est laissé de côté

DeepSeek n'a pas publié tout ce qui est nécessaire pour exécuter un service de production complet. SiliconANGLE rapporte que l'entreprise a retenu son système de gestion du cache clé-valeur et son code d'équilibrage de charge car ils sont étroitement couplés à son infrastructure interne, et qu'un déploiement efficace nécessite toujours un minimum de 128 GPU — 64 dédiés au traitement des demandes et 64 à la génération de réponses. Les fonctionnalités de sortie déterministe, qui font que le modèle retourne des réponses cohérentes pour la même entrée, ne fonctionnent actuellement que sur le matériel Nvidia, ajoute la source.

Comparaison des coûts et réaction

Gizmodo rapporte que DeepSeek facture V4.1-Flash à 0,035 $ par million de jetons d'entrée et 0,12 $ par million de jetons de sortie, en comparaison avec les chiffres qu'il cite pour le modèle GPT-6 Astra d'OpenAI de 10 $ et 50 $ respectivement pour les mêmes volumes; Gizmodo présente le lancement comme faisant partie de la pression exercée par DeepSeek sur OpenAI et Anthropic. SiliconANGLE rapporte séparément que la tarification hors heures de pointe sur un cluster exécutant DeepInfer peut générer environ 38 $ de revenus par GPU par heure.

L'analyste d'Omdia Lian Jye Su a déclaré à TechTarget qu'il y a une discussion considérable dans l'industrie sur l'optimisation de l'utilisation des jetons, notant que la consommation de jetons a augmenté fortement à mesure que l'adoption de l'IA augmente. TechTarget décrit les analystes comme voyant le lancement à la fois comme un mouvement d'optimisation des coûts et comme un effort de positionnement géopolitique qui promeut également les alternatives de puces chinoises aux côtés du matériel Nvidia.

Contexte

SiliconANGLE rapporte que DeepInfer a été à l'origine bifurqué du projet open-source vLLM en avril 2025, après que l'entreprise ait découvert qu'une version complète était impraticable à l'époque. DeepSeek a précédemment attiré l'attention en lançant des modèles d'IA compétitifs et peu coûteux, et le lancement de DeepInfer poursuit cette tendance en ouvrant un logiciel d'infrastructure plutôt que seulement un modèle.

DeepSeek a déclaré qu'il prévoit d'ajouter le support de modèles supplémentaires au framework DeepInfer à l'avenir, selon Gizmodo, bien qu'aucun délai n'ait été annoncé.