DeepSeek open-sources DeepInfer, uno strumento di inferenza per ridurre i costi operativi dell'IA

L'azienda cinese di IA DeepSeek ha rilasciato DeepInfer su GitHub il 20 ottobre 2026, rendendo pubblica il framework di inferenza che afferma già alimenta i suoi stessi servizi di produzione su larga scala. Il software è pubblicato sotto la licenza Apache 2.0 su github.com/deepseek-ai/DeepInfer, secondo SiliconANGLE e TechTarget.

L'inferenza è la fase dopo che un modello è stato addestrato, quando effettivamente genera risposte alle richieste degli utenti. DeepSeek ha affermato nelle sue note di rilascio, come citato da Gizmodo, che sta "condividendo il nostro stack di produzione per aiutare la comunità a ridurre i costi di calcolo, ridurre il consumo di energia e rendere l'IA più accessibile."

Cosa fa DeepInfer

DeepInfer è un livello di ottimizzazione costruito specificamente per il modello V4.1-Flash di DeepSeek, un sistema che l'azienda commercializza per attività di codifica e agenti, secondo Gizmodo e TechTarget. SiliconANGLE riferisce che uno dei propri cluster di produzione di DeepSeek utilizza il framework per servire 155 trilioni di token al giorno.

Il framework si basa sulla decodifica speculativa, una tecnica in cui un modello "bozza" più piccolo propone diversi token in anticipo mentre il modello principale li controlla in un singolo passaggio piuttosto che generare ogni token uno per uno. SiliconANGLE, citando la documentazione tecnica di DeepSeek, descrive la versione specifica di questo sistema di DeepSeek, chiamata DSpark, in cui un modello bozza propone cinque token mentre un meccanismo di confidenza separato predice se il modello principale li accetterà; DeepSeek afferma che ciò riduce la verifica non necessaria di circa il 30%, producendo guadagni di throughput dal 4% al 7% con carichi di scala di produzione.

Il codice rilasciato supporta le GPU SM100 (Blackwell) di Nvidia e le unità di elaborazione neurale Ascend 950 di Huawei, ma non i chip Nvidia di generazione Hopper più vecchia, secondo SiliconANGLE. TechTarget nota che le imprese che gestiscono modelli di IA diversi da quelli di DeepSeek possono già utilizzare strumenti comparabili come TensorRT-LLM di Nvidia, e che la continua dipendenza di DeepSeek dall'hardware Nvidia insieme ai chip Huawei indica che Huawei è ancora in ritardo rispetto a Nvidia in alcuni aspetti, secondo il rapporto.

Cosa manca

DeepSeek non ha rilasciato tutto il necessario per eseguire un servizio di produzione completo. SiliconANGLE riferisce che l'azienda ha trattenuto il suo sistema di gestione della cache chiave-valore e il codice di bilanciamento del carico perché sono strettamente accoppiati alla sua infrastruttura interna, e che un'implementazione efficiente richiede ancora un minimo di 128 GPU – 64 dedicate all'elaborazione dei prompt e 64 alla generazione di risposte. Le funzionalità di output deterministico, che fanno restituire al modello risposte coerenti per lo stesso input, attualmente funzionano solo su hardware Nvidia, aggiunge la fonte.

Confronto dei costi e reazione

Gizmodo riferisce che DeepSeek prezza V4.1-Flash a 0,035 dollari per milione di token di input e 0,12 dollari per milione di token di output, rispetto alle cifre che cita per il modello GPT-6 Astra di OpenAI di 10 e 50 dollari rispettivamente per gli stessi volumi; Gizmodo inquadra il rilascio come parte di DeepSeek che esercita pressione su OpenAI e Anthropic. SiliconANGLE riferisce separatamente che i prezzi fuori picco su un cluster gestito da DeepInfer possono generare approssimativamente 38 dollari di ricavi per GPU all'ora.

L'analista di Omdia Lian Jye Su ha detto a TechTarget che c'è una considerevole discussione nel settore sull'ottimizzazione dell'utilizzo dei token, notando che il consumo di token è aumentato notevolmente con la crescente adozione dell'IA. TechTarget descrive gli analisti come vedendo il rilascio sia come una mossa di ottimizzazione dei costi che come uno sforzo di posizionamento geopolitico che promuove anche alternative di chip cinesi insieme all'hardware Nvidia.

Contesto

SiliconANGLE riferisce che DeepInfer è stato originariamente derivato dal progetto open-source vLLM ad aprile 2025, dopo che l'azienda ha ritenuto impraticabile un rilascio completo in quel momento. DeepSeek si è precedentemente distinto per il rilascio di modelli di IA a basso costo e competitivi, e il rilascio di DeepInfer continua questo schema aprendo il software di infrastruttura anziché solo un modello.

DeepSeek ha affermato che pianifica di aggiungere il supporto per modelli aggiuntivi al framework DeepInfer in futuro, secondo Gizmodo, sebbene non sia stata fornita una tempistica.