DeepSeek abre código do DeepInfer, uma ferramenta de inferência para reduzir custos de execução de IA

A empresa chinesa de IA DeepSeek lançou o DeepInfer no GitHub em 20 de outubro de 2026, tornando público o framework de inferência que diz que já alimenta seus próprios serviços de produção em larga escala. O software é publicado sob a licença Apache 2.0 em github.com/deepseek-ai/DeepInfer, de acordo com SiliconANGLE e TechTarget.

A inferência é a etapa após um modelo ter sido treinado, quando ele realmente gera respostas aos prompts do usuário. DeepSeek disse em suas notas de lançamento, conforme citado por Gizmodo, que está "compartilhando nossa pilha de produção para ajudar a comunidade a reduzir custos computacionais, reduzir o consumo de energia e tornar a IA mais acessível".

O que DeepInfer faz

DeepInfer é uma camada de otimização construída especificamente para o modelo V4.1-Flash do DeepSeek, um sistema que a empresa comercializa para tarefas de codificação e agentes, de acordo com Gizmodo e TechTarget. A SiliconANGLE relata que um dos próprios clusters de produção do DeepSeek usa o framework para servir 155 trilhões de tokens por dia.

O framework depende de decodificação especulativa, uma técnica na qual um modelo de "rascunho" menor propõe vários tokens antecipadamente enquanto o modelo principal os verifica em uma única passagem, em vez de gerar cada token um por um. A SiliconANGLE, citando a documentação técnica do DeepSeek, descreve a versão específica deste sistema do DeepSeek, chamada DSpark, na qual um modelo de rascunho propõe cinco tokens enquanto um mecanismo de confiança separado prevê se o modelo principal os aceitará; DeepSeek diz que isso reduz a verificação desnecessária em cerca de 30%, produzindo ganhos de taxa de processamento de 4% a 7% sob cargas em escala de produção.

O código lançado suporta as GPUs SM100 (Blackwell) da Nvidia e as unidades de processamento neural Ascend 950 da Huawei, mas não os chips Nvidia Hopper de gerações anteriores, de acordo com a SiliconANGLE. A TechTarget observa que empresas executando modelos de IA diferentes do DeepSeek já podem usar ferramentas comparáveis como TensorRT-LLM da Nvidia, e que a contínua dependência do DeepSeek pelo hardware Nvidia juntamente com chips Huawei indica que Huawei ainda fica atrás da Nvidia em alguns aspectos, de acordo com o relatório.

O que foi deixado de fora

DeepSeek não lançou tudo o que é necessário para executar um serviço de produção completo. A SiliconANGLE relata que a empresa reteve seu sistema de gerenciamento de cache chave-valor e código de balanceamento de carga porque estão fortemente acoplados à sua infraestrutura interna, e que uma implantação eficiente ainda requer um mínimo de 128 GPUs — 64 dedicadas ao processamento de prompts e 64 à geração de respostas. Recursos de saída determinística, que fazem o modelo retornar respostas consistentes para a mesma entrada, atualmente funcionam apenas em hardware Nvidia, acrescenta a publicação.

Comparação de custos e reação

O Gizmodo relata que DeepSeek precifica V4.1-Flash em $0,035 por milhão de tokens de entrada e $0,12 por milhão de tokens de saída, em comparação com os valores que cita para o modelo GPT-6 Astra da OpenAI de $10 e $50 respectivamente pelos mesmos volumes; Gizmodo enquadra o lançamento como parte do DeepSeek exercendo pressão sobre OpenAI e Anthropic. A SiliconANGLE relata separadamente que a precificação fora do horário de pico em um cluster executado por DeepInfer pode gerar aproximadamente $38 em receita por GPU por hora.

O analista de Omdia Lian Jye Su disse ao TechTarget que há discussão considerável na indústria sobre otimização de uso de tokens, observando que o consumo de tokens aumentou drasticamente conforme a adoção de IA cresce. TechTarget descreve os analistas como vendo o lançamento tanto como um movimento de otimização de custos quanto como um esforço de posicionamento geopolítico que também promove alternativas de chips chineses juntamente com hardware Nvidia.

Antecedentes

A SiliconANGLE relata que DeepInfer foi originalmente derivado do projeto de código aberto vLLM em abril de 2025, depois que a empresa descobriu que um lançamento completo era impraticável na época. DeepSeek previamente chamou atenção por lançar modelos de IA competitivos e de baixo custo, e o lançamento do DeepInfer continua esse padrão ao abrir software de infraestrutura em vez de apenas um modelo.

DeepSeek disse que planeja adicionar suporte para modelos adicionais ao framework DeepInfer no futuro, de acordo com Gizmodo, embora nenhum cronograma tenha sido fornecido.