DeepSeek membuka DeepInfer, alat inference untuk mengurangi biaya menjalankan AI

Perusahaan AI Tiongkok DeepSeek merilis DeepInfer di GitHub pada 20 Oktober 2026, membuat framework inference yang dikatakan perusahaan sudah mendukung layanan production skala besar miliknya sendiri menjadi publik. Perangkat lunak dipublikasikan di bawah lisensi Apache 2.0 di github.com/deepseek-ai/DeepInfer, menurut SiliconANGLE dan TechTarget.

Inference adalah tahap setelah model telah dilatih, ketika model tersebut benar-benar menghasilkan jawaban untuk prompt pengguna. DeepSeek mengatakan dalam catatan rilisnya, seperti dikutip oleh Gizmodo, bahwa mereka 'berbagi stack production kami untuk membantu komunitas menurunkan biaya komputasi, mengurangi penggunaan energi, dan membuat AI lebih terjangkau.'

Apa yang dilakukan DeepInfer

DeepInfer adalah lapisan optimisasi yang dibangun khusus untuk model V4.1-Flash milik DeepSeek, sistem yang dipasarkan perusahaan untuk tugas coding dan agentic, menurut Gizmodo dan TechTarget. SiliconANGLE melaporkan bahwa salah satu cluster production DeepSeek sendiri menggunakan framework untuk melayani 155 trillion token per hari.

Framework mengandalkan speculative decoding, teknik di mana model 'draft' yang lebih kecil mengusulkan beberapa token di depan sementara model utama memeriksanya dalam satu pass alih-alih menghasilkan setiap token satu per satu. SiliconANGLE, mengutip dokumentasi teknis DeepSeek, menggambarkan versi spesifik sistem ini milik DeepSeek, yang disebut DSpark, di mana model draft mengusulkan lima token sementara mekanisme confidence terpisah memprediksi apakah model utama akan menerimanya; DeepSeek mengatakan ini mengurangi verifikasi yang tidak perlu sekitar 30%, menghasilkan keuntungan throughput 4% hingga 7% di bawah beban skala production.

Kode yang dirilis mendukung GPU SM100 (Blackwell) Nvidia dan unit pemrosesan neural Ascend 950 Huawei, tetapi tidak chip generasi Hopper Nvidia yang lebih lama, menurut SiliconANGLE. TechTarget mencatat bahwa enterprise yang menjalankan model AI selain milik DeepSeek sudah dapat menggunakan alat yang sebanding seperti TensorRT-LLM Nvidia, dan bahwa ketergantungan berkelanjutan DeepSeek pada hardware Nvidia bersama chip Huawei menunjukkan Huawei masih tertinggal dari Nvidia dalam beberapa hal, menurut laporan tersebut.

Apa yang ditinggalkan

DeepSeek belum merilis semua yang diperlukan untuk menjalankan layanan production lengkap. SiliconANGLE melaporkan perusahaan menahan sistem manajemen key-value cache dan kode load-balancing mereka karena keduanya tightly coupled dengan infrastruktur internal milik DeepSeek sendiri, dan bahwa deployment yang efisien masih memerlukan minimum 128 GPU — 64 dedicated untuk memproses prompt dan 64 untuk menghasilkan respons. Fitur deterministic-output, yang membuat model mengembalikan jawaban konsisten untuk input yang sama, saat ini hanya bekerja di hardware Nvidia, outlet menambahkan.

Perbandingan biaya dan reaksi

Gizmodo melaporkan DeepSeek menetapkan harga V4.1-Flash di $0.035 per million input token dan $0.12 per million output token, dibandingkan dengan angka yang dikutipnya untuk model GPT-6 Astra milik OpenAI sebesar $10 dan $50 masing-masing untuk volume yang sama; Gizmodo membingkai rilis sebagai bagian dari DeepSeek memberikan tekanan pada OpenAI dan Anthropic. SiliconANGLE secara terpisah melaporkan bahwa penetapan harga off-peak pada cluster yang dijalankan DeepInfer dapat menghasilkan sekitar $38 dalam revenue per GPU per jam.

Analis Omdia Lian Jye Su mengatakan kepada TechTarget ada diskusi industri yang cukup besar tentang optimalisasi penggunaan token, mencatat bahwa konsumsi token telah meningkat tajam seiring dengan pertumbuhan adopsi AI. TechTarget menggambarkan analis sebagai melihat rilis baik sebagai langkah optimalisasi biaya maupun sebagai upaya positioning geopolitik yang juga mempromosikan alternatif chip Tiongkok bersama hardware Nvidia.

Latar belakang

SiliconANGLE melaporkan bahwa DeepInfer awalnya di-fork dari proyek open-source vLLM pada April 2025, setelah perusahaan menemukan rilis lengkap tidak praktis pada saat itu. DeepSeek sebelumnya telah menarik perhatian karena merilis model AI yang murah dan kompetitif, dan rilis DeepInfer melanjutkan pola itu dengan membuka perangkat lunak infrastruktur daripada hanya model.

DeepSeek mengatakan mereka berencana menambahkan dukungan untuk model tambahan ke framework DeepInfer di masa depan, menurut Gizmodo, meskipun tidak ada timeline yang diberikan.