Çinli yapay zeka şirketi DeepSeek, 20 Ekim 2026'da GitHub üzerinden DeepInfer'ı yayınlayarak, kendi büyük ölçekli üretim hizmetlerinde halihazırda kullandığını söylediği çıkarım çerçevesini kamuya açtı. SiliconANGLE ve TechTarget'a göre yazılım, github.com/deepseek-ai/DeepInfer adresinde Apache 2.0 lisansı altında yayımlandı.
Çıkarım, bir modelin eğitiminden sonraki aşamadır; modelin kullanıcı istemlerine fiilen yanıt ürettiği evredir. DeepSeek, Gizmodo tarafından aktarılan sürüm notlarında "topluluğun işlem maliyetlerini düşürmesine, enerji kullanımını azaltmasına ve yapay zekayı daha uygun fiyatlı hale getirmesine yardımcı olmak için üretim yığınımızı paylaşıyoruz" dedi.
DeepInfer ne yapıyor
Gizmodo ve TechTarget'a göre DeepInfer, şirketin kodlama ve ajan görevleri için pazarladığı bir sistem olan DeepSeek'in V4.1-Flash modeli için özel olarak oluşturulmuş bir optimizasyon katmanıdır. SiliconANGLE, DeepSeek'in kendi üretim kümelerinden birinin bu çerçeveyi günde 155 trilyon jeton sunmak için kullandığını bildiriyor.
Çerçeve, spekülatif çözümleme adı verilen bir tekniğe dayanıyor; bu teknikte daha küçük bir "taslak" model, jetonları tek tek üretmek yerine birkaç jetonu önceden önerirken ana model bunları tek bir geçişte kontrol ediyor. SiliconANGLE, DeepSeek'in teknik belgelerine atıfla, DSpark adı verilen bu sistemin DeepSeek'e özgü versiyonunu şöyle anlatıyor: bir taslak model beş jeton önerirken ayrı bir güven mekanizması, ana modelin bunları kabul edip etmeyeceğini tahmin ediyor; DeepSeek bunun gereksiz doğrulamayı yaklaşık %30 azalttığını ve üretim ölçekli yüklerde %4 ila %7 arasında verim artışı sağladığını söylüyor.
SiliconANGLE'a göre yayınlanan kod, Nvidia'nın SM100 (Blackwell) GPU'larını ve Huawei'nin Ascend 950 sinirsel işlem birimlerini destekliyor, ancak eski Nvidia Hopper nesli çipleri desteklemiyor. TechTarget, DeepSeek dışındaki yapay zeka modellerini çalıştıran kurumların zaten Nvidia'nın TensorRT-LLM gibi benzer araçları kullanabildiğini ve DeepSeek'in Huawei çiplerinin yanı sıra Nvidia donanımına da bağımlılığını sürdürmesinin, rapora göre Huawei'nin bazı açılardan hâlâ Nvidia'nın gerisinde kaldığına işaret ettiğini belirtiyor.
Neler eksik bırakıldı
DeepSeek, tam bir üretim hizmetini çalıştırmak için gereken her şeyi yayınlamadı. SiliconANGLE, şirketin anahtar-değer önbellek yönetim sistemini ve yük dengeleme kodunu, bunların DeepSeek'in kendi iç altyapısına sıkıca bağlı olması nedeniyle paylaşmadığını ve verimli bir dağıtımın hâlâ en az 128 GPU gerektirdiğini bildiriyor; bunların 64'ü istemleri işlemeye, 64'ü ise yanıt üretmeye ayrılıyor. Yayın kuruluşu ayrıca, modelin aynı girdi için tutarlı yanıtlar vermesini sağlayan deterministik çıktı özelliklerinin şu anda yalnızca Nvidia donanımında çalıştığını ekliyor.
Maliyet karşılaştırması ve tepkiler
Gizmodo, DeepSeek'in V4.1-Flash için fiyatını milyon girdi jetonu başına 0,035 dolar ve milyon çıktı jetonu başına 0,12 dolar olarak belirlediğini bildiriyor; bu rakamları, aynı hacimler için OpenAI'nin GPT-6 Astra modeline atfettiği sırasıyla 10 dolar ve 50 dolarlık rakamlarla kıyaslıyor. Gizmodo bu yayını, DeepSeek'in OpenAI ve Anthropic üzerinde baskı oluşturma çabasının bir parçası olarak sunuyor. SiliconANGLE ise ayrıca, DeepInfer ile çalışan bir kümede yoğun olmayan saatlerdeki fiyatlandırmanın GPU başına saatte yaklaşık 38 dolar gelir üretebildiğini bildiriyor.
Omdia analisti Lian Jye Su, TechTarget'a jeton kullanımını optimize etmeye yönelik sektörde önemli bir tartışma olduğunu, yapay zeka benimsenmesi arttıkça jeton tüketiminin keskin biçimde yükseldiğini belirtti. TechTarget, analistlerin bu yayını hem bir maliyet optimizasyonu hamlesi hem de Nvidia donanımının yanı sıra Çin'e ait çip alternatiflerini de öne çıkaran jeopolitik bir konumlandırma çabası olarak gördüğünü aktarıyor.
Arka plan
SiliconANGLE, DeepInfer'ın aslında Nisan 2025'te açık kaynaklı vLLM projesinden çatallanarak ortaya çıktığını, şirketin o dönemde tam bir yayının pratik olmadığını düşündüğünü bildiriyor. DeepSeek daha önce düşük maliyetli, rekabetçi yapay zeka modelleri yayınlayarak dikkat çekmişti ve DeepInfer yayını, yalnızca bir modeli değil altyapı yazılımını da açarak bu eğilimi sürdürüyor.
Gizmodo'ya göre DeepSeek, gelecekte DeepInfer çerçevesine ek modeller için destek eklemeyi planladığını söyledi, ancak herhangi bir takvim verilmedi.
