DeepSeek ने DeepInfer को खुला किया, एक inference उपकरण जो AI चलाने की लागत को कम करता है

चीनी AI कंपनी DeepSeek ने 20 अक्टूबर 2026 को GitHub पर DeepInfer को जारी किया, इस inference framework को सार्वजनिक किया जो कंपनी कहती है कि पहले से ही अपनी बड़े पैमानے पर production सेवाएँ चलाता है। सॉफ्टवेयर को Apache 2.0 लाइसेंस के तहत github.com/deepseek-ai/DeepInfer पर प्रकाशित किया गया है, SiliconANGLE और TechTarget के अनुसार।

Inference वह चरण है जो मॉडल को प्रशिक्षित करने के बाद आता है, जब वह वास्तव में उपयोगकर्ता के prompts को जवाब देता है। DeepSeek ने अपनी release notes में कहा, जैसा कि Gizmodo द्वारा उद्धृत किया गया है, कि यह 'अपने production stack को साझा करके कम्युनिटी को compute costs को कम करने, energy use को कम करने, और AI को अधिक सस्ता बनाने में मदद कर रहे हैं।'

DeepInfer क्या करता है

DeepInfer विशेष रूप से DeepSeek के V4.1-Flash मॉडल के लिए बनाया गया एक optimization layer है, एक सिस्टम जो कंपनी coding और agentic tasks के लिए बाज़ार में लाती है, Gizmodo और TechTarget के अनुसार। SiliconANGLE रिपोर्ट करता है कि DeepSeek के अपने production clusters में से एक framework का उपयोग करता है जो प्रति दिन 155 trillion tokens को serve करता है।

Framework speculative decoding पर निर्भर करता है, एक तकनीक जिसमें एक छोटा 'draft' मॉडल कई tokens को आगे की ओर प्रस्तावित करता है जबकि मुख्य मॉडल उन्हें एक single pass में जांचता है बजाय हर token को एक-एक करके उत्पन्न करने के। SiliconANGLE, DeepSeek की technical documentation का हवाला देते हुए, DeepSeek की इस विशेष प्रणाली को वर्णित करता है, जिसे DSpark कहा जाता है, जिसमें एक draft मॉडल पाँच tokens का प्रस्ताव देता है जबकि एक अलग confidence mechanism यह predict करता है कि क्या मुख्य मॉडल उन्हें स्वीकार करेगा; DeepSeek कहता है कि यह अनावश्यक सत्यापन को लगभग 30% तक कम करता है, production-scale loads के तहत 4% से 7% तक throughput gains पैदा करता है।

जारी किया गया code Nvidia के SM100 (Blackwell) GPUs और Huawei के Ascend 950 neural processing units को support करता है, लेकिन पुराने Nvidia Hopper-generation chips को नहीं, SiliconANGLE के अनुसार। TechTarget नोट करता है कि enterprises जो DeepSeek के अलावा अन्य AI मॉडल चला रहे हैं वे पहले से Nvidia के TensorRT-LLM जैसे comparable tools का उपयोग कर सकते हैं, और यह कि DeepSeek का Nvidia hardware के साथ-साथ Huawei chips पर निरंतर निर्भरता यह दर्शाती है कि Huawei अभी भी Nvidia से कुछ मामलों में पीछे है, रिपोर्ट के अनुसार।

क्या छोड़ा गया

DeepSeek ने पूर्ण production service चलाने के लिए आवश्यक सब कुछ जारी नहीं किया। SiliconANGLE रिपोर्ट करता है कि कंपनी ने अपने key-value cache management system और load-balancing code को रोक दिया क्योंकि वे DeepSeek की अपनी internal infrastructure से कसकर जुड़े हैं, और efficient deployment को अभी भी न्यूनतम 128 GPUs की आवश्यकता है — 64 prompts को process करने के लिए और 64 responses generate करने के लिए। Deterministic-output features, जो मॉडल को एक ही input के लिए सुसंगत उत्तर देते हैं, वर्तमान में केवल Nvidia hardware पर काम करती हैं, outlet जोड़ता है।

लागत तुलना और प्रतिक्रिया

Gizmodo रिपोर्ट करता है कि DeepSeek V4.1-Flash को $0.035 प्रति million input tokens और $0.12 प्रति million output tokens पर मूल्य देता है, OpenAI के GPT-6 Astra मॉडल के लिए जो इसे उद्धृत करता है $10 और $50 क्रमशः समान volumes के लिए; Gizmodo release को इस रूप में प्रस्तुत करता है कि DeepSeek OpenAI और Anthropic पर दबाव डाल रहा है। SiliconANGLE अलग से रिपोर्ट करता है कि DeepInfer-run cluster पर off-peak pricing लगभग $38 revenue प्रति GPU प्रति घंटे उत्पन्न कर सकती है।

Omdia विश्लेषक Lian Jye Su ने TechTarget को बताया कि token usage को optimize करने के बारे में उद्योग में काफी चर्चा है, यह नोट करते हुए कि token consumption में तेजी से वृद्धि हुई है क्योंकि AI adoption बढ़ रहा है। TechTarget विश्लेषकों को ऐसा देख रहा है कि release को cost-optimization move और geopolitical positioning effort दोनों के रूप में देख रहे हैं जो Chinese chip alternatives को Nvidia hardware के साथ-साथ promote भी करता है।

पृष्ठभूमि

SiliconANGLE रिपोर्ट करता है कि DeepInfer मूल रूप से April 2025 में open-source project vLLM से fork किया गया था, इसके बाद कंपनी को पूर्ण release impractical लगा उस समय। DeepSeek पहले से ही low-cost, competitive AI models जारी करने के लिए ध्यान आकर्षित कर चुकी है, और DeepInfer release इस pattern को जारी रखता है केवल एक मॉडल के बजाय infrastructure software को खोलकर।

DeepSeek ने कहा है कि यह DeepInfer framework में अतिरिक्त models के लिए support जोड़ने की योजना बना रहा है, Gizmodo के अनुसार, हालांकि कोई timeline नहीं दिया गया है।