DeepSeek نے DeepInfer کو کھول دیا ہے، ایک inference ٹول جو AI چلانے کی لاگت کو کم کرتا ہے

چینی AI کمپنی DeepSeek نے 20 اکتوبر 2026 کو GitHub پر DeepInfer کو جاری کیا، اس inference framework کو عوام کے لیے کھول دیا جو کمپنی کہتی ہے کہ اس کی بڑے پیمانے پر production سروسز چلاتا ہے۔ سافٹ وے کو Apache 2.0 لائسنس کے تحت github.com/deepseek-ai/DeepInfer پر شائع کیا گیا ہے، SiliconANGLE اور TechTarget کے مطابق۔

Inference وہ مرحلہ ہے جو ماڈل کی training کے بعد آتا ہے، جب یہ واقعی صارف کے prompts کے جوابات دیتا ہے۔ DeepSeek نے اپنی release notes میں کہا، جیسا کہ Gizmodo نے حوالہ دیا، کہ یہ 'اپنے production stack کو شیئر کر رہے ہیں تاکہ کمیونٹی compute costs کو کم کر سکے، energy use کو کم کر سکے، اور AI کو مزید affordable بنا سکے۔'

DeepInfer کیا کرتا ہے

DeepInfer خصوصی طور پر DeepSeek کے V4.1-Flash ماڈل کے لیے بنایا گیا ایک optimization layer ہے، ایک نظام جو کمپنی coding اور agentic tasks کے لیے بڑھاتی ہے، Gizmodo اور TechTarget کے مطابق۔ SiliconANGLE رپورٹ کرتا ہے کہ DeepSeek کے اپنے production clusters میں سے ایک فریم ورک کو استعمال کرتا ہے تاکہ روزانہ 155 trillion tokens کو serve کیا جا سکے۔

فریم ورک speculative decoding پر منحصر ہے، ایک تکنیک جس میں ایک چھوٹا 'draft' ماڈل کئی tokens کو آگے کی طرف تجویز کرتا ہے جبکہ main ماڈل انہیں ایک single pass میں چیک کرتا ہے بجائے ہر token کو ایک ایک کرکے بنانے کے۔ SiliconANGLE، DeepSeek کی technical documentation کے حوالے سے، DeepSeek کے اس خاص نسخے کو بیان کرتا ہے، جسے DSpark کہا جاتا ہے، جس میں ایک draft ماڈل پانچ tokens کی تجویز دیتا ہے جبکہ ایک الگ confidence mechanism یہ predict کرتا ہے کہ آیا main ماڈل انہیں قبول کرے گا؛ DeepSeek کہتا ہے کہ یہ غیر ضروری تصدیق کو تقریباً 30% سے کم کرتا ہے، production-scale loads کے تحت 4% سے 7% تک throughput gains پیدا کرتا ہے۔

جاری کردہ code Nvidia کے SM100 (Blackwell) GPUs اور Huawei کے Ascend 950 neural processing units کو سپورٹ کرتا ہے، لیکن پرانے Nvidia Hopper-generation chips کو نہیں، SiliconANGLE کے مطابق۔ TechTarget نوٹ کرتا ہے کہ enterprises جو DeepSeek کے علاوہ دوسرے AI ماڈلز چلا رہے ہیں وہ پہلے سے Nvidia کے TensorRT-LLM جیسے comparable tools استعمال کر سکتے ہیں، اور یہ کہ DeepSeek کا Nvidia hardware کے ساتھ ساتھ Huawei chips پر مسلسل انحصار یہ ظاہر کرتا ہے کہ Huawei ابھی بھی Nvidia سے کچھ حوالوں سے پیچھے ہے، رپورٹ کے مطابق۔

کیا چھوڑ دیا گیا

DeepSeek نے مکمل production service چلانے کے لیے ضروری سب کچھ جاری نہیں کیا۔ SiliconANGLE رپورٹ کرتا ہے کہ کمپنی نے اپنے key-value cache management system اور load-balancing code کو روک رکھا کیونکہ وہ DeepSeek کی اپنی internal infrastructure سے مضبوطی سے جڑے ہوئے ہیں، اور کہ efficient deployment کو کم از کم 128 GPUs کی ضرورت ہے — 64 prompts کو process کرنے کے لیے اور 64 responses generate کرنے کے لیے۔ Deterministic-output features، جو ماڈل کو اسی input کے لیے مستقل جوابات دیتے ہیں، فی الوقت صرف Nvidia hardware پر کام کرتے ہیں، outlet شامل کرتا ہے۔

لاگت کا موازنہ اور رد عمل

Gizmodo رپورٹ کرتا ہے کہ DeepSeek V4.1-Flash کو $0.035 فی million input tokens اور $0.12 فی million output tokens پر price دیتا ہے، جبکہ OpenAI کے GPT-6 Astra ماڈل کے لیے اس کے حوالے میں $10 اور $50 بالترتیب ہیں اسی volumes کے لیے؛ Gizmodo release کو اس طور پر پیش کرتا ہے جیسے DeepSeek OpenAI اور Anthropic پر دباؤ ڈال رہا ہے۔ SiliconANGLE الگ سے رپورٹ کرتا ہے کہ DeepInfer-run cluster پر off-peak pricing تقریباً $38 revenue فی GPU فی hour generate کر سکتی ہے۔

Omdia analyst Lian Jye Su نے TechTarget کو بتایا کہ token usage کو optimize کرنے کے بارے میں صنعت میں کافی discussion ہے، یہ نوٹ کرتے ہوئے کہ token consumption میں تیزی سے اضافہ ہوا ہے کیونکہ AI adoption بڑھ رہا ہے۔ TechTarget analysts کو اس طور پر بیان کرتا ہے جیسے release کو ایک cost-optimization move اور ایک geopolitical positioning effort دونوں کے طور پر دیکھ رہے ہیں جو Chinese chip alternatives کو Nvidia hardware کے ساتھ ساتھ بھی promote کرتا ہے۔

پس منظر

SiliconANGLE رپورٹ کرتا ہے کہ DeepInfer اصل میں April 2025 میں open-source project vLLM سے fork کیا گیا تھا، اس کے بعد کمپنی کو ایک مکمل release impractical لگا اس وقت۔ DeepSeek پہلے سے کم لاگت، competitive AI models جاری کرنے کے لیے توجہ حاصل کر چکی ہے، اور DeepInfer release اس pattern کو جاری رکھتا ہے صرف ایک ماڈل کے بجائے infrastructure software کو کھول کر۔

DeepSeek نے کہا ہے کہ یہ DeepInfer framework میں اضافی models کے لیے support شامل کرنے کی منصوبہ بندی کر رہی ہے، Gizmodo کے مطابق، اگرچہ کوئی timeline نہیں دیا گیا ہے۔