חברת הבינה המלאכותית הסינית DeepSeek שחררה את DeepInfer ב-GitHub ב-20 באוקטובר 2026, והעלתה לציבור את מסגרת ההסקה שהיא אומרת כבר מהווה את שירותי הייצור בקנה מידה גדול שלה. התוכנה פורסמה תחת רישיון Apache 2.0 ב-github.com/deepseek-ai/DeepInfer, לפי SiliconANGLE ו-TechTarget.
הסקה היא השלב שאחרי שדגם אומן, כאשר הוא בפועל יוצר תשובות לשאילתות משתמשים. DeepSeek אמרה בהערות הגרסה שלה, כפי שצוטטה על ידי Gizmodo, שהיא "משתפת את ערמת הייצור שלנו כדי לעזור לקהילה להוריד עלויות חישוב, להפחית צריכת אנרגיה, ולהפוך את הבינה המלאכותית לנגישה יותר."
מה עושה DeepInfer
DeepInfer היא שכבת אופטימיזציה שנבנתה במיוחד עבור דגם DeepSeek-V4.1-Flash, מערכת שהחברה משווקת למשימות קידוד ומשימות עצמאיות, לפי Gizmodo ו-TechTarget. SiliconANGLE מדווח שאחד מקבוצות הייצור שלהן של DeepSeek משתמש במסגרת כדי להשרת 155 טריליון אסימונים ביום.
המסגרת מסתמכת על פענוח ספקולטיבי, טכניקה שבה דגם "טיוטה" קטן יותר מציע מספר אסימונים מראש בעוד שהדגם הראשי בודק אותם במעבר יחיד במקום ליצור כל אסימון אחד אחד. SiliconANGLE, בהתייחס לתיעוד הטכני של DeepSeek, מתאר את הגרסה הספציפית של DeepSeek של המערכת הזו, הנקראת DSpark, שבה דגם הטיוטה מציע חמישה אסימונים בעוד שמנגנון ביטחון נפרד חוזה האם הדגם הראשי יקבל אותם; DeepSeek אומרת שזה מפחית אימות מיותר בכ-30%, מה שמייצר עלויות ייצור של 4% עד 7% תחת עומסי ייצור.
הקוד שוחרר תומך ב-GPU Nvidia SM100 (Blackwell) ובנ-NPU Huawei Ascend 950, אך לא בשבבי Nvidia מהדור Hopper הישן יותר, לפי SiliconANGLE. TechTarget מציינת שארגונים המשדרים דגמי בינה מלאכותית שאינם DeepSeek יכולים כבר להשתמש בכלים דומים כגון Nvidia TensorRT-LLM, וכי ההסתמכות המתמשכת של DeepSeek על חומרה Nvidia לצד שבבי Huawei מציינת כי Huawei עדיין מפגרת אחרי Nvidia בכמה היבטים, לפי הדוח.
מה חסר
DeepSeek לא שחררה כל מה שנדרש לריצת שירות ייצור מלא. SiliconANGLE מדווחת שהחברה החזיקה בנמצא את מערכת הניהול של שטר-ערך שלה וקוד אזון עומס מכיוון שהם קשורים בקשר הדוק לתשתית הפנימית שלה, וכי פריסה יעילה עדיין דורשת מינימום של 128 GPUs — 64 ייעודיים לעיבוד הנושאים ו-64 ליצירת תגובות. תכונות פלט דטרמיניסטיות, שגורמות לדגם להחזיר תשובות עקביות לאותו קלט, כרגע עובדות רק על חומרה Nvidia, הפלט מוסיף.
השוואת עלויות ותגובה
Gizmodo מדווחת ש-DeepSeek מחירה את V4.1-Flash ב-0.035 דולר לכל מיליון אסימוני קלט ו-0.12 דולר לכל מיליון אסימוני פלט, בהשוואה לנתונים שהיא מייחסת למודל OpenAI GPT-6 Astra בסכום של $10 ו-$50 בהתאמה לאותן כמויות; Gizmodo מסגרת את הגרסה כחלק מ-DeepSeek ממפעילה לחץ על OpenAI ו-Anthropic. SiliconANGLE מדווחת בנפרד שתמחור מחוץ לשעות השיא בקבוצת DeepInfer-run יכול ליצור בערך $38 בהכנסות לכל GPU לשעה.
אנליסט ה-Omdia Lian Jye Su אמר ל-TechTarget שיש דיון תעשייתי ניכר לגבי אופטימיזציה של שימוש באסימונים, וציין שצריכת אסימונים עלתה בחדות כאשר אימוץ בינה מלאכותית גדל. TechTarget מתארת אנליסטים כרואים את הגרסה הן כצעד אופטימיזציה של עלויות והן כמאמץ לאישור גיאופוליטי שגם מעודד חלופות שבבים סיניים לצד חומרה Nvidia.
רקע
SiliconANGLE מדווחת ש-DeepInfer בתחילה התפצלה מפרויקט vLLM בקוד פתוח באפריל 2025, לאחר שהחברה מצאה שגרסה מלאה לא היתה מעשית בזמן הזה. DeepSeek משך קודם לכן תשומת לב על ידי שחרור דגמי בינה מלאכותית בעלות נמוכה וקומפטיטיביים, והשחרור המשך של DeepInfer ממשיך בתבנית זו על ידי פתיחת תוכנת תשתית במקום רק דגם.
DeepSeek אמרה שהיא מתכננת להוסיף תמיכה במודלים נוספים למסגרת DeepInfer בעתיד, לפי Gizmodo, אם כי לא ניתן לוח זמנים.
