Das chinesische KI-Unternehmen DeepSeek veröffentlichte DeepInfer am 20. Oktober 2026 auf GitHub und machte damit das Inferenzframework öffentlich, von dem es sagt, dass es bereits seine eigenen großflächigen Produktionsdienste antreibt. Die Software wird unter der Apache-2.0-Lizenz unter github.com/deepseek-ai/DeepInfer veröffentlicht, wie SiliconANGLE und TechTarget berichten.
Inferenz ist die Phase nach dem Training eines Modells, wenn es tatsächlich Antworten auf Benutzeranfragen generiert. DeepSeek sagte in seinen Versionshinweisen, wie von Gizmodo zitiert, dass es "unseren Produktions-Stack teilt, um der Gemeinschaft zu helfen, Rechenkosten zu senken, Energieverbrauch zu reduzieren und KI erschwinglicher zu machen."
Was DeepInfer tut
DeepInfer ist eine Optimierungsschicht, die speziell für das V4.1-Flash-Modell von DeepSeek entwickelt wurde, ein System, das das Unternehmen für Codierungs- und agentengesteuerte Aufgaben vermarktet, wie Gizmodo und TechTarget berichten. SiliconANGLE berichtet, dass einer der eigenen Produktionscluster von DeepSeek das Framework verwendet, um 155 Billionen Token pro Tag bereitzustellen.
Das Framework basiert auf spekulativer Dekodierung, einer Technik, bei der ein kleineres "Draft"-Modell mehrere Token im Voraus vorschlägt, während das Hauptmodell diese in einem einzigen Durchgang überprüft, anstatt jeden Token einzeln zu generieren. SiliconANGLE, unter Bezugnahme auf DeepSeeks technische Dokumentation, beschreibt DeepSeeks spezifische Version dieses Systems, genannt DSpark, bei der ein Draft-Modell fünf Token vorschlägt, während ein separater Konfidenz-Mechanismus vorhersagt, ob das Hauptmodell sie akzeptiert; DeepSeek sagt, dass dies unnötige Verifikation um etwa 30% reduziert und Durchsatzgewinne von 4% bis 7% unter produktionsmaßstäblichen Lasten erzeugt.
Der freigegebene Code unterstützt Nvidias SM100 (Blackwell) GPUs und Huaweis Ascend 950 Neural Processing Units, aber nicht die älteren Nvidia Hopper-Generation-Chips, laut SiliconANGLE. TechTarget bemerkt, dass Unternehmen, die KI-Modelle anderer als DeepSeek betreiben, bereits vergleichbare Tools wie Nvidias TensorRT-LLM verwenden können, und dass DeepSeeks fortgesetzte Abhängigkeit von Nvidia-Hardware neben Huawei-Chips anzeigt, dass Huawei in einigen Aspekten noch hinter Nvidia zurückbleibt, laut dem Bericht.
Was fehlt
DeepSeek hat nicht alles freigegeben, was für den Betrieb eines vollständigen Produktionsdienstes erforderlich ist. SiliconANGLE berichtet, dass das Unternehmen sein Schlüssel-Wert-Cache-Verwaltungssystem und seinen Load-Balancing-Code zurückhielt, da diese eng mit DeepSeeks eigener interner Infrastruktur gekoppelt sind, und dass eine effiziente Bereitstellung mindestens 128 GPUs erfordert – 64 für die Verarbeitung von Eingabeaufforderungen und 64 für die Generierung von Antworten. Deterministische Ausgabefunktionen, die das Modell konsistente Antworten für die gleiche Eingabe geben, funktionieren derzeit nur auf Nvidia-Hardware, fügt der Bericht hinzu.
Kostenvergleich und Reaktion
Gizmodo berichtet, dass DeepSeek V4.1-Flash mit 0,035 Dollar pro Million Eingabe-Token und 0,12 Dollar pro Million Ausgabe-Token preist, verglichen mit den Zahlen, die es für OpenAIs GPT-6 Astra-Modell anführt – 10 Dollar bzw. 50 Dollar für die gleichen Mengen; Gizmodo rahmt die Freigabe als Teil von DeepSeeks Druck auf OpenAI und Anthropic ein. SiliconANGLE berichtet separat, dass die Off-Peak-Preisgestaltung auf einem von DeepInfer betriebenen Cluster ungefähr 38 Dollar Umsatz pro GPU pro Stunde generieren kann.
Der Omdia-Analyst Lian Jye Su sagte gegenüber TechTarget, dass es in der Industrie erhebliche Diskussionen über die Optimierung der Token-Nutzung gibt, und bemerkte, dass der Token-Verbrauch stark gestiegen ist, während die KI-Adoption wächst. TechTarget beschreibt Analysten als die Freigabe sowohl als einen Kostenoptimierungsschritt als auch als einen geopolitischen Positionierungsaufwand betrachtend, der auch chinesische Chip-Alternativen neben Nvidia-Hardware fördert.
Hintergrund
SiliconANGLE berichtet, dass DeepInfer ursprünglich im April 2025 aus dem Open-Source-Projekt vLLM abgezweigt wurde, nachdem das Unternehmen eine vollständige Freigabe zu diesem Zeitpunkt für unpraktisch befand. DeepSeek hat sich zuvor dadurch hervorgetan, kostengünstige und wettbewerbsfähige KI-Modelle freizugeben, und die DeepInfer-Freigabe setzt dieses Muster fort, indem sie Infrastruktur-Software öffnet, anstatt nur ein Modell.
DeepSeek hat gesagt, dass es plant, in Zukunft Unterstützung für zusätzliche Modelle zum DeepInfer-Framework hinzuzufügen, laut Gizmodo, obwohl keine Zeitleiste angegeben wurde.
Dieser Beitrag wurde mit künstlicher Intelligenz erstellt und vor der Veröffentlichung automatisch auf Quellen geprüft. Wenn Sie einen Fehler sehen, bitten Sie um eine Korrektur. Korrektur oder Gegendarstellung anfordern · So arbeiten wir
