Chińska firma zajmująca się sztuczną inteligencją DeepSeek wydała DeepInfer na GitHubie 20 października 2026 roku, upubliczniając platformę wnioskowania, która już napędza jej własne wielkoskalowe usługi produkcyjne. Oprogramowanie jest publikowane na licencji Apache 2.0 pod adresem github.com/deepseek-ai/DeepInfer, zgodnie z SiliconANGLE i TechTarget.
Wnioskowanie to etap po wytrenowaniu modelu, kiedy faktycznie generuje odpowiedzi na polecenia użytkownika. DeepSeek powiedziała w swoich notatkach do wydania, jak cytuje Gizmodo, że «udostępniamy nasz stos produkcyjny, aby pomóc społeczności obniżyć koszty obliczeń, zmniejszyć zużycie energii i uczynić AI bardziej przystępną».
Co robi DeepInfer
DeepInfer to warstwa optymalizacji zbudowana specjalnie dla modelu DeepSeek V4.1-Flash, systemu, który firma promuje do zadań kodowania i agentów, zgodnie z Gizmodo i TechTarget. SiliconANGLE donosi, że jeden z własnych klastrów produkcyjnych DeepSeek wykorzystuje platformę do obsługi 155 trylionów tokenów dziennie.
Platform opiera się na spekulacyjnym dekodowaniu — technice, w której mniejszy model "projektu" proponuje kilka tokenów z wyprzedzeniem, podczas gdy główny model sprawdza je w jednym przejściu zamiast generować każdy token jeden po drugim. SiliconANGLE, powołując się na dokumentację techniczną DeepSeek, opisuje specjalną wersję tego systemu firmy DeepSeek, zwaną DSpark, w której model projektu proponuje pięć tokenów, podczas gdy oddzielny mechanizm zaufania przewiduje, czy główny model je zaakceptuje; DeepSeek mówi, że to zmniejsza niepotrzebną weryfikację o około 30%, dając wzrost przepustowości o 4-7% przy obciążeniach na skalę produkcyjną.
Wydany kod obsługuje GPU Nvidia SM100 (Blackwell) i jednostki przetwarzania neuronowego Huawei Ascend 950, ale nie starsze chipy pokolenia Nvidia Hopper, zgodnie z SiliconANGLE. TechTarget zauważa, że przedsiębiorstwa uruchamiające modele AI inne niż DeepSeek mogą już używać porównywalnych narzędzi, takich jak TensorRT-LLM firmy Nvidia, a wciąż utrzymująca się zależność DeepSeek od sprzętu Nvidia obok chipów Huawei wskazuje, że Huawei wciąż pozostaje w tyle za Nvidią w niektórych aspektach, zgodnie z raportem.
Co pominięto
DeepSeek nie wydała wszystkiego, co jest potrzebne do uruchamiania pełnej usługi produkcyjnej. SiliconANGLE donosi, że firma zatrzymała swój system zarządzania pamięcią podręczną klucz-wartość i kod równoważenia obciążenia, ponieważ są ściśle powiązane z wewnętrzną infrastrukturą DeepSeek, a wydajne wdrożenie wciąż wymaga minimum 128 GPU — 64 poświęconych przetwarzaniu poleceń i 64 generowaniu odpowiedzi. Funkcje deterministycznego wyjścia, które sprawiają, że model zwraca spójne odpowiedzi dla tego samego wejścia, obecnie działają tylko na sprzęcie Nvidia, dodaje publikacja.
Porównanie kosztów i reakcja
Gizmodo donosi, że DeepSeek wycenia V4.1-Flash na $0,035 za milion tokenów wejściowych i $0,12 za milion tokenów wyjściowych, w porównaniu z cyframi, które podaje dla modelu OpenAI GPT-6 Astra wynoszącymi $10 i $50 odpowiednio dla tych samych wolumenów; Gizmodo przedstawia wydanie jako część nacisku DeepSeek na OpenAI i Anthropic. SiliconANGLE osobnie donosi, że ceny poza szczytem w klastrze zarządzanym przez DeepInfer mogą wygenerować około $38 przychodu na GPU na godzinę.
Analityk Omdia Lian Jye Su powiedział TechTarget, że w branży toczy się rozległa dyskusja na temat optymalizacji użycia tokenów, zauważając, że zużycie tokenów gwałtownie wzrosło wraz ze wzrostem adopcji AI. TechTarget opisuje analityków jako postrzegających wydanie zarówno jako posunięcie optymalizujące koszty, jak i jako wysiłek pozycjonowania geopolitycznego, który promuje również chińskie alternatywy chipów obok sprzętu Nvidia.
Tło
SiliconANGLE donosi, że DeepInfer był pierwotnie tworzony z projektu open-source vLLM w kwietnia 2025 roku po tym, jak firma stwierdziła, że pełne wydanie było niepraktyczne w tamtym czasie. DeepSeek wcześniej zwrócił uwagę wydaniem niedrogich, konkurencyjnych modeli AI, a wydanie DeepInfer kontynuuje ten wzorzec poprzez otworzenie oprogramowania infrastrukturalnego, a nie tylko modelu.
DeepSeek powiedziała, że planuje dodać obsługę dodatkowych modeli do platformy DeepInfer w przyszłości, zgodnie z Gizmodo, choć nie podano harmonogramu.
Ten tekst przygotowała sztuczna inteligencja, a przed publikacją przeszedł automatyczną kontrolę źródeł. Jeśli widzisz błąd, poproś o sprostowanie. Poproś o sprostowanie lub odpowiedź · Jak to robimy
