DeepSeek macht Inferenz-Framework DeepInfer open source

DeepSeek hat DeepInfer veroeffentlicht – das Inferenz-Framework, das nach Angaben des Unternehmens seine Produktionsdienste im grossen Stil traegt. Der Code steht unter Apache 2.0 im Repository deepseek-ai/DeepInfer. Mitgeliefert wird deepseek-recipe, eine Bibliothek, die das Token-Verhalten der offiziellen DeepSeek-API fuer eigene Deployments nachbildet.

Was im Paket steckt

Das Repository nennt eine Reihe eigener Rechenkerne: FlashMLA, DeepGEMM, DeepEP, TileKernels und DeepSelect. Dazu kommen Datenparallelitaet fuer die Attention, balancierte Context-Parallelitaet sowie Expert Parallelism fuer die MoE-Schichten samt Lastausgleich (EPLB). Die Ablaufsteuerung uebernimmt ein asynchroner Batch-Scheduler, den DeepSeek als "zero-overhead" bezeichnet.

Fuer spekulatives Dekodieren ist DSpark zustaendig, flankiert von einer konfidenzgesteuerten Verifikation und einem begrenzten Replay fuer Sliding-Window-Attention. Fuer Entwicklerteams duerften zwei weitere Punkte am schwersten wiegen: batch-invariante Inferenz und deterministisches Sampling, also reproduzierbare Ausgaben unabhaengig davon, mit welchen anderen Anfragen eine Anfrage gerade gebuendelt wird. Strukturierte Ausgaben sind ueber Regex, JSON-Schema und EBNF-Grammatiken moeglich.

Hardware: ein schmales Fenster

Lauffaehig ist das Framework auf Nvidia-GPUs der Generation SM100 und auf Huawei Ascend 950. Vorausgesetzt werden Linux, GCC ab 13.0, Python 3.12 und CUDA 13 beziehungsweise CANN 9.2. SiliconAngle berichtet, dass Nvidia Hopper und aeltere Architekturen nicht unterstuetzt werden – wer auf bestehenden H100-Flotten sitzt, bleibt damit zunaechst aussen vor.

Die im Repository gezeigten Messkurven beziehen sich auf einen Aufbau mit 4 SM100-GPUs fuer die Prefill-Phase und 64 GPUs fuer das Decoding, jeweils innerhalb einer Scale-up-Domain. Konkrete Zahlenwerte stehen dort nur in den Diagrammen, nicht im Text – aus dem README allein laesst sich der Durchsatz also nicht nachrechnen.

Was bewusst fehlt

DeepSeek listet selbst auf, was ein vollstaendiger Inferenzdienst braucht, aber nicht mitkommt: ein KV-Cache-System, die Disaggregation von VE, Prefill und Decode sowie die Lastverteilung ueber datenparallele Repliken. Diese Teile haengen laut SiliconAngle an der internen Infrastruktur des Unternehmens. Wer DeepInfer produktiv fahren will, muss sie selbst bauen.

Einordnung

SiliconAngle beschreibt DeepInfer als ursprunglich frueher Fork von vLLM, the-decoder formuliert es so, dass das Framework auf vLLM aufsetzt. Die spaete Freigabe begruendet DeepSeek demnach mit der begrenzten Kapazitaet eines kleinen Forschungsteams, das vor allem an Modellen arbeitet. Zum Zeitpunkt der Abfrage zaehlte das Repository rund 14.100 Sterne, 1.300 Forks und 120 offene Pull Requests.

Mehrere Kennzahlen stammen bislang nur aus der Berichterstattung und nicht aus dem README: SiliconAngle nennt 155 Billionen Token pro Tag in einem Cluster, 38 US-Dollar Umsatz pro GPU-Stunde ausserhalb der Spitzenzeiten, 4 bis 7 Prozent Durchsatzgewinn durch spekulatives Dekodieren, eine Reduktion des Prefill-Rechenaufwands um knapp 50 Prozent und eine um etwa 30 Prozent gekuerzte Verifikation von Draft-Token. Diese Werte waren in der von uns gelesenen Repository-Fassung nicht auffindbar; sie bleiben daher an die Quelle gebunden und sind nicht unabhaengig geprueft.

Zeitlicher Kontext

Die Veroeffentlichung fiel laut SiliconAngle auf den Tag nach einer Anweisung des US-Heimatschutzministeriums, DeepSeek-Produkte aus den Systemen der zivilen Bundesbehoerden zu entfernen. The-decoder ordnet den Schritt in den Technologiewettbewerb zwischen den USA und China ein. Als eigenes Ziel fuehrt DeepSeek an, der Community zu helfen, Rechenkosten und Energieverbrauch zu senken und KI erschwinglicher zu machen.