OpenAIs Jalapeño schlägt Nvidia in Inferenz-Benchmarks
Der erste Eigenchip von OpenAI liefert in SemiAnalysis' InferenceX-Tests mehr Token pro Watt als Blackwell und Rubin – doch gemessen wurde nur ein A0-Muster.
Symbolbild: Ein Rechenzentrumsgang mit zwei gegenüberliegenden Serverschränken und dichter Kupferverkabelung im kühlen Nachtlicht.
OpenAIs erster Eigenchip Jalapeño liefert in den InferenceX-Messungen von SemiAnalysis mehr Token pro Watt und kürzere Antwortzeiten als Nvidias Blackwell- und Rubin-Systeme – allerdings bislang nur als Vorserien-Silizium in einem eng gefassten Testszenario.
Auf einen Blick
- Fertigung bei TSMC im N3P-Prozess, Entwicklungspartner ist Broadcom; Tape-out im November 2025.
- HBM4-Speicher von Samsung, 15,4 TB/s Bandbreite pro Package, 700 Watt TDP je Rechen-Die.
- InferenceX-Werte: 1,5- bis 1,9-fache Rechenleistung pro Watt, 1,7- bis 3,6-fach niedrigere Latenz gegenüber verfügbaren Systemen.
- Gemessen wurde nur A0-Silizium bei 8k Kontext und Single-Turn; die AgentX-Suite blieb außen vor.
- Serienanlauf ab 2027, Ende 2026 zunächst nur sehr kleine Stückzahlen.
OpenAI hat erstmals Messwerte zu seinem eigenen Inferenzchip Jalapeño vorgelegt. In der öffentlichen Benchmark-Suite InferenceX von SemiAnalysis erreicht der Baustein mehr Token pro Sekunde je Nutzer und mehr Durchsatz pro Kilowatt als die derzeit verfügbaren Spitzensysteme von Nvidia. Der Chip trainiert keine Modelle, er führt sie nur aus.
Was gemessen wurde
SemiAnalysis nennt für die Spitzenlast eine 1,5- bis 1,9-fach höhere Rechenleistung pro Watt und eine 1,7- bis 3,6-fach niedrigere Ende-zu-Ende-Latenz gegenüber kommerziell erhältlichen Systemen. Bei interaktiven Lasten liegt der Vorsprung zwischen dem 2,1- und dem 4,1-Fachen.
Bei DeepSeek R1 kommt Jalapeño mit einer einzelnen gleichzeitigen Anfrage auf über 700 Token pro Sekunde und Nutzer. Für GPT-OSS 120B nennen die Tester rund 1.400 Token pro Sekunde je Nutzer. Bei Kimi K2.5 liegt der Chip an einem Arbeitspunkt von 100 Token pro Sekunde und Nutzer nach Angaben von SemiAnalysis rund neunmal über dem nächstbesten Beschleuniger.
Bemerkenswert ist, wie diese Werte zustande kommen: Jalapeño nutzt weder Multi-Token-Prediction noch spekulatives Dekodieren. Die Vergleichssysteme wurden in ihren jeweils besten Konfigurationen gemessen, also mit diesen Optimierungen.
Die Hardware
Gefertigt wird bei TSMC im N3P-Prozess, Entwicklungspartner ist Broadcom. Jeder Rechen-Die zieht 700 Watt und ist an HBM4-Speicher von Samsung angebunden, der 15,4 TB/s Bandbreite pro Package liefert. Die getestete A0-Stufe hat eine Nachfolgestufe B0 bereits in der Fertigung, die laut SemiAnalysis etwa 25 Prozent mehr Leistung pro Watt bringen soll.
Rechnerisch erreicht die B0-Stufe 13,4 PFLOPS in MXFP4 je Rechen-Die. Nvidias Rubin liegt mit 17,5 PFLOPS dicht dahinter, allerdings bei höherem Leistungsbudget. Ein Rack fasst 128 Jalapeño-Bausteine; über 16 Racks hinweg spannt sich eine Scale-up-Domäne von 2.048 Beschleunigern.
Ein System aus Rechen-Rack und zugehörigem CPU-Rack braucht rund 160 kW. Die Systemebene entwirft Celestica.
Warum Watt und nicht Dollar
Die Auslegung auf Leistung pro Watt hat einen konkreten Grund: OpenAI ist nach eigener Darstellung durch verfügbare Rechenzentrumsleistung begrenzt, nicht durch Budget oder Fläche. Token pro Megawatt ist damit die entscheidende Grösse.
Richard Ho, Hardwarechef bei OpenAI, fasst es gegenüber TechCrunch so zusammen: Jalapeño könne pro Energieeinheit mehr KI-Arbeit bedienen und zugleich schneller antworten. Architektonisch setzt der Chip darauf, Datenbewegung zu vermeiden – der KV-Cache bleibt lokal, statt über das Netzwerk zu wandern.
Auffällig ist eine Entwurfsentscheidung gegen den Trend: Jalapeño trennt Prefill und Decode nicht auf getrennte Chip-Pools auf. Die Begründung lautet, dass sich das Verhältnis von Ein- zu Ausgabe im Tagesverlauf verschiebt und feste Pools dann brachliegen.
Was die Zahlen nicht belegen
SemiAnalysis legt die Grenzen der Messung offen: Alle Zahlen stammen von OpenAI. Die Tester haben die InferenceX-Läufe vor Ort im Labor verifiziert, aber weder die vollständige Suite selbst gefahren noch Ergebnisse der anspruchsvolleren AgentX-Suite gesehen.
Geprüft wurden ausschliesslich Einzelrunden-Lasten mit 8k Kontext. Mehrrundige Dialoge mit langem Kontext, wie sie im Produktivbetrieb üblich sind, blieben aussen vor – und damit auch das Verhalten von Prefix-Cache und Routing. Grössere aktuelle Modelle wie DeepSeek V4 Pro oder Kimi K3, an denen Nvidia und AMD gemessen werden, laufen auf Jalapeño bislang nicht.
Der Vergleich mit Blackwell nennt SemiAnalysis selbst unvollständig; der passende Gegenspieler sei Vera Rubin, weil beide HBM4 nutzen. Dort liegen die Kosten je ausgegebenem Token nach dieser Rechnung nahezu gleichauf. Rubin-Systeme werden bereits an Kunden ausgeliefert, von Jalapeño existieren erst Engineering-Muster.
Zeitplan
Die Entwurfsarbeit begann Mitte 2024, das Tape-out erfolgte im November 2025 – rund 16 Monate von den ersten Einstellungen bis zur Fertigung. Auf echtem Silizium wurde drei Monate lang in Betrieb genommen.
Ende 2026 sollen sehr kleine Stückzahlen entstehen, der eigentliche Serienanlauf ist für 2027 vorgesehen. Bis dahin dürfte sich der Vergleichsmassstab verschoben haben.
OpenAI setzte beim Entwurf eigene Modelle ein. Die KI-Unterstützung brachte laut SemiAnalysis 8 Prozent weniger Fläche bei der SIMD-Einheit und 10 Prozent weniger bei der Matrix-Engine.
Häufige Fragen
Was ist OpenAIs Jalapeño-Chip?
Jalapeño ist OpenAIs erster eigener ASIC, entwickelt mit Broadcom und gefertigt bei TSMC im N3P-Prozess. Er führt Sprachmodelle aus, trainiert sie aber nicht.
Ist Jalapeño schneller als Nvidias Blackwell und Rubin?
In den InferenceX-Messungen von SemiAnalysis ja – bei 1,5- bis 1,9-facher Leistung pro Watt und 1,7- bis 3,6-fach niedrigerer Latenz. Gemessen wurde jedoch nur ein A0-Vorseriemuster bei 8k Kontext und Einzelrunden-Lasten, und alle Rohdaten stammen von OpenAI.
Wann kommt der Jalapeño-Chip in den Einsatz?
Derzeit gibt es Engineering-Muster. Ende 2026 sind sehr kleine Stückzahlen geplant, der Serienanlauf beginnt 2027.
