OpenAI sagt, sein erster kundenspezifischer Inferenzchip, Jalapeño, könne deutlich mehr KI-Arbeit pro Watt leisten und gleichzeitig die Antwortlatenz über mehrere große Sprachmodelle hinweg senken. Das Unternehmen sagt, das System sei darauf ausgelegt, den üblichen Kompromiss zwischen Durchsatz und Reaktionsfähigkeit zu vermeiden – eine Behauptung, die an Bedeutung gewinnen könnte, da KI-Agenten zunehmend mehr Modellaufrufe benötigen, um eine Aufgabe abzuschließen.

Die Ergebnisse beruhen auf OpenAIs Tests mit dem öffentlichen InferenceX-Benchmark und Vergleichen mit kommerziell verfügbaren Beschleunigersystemen. OpenAI plant, Jalapeño bis zum Jahresende in seiner Recheninfrastruktur einzusetzen, während die Produktionsqualifizierung, die Softwareentwicklung und Tests mit weiteren Modellen fortgesetzt werden.

Von OpenAI gemeldete Leistungsgewinne

Laut OpenAI lieferte Jalapeño bei maximalem Durchsatz zwischen 1,5- und 1,9-mal mehr KI-Arbeit pro Watt als Vergleichssysteme über GPT‑OSS 120B, DeepSeek R1 670B und Kimi K2.5 1T hinweg. Das Unternehmen berichtet außerdem von einer 1,7- bis 3,6-mal niedrigeren End-to-End-Latenz über die getesteten Workloads.

Bei stark interaktiven Workloads sagt OpenAI, die Leistung sei 2,1- bis 4,1-mal höher gewesen. Bei Kimi K2.5, das das Unternehmen als größtes öffentliches Modell im Testset beschreibt, soll Jalapeño etwa 1,5-mal höhere Spitzenleistung pro Watt und 3,4-mal niedrigere End-to-End-Latenz als das Vergleichssystem geliefert haben.

Diese Zahlen sind von OpenAI berichtete Ergebnisse, keine unabhängige Validierung, die in den verfügbaren Belegen präsentiert wurde. Das Unternehmen sagt, die Tests hätten InferenceX verwendet, einen öffentlichen Benchmark von SemiAnalysis, der den kompletten Prozess des Bereitstellens einer KI-Anfrage misst, statt sich nur auf Chip-Spezifikationen zu konzentrieren.

OpenAI normalisierte die Vergleiche anhand der veröffentlichten Chip-Leistungsangaben jedes Beschleunigers. Jalapeño ist mit 700 Watt angegeben, obwohl OpenAI sagt, die gemessene Dauerleistung habe bei den getesteten Workloads bei 550 Watt oder darunter gelegen. Zu den von OpenAI aufgeführten Vergleichen gehören Systeme auf Basis von NVIDIAs GB200- und GB300-Plattformen mit Package-Thermal-Design-Power-Werten von 1.200 beziehungsweise 1.400 Watt.

Ein auf Inferenz-Workloads ausgelegtes System

OpenAIs Argument lautet, dass Jalapeños Vorteil über den Beschleuniger selbst hinausgeht. Das Unternehmen sagt, es habe Chip, Speicher, Netzwerk, Software und Rack-Scale-System gemeinsam um das Verhalten moderner Inferenz von Sprachmodellen herum entworfen.

Dieses Verhalten ist uneinheitlich. Die Prefill-Phase, in der ein Prompt verarbeitet wird, ist tendenziell rechnerintensiv. Das Decode, bei dem das Modell eine Antwort Token für Token erzeugt, wird stärker durch Speicherbandbreite begrenzt. Die Kommunikation zwischen Chips kann eine weitere Verzögerungsquelle darstellen, insbesondere wenn Modellzustände zwischen getrennten Ressourcen bewegt werden müssen.

Jalapeño soll Daten, einschließlich des während der Generierung verwendeten Key-Value-Caches, nahe bei den Rechenressourcen halten, die sie benötigen. OpenAI sagt, seine Netzwerkarchitektur ermögliche es, dass ein Workload innerhalb eines verbundenen Systems bleibt, wodurch Datenbewegungen reduziert und das System dabei unterstützt werde, sowohl Prefill als auch Decode effizient zu verarbeiten.

Dieses Designziel ist besonders relevant für KI-Agenten. Agenten führen oft mehrere aufeinanderfolgende Modellaufrufe aus, nutzen Werkzeuge und bewerten Zwischenergebnisse. Eine kleine Verzögerung bei jedem Schritt kann sich zu einer merklich langsameren Aufgabe aufsummieren. Höherer Durchsatz kann Infrastrukturbetreibern außerdem helfen, mehr gleichzeitige Anfragen zu bedienen, allerdings nur, wenn die Latenz für die interaktive Nutzung akzeptabel bleibt.

KI half beim Bau und bei der Programmierung des Chips

OpenAI sagt, dass KI-Tools direkt an der Entwicklung von Jalapeño beteiligt waren. Das Unternehmen berichtet, mithilfe von KI von der ersten Entwurfsphase bis zum Tape-out in neun Monaten gekommen zu sein, indem es KI einsetzte, um Implementierungen zu erkunden, Design- und Verifizierungszyklen zu verkürzen und Iterationen gegen Modell-Workloads durchzuführen. Es sagt außerdem, dass KI-unterstützte Arbeit half, arithmetische Schaltungen zu optimieren und zusätzliche Rechenleistung in den Zeitplan des Chips zu integrieren.

Auch die Programmierungsarbeit liefert einen weiteren Teil von OpenAIs Argument für kundenspezifische Hardware. Mit Codex und GPT‑Astra brachten Ingenieure laut dem Unternehmen drei Open-Weight-Modelle, die nicht im ursprünglichen Produktionsplan von Jalapeño enthalten waren, innerhalb von zwei Monaten auf hohe Leistung.

OpenAI sagt, KI-generierte Implementierungen für ausgewählte GPT‑OSS-Attention- und Mixture-of-Experts-Blöcke liefen 1,5- bis 1,8-mal schneller als bestehende Implementierungen von menschlichen Experten. Das Unternehmen beschränkt diese Behauptung ausdrücklich auf ausgewählte Blöcke und nicht auf vollständige Modelle; sie sollte daher nicht als Beschleunigung des Gesamtmodells verstanden werden.

Die Unterstützung neuer Modellfamilien erfordert weiterhin neue Kernel und modellspezifische Optimierungen. Diese Qualifizierung ist wichtig für Käufer und Infrastrukturteams, die bewerten, ob sich ein kundenspezifischer Beschleuniger anpassen kann, wenn sich Modellarchitekturen ändern.

Was Jalapeño für die KI-Infrastruktur bedeutet

Für OpenAI liegt der unmittelbare Nutzen in einem operativen Hebel. Mehr nutzbare Modell-Ausgabe bei gleichem Strom- und Hardwarebudget könnte die Kosten für die Bereitstellung von Anfragen senken oder es dem Unternehmen erlauben, mehr Nachfrage ohne entsprechend schnellen Infrastrukturaufbau zu bewältigen. Niedrigere Latenz könnte zudem interaktivere Agenten-Workflows praktikabel machen.

Der Chip bedeutet keinen Rückzug von kommerziellen Hardwareanbietern. OpenAI sagt, es werde weiterhin Beschleuniger von NVIDIA und anderen Partnern für Training und Inferenz einsetzen. Jalapeño scheint daher als zusätzliche Plattform innerhalb einer gemischten Infrastrukturstrategie positioniert zu sein, nicht als unmittelbarer Ersatz für externe Siliziumlösungen.

Für KI-Entwickler und Unternehmenskäufer wird die zentrale Frage sein, ob die gemeldeten Gewinne die Produktionsbedingungen überstehen. Benchmark-Leistung kann sich von der eingesetzten Leistung unterscheiden, unter anderem wegen Software-Reife, Modellkompilierung, Speicherkapazität, Netzwerk-Overhead, Auslastungsmustern und der Schwierigkeit, neue Modellfamilien zu unterstützen.

OpenAIs Full-Stack-Ansatz könnte dem Unternehmen eine engere Kontrolle über diese Variablen für eigene Workloads geben. Er schafft aber auch einen Zielkonflikt: Kundenspezifische Hardware kann starke Ergebnisse für die Modelle und Bedienmuster liefern, für die sie entworfen wurde, doch ihr langfristiger Wert hängt davon ab, wie schnell der Software-Stack Modelle aufnehmen kann, die während des Designs nicht vorhergesehen wurden.

Worauf man als Nächstes achten sollte

Das erste Signal wird der Einsatz sein. OpenAI sagt, Jalapeño solle bis zum Jahresende in seine Recheninfrastruktur aufgenommen werden, doch die Belege nennen weder den anfänglichen Umfang noch die Produkte oder Kunden-Workloads, die ihn verwenden werden.

Der Markt sollte außerdem auf unabhängige oder kundenprüfbare Messungen jenseits von OpenAIs InferenceX-Ergebnissen achten. Nützliche Details wären etwa die nachhaltige Leistung unter Produktionsauslastung, Software-Overhead, Kosten pro abgeschlossener Anfrage, Modellabdeckung und Vergleiche, die die gesamte Systemleistung statt nur veröffentlichter Package-Ratings berücksichtigen.

OpenAI sagt, Gen 2 befinde sich bereits in Entwicklung und Gen 3 nehme Form an. Fortschritte bei diesen Generationen sowie das Tempo der Kernel-Entwicklung für neue Modelle werden darauf hindeuten, ob Jalapeño zu einer dauerhaften Plattform wird oder vor allem eine Optimierung für OpenAIs internen Stack darstellt.

Perspektive von Creati.ai

Jalapeño ist bedeutsam, weil OpenAI vom Kauf von Inferenzkapazität dazu übergeht, mehr von dem Hardware-Software-Stack zu gestalten, der bestimmt, wie effizient seine Modelle bereitgestellt werden. Die gemeldete Kombination aus Durchsatz und Latenz ist strategisch nützlicher als eine einzelne Spitzen-Geschwindigkeitszahl, insbesondere für Produkte, die auf KI-Agenten aufbauen.

Dennoch bleiben die stärksten Behauptungen vom Anbieter berichtet, und der Chip wurde in den vorliegenden Belegen bislang nicht in breitem Produktionseinsatz gezeigt. Der nächste Test ist operativ: ob OpenAI Benchmark-Effizienz in einen zuverlässigen, flexiblen und kosteneffizienten Dienst über wechselnde Modelle und reale Kundennachfrage hinweg übersetzen kann.