NVIDIA sagt, dass seine kommende Vera Rubin NVL72-Plattform auf Basis früher Messungen mit einer Arbeitslast, die produktionsnahe Coding-Agenten nachbilden soll, bis zu 30-mal mehr agentische KI-Durchsatzleistung pro Megawatt als sein GB300 NVL72-System liefern kann. Die Behauptung rückt die Energieeffizienz – und nicht nur die maximale Token-Zahl pro Sekunde – in den Mittelpunkt des nächsten Wettstreits um KI-Infrastruktur.

Das Unternehmen veröffentlichte die Ergebnisse in zwei NVIDIA-Blogbeiträgen und beschrieb sie als Vorabdaten, die mit dem SemiAnalysis AgentX-Benchmark gemessen wurden. Die Messungen wurden bislang nicht unabhängig von SemiAnalysis überprüft, was die Ergebnisse wichtig, aber weiterhin vom Hersteller berichtet macht. Für KI-Entwickler und Infrastrukturbetreiber ist der Vergleich bedeutsam, weil mehrstufige Agenten deutlich mehr Kontext und Modellaufrufe verbrauchen als herkömmliche Chat-Interaktionen, was sowohl den Rechenbedarf als auch die Energiekosten erhöht.

Warum Agenten-Workloads die Infrastruktur-Gleichung verändern

Traditionelle Inferenz-Benchmarks verwenden oft feste Prompt- und Ausgabelängen. NVIDIA argumentiert, dass diese Tests einen Agenten nur unzureichend abbilden, der wiederholt Schlussfolgerungen zieht, Werkzeuge aufruft, Arbeit an Sub-Agenten delegiert und von einem Schritt zum nächsten einen wachsenden Kontext mitführt.

Das Unternehmen verweist auf OpenRouter-Daten, denen zufolge agentische Anfragen etwa 15-mal so viele Tokens verwenden wie gewöhnliche Chat-Anfragen. In einem von NVIDIA genannten Beispiel könnte ein Investment-Recherche-Agent Finanzdatenbanken abfragen, Einreichungen und Nachrichten durchsuchen, ein anderes Modell zum Vergleich von Peers auffordern, eine Bewertungsanalyse durchführen und dann eine Empfehlung zusammenstellen. Jeder Schritt kann Informationen hinzufügen, die später als Eingabe dienen.

Dieses Muster erzeugt gleichzeitig mehrere Leistungsanforderungen. Systeme müssen lange Prompts verarbeiten, Key-Value-Caches erhalten und wiederverwenden, variable Ausgabelängen handhaben und Pausen tolerieren, während Werkzeuge ausgeführt werden. Außerdem müssen sie für mehrere Nutzer eine akzeptable Antwortgeschwindigkeit aufrechterhalten, statt lediglich den Gesamtdurchsatz unter einer festen synthetischen Arbeitslast zu maximieren.

Die NVIDIA-Ergebnisse konzentrieren sich auf DeepSeek V4 Pro und andere große Modelle, darunter Kimi K3, MiniMax M3, GLM5.3 und Qwen3.5. Der Hauptvergleich erfolgt zwischen Vera Rubin NVL72 und GB300 NVL72, zwei Rack-Scale-Systemen, die um einen 72-GPU-Scale-up-Domänenverbund herum aufgebaut sind.

Was NVIDIA gemessen hat – und was weiterhin unbestätigt bleibt

NVIDIA sagt, dass Vera Rubin NVL72 auf SemiAnalysis AgentX bis zu 30-mal höheren AI-Factory-Durchsatz pro Megawatt als GB300 NVL72 erreicht hat. Der entwicklerorientierte Beitrag spezifiziert, dass dieser Vergleich bei 160 Tokens pro Sekunde und Nutzer auf der AgentX-DeepSeek-V4-Pro-Arbeitslast erzielt wurde. NVIDIA sagt außerdem, dass das Ergebnis den Durchsatz innerhalb desselben Leistungsbudgets unter Einhaltung des genannten interaktiven Bereitstellungsziels darstellt.

Der AgentX-Benchmark wird als Open-Source-Komponente der InferenceX-Suite von SemiAnalysis beschrieben. Er spielt aufgezeichnete Claude-Code-Sitzungen Schritt für Schritt ab und bewahrt dabei Kontextwachstum, Eingabe- und Ausgabelängen, Denkintervalle und Verzögerungen bei Tool-Aufrufen. Der Benchmark variiert außerdem die Parallelität und berichtet den Durchsatz pro Megawatt zusammen mit Latenz- und Interaktivitätsmaßen wie der Zeit bis zum ersten Token.

Diese Details machen AgentX für die produktive Bereitstellung von Agenten relevanter als einen einzelnen Request-Test mit fester Länge, aber sie machen die 30x-Zahl noch nicht zu einem unabhängig validierten Branchenstandard. NVIDIA sagt, dass die Vera-Rubin-Messungen noch auf eine Prüfung durch SemiAnalysis warten. Das Unternehmen merkt außerdem an, dass die frühen Daten keine Vera-CPU-Leistung für Tool-Aufrufe enthalten, was die Gesamtsystemergebnisse beeinflussen könnte.

NVIDIA meldet weitere Generationenvergleiche aus derselben Arbeitslast. Demnach liefert GB300 NVL72 bei DeepSeek V4 Pro bis zu 15-mal so viel Durchsatz pro Megawatt wie H200 NVL8 und bei dem deutlich größeren Modell Kimi K3 2.8T sogar bis zu 80-mal so viel. Außerdem behauptet das Unternehmen, dass Vera Rubin die Kosten pro Million Tokens im Vergleich zu GB300 NVL72 um bis zu 35-mal senken kann. Diese Werte sind NVIDIA-Messungen und sollten als Leistungsbehauptungen behandelt werden, bis sie unabhängig reproduziert werden.

Das Systemdesign hinter den Effizienzbehauptungen

NVIDIA führt die Gewinne nicht auf die GPU allein zurück, sondern auf koordinierte Änderungen bei Hardware, Netzwerken und Serving-Software. Das NVL72-Design verbindet 72 GPUs über NVIDIAs NVLink-Fabric, sodass die Plattform Mixture-of-Experts-Berechnungen verteilen und zwischengespeicherten Kontext über die Rack-Scale-Domäne teilen kann.

Das Unternehmen sagt, dass NVLink der sechsten Generation und seine Switches höhere Paketraten und geringere Latenz als handelsübliche Ethernet-Alternativen bieten. Diese Konnektivität soll großskalige Expert Parallelism, verteiltes Key-Value-Caching und das Routing von Anfragen an GPUs unterstützen, die bereits relevanten Kontext enthalten.

Auf der Softwareseite verweist NVIDIA auf disaggregated serving, bei dem Prefill und Decode in getrennt skalierten Pools laufen. Der NVIDIA-Dynamo-Serving-Stack ist darauf ausgelegt, diese Phasen zu koordinieren, Sitzungsinformationen zu nutzen und Anfragen teilweise anhand von Cache-Überschneidungen weiterzuleiten. Solche Funktionen sind für Agenten besonders relevant, weil dieselbe Aufgabe über eine längere Sitzung viele verwandte Modellaufrufe erzeugen kann.

NVIDIA nennt außerdem TensorRT-LLM, vLLM und SGLang als Teile des breiteren Serving-Ökosystems sowie DeepGEMM-basierte Kernel, verschmolzene Mixture-of-Experts-Ausführung und Formate mit geringerer Präzision. Das Ausgangsmaterial verweist in unterschiedlichen Beschreibungen der Plattform sowohl auf NVFP4- als auch auf MXFP4/MXFP8-Techniken. Diese Methoden können den Speicherverbrauch senken und den arithmetischen Durchsatz erhöhen, wobei die praktischen Kompromisse bei Qualität und Kompatibilität vom Modell und der Bereitstellungskonfiguration abhängen.

Das Unternehmen sagt separat, dass seine DSX-MaxLPS-Energieverwaltungstechnologie bis zu 40% mehr GPUs innerhalb desselben Megawatt-Budgets bereitstellen kann. Auch das ist eine von NVIDIA berichtete Fähigkeit und kein Ergebnis, das durch den AgentX-Vergleich selbst belegt wurde.

Was das Ergebnis für KI-Betreiber bedeutet

Wenn die Schlagzeilen-Zahlen unabhängige Tests überstehen, könnte die kommerzielle Wirkung erheblich sein. KI-Fabriken stoßen zunehmend an Grenzen bei verfügbarer Elektrizität, Kühlkapazität und den Kosten für die Bereitstellung lang laufender Sitzungen. Mehr agentische Arbeit pro Megawatt könnte es einem Betreiber erlauben, mehr Kunden aus einer bestehenden Leistungszuweisung zu bedienen oder die benötigte Infrastruktur für ein festes Nutzungsniveau zu reduzieren.

Die Auswirkungen variieren je nach Arbeitslast. Ein kurzer Konversationsassistent profitiert möglicherweise nicht so stark wie ein Coding-, Recherche- oder Kundenservice-Agent, der wiederholt Werkzeuge aufruft und Kontext anhäuft. Auch die Modellarchitektur spielt eine Rolle: NVIDIAs stärkste Vergleiche betreffen große Mixture-of-Experts-Systeme, bei denen die Kommunikation zwischen GPUs und das Cache-Management die Serving-Leistung dominieren können.

Für Produktteams unterstreichen die Zahlen die Notwendigkeit, komplette Agenten-Workflows statt isolierter Modellaufrufe zu messen. Die Bewertung sollte Tool-Latenz, Cache-Wiederverwendung, Parallelität, Interaktivität für den Nutzer und Kosten pro abgeschlossenem Auftrag einbeziehen. Eine Plattform, die Tokens günstig erzeugt, aber zwischen Tool-Aufrufen stockt, liefert möglicherweise keine bessere Anwendungserfahrung.

Die Behauptungen erhöhen auch den Wettbewerbsdruck auf Accelerator-Hersteller und Cloud-Anbieter, workload-spezifische Effizienzdaten zu veröffentlichen. „Tokens pro Sekunde“ sagt allein wenig über die Ökonomie eines zustandsbehafteten Agenten aus. Entwickler werden vergleichbare Messungen über Modelle, Serving-Stacks und Leistungsbudgets hinweg benötigen, bevor sie sich auf eine Hardware-Generation festlegen.

Worauf als Nächstes zu achten ist

Das erste Signal wird die Prüfung der AgentX-Messungen durch SemiAnalysis sein. Eine unabhängige Bestätigung, einschließlich der genauen Systemkonfigurationen, Softwareversionen, Modell-Checkpoints und der Methode zur Leistungsabrechnung, wird bestimmen, wie breit sich der 30x-Vergleich interpretieren lässt.

Käufer sollten außerdem auf Ergebnisse achten, die die Ausführung von Tools auf CPU-Seite einbeziehen, da NVIDIA sagt, dass die aktuellen Vera-Rubin-Daten dies nicht tun. Zusätzliche Tests mit Nicht-Coding-Agenten, unterschiedlichen Kontextlängen und alternativen Serving-Frameworks würden zeigen, ob der Vorteil über die aufgezeichneten Claude-Code-Sitzungen hinausreicht.

Verfügbarkeit, Preisgestaltung und Cloud-Zugang werden ebenso wichtig sein. Die Effizienzbehauptung kann die theoretischen Kosten pro Million Tokens senken, aber die tatsächliche Kundenökonomie hängt auch von Systemanschaffungskosten, Auslastung, Netzwerken, Kühlung und Softwarelizenzen ab. Erkenntnisse aus frühen Einsätzen werden zeigen, ob sich der Benchmark-Vorteil in niedrigere Preise oder höhere Margen für Betreiber übersetzt.

Creati.ai-Perspektive

NVIDIAs Ankündigung ist am besten als Verschiebung in der Darstellung der Leistungsfähigkeit von KI-Infrastruktur zu verstehen. Da Agenten längere, stärker zustandsbehaftete Arbeitslasten erzeugen, werden durch Leistung normalisiert auf Watt sowie Kosten pro abgeschlossenem Auftrag nützlichere Kennzahlen als die herkömmliche Geschwindigkeit einer einzelnen Anfrage.

Die 30x-Zahl ist aufmerksamkeitsstark, bleibt jedoch eine frühe NVIDIA-Messung, die noch auf unabhängige Prüfung wartet. Die nachhaltige Lehre für Entwickler ist enger und umsetzbarer: Den gesamten Agenten-Loop benchmarken, einschließlich Kontextwiederverwendung, Werkzeuge, Parallelität und Latenz, bevor irgendein Accelerator-Vergleich als Produktionsschlussfolgerung betrachtet wird.