NVIDIA affirme que sa prochaine plateforme Vera Rubin NVL72 peut fournir jusqu’à 30 fois plus de débit d’IA agentique par mégawatt que son système GB300 NVL72, sur la base de mesures préliminaires utilisant une charge de travail conçue pour imiter des agents de codage en production. Cette affirmation place l’efficacité énergétique — et pas seulement le nombre maximal de tokens par seconde — au cœur du prochain affrontement autour de l’infrastructure IA.

L’entreprise a publié les résultats dans deux billets de blog NVIDIA, les présentant comme des données de prévisualisation mesurées avec le benchmark SemiAnalysis AgentX. Les mesures n’ont pas encore été examinées indépendamment par SemiAnalysis, ce qui rend les résultats importants mais toujours rapportés par le fournisseur. Pour les créateurs d’IA et les opérateurs d’infrastructure, la comparaison compte car les agents multi-étapes consomment nettement plus de contexte et d’appels au modèle que les interactions de chat conventionnelles, augmentant à la fois la demande de calcul et les coûts énergétiques.

Pourquoi les charges de travail agentiques changent l’équation de l’infrastructure

Les benchmarks d’inférence traditionnels utilisent souvent des longueurs fixes de prompt et de sortie. NVIDIA soutient que ces tests représentent mal un agent qui raisonne à plusieurs reprises, appelle des outils, délègue du travail à des sous-agents et transporte un contexte en expansion d’une étape à l’autre.

L’entreprise cite des données OpenRouter indiquant que les requêtes agentiques utilisent environ 15 fois plus de tokens que les requêtes de chat ordinaires. Dans un exemple fourni par NVIDIA, un agent de recherche en investissement pourrait interroger des bases de données financières, parcourir des dépôts et des actualités, demander à un autre modèle de comparer des pairs, effectuer une analyse de valorisation puis assembler une recommandation. Chaque étape peut ajouter des informations qui deviennent l’entrée des étapes suivantes.

Ce schéma crée simultanément plusieurs pressions sur les performances. Les systèmes doivent traiter de longs prompts, préserver et réutiliser les caches key-value, gérer des longueurs de sortie variables et tolérer des pauses pendant l’exécution des outils. Ils doivent aussi maintenir une vitesse de réponse acceptable pour plusieurs utilisateurs, plutôt que de simplement maximiser le débit agrégé sous une charge synthétique fixe.

Les résultats de NVIDIA se concentrent sur DeepSeek V4 Pro et d’autres grands modèles, notamment Kimi K3, MiniMax M3, GLM5.3 et Qwen3.5. La comparaison principale oppose Vera Rubin NVL72 à GB300 NVL72, deux systèmes à l’échelle du rack construits autour d’un domaine de montée en puissance de 72 GPU.

Ce que NVIDIA a mesuré — et ce qui reste non vérifié

NVIDIA affirme que Vera Rubin NVL72 a atteint jusqu’à 30 fois plus de débit de factory IA par mégawatt que GB300 NVL72 sur SemiAnalysis AgentX. Le billet destiné aux développeurs précise que la comparaison a atteint ce résultat à 160 tokens par seconde et par utilisateur sur la charge de travail AgentX DeepSeek V4 Pro. NVIDIA indique également que le résultat représente un débit à l’intérieur du même budget énergétique tout en conservant la cible de service interactif annoncée.

Le benchmark AgentX est décrit comme un composant open source de la suite InferenceX de SemiAnalysis. Il rejoue des sessions Claude Code enregistrées, étape par étape, en préservant la croissance du contexte, les longueurs d’entrée et de sortie, les intervalles de raisonnement et les délais d’appel d’outils. Le benchmark fait aussi varier la concurrence et rapporte le débit par mégawatt, ainsi que des mesures de latence et d’interactivité telles que le temps jusqu’au premier token.

Ces détails rendent AgentX plus pertinent pour le service d’agents en production qu’un test unique à longueur fixe, mais ils ne font pas pour autant de la valeur 30x une norme sectorielle validée de manière indépendante. NVIDIA dit que les mesures Vera Rubin attendent encore l’examen de SemiAnalysis. L’entreprise précise également que les premières données n’incluent pas les performances de Vera CPU pour les appels d’outils, ce qui pourrait affecter les résultats système complets.

NVIDIA rapporte d’autres comparaisons générationnelles à partir de la même charge de travail. Elle indique que GB300 NVL72 fournit jusqu’à 15 fois le débit par mégawatt de H200 NVL8 pour DeepSeek V4 Pro, et jusqu’à 80 fois le débit par mégawatt pour le modèle beaucoup plus grand Kimi K3 2.8T. Elle affirme en outre que Vera Rubin peut réduire le coût par million de tokens jusqu’à 35 fois par rapport à GB300 NVL72. Ces chiffres sont des mesures NVIDIA et doivent être considérés comme des revendications de performance tant qu’ils n’ont pas été reproduits indépendamment.

La conception du système derrière les revendications d’efficacité

NVIDIA attribue ces gains à des changements coordonnés du matériel, du réseau et du logiciel de service, plutôt qu’au seul GPU. La conception NVL72 relie 72 GPU via le tissu NVLink de NVIDIA, permettant à la plateforme de répartir le calcul mixture-of-experts et de partager le contexte mis en cache à l’échelle du rack.

L’entreprise dit que NVLink de sixième génération et ses commutateurs offrent des débits de paquets plus élevés et une latence plus faible que les alternatives Ethernet du marché. Cette connectivité est destinée à prendre en charge un parallélisme expert à grande échelle, un cache key-value distribué et le routage des requêtes vers des GPU qui contiennent déjà le contexte pertinent.

Sur le plan logiciel, NVIDIA met en avant le disaggregated serving, dans lequel le prefill et le decode s’exécutent dans des pools dimensionnés séparément. Son stack de service NVIDIA Dynamo est conçu pour coordonner ces étapes, utiliser les informations de session et orienter les requêtes en partie selon le chevauchement des caches. De telles fonctionnalités sont particulièrement pertinentes pour les agents, car une même tâche peut générer de nombreux appels au modèle liés dans une session prolongée.

NVIDIA cite également TensorRT-LLM, vLLM et SGLang comme éléments de l’écosystème de service plus large, ainsi que des kernels fondés sur DeepGEMM, une exécution mixture-of-experts fusionnée et des formats de plus faible précision. Le matériel source mentionne à la fois NVFP4 et les techniques MXFP4/MXFP8 dans différentes descriptions de la plateforme. Ces méthodes peuvent réduire l’utilisation de mémoire et augmenter le débit arithmétique, bien que les compromis pratiques en matière de qualité et de compatibilité dépendent du modèle et de la configuration de déploiement.

L’entreprise indique par ailleurs que sa technologie de gestion de l’alimentation DSX MaxLPS peut fournir jusqu’à 40 % de GPU en plus dans le même budget mégawatt. Il s’agit là encore d’une capacité rapportée par NVIDIA, et non d’un résultat établi par la comparaison AgentX elle-même.

Ce que le résultat signifie pour les opérateurs IA

Si les chiffres phares résistent à des tests indépendants, l’effet commercial pourrait être important. Les usines IA sont de plus en plus confrontées à des limites de disponibilité électrique, de capacité de refroidissement et de coût de service des sessions longues. Davantage de travail agentique par mégawatt pourrait permettre à un opérateur de servir plus de clients à partir d’une allocation électrique existante, ou de réduire l’infrastructure requise pour un niveau d’usage donné.

L’impact variera selon la charge de travail. Un assistant conversationnel bref ne bénéficiera peut-être pas autant qu’un agent de codage, de recherche ou de service client qui invoque répétitivement des outils et accumule du contexte. L’architecture du modèle compte aussi : les comparaisons les plus fortes de NVIDIA concernent de grands systèmes mixture-of-experts, où la communication inter-GPU et la gestion du cache peuvent dominer les performances de service.

Pour les équipes produit, ces chiffres renforcent la nécessité de mesurer des workflows agents complets plutôt que des appels modèles isolés. L’évaluation doit inclure la latence des outils, la réutilisation du cache, la concurrence, l’interactivité côté utilisateur et le coût par tâche terminée. Une plateforme qui produit des tokens à bas coût mais s’arrête entre les appels d’outils peut ne pas offrir une meilleure expérience applicative.

Les affirmations accroissent aussi la pression concurrentielle sur les fabricants d’accélérateurs et les fournisseurs cloud pour publier des données d’efficacité spécifiques aux charges de travail. Les « tokens par seconde » disent peu de chose sur l’économie d’un agent avec état. Les créateurs auront besoin de mesures comparables entre modèles, stacks de service et enveloppes de puissance avant de s’engager sur une génération matérielle.

Ce qu’il faut surveiller ensuite

Le premier signal sera l’examen par SemiAnalysis des mesures AgentX. Une confirmation indépendante, incluant les configurations système exactes, les versions logicielles, les checkpoints du modèle et la méthodologie de comptabilisation de l’énergie, déterminera la portée d’interprétation de la comparaison 30x.

Les acheteurs devraient aussi surveiller les résultats intégrant l’exécution d’outils côté CPU, puisque NVIDIA dit que les données Vera Rubin actuelles ne l’incluent pas. Des tests supplémentaires sur des agents non dédiés au code, avec différentes longueurs de contexte et des frameworks de service alternatifs, montreraient si l’avantage s’étend au-delà des sessions Claude Code enregistrées.

La disponibilité, le prix et l’accès cloud seront tout aussi importants. L’affirmation d’efficacité peut améliorer le coût théorique par million de tokens, mais l’économie réelle pour les clients dépendra aussi des coûts d’acquisition du système, de l’utilisation, du réseau, du refroidissement et des licences logicielles. Les preuves issues des premiers déploiements révéleront si l’avantage du benchmark se traduit par des prix plus bas ou des marges plus élevées pour les opérateurs.

Perspective Creati.ai

L’annonce de NVIDIA doit avant tout être comprise comme un changement dans la manière de cadrer la performance de l’infrastructure IA. À mesure que les agents génèrent des charges de travail plus longues et plus étatiques, le débit normalisé par la puissance et le coût par tâche terminée deviennent des métriques plus utiles que la vitesse conventionnelle d’une requête unique.

Le chiffre de 30x est frappant, mais il reste une mesure précoce de NVIDIA en attente d’un examen indépendant. La leçon durable pour les créateurs est plus étroite et plus actionnable : benchmarker la boucle complète de l’agent, y compris la réutilisation du contexte, les outils, la concurrence et la latence, avant de considérer toute comparaison d’accélérateur comme une conclusion de production.