NVIDIA says its Groq 3 LPX inference accelerator has entered full production as part of the Vera Rubin platform, giving cloud providers and enterprise infrastructure teams a specialized option for generating tokens quickly in long-context, agent-driven workloads.

The announcement positions Groq 3 LPX as a companion to NVIDIA’s Vera Rubin NVL72 rather than a replacement for its general-purpose GPUs. Rubin GPUs are intended to handle context processing, while the LPX system focuses on the latency-sensitive decode phase in which models produce responses one token at a time. That distinction matters as AI applications move from single-turn answers toward agents that repeatedly reason, call tools, exchange information with other systems and maintain large working contexts.

Un système de production conçu pour la latence de décodage

NVIDIA décrit Groq 3 LPX comme un accélérateur d’inférence interactif conçu pour les niveaux de service les plus réactifs de son architecture Vera Rubin. Un déploiement à l’échelle d’un rack peut inclure 256 accélérateurs LP30 connectés par des liaisons directes de puce à puce, avec 128 Go de mémoire combinée basée sur SRAM, selon la documentation développeur de NVIDIA.

Le système utilise un modèle d’exécution déterministe, planifié par le compilateur. Au lieu de s’appuyer fortement sur l’arbitrage en temps réel pour décider quand les données se déplacent entre processeurs, le compilateur peut planifier le calcul et la communication avant le début d’une charge de travail. NVIDIA indique que cela réduit les frais de coordination qui peuvent rendre le parallélisme tensoriel moins utile à de très petites tailles de lot.

Cette conception cible une faiblesse spécifique du service d’IA agentique. Un agent peut devoir produire de nombreuses sorties courtes au cours d’une seule tâche, chaque réponse déclenchant un autre appel d’outil, un tour de modèle ou une opération de base de données. De petits délais dans la génération de jetons peuvent s’accumuler au fil de ces étapes. Les longues sessions renvoient aussi à plusieurs reprises un contexte en expansion au modèle, ce qui rend la réactivité difficile même lorsque le modèle sous-jacent est capable.

L’architecture de NVIDIA répartit le travail sur la plateforme. La Vera Rubin NVL72 gère le traitement de contexte à grande échelle, tandis que Groq 3 LPX accélère la génération de jetons. L’entreprise indique que les deux systèmes peuvent également prendre en charge des configurations telles que la désagrégation préfill-decode, la désagrégation attention-FFN et le décodage spéculatif avec un rédacteur externe.

Ce que montrent les preuves de benchmark

NVIDIA rapporte qu’un système combinant Groq 3 LPX et Vera Rubin NVL72 a atteint 3 431 jetons de sortie par seconde sur le benchmark 100K-context d’Artificial Analysis avec Gemma 4 31B. Une annonce distincte de NVIDIA a arrondi le résultat à 3 400 jetons par seconde et a déclaré qu’il était quatre fois plus rapide que la plateforme alternative la plus proche.

Ce sont les affirmations de performance les plus fortes dans les preuves disponibles, et elles nécessitent une mise en contexte. Le résultat du benchmark est rapporté par NVIDIA à partir d’Artificial Analysis, tandis que l’affirmation comparative « quatre fois plus rapide » provient elle aussi de NVIDIA. L’article développeur le présente comme le premier benchmark tiers des systèmes Groq 3 LPX, mais les sources fournies ne donnent pas la configuration complète du test, les plateformes concurrentes ni des résultats reproduits indépendamment.

NVIDIA cite également un résultat médian de 4 767 jetons de sortie par seconde sur SPEED-Bench, sur des charges de travail agentiques et de codage générales. Cette valeur est elle aussi présentée dans le matériel développeur de NVIDIA. Elle ne doit pas être considérée comme un débit de service universel : les performances réelles dépendront de l’architecture du modèle, de la longueur du contexte, de la concurrence, de l’ordonnancement, de la précision, du réseau et de la pile logicielle environnante.

L’accent mis sur les benchmarks reste néanmoins significatif. Les comparaisons classiques d’accélérateurs mettent souvent l’accent sur le débit agrégé ou la vitesse d’entraînement. NVIDIA met plutôt en avant le débit de sortie à 100 000 jetons de contexte et à de petites tailles de lot, des conditions plus proches des agents interactifs que de l’inférence hors ligne en masse. Pour les équipes produit, cela peut être une mesure plus pertinente lorsque les utilisateurs attendent qu’un agent termine une chaîne d’actions.

Les premiers signaux de déploiement restent fournis par l’éditeur

NVIDIA identifie Nebius comme le premier fournisseur de cloud IA à adopter Groq 3 LPX. L’entreprise indique que Nebius ajoutera l’accélérateur à son service Token Factory, permettant aux développeurs de créer à grande échelle des agents interactifs, des systèmes de codage et d’autres applications temps réel. Les preuves ne précisent ni la taille du déploiement de Nebius, ni la date de disponibilité commerciale, ni les engagements clients.

NVIDIA indique aussi que CoreWeave a déployé Spectrum-X Multiplane en production pour relier des racks Vera Rubin via plusieurs commutateurs parallèles. Cette annonce concerne la couche réseau autour de la plateforme, et non la preuve que CoreWeave a déployé Groq 3 LPX lui-même.

Un troisième signal d’adoption vient de SpaceXAI, qui selon NVIDIA prévoit d’utiliser des CPU Vera dans son architecture d’IA agentique de nouvelle génération. Les cas d’usage mentionnés comprennent l’orchestration, l’utilisation d’outils, l’exécution de code, le traitement de données et la simulation, avec des déploiements couvrant les centres de données et les satellites en orbite. Il s’agit d’un plan d’entreprise rapporté par NVIDIA, et non de la preuve d’un déploiement de production achevé.

Comme la couverture disponible est largement dominée par le blog de NVIDIA et son matériel développeur, l’adoption doit être considérée comme une activité d’écosystème annoncée plutôt que comme une traction de marché vérifiée indépendamment. L’entrée source de SiliconANGLE confirme l’angle de l’actualité, mais ne fournit pas de texte d’article supplémentaire ni de détail de reportage dans les éléments fournis.

Pourquoi le matériel compte pour les bâtisseurs d’IA

Pour les développeurs d’applications IA, la question la plus immédiate n’est pas de savoir si Groq 3 LPX a un débit de jetons de pointe élevé. La question est de savoir si la plateforme peut offrir une latence prévisible lorsqu’un agent fonctionne sur de nombreux tours et une grande fenêtre de contexte.

Cela pourrait rendre le système pertinent pour les assistants de codage, les agents de recherche, les flux de service client et les systèmes d’orchestration dans lesquels un utilisateur subit le délai de chaque réponse intermédiaire du modèle. Un décodage plus rapide peut améliorer la réactivité perçue, tandis que l’ordonnancement déterministe peut faciliter la planification de capacité si les performances sont moins sensibles à la contention et aux coûts de coordination des petits lots.

Le compromis est la complexité architecturale. Groq 3 LPX est présenté comme une extension de Vera Rubin NVL72, et non comme un accélérateur prêt à l’emploi pouvant être évalué indépendamment de la plateforme hôte, de son interconnexion, du compilateur et du logiciel de service du modèle. Les acheteurs devront évaluer le système complet : capacité mémoire pour les longs contextes, topologie réseau, compatibilité des modèles, utilisation selon le trafic attendu et coût du déplacement des charges de travail entre les ressources de préfill et de decode.

Le discours de NVIDIA reflète également une évolution plus large de l’économie de l’infrastructure. À mesure que les agents génèrent davantage de jetons et effectuent plus de tours d’inférence, le coût de service et la latence peuvent devenir des contraintes plus importantes que la facture initiale d’entraînement du modèle. Un moteur de décodage spécialisé peut améliorer l’utilisation des charges de travail interactives, mais savoir s’il réduit le coût total dépend de la capacité d’un fournisseur à maintenir de manière constante les GPU Rubin et les accélérateurs LPX occupés.

Ce qu’il faut surveiller ensuite

Les prochains signaux utiles viendront de tests indépendants publiant des configurations complètes, des systèmes concurrents, des versions de modèle, des réglages de précision, des longueurs de contexte et des niveaux de concurrence. Des résultats à plusieurs tailles de lot aideront à déterminer si l’avantage de Groq 3 LPX dépasse le service hautement interactif à petits lots.

Les développeurs devraient également surveiller les preuves de disponibilité en production via Nebius Token Factory, notamment les modèles pris en charge, les tarifs, les garanties de niveau de service et la possibilité pour les clients d’accéder au système sans adopter la pile Vera Rubin plus large. Des déploiements confirmés chez CoreWeave ou d’autres fournisseurs de cloud offriraient une mesure plus claire de la traction commerciale.

Enfin, le marché devra voir comment NVIDIA intègre le compilateur, le réseau et le logiciel de service avec les cadres d’agents courants. La promesse technique dépend de la coordination de l’exécution du modèle, de la gestion du cache KV, des appels d’outils et du trafic multi-agents, pas seulement de l’accélération d’étapes de décodage isolées.

Perspective Creati.ai

Groq 3 LPX est remarquable parce que NVIDIA s’attaque à un goulot d’étranglement qui n’apparaît qu’une fois les modèles placés dans des boucles agentiques prolongées : le délai accumulé de production de nombreux jetons séquentiels tout en conservant un grand contexte. L’annonce concerne moins le lancement d’une puce autonome que la répartition de l’inférence en étapes spécialisées sur un système à l’échelle du rack.

L’opportunité est importante pour les fournisseurs qui servent des agents interactifs, mais les preuves restent principalement contrôlées par l’éditeur. Tant que des benchmarks indépendants et des déploiements clients n’auront pas clarifié le coût total, les exigences logicielles et les performances soutenues en conditions réelles, Groq 3 LPX doit être considéré comme une offre de production techniquement ciblée, prometteuse mais pas encore pleinement validée sur le marché.