NVIDIA affirme que son système Agentic Variation Operators, ou NVIDIA AVO, a obtenu un score parfait sur l’ensemble public d’ARC-AGI-3, en franchissant les 183 niveaux dans 25 environnements interactifs. Ce résultat est important car il présente les performances des agents à long terme comme un problème de système plutôt que comme une simple mesure du modèle de langage sous-jacent.

Cette affirmation provient d’un article du NVIDIA Developer Blog décrivant AVO comme une architecture polyvalente pour un travail autonome soutenu. L’entreprise indique que le même système a également optimisé des kernels GPU sur une période de sept jours, ce qui suggère que sa conception peut s’appliquer à la fois à des flux de travail d’ingénierie logicielle et à des tâches de raisonnement interactif inédites. Cependant, les chiffres de performance sont rapportés par NVIDIA, et les éléments disponibles n’incluent ni validation indépendante ni évaluation évaluée par des pairs.

Un résultat parfait sur ARC-AGI-3 obtenu par un système d’agent plus large

NVIDIA indique qu’AVO a enregistré un score RHAE de 100,00 sur l’ensemble public d’ARC-AGI-3. L’entreprise précise que l’agent a terminé chaque niveau des 25 environnements du benchmark et a utilisé 12 % d’actions d’environnement en moins que VISTA, un système de comparaison mentionné dans l’article de l’entreprise.

ARC-AGI-3 est conçu autour d’environnements interactifs inconnus dans lesquels les agents doivent déduire le fonctionnement des actions et découvrir ce qu’ils sont censés accomplir. Contrairement à un test classique de questions-réponses, le benchmark exige qu’un agent maintienne sa progression sur plusieurs étapes tout en apprenant à partir des retours.

L’argument central de NVIDIA est que ce type d’évaluation mesure plus que l’intelligence du modèle. L’agent doit décider quoi observer, quels outils utiliser, comment préserver l’état utile et comment se rétablir lorsqu’une approche échoue. Dans la description de l’entreprise, le système d’exécution environnant détermine dans quelle mesure les capacités d’un modèle deviennent un comportement autonome durable.

L’article indique également qu’un système construit autour de Claude Opus 5 a fait passer les performances d’une base modèle de 30 % au résultat de 100 % rapporté lorsqu’il a été intégré à l’architecture complète AVO. NVIDIA présente cette comparaison comme une preuve que la conception du système peut modifier de manière significative les résultats d’un benchmark. Elle ne doit pas être interprétée comme un classement indépendant de Claude Opus 5 ou d’AVO sans davantage de détails sur le cadre d’évaluation.

Comment fonctionne Agentic Variation Operators

AVO est décrit comme un système de codage et d’exécution de tâches capable d’inspecter et de modifier du code, d’exécuter des commandes, de consulter de la documentation et de valider les changements par l’exécution. Son trait distinctif n’est pas un outil unique, dit NVIDIA, mais la capacité à continuer à travailler à travers de longues séquences d’expériences.

Deux mécanismes sont particulièrement mis en avant : la mémoire persistante et la supervision. La mémoire persistante stocke les implémentations antérieures, les résultats de tests, les sorties du compilateur et du profiler, ainsi que le raisonnement accumulé. Cela permet à l’agent de reprendre à partir de l’état actuel au lieu de reconstruire sa compréhension après chaque fenêtre de contexte.

Un composant de supervision surveille la trajectoire globale. Lorsque l’agent principal se bloque ou répète des cycles improductifs, le superviseur peut le réorienter vers une stratégie différente. L’agent principal reste responsable de ce qu’il faut inspecter, modifier, tester et valider, tandis que le superviseur surveille les progrès sur l’ensemble de la durée plus longue.

Pour ARC-AGI-3, NVIDIA indique avoir connecté le même agent sous-jacent à une interface différente, modifiant les outils d’environnement disponibles et le processus d’évaluation tout en conservant l’architecture centrale. Cette portabilité est l’affirmation la plus importante pour les bâtisseurs d’IA : le système est conçu pour être adapté à de nouvelles boucles de rétroaction sans redessiner l’agent de zéro.

Preuves issues de l’optimisation de kernels GPU — et leurs limites

NVIDIA décrit d’abord AVO à travers une expérience d’optimisation de kernels GPU. Dans ce travail, le système a exploré de manière autonome plus de 500 pistes d’optimisation pendant sept jours et a validé 40 versions de kernel, selon l’entreprise.

Sur des systèmes NVIDIA DGX B200, NVIDIA rapporte que les kernels d’attention multi-têtes obtenus ont affiché jusqu’à 3,5 % de meilleures performances que cuDNN et jusqu’à 10,5 % de meilleures performances que FlashAttention-4 dans les configurations évaluées. L’entreprise ajoute qu’AVO a adapté le kernel évolué à l’attention à requêtes groupées en environ 30 minutes supplémentaires de travail autonome.

Ces chiffres illustrent le type de flux de travail que AVO est conçu pour gérer : effectuer un changement, exécuter un test fondé sur le matériel, interpréter le résultat et décider de l’essai suivant. Ils n’établissent pas que le système produira les mêmes gains sur d’autres kernels, configurations matérielles ou bases de code de production. Les comparaisons rapportées sont des benchmarks du fournisseur, et l’article ne fournit pas suffisamment de détails dans les preuves fournies pour évaluer indépendamment la méthodologie complète du test.

Le résultat ARC-AGI-3 comporte une réserve similaire. Un score parfait sur l’ensemble public est un signal fort dans le cadre de ce benchmark, mais il ne prouve pas à lui seul une fiabilité polyvalente dans des environnements d’entreprise. Les déploiements réels introduisent des coûts, des autorisations, des défaillances d’outils, des données sensibles, des objectifs ambigus et des exigences d’auditabilité qu’un benchmark public peut ne pas capturer.

Ce que le résultat signifie pour les créateurs et les entreprises

Pour les équipes produit, la leçon immédiate est architecturale. Augmenter les capacités d’un modèle de base peut améliorer des réponses individuelles, mais les flux de travail de longue durée nécessitent aussi une gestion d’état, un accès contrôlé aux outils, des retours d’exécution, des points de contrôle et une logique de récupération.

Cela est important pour les assistants de codage, les systèmes de recherche, les outils d’analyse de données et autres agents d’IA qui ne peuvent pas réussir avec une seule réponse du modèle. Un agent qui optimise du code doit conserver l’historique des tests et distinguer une véritable amélioration d’un résultat bruité. Un flux de travail d’entreprise a besoin de contrôles similaires pour empêcher les actions répétées, contenir les échecs et expliquer pourquoi un système a suivi un chemin particulier.

La conception d’AVO met également en lumière un compromis de déploiement. L’expérimentation persistante peut améliorer les résultats, mais elle consomme du calcul et peut augmenter la latence. Une exécution autonome d’optimisation de sept jours convient à certaines recherches d’ingénierie, mais pas à toutes les tâches orientées client. Les bâtisseurs auront besoin de politiques indiquant quand un agent peut continuer de manière indépendante, quand il doit demander une approbation et quel budget il peut consommer.

L’architecture pourrait aussi accentuer la concurrence entre fournisseurs de modèles et fournisseurs d’infrastructure. Si les performances des agents dépendent de plus en plus du système d’exécution autour d’un modèle, les benchmarks de modèles seuls deviennent moins prédictifs des performances produit. Les entreprises pourraient rivaliser autant sur les systèmes de mémoire, les évaluateurs, les superviseurs, l’orchestration des outils et les environnements d’exécution que sur l’entraînement des modèles.

Ce qu’il faut surveiller ensuite

Le premier signal à surveiller est la reproduction indépendante du résultat ARC-AGI-3, y compris le modèle exact, les prompts, les outils, les budgets d’actions et la configuration de supervision. Ces détails détermineront quelle part du gain provient de l’architecture générale d’AVO et quelle part provient de l’ingénierie spécifique à la tâche.

Le second est la preuve en dehors des démonstrations contrôlées par NVIDIA. Des données de suivi utiles comprendraient les performances sur d’autres benchmarks interactifs, les taux d’échec sur de longues exécutions, le calcul consommé par tâche accomplie et des comparaisons avec d’autres systèmes d’exécution d’agents.

Pour les acheteurs d’entreprise, les preuves de déploiement compteront davantage qu’un seul score de benchmark. Recherchez des informations sur les contrôles d’autorisations, les journaux d’audit, l’isolation en sandbox, la récupération après des erreurs d’outil, l’isolement des données et la fréquence à laquelle une intervention humaine est nécessaire.

Enfin, le travail sur les kernels GPU offre un test pratique de savoir si l’optimisation autonome peut produire des gains reproductibles sur différentes charges de travail et différents matériels. Des résultats au-delà des configurations rapportées rendraient l’affirmation d’ingénierie plus durable.

Perspective Creati.ai

L’annonce de NVIDIA est mieux comprise comme un rapport sur l’architecture des agents, et non comme une preuve qu’un modèle est soudainement devenu universellement capable. Le score ARC-AGI-3 rapporté est notable parce qu’AVO combine mémoire, supervision, outils et retours dans un système conçu pour continuer à fonctionner après l’échec de la première réponse.

Pour les bâtisseurs d’IA, l’enseignement durable est que la fiabilité à long terme peut dépendre autant de la boucle de contrôle environnante que du modèle lui-même. NVIDIA a fourni un benchmark fournisseur intéressant ; la prochaine question est de savoir si des équipes indépendantes peuvent reproduire le résultat de manière économique, sûre et sur des tâches qui comptent en dehors du benchmark.