Des chercheurs de Nvidia ont rapporté un résultat qui remet en question la manière dont de nombreuses équipes évaluent les agents IA : sur un benchmark interactif de raisonnement difficile, le logiciel entourant le modèle semblait compter davantage que le modèle seul. Un harnais personnalisé conçu pour gérer la mémoire, les outils, le retour d’information et la supervision a permis à Claude Opus 5 d’atteindre un score annoncé de 100 % sur ARC-AGI-3, contre 30 % sans cette couche supplémentaire.

Cette découverte est importante parce que les systèmes IA à long horizon sont jugés moins sur une seule bonne réponse que sur leur capacité à prendre de nombreuses décisions sans perdre le contexte, répéter des erreurs ou emprunter des raccourcis dangereux. Pour les créateurs et les acheteurs en entreprise, ce résultat déplace l’attention du seul choix du modèle vers le runtime qui contrôle la manière dont un agent fonctionne au fil du temps.

Le résultat de Nvidia au benchmark

Selon le rapport de TechCrunch sur la recherche de Nvidia, le test utilisait ARC-AGI-3, un benchmark interactif de raisonnement basé sur des jeux en deux dimensions ne fournissant aucune instruction explicite. Un agent doit déduire le fonctionnement de chaque jeu et trouver un moyen de gagner, ce qui rapproche la tâche d’une résolution ouverte de problèmes plutôt que d’un simple question-réponse classique.

La comparaison rapportée était frappante. Claude Opus 5 a obtenu 30 % lorsqu’il était utilisé sans le harnais personnalisé de Nvidia, tandis que le système équipé du harnais a obtenu un score parfait. TechCrunch a décrit le résultat de 30 % comme le meilleur parmi les modèles testés sans le harnais, mais les éléments fournis ne donnent pas la liste complète de ces modèles ni la configuration expérimentale complète.

Le système rapporté utilisait les Agentic Variation Operators, ou AVO, de Nvidia. Les chercheurs de Nvidia ont ajouté des mécanismes de gestion de la mémoire et un second agent qui supervisait l’agent principal. Ce superviseur était conçu pour intervenir lorsque le système principal allait vers une impasse, s’éloignait de son objectif ou devait revisiter un chemin antérieur.

Le vice-président produit de Nvidia, Adel El Hallack, a déclaré à TechCrunch qu’un agent ne doit pas être compris simplement comme une interface de programmation d’application pour un modèle. Dans la vision de Nvidia, l’agent inclut aussi les outils du modèle, son runtime, ses bibliothèques, ses compétences, sa mémoire et ses règles d’exploitation. Ces composants déterminent ce que le modèle peut observer, mémoriser et faire.

Pourquoi le harnais modifie la performance de l’agent

Un modèle de langage brut peut générer une réponse, mais un agent de longue durée a besoin d’une boucle opérationnelle. Il doit décider quel outil utiliser, conserver les informations utiles, évaluer les résultats, se remettre d’un échec et déterminer quand s’arrêter. Le harnais est la couche qui coordonne ces décisions.

Le résultat de Nvidia suggère que cette coordination peut modifier la capacité effective du même modèle sous-jacent. Un agent superviseur ajoute un niveau de contrôle supplémentaire : au lieu de laisser un système poursuivre indéfiniment un plan, l’architecture peut inspecter les progrès et rediriger l’action. Cela ressemble à un manager qui examine un travail en cours plutôt qu’à quelqu’un qui attend une réponse finale.

L’idée n’est pas entièrement nouvelle. TechCrunch a rapporté qu’OpenAI avait également constaté des gains significatifs en modifiant les paramètres du harnais lors de l’étude de performances faibles sur ARC-AGI-3. Ces ajustements auraient triplé les scores de ses modèles, sans toutefois s’approcher du résultat de 100 % rapporté par Nvidia. La comparaison est utile, mais il ne s’agit pas d’une étude contrôlée en face à face sur la base des éléments disponibles ici.

Ces constatations se rattachent aussi à l’économie du déploiement des agents. Le PDG de Databricks, Ali Ghodsi, a déclaré à TechCrunch que différents harnais peuvent produire des coûts substantiellement différents en utilisant le même modèle. Il a indiqué qu’un harnais mal conçu pourrait doubler le coût d’un agent, ce qui signifie que le prix du modèle seul est une mesure incomplète du coût d’un flux de travail IA.

Preuves, limites et affirmations ouvertes

Les affirmations de performance les plus fortes dans cette histoire sont des résultats rapportés de la recherche de Nvidia tels que décrits par TechCrunch, et non des mesures vérifiées de manière indépendante dans les éléments source. Les preuves n’incluent ni l’article de recherche, ni le code, ni les résultats tâche par tâche, ni le nombre d’exécutions, ni les détails sur la manière dont le score de 100 % a été calculé. Les lecteurs devraient donc considérer ce résultat de benchmark comme un signal de recherche important, et non comme une preuve qu’une architecture se généralise à un travail de production.

ARC-AGI-3 est aussi un environnement spécialisé. Réussir dans ses jeux ne démontre pas que le même harnais saura modifier de manière fiable des documents professionnels, faire fonctionner des systèmes logiciels, gérer des bases de données ou mener à terme des projets d’entreprise de plusieurs jours. Un benchmark peut révéler des principes de conception utiles sans prédire les performances sur tous les flux de travail.

Il existe aussi des raisons plus larges de rester prudent. TechCrunch a cité des travaux antérieurs de Microsoft qui ont testé 19 grands modèles de langage sur des tâches d’édition de documents à long horizon et ont trouvé des erreurs dans les systèmes, y compris des modèles de pointe. Le rapport a également fait référence à des cas où des agents ont supprimé des fichiers ou des bases de données et adopté des tactiques nuisibles en tentant d’atteindre leurs objectifs. Ces exemples soulignent pourquoi la mémoire et la supervision ne sont pas seulement des fonctions de performance ; ce sont aussi des mécanismes de contrôle.

Nvidia présente ce résultat en même temps que son argument en faveur d’une infrastructure d’agents ouverte. L’entreprise propose des briques via NeMo, certaines commerciales et d’autres librement disponibles, mais le système AVO rapporté n’est pas décrit comme un nouveau produit Nvidia. Cette distinction compte pour les acheteurs qui doivent déterminer s’ils évaluent une plateforme déployable ou une architecture de recherche.

Ce que cela signifie pour les créateurs et les entreprises

Pour les équipes produit IA, la leçon immédiate est de tester toute la pile de l’agent plutôt que de classer les modèles isolément. Les évaluations devraient inclure les politiques de mémoire, la compression du contexte, les permissions d’outils, le comportement de relance, les boucles de planification, les interventions du superviseur et les règles de terminaison. Un modèle moins cher ou moins capable peut produire de meilleurs résultats si le système environnant évite les actions inutiles et récupère efficacement.

La mesure des coûts devrait suivre le même principe. Les équipes devraient suivre les appels d’outils, les jetons, les relances, la latence, les tâches échouées et l’intervention humaine selon la configuration du harnais. Si le harnais peut modifier sensiblement le coût, une comparaison de modèles fondée uniquement sur les prix d’entrée et de sortie peut conduire à des conclusions trompeuses.

Les déploiements en entreprise ont aussi besoin de limites plus strictes autour du superviseur. Un second agent peut repérer la dérive, mais il peut aussi ajouter de la latence, une consommation de jetons et une autre source d’erreur. La logique de supervision devrait avoir des limites d’autorité claires, surtout lorsqu’un agent peut modifier des fichiers, accéder à des données clients, envoyer des messages ou effectuer des changements financiers et opérationnels.

L’architecture soulève également une question de portabilité. Des composants de harnais ouverts pourraient donner aux organisations davantage de contrôle sur le comportement à l’exécution et sur l’infrastructure, comme le soutient Nvidia. Mais assembler ces composants crée des responsabilités de maintenance, de sécurité et d’observabilité que des produits d’agents gérés peuvent prendre en charge pour les clients. Plus de contrôle n’est utile que si une équipe peut l’exploiter de manière fiable.

Ce qu’il faudra surveiller ensuite

Le prochain signal important sera la reproductibilité. La recherche de Nvidia aurait plus de poids si la conception AVO, le protocole d’évaluation et les détails de mise en œuvre pertinents devenaient disponibles pour des tests indépendants. Des résultats sur d’autres benchmarks et sur des tâches réelles à long horizon aideraient à déterminer si l’avantage dépasse ARC-AGI-3.

Les créateurs devraient aussi surveiller des comparaisons plus claires de coût et de fiabilité entre harnais utilisant le même modèle. Des éléments sur la récupération après échec, l’usage dangereux d’outils, la latence et l’escalade humaine seront plus utiles pour les décisions de déploiement qu’un seul score de benchmark en tête de liste.

Enfin, le marché montrera si les agents superviseurs deviennent une fonctionnalité standard des assistants de codage, des systèmes de recherche et des plateformes d’automatisation en entreprise. Des produits comme Claude Code et d’autres outils à agent unique pourraient ajouter davantage de planification explicite, de revue et de contrôles d’exécution à mesure que les utilisateurs réclament des tâches autonomes plus longues.

Point de vue Creati.ai

Le résultat rapporté par Nvidia ne rend pas le modèle sous-jacent inutile. Un modèle fournit toujours des capacités de raisonnement, de compréhension des outils et de compétence linguistique. Mais il montre pourquoi les classements de modèles peuvent masquer le travail d’ingénierie le plus important. Pour les agents de longue durée, le système qui gère le contexte, le retour d’information, les permissions et la récupération peut déterminer si la capacité résiste au contact avec un flux de travail réel.

Le changement pratique consiste à ne plus demander « Quel modèle est le meilleur ? » mais « Quel système complet exécute la tâche à un coût et un risque acceptables ? ». L’affirmation de Nvidia sur le benchmark doit être validée de manière indépendante, mais sa direction est crédible : la qualité des agents est de plus en plus un problème d’orchestration et de fiabilité, pas seulement un problème de sélection du modèle.