Un nouveau benchmark de Tencent Hunyuan et de l’Université Tsinghua soutient que les agents de recherche IA d’aujourd’hui ne sont pas principalement freinés par la qualité de la récupération d’informations ou l’usage des outils. Selon les résultats rapportés par les chercheurs, le principal point de défaillance est que les modèles ne s’arrêtent souvent pas pour poser une question de clarification lorsqu’une demande utilisateur est vague, sous-spécifiée ou erronée.

Cela compte, car le secteur avance rapidement pour transformer de grands modèles en assistants de recherche, agents de navigation et moteurs de réponse. Si le benchmark se confirme, il suggère un problème de conception pratique pour les équipes qui développent des produits de recherche IA : davantage de recherches et des chaînes de raisonnement plus longues n’améliorent pas nécessairement les résultats lorsque le système ne confirme jamais ce que l’utilisateur voulait réellement dire. Dans certains cas, disent les chercheurs, une recherche répétée donne de moins bons résultats que le simple fait de tenter une supposition.

Ce que DiscoBench cherche à mesurer

Le nouveau benchmark, appelé DiscoBench, est conçu pour tester si un modèle peut détecter l’ambiguïté au cours d’une recherche d’information en plusieurs étapes, poser à l’utilisateur une question de suivi utile, puis retrouver la bonne trajectoire de recherche. Comme l’explique The Decoder, l’ensemble de données comprend 211 tâches avec 463 points d’ambiguïté répartis sur onze domaines, dont le sport, le cinéma, la musique, la science, la politique et les jeux vidéo.

Les chercheurs présentent cela comme une lacune dans l’évaluation des agents existants. Des benchmarks comme GAIA et BrowseComp supposent généralement que la requête de l’utilisateur est déjà complète et précise. DiscoBench, au contraire, se concentre sur un scénario courant en production : un utilisateur demande quelque chose qui peut désigner plusieurs entités, différentes périodes, des critères de classement flous, ou même un faux présupposé factuel. Dans ce contexte, un modèle peut exécuter un flux de recherche propre tout en partant dans la mauvaise direction dès la première décision.

Selon la méthodologie rapportée, chaque tâche est découpée en points de contrôle où l’agent peut continuer à chercher, demander une clarification ou répondre. Le benchmark utilise Tavily pour la recherche et un simulateur d’utilisateur basé sur Gemini 3 Flash qui renvoie des indices prédéfinis lorsque l’agent pose une question de suivi pertinente. L’ensemble de données est majoritairement en chinois, ce que les chercheurs disent refléter des schémas courants sur le web de langue chinoise.

Ce contexte linguistique et technique est important pour l’interprétation. DiscoBench n’est pas une mesure universelle de toutes les tâches de recherche sur tous les écosystèmes web, et l’utilisation d’un simulateur basé sur un LLM signifie que la boucle d’interaction est structurée plutôt qu’entièrement ouverte. Malgré cela, le benchmark est remarquable parce qu’il isole un comportement produit que de nombreux systèmes IA destinés aux utilisateurs peinent à maîtriser : savoir quand ne pas avancer.

Les résultats rapportés montrent un déficit de clarification, pas un déficit de recherche

Le résultat principal est une performance absolue modeste. The Decoder rapporte que, parmi onze modèles récemment publiés, le meilleur score de bout en bout sans indice explicite d’ambiguïté est de 43,1 % pour Doubao Seed 2.0 Pro. Gemini 3.1 Pro Preview suit à 40,8 %, avec Claude Opus 4.7 à 39,8 %.

Ces chiffres sont suffisamment faibles pour rendre difficile d’ignorer le point plus général. Même les modèles de pointe semblent avoir du mal dès qu’une ambiguïté est introduite dans une tâche de recherche en chaîne. Les auteurs du benchmark soutiennent que le principal problème n’est pas que les modèles ne savent pas chercher, mais qu’ils supposent trop et interrogent trop peu.

L’analyse comportementale citée par The Decoder est particulièrement révélatrice. Les systèmes qui cherchaient puis posaient une question de suivi auraient atteint un taux de réussite de 93,4 %. Les modèles qui répondaient directement en devinant atteignaient 56,5 %. Les modèles qui recherchaient de manière répétée mais n’arrivaient toujours pas à demander une clarification, étiquetés « SearchHeavyGuess », tombaient à 51,9 %. Dans l’interprétation des chercheurs, ce schéma suggère que certains modèles perçoivent effectivement l’incertitude, mais ne la transforment pas en interaction avec l’utilisateur.

Cela aide à expliquer pourquoi l’usage supplémentaire d’outils ne se traduit pas automatiquement par de meilleurs résultats. Un modèle peut effectuer de nombreuses recherches, consulter de nombreuses pages, et rester pourtant ancré dans la mauvaise interprétation de la consigne initiale. En pratique, les concepteurs ne peuvent pas traiter la profondeur de recherche comme un substitut au comportement de clarification.

Pourquoi ce benchmark compte pour les produits déployés aujourd’hui

Le moment est important, car la recherche IA passe des démonstrations aux flux de travail commerciaux. Les équipes déploient des copilotes de recherche, des assistants de support client et des produits d’automatisation de navigateur qui reposent de plus en plus sur la récupération multi-étapes. Pour ces systèmes, DiscoBench met en évidence un mode d’échec facile à manquer dans les évaluations classiques : le modèle paraît actif et compétent tout en poursuivant le mauvais objectif.

Cela a des implications directes pour les déploiements IA en entreprise. Dans les systèmes de connaissance internes, l’ambiguïté apparaît constamment dans les noms de projets, les versions de documents, les noms de clients, les références de politiques et les plages de dates. Dans les produits de recherche externes, le problème se manifeste dans les comparaisons, les classements et la désambiguïsation de marques ou d’entités. Si un système considère chaque requête comme complète, il peut produire un travail confiant mais hors sujet tout en restant très réactif.

Pour les concepteurs d’agents IA, le benchmark suggère un changement de conception. La clarification ne devrait pas être traitée comme un filet de secours en cas de confusion évidente. Elle pourrait devoir devenir une capacité de premier ordre avec des seuils explicites, un suivi d’état et une expérience utilisateur qui rende les questions de suivi naturelles plutôt qu’entravantes. Les données citées par The Decoder indiquent aussi que des rappels au niveau du prompt peuvent aider à détecter l’ambiguïté, mais pas assez pour résoudre à eux seuls l’achèvement de la tâche de bout en bout.

Cette distinction est importante pour la planification de feuille de route. De meilleurs prompts système peuvent augmenter la fréquence des questions, mais un agent déployé utile doit aussi poser la bonne question au bon moment, puis intégrer la réponse dans le reste du flux de travail. La détection, la formulation et le suivi semblent être des capacités distinctes.

Preuves, limites et degré de confiance à accorder aux affirmations

Les affirmations les plus fortes ici proviennent d’une étude de benchmark décrite par The Decoder plutôt que d’une publication évaluée par les pairs incluse dans l’ensemble des sources. Cela n’invalide pas les résultats, mais signifie que les lecteurs devraient considérer les classements de performance et les conclusions comportementales comme rapportés par les chercheurs jusqu’à ce que l’article sous-jacent, les données et les détails d’évaluation soient examinés plus largement.

Plusieurs limites ressortent des éléments disponibles. Premièrement, DiscoBench est principalement rédigé en chinois, donc les résultats ne se transposeront peut-être pas proprement au comportement de recherche en anglais ou aux flux de travail documentaires en entreprise. Deuxièmement, le benchmark repose sur Tavily et sur un utilisateur simulé construit avec Gemini 3 Flash. Cette configuration est raisonnable pour des tests contrôlés, mais ce n’est pas la même chose que mesurer des systèmes de production complets avec de vrais utilisateurs, des piles de recherche différentes ou une orchestration personnalisée.

Troisièmement, la liste et les versions des modèles sont celles rapportées par The Decoder, notamment Claude Opus 4.7, GPT 5.4, Gemini 3.1 Pro Preview, DeepSeek V4 Pro, GLM 5.1, Qwen3.6 Max, Kimi K2.6, MiniMax M2.7, MiMo v2.5 Pro, Hunyuan 3.0 Preview et Doubao Seed 2.0 Pro. Certaines de ces conventions de nommage peuvent refléter des étiquettes internes ou régionales des auteurs du benchmark, et le matériel source ne fournit pas de fiche modèle complète détaillant les choix de configuration.

Malgré ces réserves, certains schémas paraissent robustes. Les auteurs indiquent qu’en l’absence d’accès à la recherche, les performances s’effondrent, ce qui soutient l’idée que les tâches exigent une récupération d’information en direct plutôt qu’une connaissance mémorisée. Ils rapportent aussi que lorsque l’ambiguïté est retirée des requêtes, l’exactitude augmente d’environ 26,8 à 40,2 points selon le modèle. Si cela se confirme, c’est un signal fort que la gestion de l’ambiguïté elle-même constitue le goulot d’étranglement.

L’article situe aussi DiscoBench dans une ligne plus large de critiques sur la fiabilité de la recherche IA. The Decoder cite LiveBrowseComp comme preuve que les modèles peuvent trop s’appuyer sur leurs connaissances préalables et cite Halluhard pour les problèmes d’hallucination dans la vérification des sources. Ce sont des études adjacentes, pas des validations directes de DiscoBench, mais elles renforcent l’idée que la compétence de navigation reste fragile.

Signaux concurrentiels pour Anthropic, Perplexity et les créateurs d’agents de recherche

Ces résultats arrivent alors que les fournisseurs proposent différentes approches de la recherche assistée par IA. Anthropic a déclaré que Claude Opus 4.8 est réglé pour signaler plus souvent l’incertitude, selon le résumé de The Decoder sur la mise à jour. Si cette affirmation tient dans des tests indépendants, elle correspondrait de très près à la faiblesse que DiscoBench cherche à mettre en évidence.

De son côté, Perplexity a exploré Search as Code, une approche qui permet aux modèles d’exprimer les flux de recherche sous forme de programmes Python plutôt que de s’appuyer uniquement sur des schémas d’API de recherche prédéfinis. Cela peut aider à la planification et à la vérification, mais DiscoBench suggère qu’une autre question reste non résolue : le système peut-il reconnaître que l’information manquante n’est pas sur le web, mais dans la tête de l’utilisateur ?

Pour les équipes qui évaluent des agents IA, cela crée une grille d’achat plus nuancée. Comparer les scores de benchmarks sur des tâches très axées sur la recherche ne suffit plus. Les acheteurs devront peut-être tester si un produit peut s’arrêter, identifier le type d’ambiguïté, poser une question de clarification concise et reprendre la tâche sans réinitialiser le contexte. Dans les domaines réglementés ou à forts enjeux, cette capacité peut compter davantage que la vitesse brute de récupération.

Ce qu’il faut surveiller ensuite

Le prochain signal à surveiller est de savoir si Tencent Hunyuan et l’Université Tsinghua publieront une documentation plus large, du code ou des exemples publics pour DiscoBench. Une réplication indépendante sera importante, surtout sur des tâches en anglais et avec de véritables études auprès d’utilisateurs.

Il faudra aussi observer si les fournisseurs de modèles commencent à publier des métriques de clarification en plus des benchmarks de récupération et de raisonnement. Une norme utile pourrait inclure la détection de l’ambiguïté, la qualité des questions, le taux de reprise après clarification et les modes d’échec par domaine.

Côté produit, surveillez les changements dans les interfaces des agents IA. Si les fournisseurs commencent à faire de la clarification une partie visible et intentionnelle de l’expérience utilisateur plutôt qu’une interruption occasionnelle, cela indiquerait que le marché prend cette catégorie d’échec au sérieux.

Enfin, gardez un œil sur la possibilité que des systèmes comme Claude Opus 4.8, Gemini 3.1 Pro ou GPT 5.4 affichent des gains mesurables sur les tâches riches en ambiguïté lors de tests indépendants. L’avantage concurrentiel dans la recherche IA pourrait de plus en plus venir de la retenue et du dialogue, et pas seulement de davantage d’outils.

Perspective de Creati.ai

DiscoBench rappelle utilement que de nombreux échecs des produits IA commencent avant la récupération d’information, et non après. Les équipes optimisent souvent de meilleurs connecteurs de recherche, des fenêtres de contexte plus grandes et des boucles d’agents plus élaborées. Mais si le modèle accepte un brief ambigu et s’y lance, toute la pile peut produire une inutilité soignée.

Pour les constructeurs, l’enseignement pratique est simple : traitez la clarification comme une infrastructure essentielle. Les systèmes gagnants dans la recherche IA seront peut-être ceux qui savent quand s’arrêter, poser une question précise, puis continuer seulement après. C’est moins spectaculaire que la navigation autonome, mais pour l’IA en entreprise et la confiance des utilisateurs, c’est probablement la capacité la plus importante.