Moonshot AI a lancé PerceptionBench, un benchmark conçu pour vérifier si les modèles d’IA multimodaux peuvent interpréter correctement les images avant qu’on leur demande de raisonner à leur sujet. L’évaluation rapportée par The Decoder a révélé qu’aucun des 16 modèles de pointe testés n’a atteint 60 % de précision globale, le meilleur système obtenant 59,7 %.

Ce résultat est important, car de nombreux échecs attribués à un mauvais raisonnement peuvent commencer plus tôt : le modèle a peut-être mal lu l’image, mal compté, manqué une relation visuelle ou imaginé un objet absent. PerceptionBench tente d’isoler cette première étape du savoir général et du raisonnement en plusieurs étapes, offrant aux concepteurs d’IA un moyen plus précis de diagnostiquer les échecs multimodaux.

Un benchmark construit autour de compétences visuelles de base

L’équipe de recherche de Moonshot AI, qui développe également l’assistant Kimi, a indiqué que PerceptionBench évalue la perception visuelle indépendamment du raisonnement logique et des connaissances externes. Chaque question est censée pouvoir être résolue à partir de l’image elle-même.

Le benchmark divise la perception en dix domaines de compétence : relations visuelles, comptage, attributs, compréhension de la profondeur et de la 3D, localisation, comparaison, reconnaissance fine, intégration du contexte, reconnaissance optique de caractères et hallucination. Les catégories auraient été dérivées d’erreurs de modèles observées plutôt qu’imposées comme une taxonomie purement théorique.

L’équipe a analysé 42 benchmarks open source existants et a constaté un chevauchement limité entre les erreurs mesurées. Moonshot AI a donc créé un ensemble interne de plus de 17 000 questions vérifiées et publie 3 000 tâches. Selon le compte rendu de The Decoder, 60 % des questions publiées provenaient d’erreurs de modèles documentées, tandis que le reste a été reformulé à l’aide d’images augmentées.

Le jeu de données public et le code d’évaluation sont disponibles via le projet MoonshotAI/PerceptionBench sur GitHub. Cette publication devrait permettre aux chercheurs et aux développeurs de modèles de vérifier si les faiblesses signalées se reproduisent en dehors du propre processus d’évaluation de Moonshot AI.

Les modèles de pointe restent sous le seuil du benchmark

The Decoder a rapporté que GPT-5.6 Sol a obtenu le meilleur score global avec 59,7 %, suivi de Kimi K3 avec 58,5 %, Claude Fable 5 avec 57,2 %, Gemini 3.1 Pro avec 56,2 % et GPT-5.5 avec 55,8 %. Parmi les modèles open source mentionnés dans le rapport figuraient Qwen3.5-397B-A17B avec 47,5 % et GLM-4.6V avec 32,5 %.

Ces chiffres doivent être considérés comme des résultats de benchmark rapportés par The Decoder, et non comme un classement universel des capacités multimodales. Les performances peuvent varier selon le prompt, la composition de l’image, la sélection des tâches et la conception de l’évaluation. Les modèles et les scores sont également présentés dans le matériau source sans réplication indépendante dans les éléments de preuve disponibles pour cet article.

Les résultats par catégorie semblent plus révélateurs que le classement général. Des modèles aux scores agrégés similaires divergeaient, selon les rapports, fortement selon la compétence. L’hallucination était en moyenne le point le plus faible : GPT-5.6 Sol a obtenu 26,9 % au sous-test, tandis que Gemini 3.5 Flash aurait atteint 50,6 % malgré un classement global inférieur. La tâche vérifie si un modèle peut répondre correctement « zéro » lorsqu’une image ne contient aucun des objets recherchés, au lieu d’en inventer un.

Ce schéma suggère qu’un score multimodal unique peut masquer de sérieuses faiblesses dans certains flux de travail. Un modèle peut être fiable pour lire du texte dans une image, mais peu fiable pour compter, comparer spatialement ou déterminer si un objet existe réellement.

Pourquoi les erreurs de perception ressemblent à des erreurs de raisonnement

De nombreuses tâches de production combinent interprétation visuelle et enchaînement de décisions. Un assistant peut examiner un tableau de bord, identifier une alerte, comparer deux images de produits, puis recommander une action. Si la première observation visuelle est erronée, le raisonnement ultérieur peut rester cohérent en interne tout en produisant la mauvaise réponse.

L’approche de PerceptionBench décompose les questions complexes en sous-questions centrées uniquement sur la perception. Les chercheurs de Moonshot AI soutiennent que cela permet d’identifier l’étape la plus précoce en échec plutôt que de qualifier l’ensemble du résultat d’erreur de raisonnement.

Cette conclusion est cohérente avec des travaux antérieurs cités par The Decoder, même si ces études utilisaient des tests différents. Le benchmark WorldVQA aurait montré que son meilleur modèle obtenait 47,4 % sur des tâches séparant la reconnaissance d’objets du raisonnement. Une autre étude utilisant BabyVision a rapporté que Gemini 3 Pro atteignait 49,7 % sur des tâches visuelles de base, contre 94,1 % pour les humains. La source attribue cet écart à un goulot d’étranglement de verbalisation, où l’information visuelle perd en fidélité lorsqu’elle est convertie en langage.

Ces comparaisons ne prouvent pas que tous les systèmes multimodaux échouent de la même manière, mais elles renforcent le point plus étroit au cœur de PerceptionBench : une génération de langage solide et de bonnes performances de raisonnement général ne garantissent pas un traitement fiable des entrées visuelles.

Ce que les résultats signifient pour les équipes produit IA

Pour les concepteurs, l’implication immédiate est architecturale plutôt qu’esthétique. Un modèle multimodal ne doit pas être automatiquement considéré comme apte à effectuer du comptage, des vérifications d’inventaire, de l’extraction de documents, de la navigation spatiale ou du contrôle qualité visuel simplement parce qu’il peut décrire une image avec aisance.

Les équipes déployant des systèmes visuels peuvent avoir besoin d’évaluations spécifiques aux modes d’échec exacts qui affectent leur flux de travail. Un système de vente au détail devrait tester la présence d’objets et les attributs fins. Un produit documentaire devrait mesurer la ROC et l’interprétation de la mise en page. Une application robotique ou industrielle devrait évaluer séparément la localisation, la profondeur et les relations spatiales avant d’ajouter la planification ou l’usage d’outils.

Le benchmark soutient également l’utilisation d’étapes de vérification autour des sorties visuelles à fort impact. Un second modèle, un outil classique de vision par ordinateur, une extraction structurée ou une revue humaine peuvent être appropriés lorsqu’un comptage erroné ou une alerte manquée entraîne des conséquences financières, de sécurité ou de conformité. Ces garde-fous ajoutent de la latence et du coût, mais les scores de PerceptionBench indiquent que des réponses fluides ne suffisent pas à prouver une perception exacte.

Pour les fournisseurs de modèles, cette publication crée une pression pour rapporter des résultats au niveau des catégories plutôt que seulement des benchmarks multimodaux agrégés. Les développeurs comparant GPT-5.6 Sol, Kimi K3, Claude Fable 5 ou Gemini 3.1 Pro peuvent parvenir à des conclusions différentes selon que leur priorité est la ROC, la résistance aux hallucinations, le comptage ou la compréhension spatiale.

Ce qu’il faut surveiller ensuite

Le premier signal à surveiller est la reproduction indépendante des résultats de PerceptionBench à travers différentes versions de modèles et différents réglages d’inférence. Comme le benchmark et le code sont publics, des évaluations externes peuvent vérifier si les écarts signalés persistent au-delà de la configuration de Moonshot AI.

Les chercheurs devraient également examiner la contamination et la construction des tâches, en particulier la part des questions dérivées d’erreurs de modèles connues et l’effet des images augmentées. Ces détails aideront à déterminer si le benchmark mesure une capacité visuelle générale ou cible fortement des schémas d’échec déjà observés par ses auteurs.

Pour les acheteurs, la question utile suivante n’est pas seulement de savoir quel modèle arrive en tête du classement global. Il s’agit de savoir si les fournisseurs publient des résultats fiables, spécifiques à chaque catégorie, et si les améliorations se transposent à de vraies images, à des mises en page changeantes, à des entrées de caméra bruitées et aux cas limites rencontrés en production.

Perspective Creati.ai

PerceptionBench est surtout précieux comme benchmark de diagnostic, et non comme verdict définitif sur l’IA multimodale. Sa contribution centrale est de séparer le fait de voir du fait de raisonner, une distinction que beaucoup d’évaluations produit brouillent. Un modèle peut expliquer une image de manière convaincante tout en se trompant sur son contenu.

La leçon pratique pour les équipes IA est simple : testez le primitive visuel dont dépend un flux de travail, mesurez le coût des échecs et placez des vérifications là où les erreurs de perception peuvent se propager. Tant que les systèmes multimodaux ne seront pas plus fiables sur ces tâches soi-disant simples, le choix d’un modèle devrait se faire sur la base de la tâche visuelle précise, et non sur un simple score de capacité générale.