Moonshot AI hat PerceptionBench vorgestellt, einen Benchmark, der prüft, ob multimodale KI-Modelle Bilder korrekt interpretieren können, bevor sie dazu aufgefordert werden, darüber zu schlussfolgern. Die von The Decoder berichtete Auswertung ergab, dass keines der 16 getesteten Frontier-Modelle insgesamt 60 % Genauigkeit erreichte; das bestplatzierte System kam auf 59,7 %.

Das Ergebnis ist wichtig, weil viele Fehler, die dem schlechten Schlussfolgern zugeschrieben werden, früher beginnen können: Das Modell hat das Bild möglicherweise falsch gelesen, falsch gezählt, eine visuelle Beziehung übersehen oder ein Objekt herbeigefantasiert, das nicht vorhanden war. PerceptionBench versucht, diese erste Stufe von Allgemeinwissen und mehrstufigem Schlussfolgern zu isolieren und KI-Entwicklern so eine präzisere Diagnose multimodaler Fehler zu ermöglichen.

Ein Benchmark, der auf grundlegenden visuellen Fähigkeiten basiert

Das Forschungsteam von Moonshot AI, das auch den Assistenten Kimi entwickelt, erklärte, dass PerceptionBench die visuelle Wahrnehmung unabhängig von logischem Schlussfolgern und Außenwissen bewertet. Jede Frage soll allein aus dem Bild heraus beantwortbar sein.

Der Benchmark unterteilt Wahrnehmung in zehn Fähigkeitsbereiche: visuelle Beziehungen, Zählen, Attribute, Tiefen- und 3D-Verständnis, Lokalisierung, Vergleich, fein abgestufte Erkennung, Kontextintegration, optische Zeichenerkennung und Halluzination. Den Kategorien liegen Berichten zufolge beobachtete Modellfehler zugrunde und nicht eine rein theoretische Taxonomie.

Das Team analysierte 42 bestehende Open-Source-Benchmarks und stellte nur begrenzte Überschneidungen bei den gemessenen Fehlern fest. Moonshot AI erstellte daher einen internen Pool von mehr als 17.000 verifizierten Fragen und veröffentlicht 3.000 Aufgaben. Laut The Decoder stammten 60 % der veröffentlichten Fragen aus dokumentierten Modellfehlern, während der Rest mithilfe augmentierter Bilder umformuliert wurde.

Der öffentliche Datensatz und der Evaluierungscode sind über das Projekt MoonshotAI/PerceptionBench auf GitHub verfügbar. Diese Veröffentlichung sollte Forschern und Modellentwicklern ermöglichen zu prüfen, ob sich die berichteten Schwächen außerhalb des eigenen Bewertungsprozesses von Moonshot AI reproduzieren lassen.

Frontier-Modelle bleiben unter der Schwelle des Benchmarks

The Decoder berichtete, dass GPT-5.6 Sol mit 59,7 % das beste Gesamtergebnis erzielte, gefolgt von Kimi K3 mit 58,5 %, Claude Fable 5 mit 57,2 %, Gemini 3.1 Pro mit 56,2 % und GPT-5.5 mit 55,8 %. Zu den im Bericht genannten Open-Source-Modellen gehörten Qwen3.5-397B-A17B mit 47,5 % und GLM-4.6V mit 32,5 %.

Diese Zahlen sollten als über The Decoder berichtete Benchmark-Ergebnisse betrachtet werden, nicht als universelle Rangliste der multimodalen Fähigkeiten. Die Leistung kann je nach Prompting, Bildkomposition, Aufgabenauswahl und Evaluierungsdesign variieren. Die Modelle und Werte werden zudem im Quellmaterial ohne unabhängige Replikation in den für diesen Artikel verfügbaren Belegen präsentiert.

Die Ergebnisse nach Kategorien erscheinen aufschlussreicher als die Rangliste. Modelle mit ähnlichen Gesamtwerten unterschieden sich Berichten zufolge erheblich je nach Fähigkeit. Halluzination war im Durchschnitt der schwächste Bereich: GPT-5.6 Sol erreichte im Untertest 26,9 %, während Gemini 3.5 Flash Berichten zufolge trotz niedrigerem Gesamtplatz 50,6 % erzielte. Die Aufgabe prüft, ob ein Modell korrekt „Null“ antworten kann, wenn ein Bild kein Exemplar des abgefragten Objekts enthält, anstatt eines zu erfinden.

Dieses Muster legt nahe, dass ein einzelner multimodaler Wert ernsthafte Schwächen in bestimmten Arbeitsabläufen verdecken kann. Ein Modell kann beim Lesen von Text in einem Bild zuverlässig sein, aber beim Zählen, beim räumlichen Vergleichen oder bei der Feststellung, ob ein Objekt überhaupt existiert, unzuverlässig bleiben.

Warum Wahrnehmungsfehler wie Schlussfolgerungsfehler aussehen

Viele Produktionsaufgaben verbinden visuelle Interpretation mit einer Kette von Entscheidungen. Ein Assistent könnte ein Dashboard prüfen, eine Warnung identifizieren, zwei Produktbilder vergleichen und dann eine Handlung empfehlen. Ist die erste visuelle Beobachtung falsch, kann das spätere Schlussfolgern intern konsistent bleiben und dennoch die falsche Antwort erzeugen.

Der Ansatz von PerceptionBench zerlegt komplexe Fragen in Wahrnehmungs-Unterfragen. Die Forscher von Moonshot AI argumentieren, dass sich damit der früheste fehlgeschlagene Schritt identifizieren lässt, statt das gesamte Ergebnis als Denkfehler zu bezeichnen.

Der Befund steht im Einklang mit früheren Arbeiten, auf die sich The Decoder bezieht, auch wenn diese Studien andere Tests verwendeten. Der Benchmark WorldVQA soll gezeigt haben, dass das beste Modell bei Aufgaben, die Objekterkennung von Schlussfolgern trennen, 47,4 % erreichte. Eine andere Studie mit BabyVision berichtete, dass Gemini 3 Pro bei grundlegenden visuellen Aufgaben 49,7 % erreichte, verglichen mit 94,1 % bei Menschen. Die Quelle führt diese Lücke auf einen Verbalisierungsengpass zurück, bei dem visuelle Informationen an Treue verlieren, wenn sie in Sprache umgewandelt werden.

Diese Vergleiche belegen nicht, dass alle multimodalen Systeme auf dieselbe Weise versagen, aber sie unterstreichen den engeren Punkt hinter PerceptionBench: Starke Sprachgenerierung und breite Schlussfolgerungsleistung garantieren keine zuverlässige Verarbeitung visueller Eingaben.

Was die Ergebnisse für KI-Produktteams bedeuten

Für Entwickler ist die unmittelbare Konsequenz eher architektonischer als kosmetischer Natur. Ein multimodales Modell sollte nicht automatisch darauf vertraut werden, Zählen, Bestandsprüfungen, Dokumentenextraktion, räumliche Navigation oder visuelle Qualitätskontrolle zu übernehmen, nur weil es ein Bild flüssig beschreiben kann.

Teams, die visuelle Systeme einsetzen, benötigen möglicherweise aufgabenspezifische Evaluierungen für genau die Fehlermodi, die ihren Workflow betreffen. Ein Einzelhandelssystem sollte Objektpräsenz und fein abgestufte Attribute prüfen. Ein Dokumentenprodukt sollte OCR und Layout-Interpretation messen. Eine Robotik- oder Industrieanwendung sollte Lokalisierung, Tiefe und räumliche Beziehungen getrennt bewerten, bevor Planung oder Werkzeugnutzung hinzukommen.

Der Benchmark stützt auch die Verwendung von Verifikationsschritten bei visuellem Output mit hoher Wirkung. Ein zweites Modell, ein herkömmliches Computer-Vision-Tool, strukturierte Extraktion oder menschliche Prüfung kann angebracht sein, wenn eine falsche Zählung oder eine übersehene Warnung finanzielle, sicherheitsrelevante oder Compliance-Folgen hat. Diese Schutzmaßnahmen erhöhen Latenz und Kosten, aber die Werte von PerceptionBench zeigen, dass flüssige Antworten kein ausreichender Beleg für genaue Wahrnehmung sind.

Für Modellanbieter erzeugt die Veröffentlichung Druck, Ergebnisse auf Kategorieebene statt nur aggregierte multimodale Benchmarks zu berichten. Entwickler, die GPT-5.6 Sol, Kimi K3, Claude Fable 5 oder Gemini 3.1 Pro vergleichen, können zu unterschiedlichen Schlussfolgerungen kommen, je nachdem, ob ihr Schwerpunkt auf OCR, Halluzinationsresistenz, Zählen oder räumlichem Verständnis liegt.

Worauf als Nächstes zu achten ist

Das erste Signal, auf das man achten sollte, ist eine unabhängige Reproduktion der PerceptionBench-Ergebnisse über Modellversionen und Inferenz-Einstellungen hinweg. Da Benchmark und Code öffentlich verfügbar sind, können externe Auswertungen prüfen, ob die berichteten Lücken über das Setup von Moonshot AI hinaus bestehen bleiben.

Forscher sollten auch Kontamination und Aufgabenaufbau untersuchen, insbesondere den Anteil der Fragen, die aus bekannten Modellfehlern abgeleitet wurden, sowie die Wirkung augmentierter Bilder. Diese Details helfen zu bestimmen, ob der Benchmark allgemeine visuelle Fähigkeiten misst oder stark auf Fehlermuster abzielt, die seine Autoren bereits beobachtet haben.

Für Käufer ist die nützliche Anschlussfrage nicht einfach, welches Modell insgesamt an der Spitze steht. Entscheidend ist, ob Anbieter verlässliche, kategoriespezifische Ergebnisse veröffentlichen und ob sich Verbesserungen auf reale Bilder, wechselnde Layouts, verrauschte Kameraeingaben und die in der Praxis auftretenden Sonderfälle übertragen.

Creati.ai-Perspektive

PerceptionBench ist vor allem als diagnostischer Benchmark wertvoll, nicht als endgültiges Urteil über multimodale KI. Sein zentraler Beitrag besteht darin, Sehen von Schlussfolgern zu trennen – ein Unterschied, den viele Produktbewertungen verwischen. Ein Modell kann ein Bild überzeugend erklären und dennoch falsch liegen, was das Bild tatsächlich enthält.

Die praktische Lehre für KI-Teams ist einfach: Testen Sie das visuelle Primitive, auf das ein Workflow angewiesen ist, messen Sie die Kosten von Fehlern und setzen Sie Verifikation dort ein, wo Wahrnehmungsfehler sich fortpflanzen können. Solange multimodale Systeme bei diesen angeblich einfachen Aufgaben nicht zuverlässiger werden, sollte die Modellauswahl auf der konkreten visuellen Aufgabe beruhen – nicht nur auf einem allgemeinen Fähigkeitswert.