Moonshot AIはPerceptionBenchを発表した。これは、マルチモーダルAIモデルが推論を求められる前に、画像を正しく解釈できるかをテストするためのベンチマークだ。The Decoderが報じた評価では、テストされた16のフロンティアモデルのうち、総合精度が60%に達したものは一つもなく、最高のシステムでも59.7%だった。

この結果が重要なのは、推論力の不足として片付けられている多くの失敗が、もっと前の段階で始まっている可能性があるからだ。モデルが画像を誤読した、数を間違えた、視覚的な関係を見落とした、あるいは存在しない物体を幻覚的に作り出した可能性がある。PerceptionBenchは、一般知識や多段階推論とは切り離してこの最初の段階を分離し、AI開発者がマルチモーダルの失敗をより正確に診断できるようにすることを目指している。

基本的な視覚スキルに基づいて設計されたベンチマーク

Kimiアシスタントも開発しているMoonshot AIの研究チームは、PerceptionBenchが論理的推論や外部知識とは独立して視覚認識を評価すると述べた。各質問は、画像そのものから答えられるように作られている。

このベンチマークは認識を10のスキル領域に分けている。視覚的関係、カウント、属性、奥行きと3Dの理解、位置特定、比較、詳細認識、文脈統合、光学式文字認識、そして幻覚だ。カテゴリは純粋に理論的な分類ではなく、観測されたモデルの誤りから導かれたと報じられている。

チームは既存の42のオープンソースベンチマークを分析し、測定しているエラーの重なりが限定的であることを見いだした。そのためMoonshot AIは、17,000件超の検証済み質問からなる内部プールを作成し、3,000タスクを公開する。The Decoderによれば、公開された質問の60%は記録済みのモデルエラーに由来し、残りは拡張画像を用いて言い換えられた。

公開データセットと評価コードはGitHub上のMoonshotAI/PerceptionBenchプロジェクトから利用できる。この公開により、研究者やモデル開発者は、報告された弱点がMoonshot AI独自の評価プロセスの外でも再現するかを確認できるはずだ。

フロンティアモデルは依然としてベンチマークの閾値を下回る

The Decoderは、GPT-5.6 Solが総合最高の59.7%を記録し、続いてKimi K3が58.5%、Claude Fable 5が57.2%、Gemini 3.1 Proが56.2%、GPT-5.5が55.8%だったと報じた。レポートに挙げられたオープンソースモデルには、Qwen3.5-397B-A17Bの47.5%とGLM-4.6Vの32.5%が含まれていた。

これらの数値は、マルチモーダル能力の普遍的なランキングではなく、The Decoderが報じたベンチマーク結果として扱うべきだ。性能は、プロンプト、画像構成、タスク選択、評価設計によって変化しうる。さらに、この記事で利用可能な証拠には独立した再現実験がなく、モデルとスコアは出典資料のまま提示されている。

カテゴリ別の結果は、ランキング全体よりも示唆的だ。総合スコアが似たモデル同士でも、能力ごとの差が大きく分かれたと報じられている。平均で最も弱かったのは幻覚だった。GPT-5.6 Solはこのサブテストで26.9%だった一方、Gemini 3.5 Flashは総合順位は下でも50.6%に達したとされる。この課題は、画像に問い合わせ対象の物体が一つもないときに、モデルが新たに物体を作り出すのではなく、正しく「ゼロ」と答えられるかを試す。

この傾向は、単一のマルチモーダルスコアが特定の業務フローにおける深刻な弱点を隠しうることを示唆している。あるモデルは画像内の文字を読むのは得意でも、数を数えること、空間比較、あるいは対象物が本当に存在するかの判断は苦手かもしれない。

なぜ知覚エラーは推論エラーのように見えるのか

多くの実運用タスクは、視覚的な解釈と一連の判断を組み合わせている。アシスタントがダッシュボードを確認し、警告を特定し、2つの製品画像を比較して、行動を勧める、といった具合だ。最初の視覚観察が誤っていれば、その後の推論が内部的に整合していても、最終的に間違った答えを出しうる。

PerceptionBenchのアプローチは、複雑な質問を認識のみのサブ質問に分解する。Moonshot AIの研究者は、これによって全体を推論エラーと決めつけるのではなく、最初に失敗した段階を特定できると主張している。

この発見はThe Decoderが引用した以前の研究とも一致しているが、それらの研究は別のテストを使っていた。WorldVQAベンチマークでは、最も高性能なモデルが、物体認識と推論を分離する課題で47.4%を記録したと報じられている。BabyVisionを用いた別の研究では、Gemini 3 Proが基本的な視覚タスクで49.7%だったのに対し、人間は94.1%だったと報告された。出典は、この差を、視覚情報が言語に変換される際に忠実性が失われる「言語化のボトルネック」に起因するとしている。

これらの比較は、すべてのマルチモーダルシステムが同じように失敗することを示すものではないが、PerceptionBenchの背後にあるより狭い論点、すなわち高い言語生成能力と広範な推論性能が、信頼できる視覚入力処理を保証するわけではない、という点を補強している。

この結果がAI製品チームに意味すること

開発者にとって、直ちに重要なのは見た目ではなくアーキテクチャ上の含意だ。マルチモーダルモデルは、画像を流暢に説明できるからといって、自動的にカウント、在庫確認、文書抽出、空間ナビゲーション、視覚品質管理を任せてよいわけではない。

視覚システムを展開するチームは、自分たちのワークフローに影響する正確な失敗モードについて、タスク固有の評価が必要になるかもしれない。小売システムなら、物体の存在と詳細な属性をテストすべきだ。文書製品ならOCRとレイアウト解釈を測定すべきだ。ロボティクスや産業用途では、計画やツール使用を追加する前に、位置特定、奥行き、空間関係を個別に評価すべきだ。

このベンチマークは、影響の大きい視覚出力に対して検証ステップを挟むことも後押しする。誤ったカウントや見逃した警告が財務・安全・コンプライアンス上の影響をもたらす場合、2つ目のモデル、従来のコンピュータービジョンツール、構造化抽出、人手レビューが適切かもしれない。これらの安全策は遅延とコストを増やすが、PerceptionBenchのスコアは、流暢な応答だけでは正確な知覚の証拠として不十分であることを示している。

モデルベンダーにとって、この公開は、総合的なマルチモーダルベンチマークだけでなく、カテゴリ別の結果を報告する圧力となる。GPT-5.6 Sol、Kimi K3、Claude Fable 5、Gemini 3.1 Proを比較する開発者は、重視する点がOCR、幻覚耐性、カウント、空間理解のどれかによって異なる結論に至るだろう。

今後注目すべき点

最初に注目すべきシグナルは、モデルのバージョンや推論設定をまたいだPerceptionBench結果の独立再現だ。ベンチマークとコードは公開されているため、外部評価によって、報告された差がMoonshot AIの環境を超えても続くかを検証できる。

研究者は、汚染とタスク構成、特に既知のモデルエラーから導かれた質問の割合と、拡張画像の効果も調べるべきだ。これらの詳細は、このベンチマークが一般的な視覚能力を測っているのか、それとも著者がすでに観測した失敗パターンを強く狙っているのかを判断する助けになる。

購入者にとって重要な次の問いは、単にどのモデルが総合トップかではない。ベンダーが信頼できるカテゴリ別結果を公開しているか、そして改善が実画像、変化するレイアウト、ノイズのあるカメラ入力、実運用で見られる例外ケースにまで منتقلされるかどうかだ。

Creati.ai の視点

PerceptionBenchの価値は、マルチモーダルAIに対する最終判決というより、診断用ベンチマークとしての価値にある。その中心的な貢献は、見ることと推論することを分けた点であり、多くの製品評価はこの違いを曖昧にしてしまう。あるモデルは画像を説得力ある形で説明できても、画像に何が含まれているかでは間違うことがある。

AIチームへの実践的な教訓は明快だ。ワークフローが依存する視覚の原子操作をテストし、失敗のコストを測定し、知覚エラーが連鎖しうる場所に検証を置くこと。マルチモーダルシステムがこうした一見単純なタスクでより確実になるまでは、モデル選定は一般的な能力スコアではなく、具体的な視覚タスクに基づくべきだ。