A Moonshot AI apresentou o PerceptionBench, um benchmark criado para testar se modelos multimodais de IA conseguem interpretar corretamente imagens antes de serem solicitados a raciocinar sobre elas. A avaliação relatada pelo The Decoder descobriu que nenhum dos 16 modelos de fronteira testados alcançou 60% de precisão geral, com o sistema líder marcando 59,7%.

O resultado importa porque muitas falhas atribuídas a raciocínio ruim podem começar antes: o modelo pode ter lido a imagem de forma errada, contado incorretamente, deixado de notar uma relação visual ou imaginado um objeto que não estava presente. O PerceptionBench tenta isolar essa primeira etapa do conhecimento geral e do raciocínio em múltiplas etapas, oferecendo aos desenvolvedores de IA uma forma mais precisa de diagnosticar falhas multimodais.

Um benchmark construído em torno de habilidades visuais básicas

A equipe de pesquisa da Moonshot AI, que também desenvolve o assistente Kimi, disse que o PerceptionBench avalia a percepção visual independentemente do raciocínio lógico e do conhecimento externo. Cada pergunta é destinada a poder ser respondida a partir da própria imagem.

O benchmark divide a percepção em dez áreas de habilidade: relações visuais, contagem, atributos, compreensão de profundidade e 3D, localização, comparação, reconhecimento de alto detalhe, integração de contexto, reconhecimento óptico de caracteres e alucinação. As categorias teriam sido derivadas de erros observados em modelos, e não impostas como uma taxonomia puramente teórica.

A equipe analisou 42 benchmarks open source existentes e encontrou sobreposição limitada entre os erros que mediam. A Moonshot AI, então, criou um conjunto interno com mais de 17.000 perguntas verificadas e está lançando 3.000 tarefas. Segundo o relato do The Decoder, 60% das perguntas publicadas vieram de erros documentados de modelos, enquanto o restante foi reformulado com imagens aumentadas.

O conjunto de dados público e o código de avaliação estão disponíveis por meio do projeto MoonshotAI/PerceptionBench no GitHub. Esse lançamento deve permitir que pesquisadores e desenvolvedores de modelos testem se as fraquezas relatadas se reproduzem fora do próprio processo de avaliação da Moonshot AI.

Modelos de fronteira permanecem abaixo do limite do benchmark

O The Decoder informou que o GPT-5.6 Sol obteve o melhor resultado geral, com 59,7%, seguido por Kimi K3 com 58,5%, Claude Fable 5 com 57,2%, Gemini 3.1 Pro com 56,2% e GPT-5.5 com 55,8%. Entre os modelos open source listados no relatório estavam Qwen3.5-397B-A17B com 47,5% e GLM-4.6V com 32,5%.

Esses números devem ser tratados como resultados de benchmark relatados pelo The Decoder, e não como um ranking universal da capacidade multimodal. O desempenho pode variar conforme o prompting, a composição da imagem, a seleção de tarefas e o desenho da avaliação. Os modelos e as pontuações também são apresentados no material de origem sem uma replicação independente nas evidências disponíveis para este artigo.

Os resultados por categoria parecem mais reveladores do que o placar geral. Modelos com pontuações agregadas semelhantes teriam divergido substancialmente por habilidade. A alucinação foi, em média, a área mais fraca: o GPT-5.6 Sol marcou 26,9% no subteste, enquanto o Gemini 3.5 Flash teria chegado a 50,6% apesar de ter ficado mais abaixo no ranking geral. A tarefa testa se um modelo consegue responder corretamente “zero” quando uma imagem não contém nenhum dos objetos perguntados, em vez de inventar um.

Esse padrão sugere que uma única pontuação multimodal pode esconder fraquezas sérias em fluxos de trabalho específicos. Um modelo pode ser confiável para ler texto em uma imagem, mas pouco confiável para contar, comparar espacialmente ou determinar se um objeto existe de fato.

Por que erros de percepção parecem erros de raciocínio

Muitas tarefas de produção combinam interpretação visual com uma cadeia de decisões. Um assistente pode inspecionar um painel, identificar um alerta, comparar duas imagens de produto e então recomendar uma ação. Se a primeira observação visual estiver errada, o raciocínio posterior pode permanecer internamente consistente e ainda assim produzir a resposta errada.

A abordagem do PerceptionBench divide perguntas complexas em subperguntas focadas apenas na percepção. Os pesquisadores da Moonshot AI argumentam que isso torna possível identificar a etapa mais precoce de falha, em vez de rotular todo o resultado como erro de raciocínio.

A constatação é consistente com trabalhos anteriores citados pelo The Decoder, embora esses estudos tenham usado testes diferentes. O benchmark WorldVQA teria mostrado que seu modelo de melhor desempenho marcou 47,4% em tarefas que separam reconhecimento de objetos de raciocínio. Outro estudo usando BabyVision relatou que o Gemini 3 Pro alcançou 49,7% em tarefas visuais básicas, contra 94,1% dos humanos. A fonte atribui essa diferença a um gargalo de verbalização, no qual a informação visual perde fidelidade ao ser convertida em linguagem.

Essas comparações não estabelecem que todos os sistemas multimodais falhem da mesma maneira, mas reforçam o ponto mais restrito por trás do PerceptionBench: forte geração de linguagem e desempenho amplo em raciocínio não garantem processamento confiável de entrada visual.

O que os resultados significam para as equipes de produto de IA

Para os construtores, a implicação imediata é arquitetural, e não estética. Um modelo multimodal não deve ser automaticamente considerado confiável para contagem, verificação de estoque, extração de documentos, navegação espacial ou controle de qualidade visual apenas porque consegue descrever uma imagem com fluência.

Equipes que implantam sistemas visuais podem precisar de avaliações específicas para os modos de falha exatos que afetam seu fluxo de trabalho. Um sistema de varejo deve testar presença de objetos e atributos detalhados. Um produto de documentos deve medir OCR e interpretação de layout. Uma aplicação robótica ou industrial deve avaliar separadamente localização, profundidade e relações espaciais antes de adicionar planejamento ou uso de ferramentas.

O benchmark também apoia o uso de etapas de verificação em torno de saídas visuais de alto impacto. Um segundo modelo, uma ferramenta convencional de visão computacional, extração estruturada ou revisão humana podem ser apropriados quando uma contagem incorreta ou um alerta perdido gerar consequências financeiras, de segurança ou de conformidade. Essas salvaguardas adicionam latência e custo, mas as pontuações do PerceptionBench indicam que respostas fluentes não são evidência suficiente de percepção precisa.

Para fornecedores de modelos, o lançamento cria pressão para reportar resultados em nível de categoria, e não apenas benchmarks multimodais agregados. Desenvolvedores comparando GPT-5.6 Sol, Kimi K3, Claude Fable 5 ou Gemini 3.1 Pro podem chegar a conclusões diferentes dependendo se sua prioridade é OCR, resistência a alucinações, contagem ou compreensão espacial.

O que observar a seguir

O primeiro sinal a acompanhar é a reprodução independente dos resultados do PerceptionBench em diferentes versões de modelos e configurações de inferência. Como o benchmark e o código são públicos, avaliações externas podem testar se as lacunas relatadas persistem além da configuração da Moonshot AI.

Os pesquisadores também devem examinar contaminação e construção de tarefas, especialmente a parcela de perguntas derivadas de erros conhecidos do modelo e o efeito de imagens aumentadas. Esses detalhes ajudarão a determinar se o benchmark mede capacidade visual geral ou se mira fortemente padrões de falha já observados por seus autores.

Para compradores, a próxima questão útil não é simplesmente qual modelo lidera a lista geral. É se os fornecedores publicam resultados confiáveis e específicos por categoria, e se as melhorias se transferem para imagens reais, layouts em mudança, entradas de câmera com ruído e os casos extremos encontrados em produção.

Perspectiva da Creati.ai

O PerceptionBench é mais valioso como benchmark diagnóstico do que como veredito definitivo sobre IA multimodal. Sua contribuição central é separar ver de raciocinar, uma distinção que muitas avaliações de produto embaralham. Um modelo pode explicar uma imagem de forma convincente e ainda assim errar sobre o que ela contém.

A lição prática para equipes de IA é direta: teste o primitivo visual de que o fluxo de trabalho depende, meça o custo das falhas e coloque verificação onde os erros de percepção possam se propagar. Até que sistemas multimodais se tornem mais confiáveis nessas tarefas aparentemente simples, a seleção de modelos deve se basear no trabalho visual específico — não apenas em uma pontuação geral de capacidade.