Benchmarking de AI

O AutoModelRouter da KT teria ficado em segundo lugar em um benchmark global, colocando a eficiência na seleção de modelos no centro da implantação de IA empresarial.

A Vals, apoiada pela Andreessen Horowitz, levantou US$ 40 milhões para construir benchmarking confidencial de IA baseado em tarefas para empresas e agências federais, enquanto testes mais antigos s…

Dados de benchmark da AWS sugerem que os modelos da OpenAI no Amazon Bedrock podem reduzir o custo de respostas corretas quando as equipes medem qualidade, turnos e retrabalho.

A Google DeepMind está testando um benchmark protegido criptograficamente em dupla ocultação para o Gemini Flash Lite, com o objetivo de reduzir a contaminação e reconstruir a confiança nas avaliações de IA.

A Motif teria assumido a liderança em um benchmark global de IA para modelos coreanos, enquanto o setor aguarda uma segunda avaliação do Dokpamo que pode testar se o resultado se mantém.

O Claude Opus 5 da Anthropic estabeleceu uma nova pontuação máxima no ARC-AGI-3, levantando novas dúvidas sobre ganhos reais de raciocínio versus mira no benchmark.

A OpenAI diz que cerca de 30% das tarefas do SWE-Bench Pro podem estar quebradas, levantando novas dúvidas sobre como a indústria de IA mede modelos de programação.

Um novo sistema de benchmarking alimentado por IA generativa revela a dominância da China no setor de veículos autônomos e robotáxis em relação aos concorrentes dos EUA.

Google DeepMind lança benchmarks de Werewolf e poker na Kaggle Game Arena para testar habilidades sociais da IA, detecção de enganos e gestão de riscos. Os modelos Gemini 3 Pro e Flash demonstram um salto de desempenho significativo em relação à geração anterior.