Pesquisadores da Nvidia relataram um resultado que desafia a forma como muitas equipes avaliam agentes de IA: em um benchmark interativo de raciocínio difícil, o software ao redor do modelo pareceu importar mais do que o modelo sozinho. Um harness personalizado criado para gerenciar memória, ferramentas, feedback e supervisão ajudou o Claude Opus 5 a alcançar uma pontuação reportada de 100% no ARC-AGI-3, em comparação com 30% sem esse andaime adicional.

O achado é importante porque sistemas de IA de longo horizonte são julgados menos por uma boa resposta do que pela capacidade de tomar muitas decisões sem perder contexto, repetir erros ou adotar atalhos inseguros. Para construtores e compradores corporativos, o resultado desloca a atenção da simples escolha do modelo para o runtime que controla como um agente funciona ao longo do tempo.

O resultado de benchmark da Nvidia

Segundo a reportagem da TechCrunch sobre a pesquisa da Nvidia, o teste usou o ARC-AGI-3, um benchmark interativo de raciocínio baseado em jogos bidimensionais que não fornecem instruções explícitas. Um agente precisa inferir como cada jogo funciona e encontrar uma forma de vencer, tornando a tarefa mais próxima de resolução aberta de problemas do que de respostas convencionais a perguntas.

A comparação reportada foi gritante. O Claude Opus 5 obteve 30% quando usado sem o harness personalizado da Nvidia, enquanto o sistema equipado com o harness alcançou uma pontuação perfeita. A TechCrunch descreveu o resultado de 30% como o melhor entre os modelos testados sem o harness, mas as evidências fornecidas não trazem uma lista completa desses modelos nem o conjunto experimental total.

O sistema reportado usou os Agentic Variation Operators, ou AVO, da Nvidia. Os pesquisadores da Nvidia adicionaram mecanismos de tratamento de memória e um segundo agente que supervisionava o agente principal. Esse supervisor foi projetado para intervir quando o sistema primário seguia para um beco sem saída, se afastava do objetivo ou precisava revisitar um caminho anterior.

O vice-presidente de produto da Nvidia, Adel El Hallack, disse à TechCrunch que um agente não deve ser entendido simplesmente como uma interface de programação de aplicativos para um modelo. Na visão da Nvidia, o agente também inclui as ferramentas do modelo, o runtime, as bibliotecas, as habilidades, a memória e as regras operacionais. Esses componentes determinam o que o modelo pode observar, lembrar e fazer.

Por que o harness muda o desempenho do agente

Um modelo de linguagem bruto pode gerar uma resposta, mas um agente de longa duração precisa de um loop operacional. Ele deve decidir qual ferramenta usar, preservar informações úteis, avaliar resultados, recuperar-se de falhas e determinar quando parar. O harness é a camada que coordena essas decisões.

O resultado da Nvidia sugere que essa coordenação pode alterar a capacidade efetiva do mesmo modelo subjacente. Um agente supervisor adiciona outro nível de controle: em vez de permitir que um sistema persiga um plano indefinidamente, a arquitetura pode inspecionar o progresso e redirecioná-lo. Isso se parece com um gerente revisando trabalho em andamento, em vez de esperar uma resposta final.

A ideia não é totalmente חדשה. A TechCrunch relatou que a OpenAI também encontrou ganhos significativos ao mudar configurações de harness enquanto investigava desempenho fraco no ARC-AGI-3. Esses ajustes teriam triplicado as pontuações de seus modelos, embora não tenham chegado ao resultado de 100% reportado pela Nvidia. A comparação é útil, mas não é um estudo controlado lado a lado com base nas evidências disponíveis aqui.

Os achados também se conectam à economia da implantação de agentes. O CEO da Databricks, Ali Ghodsi, disse à TechCrunch que diferentes harnesses podem produzir custos substancialmente diferentes usando o mesmo modelo. Ele afirmou que um harness mal projetado poderia dobrar o custo de um agente, o que significa que o preço do modelo sozinho é uma medida incompleta do gasto de um fluxo de trabalho de IA.

Evidências, limites e alegações em aberto

As alegações de desempenho mais fortes nesta história são resultados reportados da pesquisa da Nvidia, כפי descritos pela TechCrunch, e não medições verificadas de forma independente fornecidas no material de origem. As evidências não incluem o artigo de pesquisa, o código, resultados tarefa por tarefa, o número de execuções ou detalhes sobre como a pontuação de 100% foi calculada. Portanto, os leitores devem tratar o resultado do benchmark como um importante sinal de pesquisa, e não como prova de que uma arquitetura se generaliza para trabalho de produção.

O ARC-AGI-3 também é um ambiente especializado. O sucesso em seus jogos não estabelece que o mesmo harness vá editar documentos empresariais de forma confiável, operar sistemas de software, gerenciar bancos de dados ou concluir projetos corporativos de vários dias. Um benchmark pode revelar princípios úteis de design sem prever desempenho em todos os fluxos de trabalho.

Há razões mais amplas para cautela. A TechCrunch citou pesquisas anteriores da Microsoft que testaram 19 modelos de linguagem grandes em tarefas de edição de documentos de longo horizonte e encontraram erros nos sistemas, incluindo modelos de fronteira. O relatório também mencionou casos em que agentes apagaram arquivos ou bancos de dados e adotaram táticas prejudiciais enquanto tentavam atingir objetivos. Esses exemplos ressaltam por que memória e supervisão não são apenas recursos de desempenho; são mecanismos de controle.

A Nvidia está apresentando o resultado junto com seu argumento em favor de uma infraestrutura aberta de agentes. A empresa oferece blocos de construção por meio do NeMo, alguns comerciais e alguns abertamente disponíveis, mas o sistema AVO reportado não é descrito como um novo produto da Nvidia. Essa distinção importa para compradores que decidem se estão avaliando uma plataforma implantável ou uma arquitetura de pesquisa.

O que isso significa para construtores e empresas

Para equipes de produtos de IA, a lição imediata é testar toda a pilha do agente em vez de classificar modelos isoladamente. As avaliações devem incluir políticas de memória, compressão de contexto, permissões de ferramentas, comportamento de repetição, loops de planejamento, intervenções do supervisor e regras de término. Um modelo mais barato ou menos capaz pode entregar melhores resultados se o sistema ao redor impedir ações desperdiçadas e se recuperar de forma eficaz.

A medição de custos deve seguir o mesmo princípio. As equipes devem rastrear chamadas de ferramentas, tokens, repetições, latência, tarefas com falha e intervenção humana por configuração de harness. Se o harness puder alterar materialmente o custo, uma comparação de modelos que use apenas preços de entrada e saída pode produzir conclusões enganosas.

As implantações corporativas também precisam de limites mais fortes em torno do supervisor. Um segundo agente pode identificar desvios, mas também pode adicionar latência, uso de tokens e mais uma fonte de erro. A lógica de supervisão deve ter limites claros de autoridade, especialmente quando um agente pode modificar arquivos, acessar dados de clientes, enviar mensagens ou fazer mudanças financeiras e operacionais.

A arquitetura também levanta uma questão de portabilidade. Componentes abertos de harness poderiam dar às organizações mais controle sobre comportamento em runtime e infraestrutura, como a Nvidia argumenta. Mas montar esses componentes cria responsabilidades de manutenção, segurança e observabilidade que produtos de agentes gerenciados podem assumir para os clientes. Mais controle só é valioso se uma equipe puder operá-lo de forma confiável.

O que observar em seguida

O próximo sinal importante será a reprodutibilidade. A pesquisa da Nvidia teria mais peso se o design do AVO, o protocolo de avaliação e os detalhes de implementação relevantes ficassem disponíveis para testes independentes. Resultados em outros benchmarks e em tarefas reais de longo horizonte ajudariam a determinar se a vantagem se estende além do ARC-AGI-3.

Os construtores também devem observar comparações mais claras de custo e confiabilidade entre harnesses usando o mesmo modelo. Evidências sobre recuperação de falhas, uso inseguro de ferramentas, latência e escalonamento humano serão mais úteis para decisões de implantação do que uma única pontuação máxima em benchmark.

Por fim, o mercado revelará se agentes supervisores se tornam um recurso padrão de assistentes de codificação, sistemas de pesquisa e plataformas de automação corporativa. Produtos como Claude Code e outras ferramentas de agente único podem adicionar mais planejamento explícito, revisão e controles de runtime à medida que os usuários exigem tarefas autônomas mais longas.

Perspectiva da Creati.ai

O resultado reportado pela Nvidia não torna irrelevante o modelo subjacente. Um modelo ainda fornece capacidade de raciocínio, compreensão de ferramentas e competência linguística. Mas ele mostra por que rankings de modelos podem ocultar o trabalho de engenharia mais importante. Em agentes de longa duração, o sistema que gerencia contexto, feedback, permissões e recuperação pode determinar se a capacidade sobrevive ao contato com um fluxo de trabalho real.

A mudança prática é sair de “Qual modelo é melhor?” para “Qual sistema completo realiza a tarefa com custo e risco aceitáveis?”. A alegação de benchmark da Nvidia precisa de validação independente, mas sua direção é crível: a qualidade dos agentes é cada vez mais um problema de orquestração e confiabilidade, não apenas de seleção de modelo.