A NVIDIA diz que seu sistema Agentic Variation Operators, ou NVIDIA AVO, alcançou uma pontuação perfeita no conjunto público do ARC-AGI-3, completando todos os 183 níveis em 25 ambientes interativos. O resultado é significativo porque enquadra o desempenho de agentes de longo prazo como um problema de sistemas, e não como uma simples medida do modelo de linguagem subjacente.

A afirmação vem de uma publicação no NVIDIA Developer Blog descrevendo o AVO como uma arquitetura de propósito geral para trabalho autônomo sustentado. A empresa diz que o mesmo sistema também otimizou kernels de GPU ao longo de uma execução de sete dias, sugerindo que seu design pode ser transferido entre fluxos de trabalho de engenharia de software e tarefas desconhecidas de raciocínio interativo. No entanto, os números de desempenho são relatados pela NVIDIA, e as evidências disponíveis não incluem validação independente nem uma avaliação revisada por pares.

Um resultado perfeito no ARC-AGI-3 a partir de um sistema de agente mais amplo

A NVIDIA informa que o AVO registrou uma pontuação RHAE de 100,00 no conjunto público do ARC-AGI-3. A empresa diz que o agente completou todos os níveis nos 25 ambientes do benchmark e usou 12% menos ações de ambiente que o VISTA, um sistema de comparação citado na postagem da empresa.

O ARC-AGI-3 é projetado em torno de ambientes interativos desconhecidos nos quais os agentes precisam inferir como as ações funcionam e descobrir o que se espera que realizem. Diferentemente de um teste convencional de perguntas e respostas, o benchmark exige que um agente mantenha o progresso ao longo de várias etapas enquanto aprende com o feedback.

O argumento central da NVIDIA é que esse tipo de avaliação mede mais do que a inteligência do modelo. O agente precisa decidir o que observar, quais ferramentas usar, como preservar estados úteis e como se recuperar quando uma abordagem falha. Na descrição da empresa, o harness ao redor determina quão eficazmente as capacidades de um modelo se transformam em comportamento autônomo sustentado.

A postagem também diz que um sistema construído em torno do Claude Opus 5 elevou o desempenho de uma base de 30% do modelo para o resultado reportado de 100% quando incorporado à arquitetura completa do AVO. A NVIDIA apresenta essa comparação como evidência de que o design do sistema pode alterar materialmente os resultados do benchmark. Ela não deve ser lida como um ranking independente de Claude Opus 5 ou do AVO sem mais detalhes sobre a configuração da avaliação.

Como o Agentic Variation Operators funciona

O AVO é descrito como um sistema de codificação e execução de tarefas que pode inspecionar e editar código, executar comandos, consultar documentação e validar mudanças por meio da execução. Sua característica definidora não é uma única ferramenta, diz a NVIDIA, mas a capacidade de continuar trabalhando ao longo de longas sequências de experimentos.

Dois mecanismos recebem destaque especial: memória persistente e supervisão. A memória persistente armazena implementações anteriores, resultados de testes, saídas de compiladores e profiladores, e raciocínio acumulado. Isso permite que o agente retome a partir do estado atual em vez de reconstruir seu entendimento após cada janela de contexto.

Um componente de supervisão observa a trajetória mais ampla. Quando o agente principal fica preso ou repete ciclos improdutivos, o supervisor pode redirecioná-lo para uma estratégia diferente. O agente principal continua responsável por escolher o que inspecionar, modificar, testar e confirmar, enquanto o supervisor monitora o progresso ao longo da execução mais longa.

Para o ARC-AGI-3, a NVIDIA diz que conectou o mesmo agente subjacente a uma interface diferente, alterando as ferramentas de ambiente disponíveis e o processo de avaliação enquanto mantinha a arquitetura central. Essa portabilidade é a alegação mais relevante para construtores de IA: o sistema foi concebido para ser adaptado a novos loops de feedback sem redesenhar todo o agente do zero.

Evidências da otimização de kernels de GPU — e seus limites

A NVIDIA primeiro descreve o AVO por meio de um experimento de otimização de kernels de GPU. Nesse trabalho, o sistema explorou autonomamente mais de 500 direções de otimização ao longo de sete dias e confirmou 40 versões de kernel, segundo a empresa.

Em sistemas NVIDIA DGX B200, a NVIDIA relata que os kernels resultantes de atenção multihead tiveram desempenho até 3,5% melhor que o cuDNN e até 10,5% melhor que o FlashAttention-4 nas configurações avaliadas. A empresa também diz que o AVO adaptou o kernel evoluído para atenção de consulta agrupada em cerca de 30 minutos adicionais de trabalho autônomo.

Esses números ilustram o tipo de fluxo de trabalho que o AVO foi projetado para lidar: fazer uma alteração, executar um teste fundamentado em hardware, interpretar o resultado e decidir o que tentar em seguida. Eles não estabelecem que o sistema entregará os mesmos ganhos em outros kernels, configurações de hardware ou bases de código de produção. As comparações reportadas são benchmarks do fornecedor, e a postagem não fornece detalhes suficientes nas evidências apresentadas para avaliar de forma independente a metodologia completa de teste.

O resultado do ARC-AGI-3 tem uma ressalva semelhante. Uma pontuação perfeita no conjunto público é um sinal forte dentro desse benchmark, mas não prova por si só confiabilidade de propósito geral em ambientes corporativos. Implantações reais introduzem custos, permissões, falhas de ferramentas, dados sensíveis, objetivos ambíguos e requisitos de auditabilidade que um benchmark público pode não capturar.

O que o resultado significa para construtores e empresas

Para equipes de produto, a lição imediata é arquitetural. Aumentar a capacidade de um modelo base pode melhorar respostas individuais, mas fluxos de trabalho de longa duração também precisam de gerenciamento de estado, acesso controlado a ferramentas, feedback de execução, pontos de verificação e lógica de recuperação.

Isso importa para assistentes de codificação, sistemas de pesquisa, ferramentas de análise de dados e outros agentes de IA que não podem ter sucesso com uma única resposta do modelo. Um agente que otimiza código precisa preservar o histórico de testes e distinguir uma melhoria real de um resultado ruidoso. Um fluxo de trabalho corporativo precisa de controles semelhantes para evitar ações repetidas, conter falhas e explicar por que um sistema seguiu um caminho específico.

O design do AVO também destaca uma compensação de implantação. A experimentação persistente pode melhorar os resultados, mas consome computação e pode aumentar a latência. Uma execução autônoma de otimização de sete dias é adequada para algumas buscas de engenharia, mas não para todas as tarefas voltadas ao cliente. Os construtores precisarão de políticas sobre quando um agente pode continuar de forma independente, quando deve pedir aprovação e quanto orçamento pode consumir.

A arquitetura também pode acirrar a competição entre fornecedores de modelos e provedores de infraestrutura. Se o desempenho dos agentes depender cada vez mais do harness ao redor de um modelo, benchmarks de modelos isoladamente se tornam menos preditivos do desempenho do produto. As empresas podem competir tanto por sistemas de memória, avaliadores, supervisores, orquestração de ferramentas e ambientes de execução quanto pelo treinamento de modelos.

O que observar a seguir

O primeiro sinal a observar é a reprodução independente do resultado do ARC-AGI-3, incluindo o modelo exato, prompts, ferramentas, orçamentos de ações e configuração de supervisão. Esses detalhes determinarão quanto do ganho vem da arquitetura geral do AVO e quanto vem da engenharia específica da tarefa.

O segundo é evidência fora das demonstrações controladas pela NVIDIA. Dados úteis de acompanhamento incluiriam desempenho em benchmarks interativos adicionais, taxas de falha em execuções longas, computação consumida por tarefa concluída e comparações com outros harnesses de agentes.

Para compradores corporativos, a evidência de implantação importará mais do que uma única pontuação de benchmark. Procure informações sobre controles de permissão, logs de auditoria, sandboxing, recuperação de erros de ferramentas, isolamento de dados e a frequência com que intervenção humana é necessária.

Por fim, o trabalho de kernels de GPU oferece um teste prático de se a otimização autônoma pode produzir ganhos repetíveis em diferentes cargas de trabalho e hardwares. Resultados além das configurações relatadas tornariam a afirmação de engenharia mais duradoura.

Perspectiva do Creati.ai

O anúncio da NVIDIA é melhor entendido como um relatório sobre arquitetura de agentes, e não como prova de que um modelo de repente se tornou universalmente capaz. A pontuação relatada no ARC-AGI-3 é notável porque o AVO combina memória, supervisão, ferramentas e feedback em um sistema projetado para continuar funcionando depois que a primeira resposta falha.

Para construtores de IA, a conclusão duradoura é que a confiabilidade de longo prazo pode depender tanto do loop de controle ao redor quanto do próprio modelo. A NVIDIA forneceu um benchmark interessante do fornecedor; a próxima pergunta é se equipes independentes conseguem reproduzir o resultado de forma econômica, segura e em tarefas que importam fora do benchmark.