A NVIDIA diz que sua próxima plataforma Vera Rubin NVL72 pode entregar até 30 vezes mais throughput de IA agentiva por megawatt do que seu sistema GB300 NVL72, com base em medições iniciais usando uma carga de trabalho projetada para imitar agentes de codificação em produção. A दावा posiciona a eficiência energética — e não apenas os picos de tokens por segundo — como um campo de batalha central para a próxima geração de infraestrutura de IA.

A empresa publicou os resultados em dois posts do blog da NVIDIA, descrevendo-os como dados de pré-visualização medidos com o benchmark SemiAnalysis AgentX. As medições ainda não foram revisadas de forma independente pela SemiAnalysis, o que torna os resultados importantes, mas ainda relatados pelo fornecedor. Para construtores de IA e operadores de infraestrutura, a comparação importa porque agentes de várias etapas consomem substancialmente mais contexto e chamadas de modelo do que interações de chat convencionais, aumentando tanto a demanda computacional quanto os custos de energia.

Por que cargas de trabalho agentivas mudam a equação da infraestrutura

Benchmarks tradicionais de inferência frequentemente usam comprimentos fixos de prompt e saída. A NVIDIA argumenta que esses testes representam mal um agente que raciocina repetidamente, chama ferramentas, delega trabalho a subagentes e carrega um contexto em expansão de uma etapa para a seguinte.

A empresa cita dados da OpenRouter indicando que solicitações agentivas usam cerca de 15 vezes mais tokens do que solicitações de chat comuns. Em um exemplo fornecido pela NVIDIA, um agente de pesquisa de investimentos poderia consultar bases de dados financeiras, buscar registros e notícias, pedir a outro modelo para comparar pares, executar análise de valuation e então montar uma recomendação. Cada etapa pode acrescentar informações que se tornam entrada para etapas posteriores.

Esse padrão cria várias pressões de desempenho ao mesmo tempo. Os sistemas precisam processar prompts longos, preservar e reutilizar caches key-value, lidar com comprimentos variáveis de saída e tolerar pausas enquanto as ferramentas executam. Também precisam manter uma velocidade de resposta aceitável para vários usuários, em vez de apenas maximizar o throughput agregado sob uma carga sintética fixa.

Os resultados da NVIDIA focam no DeepSeek V4 Pro e em outros modelos grandes, incluindo Kimi K3, MiniMax M3, GLM5.3 e Qwen3.5. A comparação principal é entre Vera Rubin NVL72 e GB300 NVL72, dois sistemas em escala de rack construídos em torno de um domínio de escala-up de 72 GPUs.

O que a NVIDIA mediu — e o que continua sem verificação

A NVIDIA diz que a Vera Rubin NVL72 alcançou até 30 vezes mais throughput de fábrica de IA por megawatt do que a GB300 NVL72 no SemiAnalysis AgentX. O post voltado a desenvolvedores especifica que a comparação chegou a esse resultado em 160 tokens por segundo por usuário na carga de trabalho AgentX DeepSeek V4 Pro. A NVIDIA também diz que o resultado representa throughput dentro do mesmo orçamento de energia, mantendo a meta de atendimento interativo declarada.

O benchmark AgentX é descrito como um componente open source da suíte InferenceX da SemiAnalysis. Ele reproduz sessões registradas do Claude Code passo a passo, preservando o crescimento do contexto, os comprimentos de entrada e saída, os intervalos de raciocínio e os atrasos nas chamadas de ferramentas. O benchmark também varia a concorrência e relata throughput por megawatt junto com medidas de latência e interatividade, como o tempo até o primeiro token.

Esses detalhes tornam o AgentX mais relevante para o serving de agentes em produção do que um teste único de comprimento fixo, mas não transformam o número de 30x em um padrão da indústria validado de forma independente. A NVIDIA diz que as medições da Vera Rubin ainda aguardam revisão da SemiAnalysis. A empresa também observa que os dados iniciais não incluem o desempenho da Vera CPU para chamadas de ferramentas, o que poderia afetar os resultados do sistema completo.

A NVIDIA relata outras comparações geracionais a partir da mesma carga de trabalho. Ela diz que a GB300 NVL72 entrega até 15 vezes o throughput por megawatt da H200 NVL8 para o DeepSeek V4 Pro, e até 80 vezes o throughput por megawatt para o modelo muito maior Kimi K3 2.8T. A empresa também afirma que a Vera Rubin pode reduzir o custo por milhão de tokens em até 35 vezes em comparação com a GB300 NVL72. Esses números são medições da NVIDIA e devem ser tratados como afirmações de desempenho até serem reproduzidos independentemente.

O design do sistema por trás das afirmações de eficiência

A NVIDIA atribui os ganhos a mudanças coordenadas em hardware, rede e software de serving, e não apenas à GPU. O design NVL72 conecta 72 GPUs por meio da malha NVLink da NVIDIA, permitindo que a plataforma distribua o cálculo mixture-of-experts e compartilhe contexto em cache pelo domínio em escala de rack.

A empresa diz que o NVLink de sexta geração e seus switches fornecem taxas de pacotes mais altas e menor latência do que alternativas Ethernet prontas do mercado. Essa conectividade foi pensada para suportar paralelismo de especialistas em grande escala, cache key-value distribuído e o roteamento de solicitações para GPUs que já contêm contexto relevante.

No lado do software, a NVIDIA destaca o disaggregated serving, no qual prefill e decode rodam em pools escalados separadamente. Seu stack de serving NVIDIA Dynamo foi projetado para coordenar essas etapas, usar informações de sessão e rotear solicitações em parte com base na sobreposição de cache. Esses recursos são especialmente relevantes para agentes porque a mesma tarefa pode gerar muitas chamadas de modelo relacionadas ao longo de uma sessão estendida.

A NVIDIA também cita TensorRT-LLM, vLLM e SGLang como partes do ecossistema mais amplo de serving, além de kernels baseados em DeepGEMM, execução fusionada de mixture-of-experts e formatos de menor precisão. O material de origem menciona tanto NVFP4 quanto as técnicas MXFP4/MXFP8 em diferentes descrições da plataforma. Esses métodos podem reduzir o uso de memória e aumentar o throughput aritmético, embora os trade-offs práticos de qualidade e compatibilidade dependam do modelo e da configuração de implantação.

A empresa afirma separadamente que sua tecnologia de gerenciamento de energia DSX MaxLPS pode provisionar até 40% mais GPUs dentro do mesmo orçamento de megawatts. Essa é outra capacidade relatada pela NVIDIA, não um resultado estabelecido pela comparação AgentX em si.

O que o resultado significa para operadores de IA

Se os números principais resistirem a testes independentes, o efeito comercial pode ser significativo. Fábricas de IA enfrentam cada vez mais limites de disponibilidade de eletricidade, capacidade de refrigeração e custo para servir sessões de longa duração. Mais trabalho agentivo por megawatt poderia permitir que um operador atendesse mais clientes com uma alocação de energia existente, ou reduzisse a infraestrutura necessária para um nível fixo de uso.

O impacto variará conforme a carga de trabalho. Um assistente conversacional curto pode não se beneficiar tanto quanto um agente de codificação, pesquisa ou atendimento ao cliente que invoca ferramentas repetidamente e acumula contexto. A arquitetura do modelo também importa: as comparações mais fortes da NVIDIA envolvem grandes sistemas mixture-of-experts, nos quais a comunicação entre GPUs e o gerenciamento de cache podem dominar o desempenho do serving.

Para equipes de produto, os números reforçam a necessidade de medir fluxos completos de agentes, e não chamadas isoladas ao modelo. A avaliação deve incluir latência de ferramentas, reutilização de cache, concorrência, interatividade voltada ao usuário e custo por tarefa concluída. Uma plataforma que produz tokens a baixo custo, mas trava entre chamadas de ferramenta, pode não oferecer uma experiência de aplicação melhor.

As afirmações também aumentam a pressão competitiva sobre fabricantes de aceleradores e provedores de nuvem para publicar dados de eficiência específicos por carga de trabalho. “Tokens por segundo” sozinho diz pouco sobre a economia de um agente com estado. Os construtores precisarão de medições comparáveis entre modelos, stacks de serving e orçamentos de energia antes de se comprometerem com uma geração de hardware.

O que observar a seguir

O primeiro sinal será a revisão da SemiAnalysis das medições do AgentX. A confirmação independente, incluindo as configurações exatas do sistema, versões de software, checkpoints do modelo e metodologia de contabilização de energia, determinará quão amplamente a comparação de 30x pode ser interpretada.

Os compradores também devem observar resultados que incluam execução de ferramentas no lado da CPU, já que a NVIDIA diz que os dados atuais da Vera Rubin não incluem isso. Testes adicionais com agentes não voltados a código, diferentes comprimentos de contexto e frameworks de serving alternativos mostrariam se a vantagem se estende além das sessões registradas do Claude Code.

Disponibilidade, preço e acesso em nuvem serão igualmente importantes. A afirmação de eficiência pode melhorar o custo teórico por milhão de tokens, mas a economia real para o cliente também dependerá de custos de aquisição do sistema, utilização, rede, refrigeração e licenciamento de software. Evidências de implantações iniciais mostrarão se a vantagem do benchmark se traduz em preços mais baixos ou margens mais altas para operadores.

Perspectiva da Creati.ai

O anúncio da NVIDIA é melhor entendido como uma mudança na forma como o desempenho de infraestrutura de IA é enquadrado. À medida que agentes geram cargas de trabalho mais longas e com mais estado, throughput normalizado por energia e custo por tarefa concluída tornam-se métricas mais úteis do que a velocidade convencional de uma única solicitação.

O número de 30x chama atenção, mas continua sendo uma medição inicial da NVIDIA pendente de revisão independente. A lição duradoura para os construtores é mais restrita e acionável: medir todo o loop do agente, incluindo reutilização de contexto, ferramentas, concorrência e latência, antes de tratar qualquer comparação de aceleradores como uma conclusão de produção.