NVIDIA says its Groq 3 LPX inference accelerator has entered full production as part of the Vera Rubin platform, giving cloud providers and enterprise infrastructure teams a specialized option for generating tokens quickly in long-context, agent-driven workloads.

The announcement positions Groq 3 LPX as a companion to NVIDIA’s Vera Rubin NVL72 rather than a replacement for its general-purpose GPUs. Rubin GPUs are intended to handle context processing, while the LPX system focuses on the latency-sensitive decode phase in which models produce responses one token at a time. That distinction matters as AI applications move from single-turn answers toward agents that repeatedly reason, call tools, exchange information with other systems and maintain large working contexts.

Um sistema de produção voltado para a latência de decode

A NVIDIA descreve o Groq 3 LPX como um acelerador de inferência interativa projetado para os níveis de serviço com maior capacidade de resposta de sua arquitetura Vera Rubin. Uma implantação em escala de rack pode incluir 256 aceleradores LP30 conectados por links diretos entre chips, com 128 GB de memória combinada baseada em SRAM, de acordo com a documentação para desenvolvedores da NVIDIA.

O sistema usa um modelo de execução determinístico, agendado pelo compilador. Em vez de depender fortemente de arbitragem em tempo real para decidir quando os dados se movem entre processadores, o compilador pode planejar computação e comunicação antes de uma carga de trabalho começar. A NVIDIA diz que isso reduz a sobrecarga de coordenação que pode tornar o paralelismo de tensores menos útil em tamanhos de lote muito pequenos.

Esse design mira uma fraqueza específica no atendimento de IA agêntica. Um agente pode precisar produzir muitas saídas curtas durante uma única tarefa, com cada resposta disparando outra chamada de ferramenta, turno do modelo ou operação de banco de dados. Pequenos atrasos na geração de tokens podem se acumular ao longo dessas etapas. Sessões longas também alimentam repetidamente um contexto em expansão de volta ao modelo, tornando a capacidade de resposta difícil mesmo quando o modelo subjacente é capaz.

A arquitetura da NVIDIA separa o trabalho pela plataforma. A Vera Rubin NVL72 lida com o processamento de contexto em grande escala, enquanto o Groq 3 LPX acelera a geração de tokens. A empresa diz que os dois sistemas também podem suportar configurações como prefill-decode disaggregation, attention-FFN disaggregation e speculative decoding com um drafter externo.

O que a evidência de benchmark mostra

A NVIDIA informa que um sistema combinando Groq 3 LPX com Vera Rubin NVL72 atingiu 3.431 tokens de saída por segundo no benchmark de 100K-context da Artificial Analysis usando Gemma 4 31B. Um anúncio separado da NVIDIA arredondou o resultado para 3.400 tokens por segundo e disse que era quatro vezes mais rápido do que a plataforma alternativa mais próxima.

Essas são as afirmações de desempenho mais fortes na evidência disponível, e exigem qualificação. O resultado do benchmark é relatado pela NVIDIA a partir da Artificial Analysis, enquanto a afirmação comparativa de “quatro vezes mais rápido” também vem da NVIDIA. O post para desenvolvedores o chama de o primeiro benchmark de terceiros dos sistemas Groq 3 LPX, mas as fontes fornecidas não trazem a configuração completa do teste, plataformas concorrentes ou resultados reproduzidos independentemente.

A NVIDIA também cita um resultado mediano de 4.767 tokens de saída por segundo no SPEED-Bench em workloads gerais de agentes e programação. Esse número também é apresentado no material para desenvolvedores da NVIDIA. Ele não deve ser tratado como uma taxa universal de serviço: o desempenho no mundo real dependerá da arquitetura do modelo, do comprimento do contexto, da concorrência, do agendamento, da precisão, da rede e da pilha de software ao redor.

Ainda assim, o foco dos benchmarks é significativo. Comparações convencionais de aceleradores costumam enfatizar throughput agregado ou velocidade de treinamento. A NVIDIA, em vez disso, destaca a taxa de saída em 100.000 tokens de contexto e em tamanhos de lote baixos, condições mais próximas de agentes interativos do que de inferência offline em massa. Para equipes de produto, isso pode ser uma medida mais relevante quando os usuários estão esperando um agente concluir uma cadeia de ações.

Os sinais iniciais de implantação continuam sendo relatados pelo fornecedor

A NVIDIA identifica a Nebius como a primeira provedora de cloud de IA a adotar o Groq 3 LPX. A empresa diz que a Nebius adicionará o acelerador ao seu serviço Token Factory, permitindo que desenvolvedores construam agentes interativos, sistemas de codificação e outras aplicações em tempo real em escala. A evidência não especifica o tamanho da implantação da Nebius, a data de disponibilidade comercial ou os compromissos de clientes.

A NVIDIA também diz que a CoreWeave colocou o Spectrum-X Multiplane em produção para conectar racks Vera Rubin por meio de múltiplos switches paralelos. Esse anúncio diz respeito à camada de rede ao redor da plataforma, e não a uma prova de que a CoreWeave tenha implantado o Groq 3 LPX em si.

Um terceiro sinal de adoção vem da SpaceXAI, que segundo a NVIDIA planeja usar CPUs Vera em sua arquitetura de IA agêntica de próxima geração. Os casos de uso mencionados incluem orquestração, uso de ferramentas, execução de código, processamento de dados e simulação, com implantações abrangendo data centers e satélites orbitais. Trata-se de um plano da empresa relatado pela NVIDIA, não de evidência de um rollout de produção concluído.

Como a cobertura disponível é dominada pelo blog próprio da NVIDIA e por materiais para desenvolvedores, a adoção deve ser vista como atividade de ecossistema anunciada, e não como tração de mercado verificada de forma independente. A entrada de fonte da SiliconANGLE confirma o ângulo da notícia, mas não fornece texto adicional da matéria nem detalhes de reportagem nas evidências fornecidas.

Por que o hardware importa para quem constrói IA

Para desenvolvedores de aplicações de IA, a pergunta mais imediata não é se o Groq 3 LPX tem uma alta taxa de pico de tokens. É se a plataforma consegue oferecer latência previsível quando um agente opera ao longo de muitos turnos e de uma grande janela de contexto.

Isso poderia tornar o sistema relevante para assistentes de programação, agentes de pesquisa, fluxos de atendimento ao cliente e sistemas de orquestração em que um usuário sente o atraso de cada resposta intermediária do modelo. Um decode mais rápido pode melhorar a responsividade percebida, enquanto o agendamento determinístico pode facilitar o planejamento de capacidade se o desempenho for menos sensível à contenção e aos custos de coordenação de pequenos lotes.

A contrapartida é a complexidade arquitetural. O Groq 3 LPX é apresentado como uma extensão do Vera Rubin NVL72, não como um acelerador drop-in que possa ser avaliado independentemente da plataforma hospedeira, de sua interconexão, do compilador e do software de serving do modelo. Os compradores precisarão avaliar o sistema completo: capacidade de memória para contextos longos, topologia de rede, compatibilidade de modelos, utilização sob o tráfego esperado e o custo de mover workloads entre recursos de prefill e decode.

A proposta da NVIDIA também reflete uma mudança mais ampla na economia de infraestrutura. À medida que agentes geram mais tokens e realizam mais turnos de inferência, o custo de serving e a latência podem se tornar restrições maiores do que a conta inicial de treinamento do modelo. Um mecanismo especializado de decode pode melhorar a utilização para workloads interativas, mas se isso reduz o custo total depende de quão consistentemente um provedor consegue manter tanto as GPUs Rubin quanto os aceleradores LPX ocupados.

O que observar a seguir

Os próximos sinais úteis virão de testes independentes que publiquem configurações completas, sistemas concorrentes, versões de modelo, ajustes de precisão, comprimentos de contexto e níveis de concorrência. Resultados em vários tamanhos de lote ajudarão a estabelecer se a vantagem do Groq 3 LPX vai além do serving altamente interativo de pequenos lotes.

Os desenvolvedores também devem observar evidências de disponibilidade em produção via Nebius Token Factory, incluindo modelos suportados, preços, garantias de nível de serviço e se os clientes podem acessar o sistema sem adotar a pilha mais ampla Vera Rubin. Implantações confirmadas na CoreWeave ou em outros provedores de cloud ofereceriam uma medida mais clara de tração comercial.

Por fim, o mercado precisará ver como a NVIDIA integra o compilador, a rede e o software de serving com frameworks de agentes comuns. A promessa técnica depende de coordenar execução de modelo, gerenciamento de KV cache, chamadas de ferramentas e tráfego multiagente, não apenas de acelerar etapas de decode isoladas.

Perspectiva da Creati.ai

Groq 3 LPX é notável porque a NVIDIA está mirando um gargalo que só se torna visível quando os modelos são colocados dentro de loops de agentes estendidos: o atraso acumulado de produzir muitos tokens sequenciais enquanto preserva um grande contexto. O anúncio é menos sobre o lançamento de um chip isolado e mais sobre a divisão da inferência em etapas especializadas em um sistema em escala de rack.

A oportunidade é substancial para provedores que servem agentes interativos, mas a evidência ainda é principalmente controlada pelo fornecedor. Até que benchmarks independentes e implantações de clientes esclareçam custo total, requisitos de software e desempenho sustentado em workloads reais, o Groq 3 LPX deve ser visto como uma oferta de produção com foco técnico, promissora — mas ainda não totalmente validada — no mercado.