A NVIDIA detalha como o Jetson pode executar novos modelos de raciocínio na borda

A NVIDIA está posicionando seu hardware Jetson para uma nova classe de cargas de trabalho locais de raciocínio e IA agentiva, argumentando que modelos abertos compactos lançados em 2026 já são capazes o suficiente para rodar fora do data center. Em um guia para desenvolvedores, a empresa detalha receitas de implantação para Nemotron 3.5 Lightning e Qwen3.8-27B, além de técnicas de otimização destinadas a melhorar a vazão em sistemas NVIDIA Jetson.

O post reflete uma mudança mais ampla na economia e na arquitetura da IA de borda. Desenvolvedores que constroem agentes muitas vezes tiveram de enviar a inferência para um data center remoto porque modelos capazes de raciocínio em várias etapas eram grandes demais para o hardware local. A NVIDIA diz que novos designs de modelo, quantização e serving otimizado podem reduzir essa dependência para aplicações como robótica, monitoramento industrial, assistentes veiculares e sistemas que operam com conectividade intermitente.

As afirmações de desempenho mais fortes neste artigo vêm da própria publicação para desenvolvedores da NVIDIA e devem ser tratadas como resultados relatados pelo fornecedor. O guia fornece conselhos de implementação e comparações de benchmark, mas não estabelece validação independente em todas as configurações Jetson ou cargas de trabalho de aplicação.

Dois modelos, dois trade-offs de implantação

A NVIDIA usa dois modelos para ilustrar por que a arquitetura do modelo importa tanto quanto a contagem de parâmetros. Qwen3.8-27B é um modelo denso que ativa todos os 27 bilhões de parâmetros para cada token. Nemotron 3.5 Lightning usa um design de mixture-of-experts com 30 bilhões de parâmetros no total, mas ativa aproximadamente 3 bilhões de parâmetros por token.

Essa diferença cria trade-offs distintos para construtores de agentes. A NVIDIA caracteriza o Nemotron 3.5 Lightning como uma opção melhor para fluxos de trabalho com muitas respostas, em que a geração de tokens mais rápida pode encurtar loops repetidos do agente. O Qwen3.8-27B pode ser mais apropriado para tarefas que envolvem menos, mas mais difíceis, decisões, nas quais o sistema pode gastar mais tempo gerando cada resposta.

O exemplo prático no guia é um agente de borda que monitora dados de sensores e logs do dispositivo, toma ações corretivas aprovadas, verifica o resultado contra testes predefinidos e escala para um especialista humano quando necessário. Executar esse loop ao lado do equipamento relevante poderia reduzir a latência de rede e manter dados operacionais no dispositivo.

A NVIDIA também aponta o Gemma 4 E4B como ponto de partida para o Jetson Orin Nano. Para Jetson AGX Orin e Jetson AGX Thor, ela identifica Nemotron 3.5 Lightning e Qwen3.8-27B como opções mais fortes, com suporte de checkpoints quantizados e caminhos de implantação em mecanismos de inferência comuns.

Quantização e decodificação especulativa fazem o trabalho pesado

O guia foca em duas técnicas. A quantização NVFP4 reduz a memória e o processamento necessários para as operações do modelo ao representar pesos e cálculos relacionados em um formato de menor precisão. Isso pode tornar modelos maiores mais práticos em dispositivos de borda com recursos limitados, embora a precisão reduzida ainda precise ser verificada em relação à exatidão e ao comportamento de raciocínio exigidos por uma aplicação específica.

A decodificação especulativa adota uma abordagem diferente. Um processo menor de rascunho propõe vários tokens, enquanto um modelo alvo maior os verifica. Quando vários tokens propostos são aceitos juntos, o sistema pode produzir mais saída por etapa de verificação do que a decodificação convencional token por token.

Nos testes da NVIDIA, combinar quantização NVFP4 com decodificação especulativa produziu até 6,28x de melhoria na vazão de decode em relação ao BF16. O resultado não é uma garantia universal de velocidade: a NVIDIA relata que a configuração especulativa mais rápida diferiu por modelo. O Nemotron 3.5 Lightning teve o melhor desempenho com DSpark, enquanto o Qwen3.8-27B teve o melhor desempenho com DFlash2.

Esse resultado específico por modelo é importante para equipes de implantação. Os desenvolvedores não podem assumir que um único checkpoint de rascunho ou método de decodificação especulativa será ideal para toda uma família de modelos. A NVIDIA recomenda testar os métodos disponíveis e checkpoints de rascunho contra o modelo-alvo e o hardware, em vez de selecionar uma otimização apenas a partir de um benchmark geral.

A evidência continua dependente da carga de trabalho

O NVIDIA Developer Blog apresenta os resultados do Jetson como evidência de que o hardware de borda agora pode suportar modelos de raciocínio que antes exigiam sistemas maiores de data center. Ele também faz referência a uma comparação do Artificial Analysis Intelligence Index, dizendo que modelos abertos lançados em 2026 alcançam pontuações semelhantes às de modelos líderes de 2025, usando menos parâmetros.

Essas comparações ajudam a explicar o contexto de mercado, mas não substituem testes de aplicação. Um modelo pode obter bom desempenho em um benchmark geral e ainda assim não preservar os padrões de uso de ferramentas, o conhecimento de domínio, os formatos de resposta ou as restrições de segurança necessários para um agente em produção.

A NVIDIA recomenda explicitamente a validação com prompts representativos e categorias reais de carga de trabalho. A vazão pode variar dependendo do comprimento das solicitações, da quantidade de raciocínio, das chamadas de ferramentas e dos padrões de resposta. Portanto, os construtores devem medir não apenas tokens por segundo, mas também a latência ponta a ponta do agente, o uso de memória, a recuperação de falhas e se a quantização ou a decodificação especulativa alteram decisões importantes para a aplicação.

A empresa direciona os desenvolvedores à página Jetson AI Lab Models para recomendações de modelos, resultados de benchmark e comparações de plataforma. Ela também aponta tutoriais que cobrem a implantação local de grandes modelos de linguagem e de visão-linguagem, bem como decodificação especulativa com frameworks populares. O guia identifica vLLM e llama.cpp como opções de implantação.

O que isso significa para construtores de IA de borda

A oportunidade imediata não é simplesmente colocar um chatbot em um computador pequeno. É tornar o raciocínio local parte de um loop de controle maior. Um sistema de fábrica pode interpretar sinais de equipamentos, um robô pode planejar em torno de condições mutáveis, ou um assistente no veículo pode responder sem depender de uma conexão contínua com a nuvem.

Para equipes de produto, a inferência local pode reduzir a latência de ida e volta e limitar a quantidade de dados de sensores ou operacionais enviados a serviços externos. Também pode melhorar a disponibilidade em ambientes remotos ou desconectados. Essas vantagens vêm com novas responsabilidades, incluindo gerenciamento de dispositivos, atualizações de modelo, limites térmicos do hardware, logging local e salvaguardas sobre ações tomadas por um agente autônomo.

A seleção de modelos também ficará mais específica por carga de trabalho. Um modelo denso pode ser preferível quando a qualidade da resposta em decisões difíceis é a prioridade, enquanto um modelo esparso de mixture-of-experts pode oferecer melhor economia para agentes que geram muitas etapas intermediárias. Em ambos os casos, a métrica relevante é o fluxo de trabalho concluído: quão rápida e confiavelmente o sistema detecta um problema, escolhe uma ação, verifica o resultado e escala quando há incerteza.

O que observar a seguir

Os próximos sinais úteis serão benchmarks independentes em Jetson Orin Nano, Jetson AGX Orin e Jetson AGX Thor, particularmente para cargas de trabalho de agentes sustentadas, em vez de testes isolados de decodificação. Os desenvolvedores também devem observar se checkpoints otimizados e modelos de rascunho continuam disponíveis à medida que as versões dos modelos mudam.

Mais evidências virão de implantações reais em robótica, monitoramento industrial, transporte e outros ambientes onde conectividade e controle de dados importam. As alegações de adoção devem ser separadas das demonstrações até que os clientes divulguem melhorias mensuráveis em latência, custo operacional, confiabilidade ou capacidade offline.

Perspectiva da Creati.ai

O guia da NVIDIA é significativo porque desloca a conversa sobre IA de borda da questão de se modelos de raciocínio podem rodar localmente para qual arquitetura e stack de serving melhor se encaixam em um fluxo de trabalho específico. A melhora relatada de 6,28x é promissora, mas a lição mais duradoura é que a otimização deve ser tratada como um par modelo-aplicação, e não como um interruptor universal.

Para construtores, o caminho mais forte é benchmarkar todo o loop do agente no hardware-alvo, incluindo chamadas de ferramentas, verificações de segurança e casos de falha. O raciocínio local pode reduzir a dependência da nuvem, mas o valor em produção dependerá de comportamento confiável e controles operacionais tanto quanto da vazão bruta de tokens.