NVIDIA lança quatro modelos abertos Cosmos 3 para simulação interativa do mundo

A NVIDIA lançou quatro checkpoints abertos de sua família Cosmos 3, ampliando sua plataforma de modelos de mundo de conteúdo gerado para simulação interativa de veículos autônomos e robôs. Os modelos podem produzir observações sincronizadas de câmeras e LiDAR, traduzir controles do simulador em vídeo ou prever como o ambiente de um robô muda após ações físicas.

O lançamento oferece aos desenvolvedores pontos de partida especializados, em vez de um único simulador de uso geral. NVIDIA e Hugging Face afirmam que os checkpoints são destinados à pesquisa e ao desenvolvimento comercial sob os termos da licença OpenMDW1.1. Cada um é uma versão pós-treinada do Cosmos 3 Nano, com 16 bilhões de parâmetros treináveis.

O anúncio é importante porque equipes de IA física precisam de ambientes que respondam a ações, não apenas de imagens sintéticas estáticas ou clipes de vídeo desconectados. A NVIDIA está combinando os checkpoints com uma pilha de software mais ampla para adaptação, aprendizado por reforço, otimização e implantação. No entanto, as evidências disponíveis vêm da NVIDIA e de seu parceiro de publicação no ecossistema de desenvolvedores; portanto, as alegações de desempenho e adoção continuam sendo relatadas pelo fornecedor.

Quatro modelos para diferentes problemas de simulação

Os quatro checkpoints dividem o lançamento entre fluxos de trabalho de direção autônoma e robótica.

O Cosmos3-Nano-Transfer-Auto foi projetado para geração offline de dados sintéticos de condução. Ele pode criar vídeo sincronizado para até 11 visões de câmera, incluindo câmeras olho de peixe, enquanto gera conjuntamente imagens RGB e LiDAR. Os desenvolvedores podem variar clima, iluminação, horário, traçados das vias e estados dos sinais de trânsito por meio dos controles do World Scenario Map e de prompts de texto. Imagens RGB iniciais opcionais podem ajudar a ancorar a aparência visual de uma cena.

O modelo também funciona como etapa de adaptação para equipes com suas próprias configurações de sensores. O fluxo documentado pela NVIDIA consiste em pós-treinar o Transfer-Auto com dados proprietários de câmeras, LiDAR e ambiente e, depois, usar o modelo adaptado para geração offline de dados ou como base de um modelo de streaming mais rápido.

O Cosmos3-Nano-Sim-Auto é essa variante voltada para streaming. De acordo com a descrição da Hugging Face, ele foi destilado causalmente do Transfer-Auto para gerar blocos sucessivos de vídeo sincronizado de câmera e LiDAR usando apenas algumas etapas de redução de ruído. Usa o histórico gerado e controles de condução atualizados para permitir rollouts interativos mais longos.

Essa distinção é importante para equipes de produto. A geração offline pode ampliar um conjunto de treinamento, mas a avaliação em loop fechado exige que o mundo simulado seja atualizado conforme uma política age. O Sim-Auto ainda depende de um runtime de simulação e de um renderizador que traduza entradas de condução em controles atualizados; o checkpoint não substitui o simulador completo do veículo.

Para robótica e outros sistemas incorporados, o Cosmos3-Nano-Sim-Transfer aceita controles espaciais de um simulador físico e um prompt de texto, produzindo observações RGB para uma política. O simulador continua responsável por movimento, contatos e estado físico. No fluxo descrito pela NVIDIA, uma ação atualiza o simulador, o simulador produz controles espaciais e o modelo renderiza a próxima observação visual.

Já o Cosmos3-Nano-Sim-Bimanual prevê as consequências visuais de ações do robô ou da câmera. O exemplo lançado oferece simulação interativa de dois braços para os corpos YAM e AgiBot e pode ser controlado por uma política ou por joysticks operados por humanos. Sua configuração de ações mistas inclui mudanças de ponto de vista e manipulação em uma única sequência de controle, com um esquema de controle de 59 valores preenchido para 64 durante o treinamento.

A NVIDIA está construindo um caminho de desenvolvimento em torno dos checkpoints

O lançamento faz parte de uma plataforma NVIDIA Cosmos maior, e não de um download independente. O Cosmos Framework da empresa fornece receitas e habilidades de agentes para treinamento, processamento de dados multimodais, inferência, otimização e avaliação. A NVIDIA afirma que o framework pode funcionar além do Cosmos 3 com modelos como Alpamayo, GR00T, Qwen e pi0.5, além de modelos compatíveis da Hugging Face.

Para adaptação, o framework oferece suporte a LoRA e fine-tuning supervisionado completo, com caminhos de carregamento de dados para JSONL, WebDataset, LeRobot e adaptadores personalizados. A NVIDIA também lista pipelines de aprendizado por reforço offline e online, incluindo DPO, GRPO, PPO, destilação on-policy e DiffusionNFT. Esses recursos podem permitir que desenvolvedores passem de um modelo de mundo pré-treinado para treinamento de políticas específicas de tarefas sem montar cada parte do fluxo por conta própria.

A camada de implantação é o Cosmos NIM, a coleção de microsserviços acelerados por GPU da NVIDIA. O blog para desenvolvedores afirma que as configurações do NIM oferecem suporte a técnicas como quantização, decodificação especulativa e roteamento consciente do cache KV. A NVIDIA relata acelerações de aproximadamente duas a três vezes em GPUs H200, mas esse número é uma alegação da empresa e a fonte não fornece detalhes experimentais suficientes para uma comparação independente com outras pilhas de serving.

Os requisitos de hardware continuam relevantes. A NVIDIA lista 58 GiB de memória GPU para geração do Cosmos3-Nano em BF16 e 44 GiB em FP8 com offloading. Esses requisitos podem ser administráveis em um data center, mas são significativos para equipes de pesquisa menores e muitos sistemas de robótica voltados à borda. A diferença entre um checkpoint baixável e um serviço de simulação responsivo dependerá de batching, metas de latência, comprimento da sequência, quantidade de sensores e do simulador ao redor.

As evidências são mais fortes sobre capacidades do que sobre qualidade das políticas

As fontes confirmam a existência dos quatro checkpoints, suas interfaces de controle declaradas, sua disponibilidade com pesos abertos e as ferramentas de desenvolvimento e implantação de apoio. Também documentam casos de uso concretos: geração sincronizada de câmera e LiDAR para condução, renderização condicionada pelo simulador e previsão bimanual de robôs condicionada por ações.

Elas não estabelecem que os modelos preservam de forma confiável as leis físicas, preveem eventos raros com precisão ou melhoram o desempenho de políticas posteriores. O artigo da Hugging Face apresenta explicitamente essas questões como problemas de pesquisa em aberto, incluindo onde os modelos apoiam fielmente o aprendizado e a avaliação de políticas e onde falham. Essa ressalva é especialmente importante em aplicações sensíveis à segurança.

Realismo visual gerado não é o mesmo que validade de simulação. Uma cena de condução pode parecer convincente e representar incorretamente profundidade, movimento de objetos, ruído dos sensores ou as consequências de uma manobra incomum. Da mesma forma, um modelo robótico condicionado por ações pode produzir quadros plausíveis sem manter uma dinâmica de contato precisa. A arquitetura da NVIDIA aborda isso parcialmente ao deixar a física e o estado sob responsabilidade de um simulador externo no Sim-Transfer, mas a qualidade do treinamento de políticas ainda dependerá das interfaces entre esses sistemas.

As fontes também não apresentam benchmark independente contra modelos de mundo concorrentes, números de implantação de clientes ou evidências de validação dos modelos em uma ampla variedade de configurações de sensores. Os desenvolvedores devem, portanto, tratar o lançamento como uma base de desenvolvimento acessível, não como prova de que rollouts sintéticos podem substituir testes no mundo real.

Implicações para desenvolvedores e compradores empresariais

Para equipes de direção autônoma, o recurso mais prático pode ser a conexão entre aparência e geometria. A geração conjunta de RGB e LiDAR e os controles alinhados ao mapa podem ajudar a criar observações visuais e tridimensionais correspondentes enquanto variam as condições ambientais. Isso é mais útil para pesquisas de fusão de sensores do que gerar apenas imagens de câmera, desde que o alinhamento continue preciso após a adaptação.

Para empresas de robótica, a divisão entre Sim-Bimanual e Sim-Transfer oferece dois padrões de implantação. O Sim-Bimanual pode modelar diretamente as consequências visuais de ações do robô ou da câmera, enquanto o Sim-Transfer permite que um mecanismo físico mantenha autoridade sobre estado e contatos. Esse arranjo pode ser mais fácil de auditar, pois o simulador, e não um modelo generativo, define a trajetória física.

O custo e a complexidade operacional provavelmente moldarão a adoção. As equipes precisam de memória GPU suficiente, um simulador ou renderizador, pipelines de dados para seus próprios sensores e procedimentos de avaliação que detectem erros de plausibilidade visual. A licença de pesos abertos pode reduzir as barreiras à experimentação, mas usuários comerciais ainda precisam revisar os termos da OpenMDW1.1 e determinar se o uso, os dados e o modelo de distribuição pretendidos estão em conformidade.

O sinal competitivo mais amplo é a tentativa da NVIDIA de conectar pesos de modelos, receitas de treinamento, aprendizado por reforço e serviços de inferência em um único fluxo de IA física. Isso pode reduzir o trabalho de integração para equipes que já usam infraestrutura NVIDIA. Pode ser menos atraente para organizações que priorizam serving independente de fornecedor, inferência de baixo custo ou implantação em hardware fora da pilha de GPUs preferida pela empresa.

O que observar em seguida

O primeiro sinal será a avaliação independente do aprendizado de políticas e do comportamento em loop fechado. Testes úteis devem comparar a geometria de sensores reais e simulados, a consistência em horizontes longos, a cobertura de eventos raros e o desempenho posterior em condução ou manipulação, em vez de avaliar apenas a qualidade do vídeo.

Um segundo sinal é o grau de adaptação do Transfer-Auto a novos conjuntos de sensores. A NVIDIA apresenta a adaptação e a posterior destilação para o Sim-Auto como um caminho de desenvolvimento, mas as evidências ainda não mostram o volume de dados, o custo de treinamento ou a retenção de desempenho necessários para essa transição.

Os desenvolvedores também devem acompanhar resultados de latência e memória fora das implantações H200, especialmente equipes de robótica que precisam de inferência no local ou na borda. Por fim, a adoção do Cosmos Framework por projetos que usam modelos além do Cosmos 3 indicará se a NVIDIA criou uma cadeia de ferramentas amplamente útil ou principalmente um ecossistema em torno de seus próprios checkpoints.

Perspectiva da Creati.ai

O lançamento da NVIDIA é significativo menos por introduzir outro gerador de vídeo e mais por empacotar várias interfaces para simulação condicionada por ações: geração sensor a sensor para condução, renderização de simulador para vídeo e previsão direta de ações robóticas. Essa divisão corresponde mais de perto à forma como os sistemas de IA física são realmente construídos do que uma única alegação indiferenciada de modelo de mundo.

O teste central será a confiabilidade durante a interação. Pesos e receitas abertos facilitam a experimentação, mas os desenvolvedores precisarão de evidências de que as observações geradas permanecem geometricamente consistentes e úteis para decisões de políticas em rollouts longos. Até que essas avaliações estejam disponíveis, o Cosmos 3 deve ser visto como uma plataforma substancial para pesquisa e adaptação em simulação — não como um substituto demonstrado para mecanismos físicos, dados reais ou validação física.