NVIDIA publie quatre modèles ouverts Cosmos 3 pour la simulation interactive du monde

NVIDIA a publié quatre checkpoints ouverts de sa famille Cosmos 3, faisant évoluer sa plateforme de modèles du monde de la génération de contenu vers la simulation interactive pour les véhicules autonomes et les robots. Les modèles peuvent produire des observations synchronisées de caméra et de LiDAR, convertir les commandes d’un simulateur en vidéo ou prévoir comment l’environnement d’un robot change après des actions physiques.

Cette publication fournit aux développeurs plusieurs points de départ spécialisés plutôt qu’un simulateur généraliste. NVIDIA et Hugging Face indiquent que les checkpoints sont destinés à la recherche et au développement commercial selon les conditions de la licence OpenMDW1.1. Chacun est une version post-entraînée de Cosmos 3 Nano comptant 16 milliards de paramètres entraînables.

L’annonce est importante, car les équipes d’IA physique ont besoin d’environnements qui réagissent aux actions, et pas seulement d’images synthétiques statiques ou de clips vidéo isolés. NVIDIA associe les checkpoints à une pile logicielle plus large couvrant l’adaptation, l’apprentissage par renforcement, l’optimisation et le déploiement. Toutefois, les éléments disponibles proviennent de NVIDIA et de son partenaire de publication au sein de l’écosystème développeur ; les affirmations sur les performances et l’adoption restent donc déclarées par le fournisseur.

Quatre modèles ciblent différents problèmes de simulation

Les quatre checkpoints répartissent la publication entre les flux de travail de conduite autonome et de robotique.

Cosmos3-Nano-Transfer-Auto est conçu pour la génération hors ligne de données de conduite synthétiques. Il peut créer des vidéos synchronisées pour jusqu’à 11 vues caméra, y compris des caméras fisheye, tout en générant conjointement des images RGB et du LiDAR. Les développeurs peuvent faire varier la météo, l’éclairage, l’heure de la journée, la configuration des routes et l’état des feux grâce aux commandes de World Scenario Map et à des prompts textuels. Des images RGB initiales facultatives peuvent aider à ancrer l’apparence visuelle d’une scène.

Le modèle sert également d’étape d’adaptation pour les équipes possédant leurs propres configurations de capteurs. Le flux de travail documenté par NVIDIA consiste à post-entraîner Transfer-Auto sur des données propriétaires de caméra, de LiDAR et d’environnement, puis à utiliser le modèle adapté pour la génération de données hors ligne ou comme base d’un modèle de streaming plus rapide.

Cosmos3-Nano-Sim-Auto est cette variante orientée streaming. Selon la description de Hugging Face, elle a été distillée causalement à partir de Transfer-Auto afin de générer des séquences successives de vidéo caméra et de LiDAR synchronisés en seulement quelques étapes de débruitage. Elle utilise l’historique généré et des commandes de conduite mises à jour pour prendre en charge des déroulements interactifs plus longs.

Cette distinction est importante pour les équipes produit. La génération hors ligne peut élargir un jeu d’entraînement, mais l’évaluation en boucle fermée exige que le monde simulé se mette à jour tandis qu’une politique agit. Sim-Auto dépend encore d’un environnement d’exécution de simulation et d’un moteur de rendu capables de traduire les entrées de conduite en commandes actualisées ; le checkpoint ne remplace pas le simulateur complet du véhicule.

Pour la robotique et les autres systèmes incarnés, Cosmos3-Nano-Sim-Transfer accepte des commandes spatiales provenant d’un simulateur physique ainsi qu’un prompt textuel, puis produit des observations RGB pour une politique. Le simulateur reste responsable du mouvement, des contacts et de l’état physique. Dans le flux décrit par NVIDIA, une action met à jour le simulateur, celui-ci produit des commandes spatiales et le modèle rend l’observation visuelle suivante.

Cosmos3-Nano-Sim-Bimanual prédit au contraire les conséquences visuelles d’actions du robot ou de la caméra. L’exemple publié prend en charge la simulation interactive à deux bras pour les plateformes YAM et AgiBot et peut être contrôlé par une politique ou par des joysticks manipulés par un humain. Son dispositif d’actions mixtes inclut des changements de point de vue et de la manipulation dans une seule séquence de commande, avec un schéma de contrôle à 59 valeurs complété à 64 pendant l’entraînement.

NVIDIA construit une trajectoire de développement autour des checkpoints

La publication s’inscrit dans une plateforme NVIDIA Cosmos plus vaste plutôt que dans un téléchargement autonome. Le Cosmos Framework de l’entreprise fournit des recettes et des compétences d’agents pour l’entraînement, le traitement de données multimodales, l’inférence, l’optimisation et l’évaluation. NVIDIA affirme que le framework peut fonctionner au-delà de Cosmos 3 avec des modèles tels que Alpamayo, GR00T, Qwen et pi0.5, ainsi qu’avec des modèles compatibles de Hugging Face.

Pour l’adaptation, le framework prend en charge LoRA et le fine-tuning supervisé complet, avec des voies de chargement pour JSONL, WebDataset, LeRobot et des adaptateurs personnalisés. NVIDIA répertorie également des pipelines d’apprentissage par renforcement hors ligne et en ligne, notamment DPO, GRPO, PPO, la distillation on-policy et DiffusionNFT. Ces capacités pourraient permettre aux développeurs de passer d’un modèle du monde préentraîné à l’entraînement d’une politique spécifique à une tâche sans assembler eux-mêmes chaque élément du flux de travail.

La couche de déploiement est Cosmos NIM, la collection de microservices accélérés par GPU de NVIDIA. Le blog développeur indique que les configurations NIM prennent en charge des techniques telles que la quantification, le décodage spéculatif et le routage tenant compte du cache KV. NVIDIA annonce des accélérations d’environ deux à trois fois sur les GPU H200, mais ce chiffre est une affirmation de l’entreprise et la source ne fournit pas suffisamment de détails expérimentaux pour le comparer indépendamment à d’autres piles de serving.

Les besoins matériels restent importants. NVIDIA indique 58 Gio de mémoire GPU pour la génération Cosmos3-Nano en BF16 et 44 Gio en FP8 avec offloading. Ces exigences peuvent être gérables dans un déploiement de centre de données, mais elles sont considérables pour les petites équipes de recherche et de nombreux systèmes robotiques orientés edge. L’écart entre un checkpoint téléchargeable et un service de simulation réactif dépendra du batching, des objectifs de latence, de la longueur des séquences, du nombre de capteurs et du simulateur environnant.

Les éléments sont plus solides sur les capacités que sur la qualité des politiques

Les sources confirment l’existence des quatre checkpoints, leurs interfaces de commande annoncées, leur disponibilité à poids ouverts et les outils de développement et de déploiement associés. Elles documentent également des cas d’usage concrets : génération synchronisée de caméra et de LiDAR pour la conduite, rendu conditionné par un simulateur et prédiction bimanuale du robot conditionnée par l’action.

Elles n’établissent pas que les modèles préservent de façon fiable les lois physiques, prédisent correctement les événements rares ou améliorent les performances des politiques en aval. L’article de Hugging Face présente explicitement ces points comme des questions de recherche ouvertes, notamment les situations où les modèles soutiennent fidèlement l’apprentissage et l’évaluation de politiques et celles où ils échouent. Cette réserve est particulièrement importante pour les applications sensibles à la sécurité.

Le réalisme visuel généré n’est pas synonyme de validité de simulation. Une scène de conduite peut sembler convaincante tout en représentant incorrectement la profondeur, le mouvement des objets, le bruit des capteurs ou les conséquences d’une manœuvre inhabituelle. De même, un modèle robotique conditionné par l’action peut produire des images plausibles sans maintenir une dynamique de contact exacte. L’architecture de NVIDIA répond partiellement à ce problème en laissant la physique et l’état à un simulateur externe dans Sim-Transfer, mais la qualité de l’entraînement de politique dépendra toujours des interfaces entre ces systèmes.

Les sources ne fournissent pas non plus de benchmark indépendant face aux modèles du monde concurrents, de chiffres de déploiement chez les clients ni de preuves d’une validation sur une large gamme de configurations de capteurs. Les créateurs doivent donc considérer cette publication comme une base de développement accessible, et non comme la preuve que les déroulements synthétiques peuvent remplacer les essais réels.

Conséquences pour les créateurs et les acheteurs professionnels

Pour les équipes de conduite autonome, la caractéristique la plus pratique pourrait être le lien entre apparence et géométrie. La génération conjointe RGB-LiDAR et les commandes alignées sur la carte peuvent aider à créer des observations visuelles et tridimensionnelles correspondantes tout en faisant varier les conditions environnementales. C’est plus utile pour la recherche sur la fusion de capteurs que la génération d’images caméra seule, à condition que l’alignement reste exact après adaptation.

Pour les entreprises de robotique, la séparation entre Sim-Bimanual et Sim-Transfer offre deux schémas de déploiement. Sim-Bimanual peut modéliser directement les conséquences visuelles d’actions du robot ou de la caméra, tandis que Sim-Transfer permet à un moteur physique de conserver l’autorité sur l’état et les contacts. Cette dernière organisation peut être plus facile à auditer, puisque le simulateur, et non un modèle génératif, définit la trajectoire physique.

Le coût et la complexité opérationnelle devraient influencer l’adoption. Les équipes ont besoin de suffisamment de mémoire GPU, d’un simulateur ou d’un moteur de rendu, de pipelines de données pour leurs propres capteurs et de procédures d’évaluation capables de détecter les erreurs de plausibilité visuelle. La licence à poids ouverts peut réduire les obstacles à l’expérimentation, mais les utilisateurs commerciaux doivent toujours examiner les conditions d’OpenMDW1.1 et déterminer si leur usage, leurs données et leur modèle de distribution sont conformes.

Le signal concurrentiel plus large est la tentative de NVIDIA de relier poids des modèles, recettes d’entraînement, apprentissage par renforcement et services d’inférence dans un même flux d’IA physique. Cela peut réduire le travail d’intégration des équipes qui utilisent déjà l’infrastructure NVIDIA. C’est potentiellement moins convaincant pour les organisations qui privilégient un serving indépendant du fournisseur, l’inférence à bas coût ou le déploiement sur du matériel hors de la pile GPU privilégiée par l’entreprise.

Ce qu’il faut surveiller ensuite

Le premier indicateur sera l’évaluation indépendante de l’apprentissage des politiques et du comportement en boucle fermée. Des tests utiles compareraient la géométrie des capteurs réels et simulés, la cohérence sur de longues séquences, la couverture des événements rares et les performances ultérieures de conduite ou de manipulation, plutôt que la seule qualité vidéo.

Un deuxième indicateur sera la capacité de Transfer-Auto à s’adapter à de nouvelles configurations de capteurs. NVIDIA présente l’adaptation puis la distillation vers Sim-Auto comme une trajectoire de développement, mais les éléments disponibles ne montrent pas encore le volume de données, le coût d’entraînement ou le maintien des performances nécessaires à cette transition.

Les développeurs devraient également surveiller les résultats de latence et de mémoire hors des déploiements H200, en particulier les équipes de robotique qui ont besoin d’inférence sur site ou en périphérie. Enfin, l’adoption du Cosmos Framework par des projets utilisant des modèles au-delà de Cosmos 3 indiquera si NVIDIA a créé une chaîne d’outils largement utile ou principalement un écosystème autour de ses propres checkpoints.

Point de vue de Creati.ai

La publication de NVIDIA est importante moins parce qu’elle introduit un générateur vidéo supplémentaire que parce qu’elle regroupe plusieurs interfaces pour la simulation conditionnée par l’action : génération capteur à capteur pour la conduite, rendu simulateur-vers-vidéo et prédiction directe des actions robotiques. Cette division correspond davantage à la manière dont les systèmes d’IA physique sont réellement construits qu’une affirmation unique et indifférenciée sur un modèle du monde.

Le test central sera la fiabilité dans l’interaction. Les poids et les recettes ouverts facilitent l’expérimentation, mais les créateurs auront besoin de preuves que les observations générées restent géométriquement cohérentes et utiles aux décisions d’une politique sur de longues séquences. En attendant ces évaluations, Cosmos 3 doit être considéré comme une plateforme substantielle de recherche et d’adaptation en simulation, et non comme un remplacement démontré des moteurs physiques, des données réelles ou de la validation physique.