NVIDIA montre comment des agents d’IA pourraient créer et tester des simulations Omniverse

NVIDIA présente une série d’expériences destinées aux développeurs, dans lesquelles des modèles d’IA de pointe contribuent à transformer des concepts de simulation en applications fonctionnelles. Ces flux combinent des instructions en langage naturel avec les bibliothèques NVIDIA Omniverse dédiées à la physique, au rendu, aux capteurs, à la gestion des scènes et aux interfaces utilisateur.

Les exemples couvrent des robots humanoïdes, des véhicules autonomes, des opérations d’entrepôt, des jumeaux numériques, la visualisation de vaisseaux spatiaux et le désassemblage robotisé. Ils ne constituent ni un lancement de produit unique ni un benchmark validé indépendamment. L’article du NVIDIA Blog illustre plutôt la manière dont l’entreprise pense que les agents d’IA pourraient réduire le travail d’ingénierie nécessaire à l’assemblage et à l’itération des environnements de simulation.

Des prompts aux systèmes de simulation

La construction d’un simulateur utile exige généralement davantage que la génération de code. Les développeurs doivent préparer des actifs 3D, relier les comportements physiques, configurer les capteurs, gérer les données de scène et créer des moyens d’inspecter les résultats. Dans les exemples de NVIDIA, les agents d’IA sont présentés comme des assistants intervenant dans cette chaîne d’outils, et non comme des remplaçants de la revue technique.

Dans une démonstration, Frank DeLise, responsable produit chez NVIDIA, a utilisé un modèle que NVIDIA identifie comme GPT-6 Astra pour transformer un entrepôt SimReady et un robot humanoïde en environnement interactif. Le système prenait en charge des vues à la première et à la troisième personne et reliait des composants Omniverse pour la physique, les mises à jour de scène, le rendu ray tracing et les commandes d’interface. Selon NVIDIA, l’agent a généré du code d’animation et d’application après que DeLise eut décrit le flux souhaité.

Cette approche suppose que les développeurs dirigent l’agent, examinent ses résultats et demandent des modifications. Cette distinction est importante pour les équipes qui évaluent des outils de programmation par IA pour la simulation : le modèle peut aider à coordonner plusieurs bibliothèques, mais l’application obtenue doit toujours être testée au regard des exigences physiques et opérationnelles.

La robotique et les véhicules autonomes sont les principaux cas de test

Plusieurs projets présentés portent sur l’évaluation des machines avant leur fonctionnement dans le monde physique. Doyub Kim, responsable de l’équipe chargée des technologies de simulation chez NVIDIA, a utilisé Astra pour créer « Zero to Alpamayo », un environnement réutilisable fondé sur Market Street, à San Francisco. Le prototype a relié progressivement la création d’actifs, le trafic, la simulation de capteurs Omniverse RTX et la conduite Alpamayo.

NVIDIA indique que ce flux par étapes a permis à Kim de comparer des modèles et de suivre l’effet des changements apportés à une scène ou à un capteur sur le comportement de conduite en aval. Une expérience connexe avec Cosmos3-Nano a modifié la météo et l’éclairage dans des vidéos de simulation enregistrées afin de comparer les réactions d’un modèle de conduite dans différentes conditions.

L’entreprise décrit également un projet dirigé par Ashley Reid visant à comparer des images de caméra simulées et des sorties LiDAR brutes avec des données enregistrées. Reid a demandé aux agents Astra et Claude Fable 5 de créer ou d’améliorer quatre jumeaux numériques en environ trois jours. Les agents ont mesuré les écarts, modifié des scènes OpenUSD et traité des problèmes liés aux objets manquants, à la géométrie et aux matériaux. NVIDIA affirme que l’acceptation reposait sur des métriques de caméra et de LiDAR, et non sur la seule inspection visuelle.

Pour la robotique, Tae Kim a utilisé des vidéos sportives et des instructions en langage naturel dans « Robo Olympics », une expérience impliquant des humanoïdes Unitree G1 simulés. Le flux utilisait Newton Physics Engine pour la simulation du comportement, NVIDIA Warp pour accélérer les calculs et Omniverse RTX pour le rendu. NVIDIA rapporte qu’un robot a franchi un obstacle unique lors de 64 essais sur 100. Il s’agit d’un résultat de simulation propre au projet, et non d’une preuve que le robot est prêt pour des tâches comparables dans le monde réel.

Les éléments de preuve sont utiles, mais restent communiqués par le fournisseur

L’article fournit des descriptions concrètes d’outils, de flux et d’expériences, mais les éléments de preuve proviennent du blog de NVIDIA et de projets menés par ses employés. Il n’existe ni réplication indépendante, ni données de déploiement chez des clients, ni évaluation externe des gains de temps de développement rapportés.

Cela limite les conclusions que les concepteurs doivent en tirer. Les exemples de NVIDIA montrent que des agents peuvent aider à relier des bibliothèques Omniverse, à créer des scènes OpenUSD et à faire évoluer un comportement simulé sous direction humaine. Ils n’établissent pas que les agents produisent régulièrement des simulateurs prêts pour la production, modélisent fidèlement les conditions réelles ou réduisent les coûts totaux d’ingénierie dans les organisations.

Le résultat de 64 obstacles franchis sur 100 est lui aussi limité. Il montre que des essais physiques répétés peuvent révéler des problèmes de contrôle et fournir un retour, mais il ne définit pas un benchmark général de robotique. Le travail sur les jumeaux numériques suggère un processus de validation fondé sur des métriques, tout en laissant ouvertes les questions de fidélité des capteurs, de transfert de la simulation au réel et de qualité des données de référence enregistrées.

L’utilisation par NVIDIA de noms de modèles tels que GPT-6 Astra et Claude Fable 5 doit également être comprise comme un élément des expériences décrites par l’entreprise. La source ne fournit pas d’informations plus générales sur la disponibilité, le prix ou les comparaisons indépendantes de capacités de ces modèles.

Ce que ces flux signifient pour les développeurs et les entreprises

Pour les développeurs d’IA, le changement le plus important est architectural. L’agent ne se contente pas d’écrire un script autonome : il coordonne les actifs, les moteurs de simulation, les systèmes de rendu, les modèles de capteurs et les interfaces applicatives. Cela pourrait faciliter la création d’outils internes ciblés pour l’exploration de scénarios, l’analyse des défaillances et la revue de conception.

Les cas d’usage à court terme les plus solides seront probablement ceux qui disposent d’un retour mesurable. La validation des capteurs peut comparer des sorties de caméra ou de LiDAR rendues à des données enregistrées. Les expériences de commande robotique peuvent exécuter des essais physiques répétés. Les tâches de conception industrielle peuvent vérifier qu’un outil atteint un composant avant la fabrication du matériel. Ces boucles fournissent à un agent des critères concrets pour proposer et évaluer des changements.

L’exemple de suspension automobile de NVIDIA illustre l’intérêt pour les entreprises. Jens Jebens a modélisé une suspension dans PTC Onshape, l’a configurée dans NVIDIA Isaac Sim et a utilisé Astra pour étudier des révisions d’outillage. NVIDIA affirme que l’agent a mesuré l’espace disponible et conçu une clé censée atteindre les boulons de suspension, avec retrait simulé réussi d’un composant. Un tel flux pourrait relier conception assistée par ordinateur, outillage et développement de politiques robotiques, même si une validation physique resterait indispensable.

Le même principe apparaît dans un exemple de visualisation de la NASA. Nic Johns a utilisé des actifs Blender et des composants Omniverse pour assembler un modèle OpenUSD de la Station spatiale internationale avec télémétrie et le diffuser vers un navigateur. Dans un autre projet, une capture par caméra stéréoscopique est devenue un studio éditable dont les objets et les interactions ont été testés dans Isaac Sim. Ces cas suggèrent un rôle pratique pour les agents lorsqu’il s’agit de transformer des données 3D fragmentées en applications inspectables.

Les risques sont tout aussi précis. Les scènes générées peuvent contenir une géométrie incorrecte, des hypothèses physiques fragiles ou des omissions invisibles. Les entreprises auront besoin d’actifs versionnés, d’expériences reproductibles, de critères d’acceptation mesurables et de points de contrôle avant que les simulations n’influencent des décisions critiques pour la sécurité. La commodité d’un agent ne supprime pas la nécessité de l’expertise du domaine.

Ce qu’il faudra surveiller

Les prochains signaux seront la publication éventuelle par NVIDIA d’exemples provenant de développeurs externes plutôt que seulement d’équipes internes, ainsi que la présence, dans ces projets, d’actifs, de code et de procédures d’évaluation reproductibles. Les concepteurs devront aussi observer si les agents Omniverse fonctionnent avec des scènes plus vastes, davantage de capteurs et des simulations plus longues sans accroître excessivement la charge de revue.

Les équipes produit voudront des précisions sur l’accès aux modèles cités, la disponibilité des bibliothèques Omniverse et le coût des itérations pilotées par des agents à l’échelle de l’entreprise. Les chercheurs devront rechercher des mesures indépendantes des performances sim-to-real, de la fidélité des jumeaux numériques et de l’effet des modifications générées sur les politiques ultérieures des robots ou des véhicules.

Point de vue de Creati.ai

L’annonce de NVIDIA doit être comprise comme une démonstration d’orchestration agentique pour la simulation, et non comme la preuve que les prompts peuvent remplacer l’ingénierie de simulation. Sa contribution la plus crédible est de montrer où les agents peuvent s’insérer dans des boucles structurées : assembler une scène, exécuter un test, comparer des résultats mesurables et réviser sous supervision humaine.

Ce schéma pourrait compter pour les équipes qui développent des systèmes de robotique et d’IA industrielle, car il relie les modèles génératifs à des tâches de vérification au lieu de les limiter à la génération de code. La question décisive sera de savoir si ces flux produisent des résultats fiables et auditables en dehors des démonstrations contrôlées de NVIDIA. En attendant des éléments indépendants, la perspective est prometteuse, mais reste une orientation de développement rapportée par le fournisseur.