NVIDIA montre des agents d’IA construisant des simulations d’entrepôts, de robotique et d’industrie dans Omniverse

NVIDIA présente une série de projets destinés aux développeurs qui utilisent des agents d’IA de pointe pour transformer des instructions en langage naturel en simulations fonctionnelles d’entrepôts, d’équipements industriels et de systèmes robotiques. Les démonstrations associent des modèles comme GPT-6 Astra aux bibliothèques NVIDIA Omniverse dédiées à la physique, au rendu, à la simulation de capteurs et à la visualisation dans un navigateur.

Les exemples de l’entreprise suggèrent une évolution de la manière dont les applications de simulation peuvent être assemblées. Au lieu de relier manuellement chaque ressource, solveur et composant de visualisation, les développeurs peuvent orienter un agent, examiner le résultat et demander des modifications. Les systèmes sous-jacents nécessitent toutefois toujours une revue technique, et les propres exemples de NVIDIA montrent que les tests de performance et la validation physique restent indispensables.

Des instructions aux scènes de simulation modifiables

Un flux de travail de NVIDIA porte sur la planification d’entrepôts. Un scan de bâtiment peut contenir des étagères, des machines et d’autres objets qui rendent difficile l’utilisation de la structure sous-jacente comme environnement de simulation. David Wehr, de l’équipe des technologies de simulation de NVIDIA, a guidé Astra pour interpréter des photographies panoramiques, générer la géométrie du bâtiment et l’aligner sur des mesures issues d’un nuage de points.

Le résultat devait constituer une représentation modifiable du bâtiment, prête pour la simulation. Les développeurs pouvaient ensuite ajouter ou repositionner des étagères, des machines et d’autres éléments afin d’étudier l’aménagement de l’entrepôt avant d’effectuer des changements physiques. OpenUSD a servi à stocker les modèles, tandis que la bibliothèque ovrtx d’Omniverse rendait la scène pour inspection.

Cet exemple illustre l’utilité possible des agents d’IA dans le développement de simulations : non pas comme remplacement du moteur physique, mais comme interface permettant de convertir des données sources désordonnées et une intention de conception en ressources structurées. NVIDIA indique que les développeurs peuvent également utiliser les compétences d’agents d’Omniverse pour aider les agents à travailler avec ses bibliothèques.

Une autre démonstration a utilisé SimReady Central Library, la collection de NVIDIA regroupant plus de 2 000 ressources USD prêtes pour la simulation, fournies par des fabricants d’équipements et des fournisseurs de ressources. Paul Kind, membre de l’équipe de documentation Omniverse de NVIDIA, a demandé à un agent d’assembler une scène de cuisine par conversation. La scène comprenait 180 placements fondés sur 63 ressources uniques de la bibliothèque, ainsi que 18 éléments de géométrie personnalisée.

Le même flux de ressources est pertinent pour la robotique et les jumeaux numériques d’usines, où les propriétés adaptées à la simulation peuvent compter davantage que la seule apparence visuelle. NVIDIA affirme que les développeurs peuvent sélectionner des ressources dotées de caractéristiques de simulation intégrées et les placer dans un environnement pour les tester.

Ce que les démonstrations prouvent réellement

Les éléments les plus solides de NVIDIA sont une collection de prototypes internes et de tests mesurés décrits dans son propre blog. Les détails techniques sont donc utiles, mais les affirmations sur les performances et la productivité sont rapportées par le fournisseur et n’ont pas été vérifiées indépendamment.

Lors d’un test d’entrepôt, l’ingénieur NVIDIA Bhavik Sanganee a utilisé Astra et les bibliothèques Omniverse pour accroître la complexité de la scène et étudier les problèmes de performance. La simulation comprenait 80 convoyeurs, 40 bras robotisés et 800 boîtes. NVIDIA indique avoir maintenu 30 images par seconde en résolution Full HD pendant un test de deux minutes, tandis que les bras robotisés réalisaient 640 placements de boîtes réussis.

Le résultat dépendait de l’exécution simultanée des calculs physiques, du rendu des images et de la préparation vidéo. Lorsque la scène a été doublée, les performances ont de nouveau diminué. Des tests supplémentaires ont attribué le ralentissement au pipeline physique et de commande des robots. Ce détail est important : l’agent a contribué à identifier un goulot d’étranglement, mais l’exemple ne montre pas que l’IA a résolu seule le problème de mise à l’échelle.

NVIDIA décrit également une application industrielle d’analyse de scénarios pour une turbine à gaz et un générateur simulés. Pradeep Kaushik a demandé à Astra de créer un outil permettant de faire varier la charge, la température ambiante et la composition du carburant, puis de comparer la puissance, l’efficacité, la consommation de carburant et la réponse de l’équipement. Six procédures de test couvrent des scénarios tels que des changements de charge, une vanne de carburant bloquée et une défaillance du capteur d’échappement.

Le prototype utilisait Cantera pour la thermochimie et SciPy pour la dynamique de l’équipement. Des composants Omniverse, notamment ovstage, ovrtx et ovstream, mettaient à jour, rendaient et diffusaient la scène tridimensionnelle. Les ingénieurs pouvaient examiner une turbine en coupe, modifier des indicateurs et comparer la réponse animée avec des graphiques et des instruments virtuels.

Ces démonstrations illustrent utilement l’intégration, mais ne doivent pas être considérées comme la preuve qu’un agent a validé une véritable turbine ou un système de contrôle industriel. Les simulations restent des modèles, et leur valeur dépend de la qualité des hypothèses, des solveurs et des données sources utilisés pour les construire.

La robotique constitue le test le plus exigeant

Un troisième projet vise l’assemblage électronique, où un robot doit faire passer un câble flexible autour de composants et aligner précisément un connecteur avec un port. Oyindamola Omotuyi, responsable du marketing technique de la robotique chez NVIDIA, a demandé à Astra de construire une simulation utilisant NVIDIA Isaac Lab, la physique Newton et le rendu Omniverse, avec une pince Robotiq manipulant le câble.

L’agent a également développé un système d’apprentissage par renforcement combinant des mouvements appris pour guider le câble avec un retour de position et d’orientation et des corrections pour l’insertion d’un connecteur USB-C. Le contrôleur s’appuyait sur les informations fournies par la simulation, permettant au développeur de tester la tâche avant de passer à des expériences avec un robot physique.

NVIDIA cite plusieurs étapes suivantes, notamment le test d’une prise maintenue par friction et d’entrées qu’un robot physique pourrait obtenir à partir de caméras et de capteurs. Ces étapes révèlent l’écart entre une simulation contrôlée et un déploiement. Une politique efficace avec l’état complet du simulateur peut nécessiter d’importantes modifications lorsqu’elle doit fonctionner avec des observations visuelles bruitées, des forces de contact incertaines et des variations de friction du câble.

Conséquences pour les développeurs et les équipes d’entreprise

Pour les développeurs d’IA, le schéma architectural important est l’association d’un agent à une bibliothèque de ressources structurées, d’outils spécialisés et de résultats inspectables. L’agent peut générer des descriptions de scènes, relier des composants et proposer des modifications, tandis qu’un développeur reste responsable de la vérification de la géométrie, des réglages physiques et du comportement.

Pour les équipes d’entreprise, l’avantage potentiel est d’accélérer les itérations avant des changements physiques coûteux. Un exploitant d’entrepôt pourrait comparer des aménagements, un ingénieur industriel examiner des scénarios de défaillance et une équipe de robotique tester des stratégies de manipulation avant d’utiliser du matériel. La valeur dépendra moins du contrôle conversationnel en lui-même que du caractère reproductible, traçable et suffisamment précis de l’application produite pour une décision donnée.

Les démonstrations soulignent également les coûts de déploiement. Les grandes scènes nécessitent des pipelines coordonnés de physique, de rendu et de diffusion. Davantage de ressources et de robots peuvent révéler des goulets d’étranglement qu’un agent peut aider à diagnostiquer, mais qu’il ne peut pas éliminer automatiquement. Les acheteurs devront évaluer les besoins en GPU, la latence du modèle, les licences des ressources, l’intégration aux systèmes d’ingénierie existants et le processus de validation des résultats de simulation par rapport à des mesures réelles.

Ce qu’il faudra surveiller ensuite

Le prochain signal sera de voir si NVIDIA publie d’autres exemples accompagnés de benchmarks indépendants, de configurations reproductibles ou de comparaisons avec les flux traditionnels de développement de simulations. Il faudra également observer comment les applications générées par Astra gèrent le versionnage, les pistes d’audit et les erreurs délibérées dans les modèles sous-jacents.

En robotique, les tests physiques seront plus révélateurs que les taux de réussite simulés. NVIDIA indique que le projet de guidage de câble évolue vers des entrées provenant de caméras et de capteurs ainsi que vers des expériences avec des robots physiques. Les résultats de cette transition pourraient montrer quelle quantité d’ingénierie manuelle reste nécessaire après la création du contrôleur initial par un agent.

L’expansion de SimReady Central Library est un autre domaine à suivre. Un écosystème de ressources plus vaste et bien documenté pourrait rendre la construction de scènes assistée par agent plus pratique, mais l’adoption par les entreprises dépendra de la précision des ressources, des conditions de licence et de la compatibilité avec les flux de travail établis des jumeaux numériques.

Point de vue de Creati.ai

L’annonce de NVIDIA doit être comprise avant tout comme une démonstration d’ingénierie de simulation assistée par agent, et non comme de l’ingénierie autonome. L’entreprise montre qu’un modèle peut contribuer à relier ressources, solveurs et interfaces visuelles dans Omniverse, tandis que les développeurs restent chargés de déterminer si la simulation est correcte et utile.

Cette répartition du travail pourrait compter davantage que l’interface conversationnelle. Si les agents peuvent assembler de manière fiable des prototypes inspectables et identifier des goulets d’étranglement, ils pourraient raccourcir le chemin entre une question d’ingénierie et un scénario testable. Mais le potentiel commercial dépendra de la validation, de l’évolutivité et du coût du passage d’une démonstration convaincante à une simulation suffisamment fiable pour les décisions opérationnelles réelles.