NVIDIA показала, как ИИ-агенты создают симуляции складов, робототехники и промышленных объектов в Omniverse

NVIDIA представила проекты для разработчиков, в которых передовые ИИ-агенты превращают инструкции на естественном языке в работающие симуляции складов, промышленного оборудования и робототехники. В демонстрациях такие модели, как GPT-6 Astra, сочетаются с библиотеками NVIDIA Omniverse для физики, рендеринга, симуляции датчиков и визуализации в браузере.

Примеры компании указывают на изменение подхода к созданию приложений для моделирования. Вместо ручного соединения каждого актива, решателя и компонента визуализации разработчики могут направить агента, проверить результат и запросить изменения. Однако базовые системы по-прежнему требуют инженерной проверки, а собственные примеры NVIDIA показывают, что тестирование производительности и физическая валидация остаются необходимыми.

От инструкций к редактируемым сценам симуляции

Один из рабочих процессов NVIDIA посвящён планированию складов. Скан здания может содержать стеллажи, оборудование и другие объекты, из-за чего базовую структуру трудно использовать в качестве среды моделирования. David Wehr из команды NVIDIA по технологиям симуляции поручил Astra интерпретировать панорамные фотографии, создать геометрию здания и сопоставить её с измерениями облака точек.

Результат должен был стать редактируемым представлением здания, готовым к симуляции. Затем разработчики могли добавлять или перемещать стеллажи, машины и другие элементы, чтобы изучать планировку склада до внесения физических изменений. Для хранения моделей использовался OpenUSD, а библиотека Omniverse ovrtx рендерила сцену для проверки.

Этот пример показывает, где ИИ-агенты могут быть полезны при разработке симуляций: не как замена физическому движку, а как интерфейс для преобразования неструктурированных исходных материалов и замысла дизайна в структурированные активы. NVIDIA сообщает, что разработчики также могут использовать навыки агентов Omniverse, помогая агентам работать с её библиотеками.

В другой демонстрации использовалась SimReady Central Library — коллекция NVIDIA, включающая более 2 000 готовых к симуляции USD-активов от производителей оборудования и поставщиков активов. Paul Kind из команды документации NVIDIA Omniverse поручил агенту собрать кухонную сцену в ходе диалога. Сцена содержала 180 размещений на основе 63 уникальных библиотечных активов и 18 элементов пользовательской геометрии.

Этот же рабочий процесс с активами важен для робототехники и цифровых двойников фабрик, где свойства, необходимые для симуляции, могут быть важнее одной лишь визуальной реалистичности. По словам NVIDIA, разработчики могут выбирать активы со встроенными характеристиками симуляции и размещать их в среде для тестирования.

Что именно доказывают демонстрации

Наиболее весомые свидетельства NVIDIA — это набор внутренних прототипов и измеренных тестов, описанных в собственном блоге компании. Технические детали полезны, но заявления о производительности и продуктивности исходят от поставщика и не были независимо подтверждены.

В одном складском тесте инженер NVIDIA Bhavik Sanganee использовал Astra и библиотеки Omniverse, чтобы повысить сложность сцены и исследовать проблемы производительности. Симуляция включала 80 конвейеров, 40 роботизированных рук и 800 коробок. NVIDIA сообщает, что в ходе двухминутного теста поддерживалась частота 30 кадров в секунду при разрешении Full HD, а роботизированные руки успешно разместили 640 коробок.

Результат зависел от одновременного выполнения физических расчётов, рендеринга изображений и подготовки видео. После удвоения размера сцены производительность снова снизилась. Дополнительные тесты связали замедление с конвейером физики и управления роботами. Это важная деталь: агент помог обнаружить узкое место, но пример не показывает, что ИИ самостоятельно решил проблему масштабирования.

NVIDIA также описывает промышленное приложение для анализа сценариев «что, если» для смоделированных газовой турбины и генератора. Pradeep Kaushik поручил Astra создать инструмент, позволяющий менять нагрузку, температуру окружающей среды и состав топлива, а затем сравнивать мощность, эффективность, расход топлива и реакцию оборудования. Шесть процедур тестирования охватывают такие сценарии, как изменение нагрузки, заклинивший топливный клапан и отказ датчика выхлопа.

В прототипе Cantera использовалась для термохимии, а SciPy — для динамики оборудования. Компоненты Omniverse, включая ovstage, ovrtx и ovstream, обновляли, визуализировали и передавали трёхмерную сцену. Инженеры могли осматривать турбину в разрезе, менять индикаторы и сравнивать анимированную реакцию с графиками и виртуальными приборами.

Это полезные демонстрации интеграции, но их не следует воспринимать как доказательство того, что агент проверил реальную турбину или промышленную систему управления. Симуляции остаются моделями, и их ценность зависит от качества допущений, решателей и исходных данных, использованных при создании.

Робототехника — более сложное испытание

Третий проект посвящён сборке электроники, где робот должен провести гибкий кабель вокруг компонентов и точно совместить разъём с портом. Oyindamola Omotuyi, менеджер по техническому маркетингу робототехники в NVIDIA, поручила Astra создать симуляцию на базе NVIDIA Isaac Lab, физики Newton и рендеринга Omniverse; кабелем манипулировал захват Robotiq.

Агент также разработал систему обучения с подкреплением, объединяющую выученные движения для прокладки кабеля с обратной связью по положению и ориентации и корректирующими действиями для вставки USB-C. Контроллер опирался на данные, предоставленные симуляцией, поэтому разработчик мог проверить задачу до перехода к экспериментам с физическим роботом.

NVIDIA перечисляет несколько следующих шагов, включая тестирование захвата, удерживаемого трением, и входных данных, которые физический робот мог бы получать от камер и датчиков. Эти шаги показывают разрыв между контролируемой симуляцией и внедрением. Политика, успешная при полном состоянии симулятора, может потребовать значительных изменений при работе с зашумлёнными визуальными наблюдениями, неопределёнными контактными силами и изменениями трения кабеля.

Значение для разработчиков и корпоративных команд

Для разработчиков ИИ важен архитектурный шаблон, объединяющий агента с библиотекой структурированных активов, отраслевыми инструментами и проверяемыми результатами. Агент может генерировать описания сцен, соединять компоненты и предлагать изменения, но ответственность за проверку геометрии, физических настроек и поведения остаётся у разработчика.

Для корпоративных команд потенциальная выгода заключается в более быстрых итерациях до дорогостоящих физических изменений. Оператор склада может сравнивать планировки, промышленный инженер — изучать сценарии отказов, а команда робототехники — тестировать стратегии манипуляции до использования оборудования. Ценность будет зависеть не столько от диалогового управления как такового, сколько от того, насколько получившееся приложение воспроизводимо, отслеживаемо и достаточно точно для конкретного решения.

Демонстрации также подчёркивают стоимость внедрения. Большие сцены требуют согласованных конвейеров физики, рендеринга и потоковой передачи. Большее количество активов и роботов может выявить узкие места, которые агент поможет диагностировать, но не устранит автоматически. Покупателям нужно будет оценить требования к GPU, задержку модели, лицензирование активов, интеграцию с существующими инженерными системами и процесс проверки результатов симуляции по реальным измерениям.

За чем следить дальше

Следующим сигналом станет публикация NVIDIA дополнительных примеров с независимыми бенчмарками, воспроизводимыми конфигурациями или сравнениями с традиционными рабочими процессами разработки симуляций. Также важно будет увидеть, как приложения, созданные Astra, работают с версиями, журналами аудита и намеренными ошибками в базовых моделях.

В робототехнике физические испытания будут показательнее смоделированных показателей успеха. NVIDIA сообщает, что проект прокладки кабеля движется к использованию входных данных камер и датчиков и к экспериментам с физическими роботами. Результаты перехода покажут, сколько ручной инженерной работы всё ещё требуется после создания агентом исходного контроллера.

Расширение SimReady Central Library — ещё одна область для наблюдения. Более крупная и хорошо документированная экосистема активов может сделать создание сцен с помощью агентов практичнее, но корпоративное внедрение будет зависеть от точности активов, условий лицензирования и совместимости с устоявшимися рабочими процессами цифровых двойников.

Взгляд Creati.ai

Анонс NVIDIA лучше всего понимать как демонстрацию инженерии симуляций с помощью агентов, а не автономной инженерии. Компания показывает, что модель может помогать соединять активы, решатели и визуальные интерфейсы в Omniverse, но разработчики сохраняют ответственность за оценку корректности и полезности симуляции.

Такое разделение труда, вероятно, важнее диалогового интерфейса. Если агенты смогут надёжно собирать проверяемые прототипы и выявлять узкие места производительности, они могут сократить путь от инженерного вопроса до тестируемого сценария. Однако коммерческая ценность будет определяться валидацией, масштабируемостью и стоимостью перехода от впечатляющей демонстрации к симуляции, которой можно доверять при принятии реальных операционных решений.