NVIDIA показывает, как ИИ-агенты могут создавать и тестировать симуляции Omniverse

NVIDIA демонстрирует серию экспериментов для разработчиков, в которых передовые модели ИИ помогают превращать концепции симуляции в работающие приложения. Эти процессы объединяют инструкции на естественном языке с библиотеками NVIDIA Omniverse для физики, рендеринга, датчиков, управления сценами и пользовательских интерфейсов.

Примеры охватывают гуманоидных роботов, автономные автомобили, складские операции, цифровые двойники, визуализацию космических аппаратов и роботизированную разборку. Они не являются ни единым запуском продукта, ни независимо подтвержденным бенчмарком. Вместо этого публикация в NVIDIA Blog показывает, как компания ожидает, что ИИ-агенты смогут сократить инженерную работу, связанную со сборкой и доработкой симуляционных сред.

От промптов к системам симуляции

Создание полезного симулятора обычно требует большего, чем генерация кода. Разработчики должны подготовить 3D-ассеты, связать физическое поведение, настроить датчики, управлять данными сцены и создать способы проверки результатов. В примерах NVIDIA ИИ-агенты представлены как помощники в этой цепочке инструментов, а не как замена инженерной проверке.

В одной демонстрации менеджер по продукту NVIDIA Frank DeLise использовал модель, которую NVIDIA называет GPT-6 Astra, чтобы превратить склад SimReady и гуманоидного робота в интерактивную среду. Система поддерживала вид от первого и третьего лица и соединяла компоненты Omniverse для физики, обновления сцен, трассировки лучей и управления интерфейсом. По данным NVIDIA, агент создал код анимации и приложения после того, как DeLise описал желаемый рабочий процесс.

Подход предполагает, что разработчики направляют агента, проверяют его результат и запрашивают изменения. Это различие важно для команд, оценивающих инструменты программирования с ИИ для симуляции: модель может помогать координировать несколько библиотек, но готовое приложение все равно требует тестирования на соответствие физическим и эксплуатационным требованиям.

Робототехника и автономные автомобили — главные тестовые случаи

Несколько представленных проектов посвящены оценке машин до их работы в физическом мире. Doyub Kim, менеджер команды NVIDIA по технологиям симуляции, использовал Astra для создания «Zero to Alpamayo» — повторно используемой среды на основе Market Street в Сан-Франциско. Прототип поэтапно объединил создание ассетов, трафик, симуляцию датчиков Omniverse RTX и вождение Alpamayo.

NVIDIA утверждает, что поэтапный процесс позволил Kim сравнивать модели и отслеживать, как изменения сцены или датчика влияли на последующее поведение автомобиля. В связанном эксперименте Cosmos3-Nano изменялись погода и освещение в записанных симуляционных видео, что позволяло сравнивать реакции модели вождения в разных условиях.

Компания также описывает проект под руководством Ashley Reid, в котором смоделированные изображения с камер и необработанные данные LiDAR сравнивались с записанными данными. Reid поручила агентам Astra и Claude Fable 5 создать или улучшить четыре цифровых двойника примерно за три дня. Агенты измеряли расхождения, изменяли сцены OpenUSD и устраняли проблемы с отсутствующими объектами, геометрией и материалами. NVIDIA заявляет, что приемка зависела от показателей камер и LiDAR, а не только от визуальной проверки.

В робототехнике Tae Kim использовал спортивные видео и инструкции на естественном языке в «Robo Olympics» — эксперименте с симулированными гуманоидными роботами Unitree G1. В процессе применялись Newton Physics Engine для моделирования поведения, NVIDIA Warp для ускоренных вычислений и Omniverse RTX для рендеринга. NVIDIA сообщает, что один робот преодолел одиночное препятствие в 64 из 100 попыток. Это специфичный для проекта результат симуляции, а не доказательство готовности робота к сопоставимым задачам в реальном мире.

Доказательства полезны, но по-прежнему предоставлены поставщиком

Статья содержит конкретные описания инструментов, процессов и экспериментов, однако доказательства взяты из собственного блога NVIDIA и проектов ее сотрудников. Независимой воспроизводимости, данных о внедрении у клиентов и внешней оценки заявленной экономии времени разработки нет.

Это ограничивает выводы, которые следует делать разработчикам. Примеры NVIDIA показывают, что агенты могут помогать соединять библиотеки Omniverse, создавать сцены OpenUSD и итеративно изменять смоделированное поведение под руководством человека. Но они не доказывают, что агенты стабильно создают готовые к эксплуатации симуляторы, точно моделируют реальные условия или снижают общие инженерные затраты в разных организациях.

Результат с преодолением 64 препятствий из 100 также имеет узкую область применимости. Он показывает, что повторные физические испытания могут выявлять проблемы управления и давать обратную связь, но не определяет общий робототехнический бенчмарк. Работа с цифровыми двойниками указывает на проверочный процесс, основанный на метриках, но оставляет открытыми вопросы точности датчиков, переноса из симуляции в реальность и качества записанных эталонных данных.

Использование NVIDIA названий моделей, включая GPT-6 Astra и Claude Fable 5, также следует рассматривать как часть описанных компанией экспериментов. Источник не сообщает о более широкой доступности, ценах или независимых сравнениях возможностей этих моделей.

Что эти процессы означают для разработчиков и предприятий

Для разработчиков ИИ наиболее важным является архитектурный сдвиг. Агент не просто пишет отдельный скрипт: он координирует ассеты, симуляционные движки, системы рендеринга, модели датчиков и интерфейсы приложений. Это может упростить создание узкоспециализированных внутренних инструментов для изучения сценариев, анализа отказов и проверки дизайна.

Наиболее сильными ближайшими вариантами применения, вероятно, станут процессы с измеримой обратной связью. При проверке датчиков можно сравнивать отрендеренные данные камеры или LiDAR с записанными данными. Эксперименты по управлению роботами могут многократно запускать физические испытания. В промышленном дизайне можно проверить, достигает ли инструмент компонента, прежде чем будет изготовлено оборудование. Такие циклы дают агенту конкретные критерии для предложения и оценки изменений.

Пример NVIDIA с автомобильной подвеской показывает корпоративную перспективу. Jens Jebens смоделировал подвеску в PTC Onshape, настроил ее в NVIDIA Isaac Sim и использовал Astra для изучения изменений инструмента. По словам NVIDIA, агент измерил доступное пространство и спроектировал гаечный ключ, который должен был достать до болтов подвески; снятие компонента было успешно смоделировано. Такой процесс может связать CAD, инструментальную оснастку и разработку роботизированных политик, хотя физическая проверка по-прежнему необходима.

Тот же принцип виден в примере визуализации NASA. Nic Johns использовал ассеты Blender и компоненты Omniverse, чтобы собрать модель Международной космической станции в OpenUSD с телеметрией и передать ее в браузер. В другом проекте съемка стереокамерой превратилась в редактируемую студию, объекты и взаимодействия которой проверялись в Isaac Sim. Эти случаи указывают на практическую роль агентов в превращении разрозненных 3D-данных в приложения, доступные для проверки.

Риски столь же конкретны. Сгенерированные сцены могут содержать неверную геометрию, слабые физические допущения или скрытые пропуски. Предприятиям понадобятся версионируемые ассеты, воспроизводимые эксперименты, измеримые критерии приемки и этапы проверки до того, как симуляции начнут влиять на решения, критичные для безопасности. Удобство агента не отменяет необходимости предметной экспертизы.

За чем следить дальше

Следующими сигналами будут публикация NVIDIA примеров внешних разработчиков, а не только внутренних команд, и наличие в этих проектах воспроизводимых ассетов, кода и процедур оценки. Разработчикам также стоит следить за тем, смогут ли агенты Omniverse работать с более крупными сценами, большим числом датчиков и более длительными симуляциями без чрезмерного роста нагрузки на проверку.

Продуктовым командам потребуется ясность в отношении доступа к упомянутым моделям, доступности библиотек Omniverse и стоимости итераций под управлением агентов в масштабе предприятия. Исследователям следует искать независимые измерения производительности sim-to-real, точности цифровых двойников и влияния сгенерированных изменений сцен на последующие политики роботов или автомобилей.

Взгляд Creati.ai

Заявление NVIDIA лучше понимать как демонстрацию агентной оркестрации для симуляции, а не как доказательство того, что промпты могут заменить инженерную работу по симуляции. Наиболее убедительный вклад компании — показать, где агенты могут вписаться в структурированные циклы: собрать сцену, выполнить тест, сравнить измеримые результаты и внести изменения под контролем человека.

Эта схема может быть важна для команд, создающих робототехнические и промышленные ИИ-системы, поскольку связывает генеративные модели с задачами проверки, а не ограничивает их генерацией кода. Решающее значение будет иметь вопрос, дают ли такие процессы надежные и проверяемые результаты за пределами контролируемых демонстраций NVIDIA. Пока независимых подтверждений нет, возможность выглядит многообещающей, но остается направлением развития, о котором сообщает сам поставщик.