NVIDIA, AI 에이전트가 Omniverse 시뮬레이션을 구축하고 테스트하는 방법 공개
NVIDIA가 자연어 지시를 로봇공학, 차량, 센서, 산업 설계를 위한 Omniverse 시뮬레이션으로 전환하는 AI 에이전트 워크플로를 선보이고 있다.
NVIDIA는 최첨단 AI 모델이 시뮬레이션 개념을 작동하는 애플리케이션으로 바꾸는 데 도움을 주는 개발자 실험들을 공개하고 있다. 이 워크플로는 자연어 지시와 물리, 렌더링, 센서, 장면 관리, 사용자 인터페이스를 위한 NVIDIA Omniverse 라이브러리를 결합한다.
사례에는 휴머노이드 로봇, 자율주행차, 창고 운영, 디지털 트윈, 우주선 시각화, 로봇 분해가 포함된다. 이는 단일 제품 출시나 독립적으로 검증된 벤치마크를 의미하지 않는다. 대신 NVIDIA Blog 게시물은 시뮬레이션 환경을 조립하고 반복 개선하는 데 필요한 엔지니어링 작업을 AI 에이전트가 줄일 수 있다고 회사가 어떻게 기대하는지를 보여준다.
프롬프트에서 시뮬레이션 시스템으로
유용한 시뮬레이터를 구축하려면 일반적으로 코드를 생성하는 것 이상의 작업이 필요하다. 개발자는 3D 자산을 준비하고, 물리적 동작을 연결하고, 센서를 구성하고, 장면 데이터를 관리하며, 결과를 검사할 방법을 만들어야 한다. NVIDIA의 사례에서 AI 에이전트는 엔지니어링 검토를 대체하는 것이 아니라 해당 도구 체인 전반을 지원하는 보조자로 제시된다.
한 시연에서 NVIDIA 제품 관리자 Frank DeLise는 NVIDIA가 GPT-6 Astra라고 부르는 모델을 사용해 SimReady 창고와 휴머노이드 로봇을 대화형 환경으로 변환했다. 이 시스템은 1인칭 및 3인칭 시점을 지원했으며 물리, 장면 업데이트, 레이 트레이싱 렌더링, 사용자 인터페이스 제어를 위한 Omniverse 구성 요소를 연결했다. NVIDIA에 따르면 DeLise가 원하는 워크플로를 지정하자 에이전트는 애니메이션과 애플리케이션 코드를 생성했다.
이 접근 방식은 개발자가 에이전트를 지시하고, 출력을 검토하며, 변경을 요청하는 것을 전제로 한다. 이는 시뮬레이션용 AI 코딩 도구를 평가하는 팀에 중요한 차이다. 모델은 여러 라이브러리를 조정하는 데 도움을 줄 수 있지만, 결과 애플리케이션은 여전히 물리적·운영적 요구사항에 맞춰 테스트해야 한다.
로봇공학과 자율주행차가 주요 테스트 사례
공개된 프로젝트 중 상당수는 기계가 물리적 세계에서 작동하기 전에 평가하는 문제에 초점을 맞춘다. NVIDIA 시뮬레이션 기술팀의 매니저 Doyub Kim은 샌프란시스코 Market Street를 기반으로 한 재사용 가능한 환경인 “Zero to Alpamayo”를 Astra로 구축했다. 이 프로토타입은 자산 생성, 교통, Omniverse RTX 센서 시뮬레이션, Alpamayo 주행을 단계적으로 연결했다.
NVIDIA는 단계적 워크플로를 통해 Kim이 모델을 비교하고, 장면이나 센서의 변경이 이후 주행 행동에 어떤 영향을 주는지 추적할 수 있었다고 말한다. 관련 Cosmos3-Nano 실험에서는 녹화된 시뮬레이션 영상의 날씨와 조명을 변경해 서로 다른 조건에서 주행 모델의 반응을 비교했다.
회사는 Ashley Reid가 이끈 프로젝트도 설명한다. 이 프로젝트는 시뮬레이션된 카메라 출력과 원시 LiDAR 출력을 녹화 데이터와 비교하는 작업이었다. Reid는 Astra와 Claude Fable 5 에이전트에 약 3일 동안 네 개의 디지털 트윈을 만들거나 개선하도록 지시했다. 에이전트는 차이를 측정하고 OpenUSD 장면을 수정했으며, 누락된 객체, 지오메트리, 소재와 관련된 문제를 처리했다. NVIDIA는 승인 여부가 시각적 검사만이 아니라 카메라 및 LiDAR 지표에 달려 있었다고 말한다.
로봇공학에서 Tae Kim은 “Robo Olympics”라는 실험에 스포츠 영상과 자연어 지시를 사용했다. 이 실험은 시뮬레이션된 Unitree G1 휴머노이드를 대상으로 했다. 워크플로는 행동 시뮬레이션에 Newton Physics Engine, 가속 계산에 NVIDIA Warp, 렌더링에 Omniverse RTX를 사용했다. NVIDIA에 따르면 한 로봇은 100번의 시도 중 64번 단일 장애물을 넘었다. 이는 프로젝트에 특화된 시뮬레이션 결과일 뿐, 해당 로봇이 유사한 실제 작업을 수행할 준비가 됐다는 증거는 아니다.
증거는 유용하지만 여전히 공급업체가 보고한 것이다
이 글은 도구, 워크플로, 실험을 구체적으로 설명하지만, 증거는 NVIDIA의 자체 블로그와 직원들이 수행한 프로젝트에서 나온다. 독립적인 재현, 고객 배포 데이터, 보고된 개발 시간 절감에 대한 외부 평가는 없다.
따라서 구축자가 추론할 수 있는 범위에는 한계가 있다. NVIDIA의 사례는 에이전트가 Omniverse 라이브러리를 연결하고, OpenUSD 장면을 만들며, 인간의 지시에 따라 시뮬레이션된 동작을 반복 개선하는 데 도움을 줄 수 있음을 보여준다. 그러나 에이전트가 일관되게 프로덕션 수준의 시뮬레이터를 만들거나, 현실 조건을 정확히 모델링하거나, 조직 전반의 총 엔지니어링 비용을 줄인다는 점을 입증하지는 않는다.
100번 중 64번 장애물을 넘은 결과도 범위가 좁다. 반복적인 물리 시험이 제어 문제를 드러내고 피드백을 제공할 수 있다는 점은 보여주지만, 일반적인 로봇공학 벤치마크를 정의하지는 않는다. 디지털 트윈 작업은 지표 기반 검증 워크플로를 시사하지만, 센서 충실도, 시뮬레이션-현실 전이, 녹화된 참조 데이터의 품질에 관한 의문은 남긴다.
NVIDIA가 GPT-6 Astra와 Claude Fable 5 같은 모델명을 사용한 점도 회사가 설명한 실험의 일부로 읽어야 한다. 출처는 해당 모델의 광범위한 이용 가능성, 가격, 독립적인 능력 비교를 제공하지 않는다.
개발자와 기업에 이 워크플로가 의미하는 것
AI 개발자에게 가장 중요한 변화는 아키텍처다. 에이전트는 단순히 독립적인 스크립트를 작성하는 것이 아니라 자산, 시뮬레이션 엔진, 렌더링 시스템, 센서 모델, 애플리케이션 인터페이스를 조정한다. 이를 통해 시나리오 탐색, 실패 분석, 설계 검토를 위한 제한적인 내부 도구를 더 쉽게 만들 수 있다.
가까운 시기에 가장 유망한 사용 사례는 측정 가능한 피드백을 포함하는 워크플로일 가능성이 높다. 센서 검증에서는 렌더링된 카메라 또는 LiDAR 출력을 녹화 데이터와 비교할 수 있다. 로봇 제어 실험에서는 물리 시험을 반복할 수 있다. 산업 설계 작업에서는 하드웨어를 만들기 전에 도구가 부품에 도달하는지 확인할 수 있다. 이러한 루프는 에이전트가 변경을 제안하고 평가할 구체적인 기준을 제공한다.
NVIDIA의 차량 서스펜션 사례는 기업 활용의 측면을 보여준다. Jens Jebens는 PTC Onshape에서 서스펜션을 모델링하고, NVIDIA Isaac Sim에서 구성했으며, Astra를 사용해 도구의 수정안을 검토했다. NVIDIA에 따르면 에이전트는 사용 가능한 공간을 측정하고 서스펜션 볼트에 닿도록 설계된 렌치를 만들었으며, 부품 제거를 시뮬레이션에서 성공시켰다. 이러한 워크플로는 CAD, 공구 설계, 로봇 정책 개발을 연결할 수 있지만, 물리적 검증은 여전히 필수다.
같은 원리는 NASA의 시각화 사례에서도 나타난다. Nic Johns는 Blender 자산과 Omniverse 구성 요소를 사용해 텔레메트리가 포함된 국제우주정거장 OpenUSD 모델을 조립하고 브라우저로 스트리밍했다. 다른 프로젝트에서는 스테레오 카메라 캡처가 편집 가능한 스튜디오로 바뀌었고, 그 객체와 상호작용을 Isaac Sim에서 테스트했다. 이는 에이전트가 분산된 3D 데이터를 검사 가능한 애플리케이션으로 전환하는 데 실용적인 역할을 할 수 있음을 보여준다.
위험도 구체적이다. 생성된 장면에는 잘못된 지오메트리, 불충분한 물리적 가정, 숨겨진 누락이 포함될 수 있다. 기업은 시뮬레이션이 안전이 중요한 의사결정에 영향을 주기 전에 버전이 관리되는 자산, 재현 가능한 실험, 측정 가능한 승인 기준, 검토 절차를 마련해야 한다. 에이전트의 편리함이 도메인 전문성의 필요성을 없애지는 않는다.
다음에 주목할 점
다음 신호는 NVIDIA가 내부 팀뿐 아니라 외부 개발자의 사례도 공개하는지, 그리고 그러한 프로젝트에 재현 가능한 자산·코드·평가 절차가 포함되는지다. 구축자는 Omniverse 에이전트가 검토 부담을 과도하게 늘리지 않고 더 큰 장면, 더 많은 센서, 더 긴 시뮬레이션을 처리하는지도 지켜봐야 한다.
제품팀은 언급된 모델에 대한 접근, Omniverse 라이브러리의 이용 가능성, 기업 규모에서 에이전트 기반 반복을 실행하는 비용에 대한 명확한 정보를 원할 것이다. 연구자들은 시뮬레이션-현실 성능, 디지털 트윈 충실도, 생성된 장면 변경이 이후 로봇 또는 차량 정책에 미치는 영향에 대한 독립적인 측정을 찾아야 한다.
Creati.ai의 관점
NVIDIA의 발표는 프롬프트가 시뮬레이션 엔지니어링을 대체할 수 있다는 증명이 아니라, 시뮬레이션을 위한 에이전트 오케스트레이션의 시연으로 이해하는 것이 가장 적절하다. 가장 신뢰할 만한 기여는 에이전트가 구조화된 루프에 어디에 들어갈 수 있는지를 보여준 것이다. 즉, 장면을 조립하고, 테스트를 실행하고, 측정 가능한 출력을 비교하고, 인간의 감독 아래 수정하는 방식이다.
이 패턴은 로봇공학 및 산업 AI 시스템을 구축하는 팀에 중요할 수 있다. 생성 모델을 코드 생성에만 한정하지 않고 검증 작업과 연결하기 때문이다. 결정적인 질문은 이러한 워크플로가 NVIDIA의 통제된 시연을 벗어나서도 신뢰할 수 있고 감사 가능한 결과를 내는지 여부다. 독립적인 증거가 나오기 전까지 이 기회는 유망하지만, 공급업체가 보고한 개발 방향에 머문다.
