NVIDIA, Omniverse에서 AI 에이전트가 창고·로보틱스·산업 시뮬레이션을 구축하는 모습 공개
NVIDIA는 AI 에이전트와 Omniverse 라이브러리가 로보틱스, 공장, 산업 설계를 위한 시뮬레이션 워크플로를 구축하고 테스트하며 최적화하는 방법을 소개하고 있다.
NVIDIA는 프런티어 AI 에이전트를 사용해 자연어 지시를 창고, 산업 장비, 로보틱스를 위한 실제 작동 시뮬레이션으로 전환하는 개발자 프로젝트를 선보이고 있다. 이 시연은 GPT-6 Astra 같은 모델과 물리, 렌더링, 센서 시뮬레이션, 브라우저 기반 시각화를 위한 NVIDIA Omniverse 라이브러리를 결합한다.
이 회사의 사례는 시뮬레이션 애플리케이션을 조립하는 방식이 바뀔 수 있음을 보여준다. 모든 에셋, 솔버, 시각화 구성요소를 수동으로 연결하는 대신 개발자는 에이전트에 지시하고 결과를 점검한 뒤 변경을 요청할 수 있다. 그러나 기본 시스템에는 여전히 엔지니어링 검토가 필요하며, NVIDIA의 사례 자체도 성능 테스트와 물리적 검증이 필수적임을 보여준다.
지시에서 편집 가능한 시뮬레이션 장면으로
NVIDIA의 한 워크플로는 창고 계획에 초점을 맞춘다. 건물 스캔에는 선반, 기계 및 기타 물체가 포함될 수 있어 기본 구조를 시뮬레이션 환경으로 사용하기 어려울 수 있다. NVIDIA 시뮬레이션 기술팀의 David Wehr는 Astra가 파노라마 사진을 해석하고 건물 지오메트리를 생성한 뒤 포인트 클라우드 측정값과 정렬하도록 안내했다.
그 결과는 편집 가능하고 시뮬레이션에 바로 사용할 수 있는 건물 표현을 목표로 했다. 개발자는 이후 선반과 기계 등 요소를 추가하거나 재배치해 실제 변경 전에 창고 배치를 연구할 수 있었다. 모델 저장에는 OpenUSD가 사용됐고, Omniverse의 ovrtx 라이브러리는 검사용 장면을 렌더링했다.
이 사례는 시뮬레이션 개발에서 AI 에이전트가 유용할 수 있는 지점을 보여준다. AI 에이전트는 물리 엔진을 대체하는 것이 아니라, 정리되지 않은 원자료와 설계 의도를 구조화된 에셋으로 변환하는 인터페이스다. NVIDIA는 개발자가 Omniverse agent skills를 사용해 에이전트가 자사 라이브러리를 다루도록 도울 수도 있다고 밝혔다.
또 다른 시연에서는 장비 제조업체와 에셋 제공업체의 시뮬레이션 지원 USD 에셋 2,000개 이상을 모은 NVIDIA의 컬렉션인 SimReady Central Library를 사용했다. NVIDIA Omniverse 문서팀에서 일하는 Paul Kind는 대화를 통해 주방 장면을 조립하도록 에이전트를 지시했다. 이 장면에는 라이브러리의 고유 에셋 63개를 기반으로 한 180개의 배치와 맞춤형 지오메트리 18개가 포함됐다.
같은 에셋 워크플로는 로보틱스와 공장 디지털 트윈에도 관련된다. 이 분야에서는 시각적 외관만큼이나 시뮬레이션용 속성이 중요할 수 있다. NVIDIA에 따르면 개발자는 시뮬레이션 특성이 내장된 에셋을 선택해 테스트 환경에 배치할 수 있다.
시연이 실제로 입증하는 것
NVIDIA의 가장 강력한 근거는 자체 블로그에서 설명한 내부 프로토타입과 측정 테스트 모음이다. 따라서 기술적 세부사항은 유용하지만, 성능과 생산성 주장은 공급업체가 보고한 것이며 독립적으로 검증되지는 않았다.
한 창고 테스트에서 NVIDIA 엔지니어 Bhavik Sanganee는 Astra와 Omniverse 라이브러리를 사용해 장면 복잡도를 높이고 성능 문제를 조사했다. 시뮬레이션에는 컨베이어 80대, 로봇 팔 40개, 상자 800개가 포함됐다. NVIDIA는 2분간의 테스트에서 풀 HD 해상도로 초당 30프레임을 유지했으며, 로봇 팔이 상자 640개를 성공적으로 배치했다고 보고했다.
이 결과는 물리 계산, 이미지 렌더링, 동영상 준비를 동시에 실행한 데 따른 것이다. 장면 크기를 두 배로 늘리자 성능은 다시 떨어졌다. 추가 테스트에서는 물리 및 로봇 제어 파이프라인이 속도 저하의 원인으로 확인됐다. 이 세부사항은 중요하다. 에이전트는 병목을 식별하는 데 도움을 줬지만, AI가 확장성 문제를 독립적으로 해결했다는 것을 보여주는 사례는 아니다.
NVIDIA는 시뮬레이션한 가스터빈과 발전기를 위한 산업용 가정 분석 애플리케이션도 설명한다. Pradeep Kaushik는 Astra에 부하, 주변 온도, 연료 조성을 변경한 뒤 출력, 효율, 연료 소비, 장비 응답을 비교할 수 있는 도구를 만들도록 지시했다. 6개 테스트 절차는 부하 변화, 연료 밸브 고착, 배기 센서 고장 등의 시나리오를 다룬다.
프로토타입은 열화학에 Cantera를, 장비 동역학에 SciPy를 사용했다. ovstage, ovrtx, ovstream을 포함한 Omniverse 구성요소는 3차원 장면을 업데이트하고 렌더링하며 스트리밍했다. 엔지니어는 절개된 터빈을 점검하고 표시기를 변경하며 애니메이션 응답을 차트 및 가상 계기와 비교할 수 있었다.
이는 통합을 보여주는 유용한 시연이지만, 에이전트가 실제 터빈이나 산업 제어 시스템을 검증했다는 증거로 받아들여서는 안 된다. 시뮬레이션은 여전히 모델이며, 그 가치는 구축에 사용된 가정, 솔버, 원자료의 품질에 달려 있다.
로보틱스가 더 어려운 시험이 되는 이유
세 번째 프로젝트는 전자제품 조립을 대상으로 한다. 로봇이 부품 주변으로 유연한 케이블을 통과시키고 커넥터를 포트에 정확히 맞춰야 하는 작업이다. NVIDIA의 로보틱스 기술 마케팅 매니저 Oyindamola Omotuyi는 Robotiq 그리퍼가 케이블을 다루는 가운데 NVIDIA Isaac Lab, Newton 물리, Omniverse 렌더링을 사용해 시뮬레이션을 구축하도록 Astra를 지시했다.
에이전트는 케이블 경로를 학습한 움직임에 위치·방향 피드백과 USB-C 삽입을 위한 보정 동작을 결합한 강화학습 시스템도 개발했다. 컨트롤러는 시뮬레이션에서 제공되는 정보에 의존했기 때문에 개발자는 실제 로봇 실험으로 넘어가기 전에 작업을 테스트할 수 있었다.
NVIDIA는 마찰로 유지되는 파지 방식과 실제 로봇이 카메라 및 센서에서 얻을 수 있는 입력을 테스트하는 등 여러 후속 단계를 제시한다. 이러한 단계는 통제된 시뮬레이션과 배포 사이의 간극을 드러낸다. 완전한 시뮬레이터 상태에서 성공하는 정책도 잡음이 있는 시각 관측, 불확실한 접촉력, 케이블 마찰의 변화에 대응하려면 상당한 수정이 필요할 수 있다.
개발자와 기업 팀에 미치는 영향
AI 개발자에게 중요한 아키텍처 패턴은 에이전트를 구조화된 에셋 라이브러리, 도메인 도구, 검토 가능한 출력과 결합하는 것이다. 에이전트는 장면 설명을 생성하고 구성요소를 연결하며 변경을 제안할 수 있지만, 지오메트리와 물리 설정, 동작을 검토할 책임은 개발자에게 남는다.
기업 팀이 얻을 수 있는 이점은 비용이 큰 물리적 변경 전에 더 빠르게 반복할 수 있다는 점이다. 창고 운영자는 배치를 비교하고, 산업 엔지니어는 고장 시나리오를 검토하며, 로보틱스 팀은 하드웨어를 사용하기 전에 조작 전략을 시험할 수 있다. 가치는 대화형 제어 자체보다 결과 애플리케이션이 특정 의사결정에 충분히 반복 가능하고 추적 가능하며 정확한지에 달려 있다.
시연은 배포 비용도 부각한다. 대규모 장면에는 물리, 렌더링, 스트리밍 파이프라인의 조정이 필요하다. 에셋과 로봇이 늘어나면 에이전트가 진단을 도울 수는 있어도 자동으로 제거할 수 없는 병목이 드러날 수 있다. 구매자는 GPU 요구사항, 모델 지연시간, 에셋 라이선스, 기존 엔지니어링 시스템과의 통합, 시뮬레이션 결과를 실제 측정값과 비교해 검증하는 절차를 평가해야 한다.
다음에 지켜볼 것
다음 신호는 NVIDIA가 독립 벤치마크, 재현 가능한 구성, 기존 시뮬레이션 개발 워크플로와의 비교를 포함한 추가 사례를 공개하는지 여부다. Astra가 생성한 애플리케이션이 버전 관리, 감사 추적, 기본 모델의 의도적 오류를 어떻게 처리하는지도 중요하다.
로보틱스에서는 시뮬레이션 성공률보다 물리적 테스트가 더 많은 것을 보여줄 것이다. NVIDIA는 케이블 경로 프로젝트가 카메라와 센서 입력 및 실제 로봇 실험으로 나아가고 있다고 밝혔다. 이 전환의 결과는 에이전트가 초기 컨트롤러를 만든 뒤에도 얼마나 많은 수작업 엔지니어링이 필요한지를 보여줄 수 있다.
SimReady Central Library의 확장도 지켜볼 영역이다. 규모가 크고 문서화가 잘 된 에셋 생태계는 에이전트 지원 장면 구축을 실용적으로 만들 수 있지만, 기업 도입은 에셋의 정확성, 라이선스 조건, 기존 디지털 트윈 워크플로와의 호환성에 달려 있다.
Creati.ai의 관점
NVIDIA의 발표는 자율 엔지니어링이 아니라 에이전트 지원 시뮬레이션 엔지니어링의 시연으로 이해하는 것이 가장 적절하다. NVIDIA는 모델이 Omniverse에서 에셋, 솔버, 시각적 인터페이스를 연결하는 데 도움을 줄 수 있음을 보여주지만, 시뮬레이션이 정확하고 유용한지 판단할 책임은 개발자에게 남아 있다.
이러한 역할 분담은 대화형 인터페이스보다 더 중요할 가능성이 높다. 에이전트가 검토 가능한 프로토타입을 안정적으로 조립하고 성능 병목을 식별할 수 있다면, 엔지니어링 질문에서 테스트 가능한 시나리오로 가는 시간을 줄일 수 있다. 그러나 상업적 가치는 검증, 확장성, 설득력 있는 데모를 실제 운영 의사결정에 신뢰할 수 있는 시뮬레이션으로 전환하는 비용에 의해 결정될 것이다.
