NVIDIA, 인터랙티브 세계 시뮬레이션을 위한 오픈 Cosmos 3 모델 4종 출시
NVIDIA가 인터랙티브 주행 및 로보틱스 시뮬레이션을 위한 오픈 웨이트 Cosmos 3 모델 4종과 적응 및 배포 도구를 출시했다.
NVIDIA가 Cosmos 3 제품군의 오픈 체크포인트 4종을 출시하며 월드 모델 플랫폼을 콘텐츠 생성에서 자율주행차와 로봇을 위한 인터랙티브 시뮬레이션으로 확장했다. 모델은 동기화된 카메라 및 LiDAR 관측을 생성하고, 시뮬레이터 제어를 영상으로 변환하거나 물리적 동작 이후 로봇 주변 환경이 어떻게 변하는지 예측할 수 있다.
이번 출시는 범용 시뮬레이터 하나가 아니라 여러 전문화된 출발점을 개발자에게 제공한다. NVIDIA와 Hugging Face는 이 체크포인트들이 OpenMDW1.1 라이선스 조건에 따라 연구 및 상업 개발을 위한 것이라고 설명한다. 각 모델은 학습 가능한 파라미터 160억 개를 가진 Cosmos 3 Nano의 추가 학습 버전이다.
이번 발표가 중요한 이유는 Physical AI 팀이 정적인 합성 이미지나 서로 연결되지 않은 영상 클립이 아니라 행동에 반응하는 환경을 필요로 하기 때문이다. NVIDIA는 체크포인트와 함께 적응, 강화학습, 최적화, 배포를 위한 폭넓은 소프트웨어 스택을 제공한다. 그러나 이용 가능한 근거는 NVIDIA와 개발자 생태계의 게시 파트너가 제공한 것이므로 성능과 도입에 관한 주장은 여전히 공급업체가 보고한 내용이다.
네 모델이 서로 다른 시뮬레이션 문제를 겨냥한다
네 체크포인트는 자율주행과 로보틱스 워크플로에 걸쳐 출시됐다.
Cosmos3-Nano-Transfer-Auto는 오프라인 합성 주행 데이터 생성을 위해 설계됐다. 어안 카메라를 포함해 최대 11개 카메라 시점의 동기화된 영상을 만들 수 있으며 RGB 이미지와 LiDAR를 함께 생성한다. 개발자는 World Scenario Map 제어와 텍스트 프롬프트를 통해 날씨, 조명, 시간대, 도로 배치, 교통신호 상태를 바꿀 수 있다. 선택적인 초기 RGB 이미지는 장면의 시각적 외관을 고정하는 데 도움을 줄 수 있다.
이 모델은 자체 센서 구성을 보유한 팀을 위한 적응 단계로도 사용된다. NVIDIA가 문서화한 워크플로는 자체 카메라·LiDAR·환경 데이터로 Transfer-Auto를 추가 학습한 뒤, 적응된 모델을 오프라인 데이터 생성에 사용하거나 더 빠른 스트리밍 모델의 기반으로 사용하는 방식이다.
Cosmos3-Nano-Sim-Auto는 스트리밍에 초점을 둔 변형 모델이다. Hugging Face의 설명에 따르면 Transfer-Auto에서 인과적으로 증류됐으며, 소수의 디노이징 단계만으로 동기화된 카메라 영상과 LiDAR의 연속 청크를 생성한다. 생성된 기록과 갱신된 주행 제어를 활용해 더 긴 인터랙티브 롤아웃을 지원한다.
이 차이는 제품 팀에 중요하다. 오프라인 생성은 학습 세트를 확장할 수 있지만, 폐루프 평가에서는 정책이 행동할 때 시뮬레이션 세계가 업데이트되어야 한다. Sim-Auto 역시 주행 입력을 갱신된 제어로 변환하는 시뮬레이션 런타임과 렌더러에 의존하며, 이 체크포인트가 완전한 차량 시뮬레이터를 대체하는 것은 아니다.
로보틱스 및 기타 체화 시스템을 위해 Cosmos3-Nano-Sim-Transfer는 물리 시뮬레이터의 공간 제어와 텍스트 프롬프트를 받아 정책용 RGB 관측을 생성한다. 움직임, 접촉, 물리 상태는 계속 시뮬레이터가 담당한다. NVIDIA가 설명한 워크플로에서는 행동이 시뮬레이터를 업데이트하고, 시뮬레이터가 공간 제어를 생성하며, 모델이 다음 시각 관측을 렌더링한다.
Cosmos3-Nano-Sim-Bimanual은 로봇 또는 카메라 행동의 시각적 결과를 대신 예측한다. 공개된 예시는 YAM 및 AgiBot 구현체를 위한 인터랙티브 양팔 시뮬레이션을 지원하며 정책이나 사람이 조작하는 조이스틱으로 제어할 수 있다. 혼합 행동 구성에는 하나의 제어 시퀀스 안에서 시점 변경과 조작이 포함되며, 학습 중에는 59개 값의 제어 스키마가 64개로 패딩된다.
NVIDIA는 체크포인트를 중심으로 개발 경로를 구축한다
모델 출시는 독립적인 다운로드가 아니라 더 큰 NVIDIA Cosmos 플랫폼의 일부다. NVIDIA의 Cosmos Framework는 학습, 멀티모달 데이터 처리, 추론, 최적화, 평가를 위한 레시피와 에이전트 기능을 제공한다. NVIDIA는 이 프레임워크가 Cosmos 3 외에도 Alpamayo, GR00T, Qwen, pi0.5와 호환 가능한 Hugging Face 모델을 지원한다고 말한다.
적응을 위해 프레임워크는 LoRA와 전체 지도형 파인튜닝을 지원하며 JSONL, WebDataset, LeRobot, 사용자 지정 어댑터용 데이터 로딩 경로를 제공한다. NVIDIA는 DPO, GRPO, PPO, 온폴리시 증류, DiffusionNFT를 포함한 오프라인·온라인 강화학습 파이프라인도 제시한다. 이를 통해 개발자는 워크플로의 모든 요소를 직접 구성하지 않고도 사전 학습된 월드 모델에서 작업별 정책 학습으로 이동할 수 있을 것이다.
배포 계층은 NVIDIA의 GPU 가속 마이크로서비스 모음인 Cosmos NIM이다. 개발자 블로그에 따르면 NIM 구성은 양자화, 추측 디코딩, KV 캐시 인식 라우팅 같은 기법을 지원한다. NVIDIA는 H200 GPU에서 약 2~3배의 속도 향상을 보고했지만, 이는 회사의 주장이고 독립적으로 다른 서빙 스택과 비교하기에 충분한 실험 세부 정보는 제공되지 않았다.
하드웨어 요구사항도 여전히 크다. NVIDIA는 BF16에서 Cosmos3-Nano를 생성할 때 58GiB, 오프로딩을 사용하는 FP8에서 44GiB의 GPU 메모리를 요구한다고 제시한다. 데이터센터 배포에서는 관리 가능할 수 있지만 소규모 연구팀과 많은 엣지 지향 로보틱스 시스템에는 상당한 부담이다. 다운로드 가능한 체크포인트와 반응성 있는 시뮬레이션 서비스 사이의 격차는 배칭, 지연시간 목표, 시퀀스 길이, 센서 수, 주변 시뮬레이터에 따라 달라진다.
근거는 정책 품질보다 기능에 대해 더 강하다
출처는 네 체크포인트의 존재, 명시된 제어 인터페이스, 오픈 웨이트 제공, 지원 개발·배포 도구를 확인한다. 또한 주행용 동기화 카메라·LiDAR 생성, 시뮬레이터 조건부 렌더링, 행동 조건부 양팔 로봇 예측이라는 구체적인 사용 사례도 문서화한다.
그러나 모델이 물리 법칙을 안정적으로 보존하거나 희귀 사건을 정확하게 예측하거나 후속 정책 성능을 개선한다는 점은 입증하지 않는다. Hugging Face의 글도 이를 공개 연구 과제로 명시하며, 모델이 정책 학습과 평가를 충실히 지원하는 영역과 실패하는 영역을 포함해 문제를 제기한다. 이 주의사항은 안전 민감 애플리케이션에서 특히 중요하다.
생성된 시각적 사실감은 시뮬레이션의 타당성과 같지 않다. 주행 장면이 설득력 있게 보여도 깊이, 물체 움직임, 센서 노이즈, 특이한 조작의 결과를 잘못 표현할 수 있다. 마찬가지로 행동 조건부 로봇 모델은 정확한 접촉 역학을 유지하지 않은 채 그럴듯한 프레임을 만들 수 있다. NVIDIA의 아키텍처는 Sim-Transfer에서 물리와 상태를 외부 시뮬레이터에 맡김으로써 이 문제를 일부 해결하지만, 정책 학습의 품질은 여전히 두 시스템 사이의 인터페이스에 달려 있다.
또한 출처에는 경쟁 월드 모델과의 독립 벤치마크, 고객 배포 수치, 광범위한 센서 구성에서 모델이 검증됐다는 근거가 없다. 따라서 제작자는 이번 출시를 접근 가능한 개발 기준선으로 봐야 하며, 합성 롤아웃이 실제 테스트를 대체할 수 있다는 증거로 간주해서는 안 된다.
개발자와 기업 구매자에 대한 시사점
자율주행 팀에는 외관과 기하 정보의 연결이 가장 실용적인 기능일 수 있다. RGB-LiDAR 공동 생성과 지도 정렬 제어는 환경 조건을 바꾸면서 일치하는 시각 및 3차원 관측을 만드는 데 도움을 줄 수 있다. 적응 후에도 정렬이 정확하게 유지된다면 카메라 영상만 생성하는 것보다 센서 융합 연구에 유용하다.
로보틱스 기업에는 Sim-Bimanual과 Sim-Transfer의 분리가 두 가지 배포 패턴을 제공한다. Sim-Bimanual은 로봇 또는 카메라 행동의 시각적 결과를 직접 모델링할 수 있고, Sim-Transfer는 물리 엔진이 상태와 접촉에 대한 권한을 유지하도록 한다. 후자의 방식은 생성 모델이 아니라 시뮬레이터가 물리 궤적을 정의하므로 감사하기 쉬울 수 있다.
비용과 운영 복잡성이 도입을 좌우할 가능성이 높다. 팀에는 충분한 GPU 메모리, 시뮬레이터 또는 렌더러, 자체 센서용 데이터 파이프라인, 시각적 개연성 오류를 찾아내는 평가 절차가 필요하다. 오픈 웨이트 라이선스는 실험 장벽을 낮출 수 있지만, 상업 사용자는 여전히 OpenMDW1.1 조건을 검토하고 의도한 사용, 데이터, 배포 모델이 준수하는지 판단해야 한다.
더 넓은 경쟁 신호는 모델 가중치, 학습 레시피, 강화학습, 추론 서비스를 하나의 Physical AI 워크플로로 연결하려는 NVIDIA의 시도다. 이미 NVIDIA 인프라를 사용하는 팀의 통합 작업을 줄일 수 있다. 반면 벤더 중립적 서빙, 저비용 추론, NVIDIA가 선호하는 GPU 스택 밖의 하드웨어 배포를 우선하는 조직에는 덜 매력적일 수 있다.
다음에 지켜볼 것
첫 번째 신호는 정책 학습과 폐루프 행동에 대한 독립 평가가 될 것이다. 유용한 테스트는 영상 품질만이 아니라 실제와 시뮬레이션 센서의 기하 정보, 장기 일관성, 희귀 사건 범위, 후속 주행·조작 성능을 비교해야 한다.
두 번째 신호는 Transfer-Auto가 새로운 센서 구성에 얼마나 잘 적응하는지다. NVIDIA는 적응과 이후 Sim-Auto로의 증류를 개발 경로로 제시하지만, 전환에 필요한 데이터 규모, 학습 비용, 성능 유지 수준은 아직 증거로 제시되지 않았다.
개발자는 H200 배포 외부의 지연시간과 메모리 결과도 지켜봐야 한다. 특히 온프레미스 또는 엣지 추론이 필요한 로보틱스 팀에 중요하다. 마지막으로 Cosmos 3를 넘어선 모델을 사용하는 프로젝트가 Cosmos Framework를 채택하는지는 NVIDIA가 폭넓게 유용한 도구 체인을 만들었는지, 아니면 자체 체크포인트 중심의 생태계를 만든 것인지 보여줄 것이다.
Creati.ai의 관점
NVIDIA의 출시는 또 하나의 영상 생성기를 추가해서라기보다 행동 조건부 시뮬레이션을 위한 여러 인터페이스를 묶었다는 점에서 중요하다. 주행을 위한 센서 간 생성, 시뮬레이터에서 영상으로의 렌더링, 로봇 행동의 직접 예측이다. 이는 단일하고 차별화되지 않은 월드 모델 주장보다 Physical AI 시스템이 실제로 구축되는 방식에 더 가깝다.
핵심 시험은 상호작용 중의 신뢰성이다. 오픈 웨이트와 레시피는 실험을 쉽게 하지만, 개발자는 긴 롤아웃 동안 생성된 관측이 기하학적으로 일관되고 정책 결정에 유용하다는 증거를 필요로 한다. 이러한 평가가 나오기 전까지 Cosmos 3는 시뮬레이션 연구와 적응을 위한 상당한 플랫폼으로 보는 것이 적절하며, 물리 엔진, 실제 데이터, 물리적 검증을 대체한다고 입증된 것으로 봐서는 안 된다.
