NVIDIA、インタラクティブな世界シミュレーション向けに4つのオープンCosmos 3モデルを公開

NVIDIAはCosmos 3ファミリーのオープンなチェックポイントを4つ公開し、同社のワールドモデル・プラットフォームをコンテンツ生成から、自動運転車やロボット向けのインタラクティブなシミュレーションへ拡張した。モデルは、同期したカメラとLiDARの観測を生成したり、シミュレーターの制御を動画へ変換したり、物理的なアクション後にロボット周辺の環境がどう変化するかを予測したりできる。

今回のリリースは、汎用シミュレーター1つではなく、複数の専門的な出発点を開発者に提供する。NVIDIAとHugging Faceによれば、チェックポイントはOpenMDW1.1ライセンスの条件の下で、研究および商用開発を目的としている。いずれも、学習可能なパラメーター160億個を持つCosmos 3 Nanoの追加学習版である。

この発表が重要なのは、Physical AIのチームが、静的な合成画像や分断された動画クリップだけでなく、アクションに反応する環境を必要としているためだ。NVIDIAはチェックポイントとともに、適応、強化学習、最適化、デプロイのためのより広いソフトウェアスタックを提供する。ただし、利用可能な証拠はNVIDIAと、その開発者エコシステムにおける公開パートナーからのものなので、性能や採用に関する主張は依然としてベンダー報告である。

4つのモデルが異なるシミュレーション課題を対象にする

4つのチェックポイントは、自動運転とロボティクスのワークフローに分かれている。

Cosmos3-Nano-Transfer-Autoは、オフラインの合成運転データ生成向けに設計されている。魚眼カメラを含む最大11視点のカメラ動画を同期生成でき、RGB画像とLiDARも同時に生成する。開発者はWorld Scenario Mapの制御とテキストプロンプトを使い、天候、照明、時刻、道路レイアウト、信号機の状態を変えられる。任意の初期RGB画像を使えば、シーンの視覚的な外観を固定する助けになる。

このモデルは、独自のセンサー構成を持つチーム向けの適応段階としても機能する。NVIDIAが示すワークフローでは、独自のカメラ、LiDAR、環境データでTransfer-Autoを追加学習し、適応後のモデルをオフラインデータ生成に使うか、より高速なストリーミングモデルの基礎にする。

Cosmos3-Nano-Sim-Autoは、そのストリーミング指向の派生モデルである。Hugging Faceの説明によれば、Transfer-Autoから因果蒸留され、少数のデノイズステップだけで同期したカメラ動画とLiDARの連続チャンクを生成する。生成された履歴と更新された運転制御を使い、より長いインタラクティブなロールアウトをサポートする。

この違いは製品チームにとって重要だ。オフライン生成は訓練セットを拡張できるが、クローズドループ評価には、ポリシーが行動するにつれてシミュレーション世界が更新されることが必要になる。Sim-Autoも、運転入力を更新された制御へ変換できるシミュレーションランタイムとレンダラーに依存しており、チェックポイントが完全な車両シミュレーターに置き換わるわけではない。

ロボティクスなどの身体を持つシステム向けに、Cosmos3-Nano-Sim-Transferは物理シミュレーターからの空間制御とテキストプロンプトを受け取り、ポリシー向けのRGB観測を生成する。動き、接触、物理状態については引き続きシミュレーターが責任を負う。NVIDIAの説明するワークフローでは、アクションがシミュレーターを更新し、シミュレーターが空間制御を生成し、モデルが次の視覚観測をレンダリングする。

一方、Cosmos3-Nano-Sim-Bimanualは、ロボットまたはカメラのアクションによる視覚的な結果を予測する。公開例はYAMおよびAgiBotの身体を対象としたインタラクティブな両腕シミュレーションに対応し、ポリシーまたは人間が操作するジョイスティックで制御できる。混合アクション設定には、1つの制御シーケンス内で視点変更と操作が含まれ、訓練時には59値の制御スキーマが64値にパディングされる。

NVIDIAはチェックポイントを中心に開発経路を構築

モデルの公開は単独のダウンロードではなく、より大きなNVIDIA Cosmosプラットフォームの一部である。同社のCosmos Frameworkは、訓練、マルチモーダルデータ処理、推論、最適化、評価のためのレシピとエージェントスキルを提供する。NVIDIAによれば、フレームワークはCosmos 3以外にも、Alpamayo、GR00T、Qwen、pi0.5などのモデルや、互換性のあるHugging Faceモデルで利用できる。

適応については、LoRAと完全な教師ありファインチューニングに対応し、JSONL、WebDataset、LeRobot、カスタムアダプター向けのデータローディング経路を備える。NVIDIAは、DPO、GRPO、PPO、オンポリシー蒸留、DiffusionNFTなど、オフラインおよびオンラインの強化学習パイプラインも挙げている。これらにより開発者は、ワークフローの各部分を自分で組み立てることなく、事前学習済みワールドモデルからタスク固有のポリシー訓練へ移行できる可能性がある。

デプロイ層は、NVIDIAのGPUアクセラレーション対応マイクロサービス群Cosmos NIMである。開発者ブログによれば、NIMの構成は量子化、投機的デコーディング、KVキャッシュを考慮したルーティングなどをサポートする。NVIDIAはH200 GPUでおよそ2～3倍の高速化を報告しているが、これは同社の主張であり、他のサービングスタックと独立に比較できるほどの実験詳細を情報源は提供していない。

ハードウェア要件は依然として大きい。NVIDIAは、BF16でのCosmos3-Nano生成に58GiB、オフロードを使うFP8で44GiBのGPUメモリを挙げている。データセンターへの導入では対応可能かもしれないが、小規模な研究チームや多くのエッジ志向ロボティクスシステムには大きな要件だ。ダウンロード可能なチェックポイントと応答性のあるシミュレーションサービスの差は、バッチ処理、レイテンシ目標、シーケンス長、センサー数、周辺シミュレーターに左右される。

証拠はポリシー品質よりも能力について強い

情報源は、4つのチェックポイントの存在、明示された制御インターフェース、オープンウェイトでの提供、開発・デプロイ支援ツールを確認している。また、運転向けの同期カメラ・LiDAR生成、シミュレーター条件付きレンダリング、アクション条件付きの両腕ロボット予測という具体的なユースケースも記録している。

一方で、モデルが物理法則を確実に保ち、稀な事象を正確に予測し、下流のポリシー性能を向上させることは証明していない。Hugging Faceの記事も、これらを未解決の研究課題として明示しており、ポリシー学習・評価を忠実に支援できる領域と失敗する領域が含まれる。この注意点は安全性が重要な用途で特に重要だ。

生成された視覚的リアリズムは、シミュレーションの妥当性と同じではない。運転シーンが説得力を持って見えても、深度、物体の動き、センサーノイズ、異常な操作の結果を誤って表現する可能性がある。同様に、アクション条件付きロボットモデルは、正確な接触ダイナミクスを維持せずにもっともらしいフレームを生成するかもしれない。NVIDIAのアーキテクチャは、Sim-Transferで物理と状態を外部シミュレーターに任せることでこの問題に部分的に対処するが、ポリシー訓練の品質は依然として両システム間のインターフェースに左右される。

情報源には、競合するワールドモデルとの独立ベンチマーク、顧客導入数、幅広いセンサー構成で検証された証拠もない。したがって開発者は、このリリースを利用しやすい開発ベースラインとして扱うべきであり、合成ロールアウトが実世界テストに取って代わる証拠とみなすべきではない。

開発者と企業購入者への意味

自動運転チームにとって最も実用的な特徴は、外観と幾何情報の接続かもしれない。RGBとLiDARの同時生成、および地図に整合した制御により、環境条件を変えながら対応する視覚観測と3次元観測を作成できる。適応後も整合性が保たれるなら、カメラ映像だけを生成するよりセンサーフュージョン研究に有用だ。

ロボティクス企業にとって、Sim-BimanualとSim-Transferの分離は2つのデプロイパターンを提供する。Sim-Bimanualはロボットまたはカメラのアクションから視覚的結果を直接モデル化でき、Sim-Transferでは物理エンジンが状態と接触に対する権限を保持できる。後者は、生成モデルではなくシミュレーターが物理軌道を定義するため、監査しやすい可能性がある。

コストと運用上の複雑さが採用を左右しそうだ。チームには十分なGPUメモリ、シミュレーターまたはレンダラー、自社センサー用のデータパイプライン、視覚的なもっともらしさの誤りを検出する評価手順が必要になる。オープンウェイトのライセンスは実験の障壁を下げるかもしれないが、商用ユーザーはOpenMDW1.1の条件を確認し、予定する用途、データ、配布モデルが適合するか判断する必要がある。

より広い競争上のシグナルは、モデルの重み、訓練レシピ、強化学習、推論サービスを1つのPhysical AIワークフローに結び付けようとするNVIDIAの試みである。これは、すでにNVIDIAのインフラを使うチームの統合作業を減らせる。ベンダー中立のサービング、低コスト推論、同社が推奨するGPUスタック以外のハードウェアへのデプロイを重視する組織には、魅力が薄い可能性がある。

次に注目すべき点

最初のシグナルは、ポリシー学習とクローズドループ挙動の独立評価になる。有用なテストでは、動画品質だけでなく、実世界とシミュレーションのセンサー幾何、長期一貫性、稀な事象のカバレッジ、下流の運転・操作性能を比較すべきだ。

2つ目のシグナルは、Transfer-Autoが新しいセンサー構成にどれだけ適応できるかだ。NVIDIAは適応と、その後のSim-Autoへの蒸留を開発経路として示しているが、その移行に必要なデータ量、訓練コスト、性能維持についてはまだ証拠がない。

開発者は、H200以外のデプロイにおけるレイテンシとメモリの結果も注視すべきだ。特に、オンプレミスまたはエッジ推論を必要とするロボティクスチームにとって重要である。最後に、Cosmos 3以外のモデルを使うプロジェクトがCosmos Frameworkを採用するかどうかは、NVIDIAが広く有用なツールチェーンを作ったのか、それとも自社チェックポイント中心のエコシステムを作ったのかを示すだろう。

Creati.aiの見解

NVIDIAのリリースが重要なのは、単に新たな動画生成モデルを導入したからではなく、アクション条件付きシミュレーションの複数のインターフェースをまとめたからだ。運転向けのセンサー間生成、シミュレーターから動画へのレンダリング、ロボットアクションの直接予測である。この分割は、単一で未分化なワールドモデルの主張よりも、Physical AIシステムが実際に構築される方法に近い。

中心的な試験は、インタラクション中の信頼性になる。オープンウェイトとレシピは実験を容易にするが、開発者は、長いロールアウトにわたり生成観測が幾何学的に一貫し、ポリシーの意思決定に役立つという証拠を必要とする。その評価が得られるまでは、Cosmos 3はシミュレーション研究と適応のための有力なプラットフォームと見るのが適切であり、物理エンジン、実データ、物理的検証の実証済みの代替と見るべきではない。