NVIDIA 發布四個開放 Cosmos 3 模型，用於互動式世界模擬
NVIDIA 發布四個開放權重的 Cosmos 3 模型，用於互動式駕駛與機器人模擬，並提供適配與部署工具。
NVIDIA 發布了 Cosmos 3 系列的四個開放檢查點，將其世界模型平台從內容生成擴展至自動駕駛車輛與機器人的互動式模擬。這些模型可以生成同步的攝影機與 LiDAR 觀測，將模擬器控制轉換為影片，或預測機器人周遭環境在物理動作後如何改變。
此次發布為開發者提供多個專門化起點，而非一個通用模擬器。NVIDIA 與 Hugging Face 表示，這些檢查點依 OpenMDW1.1 授權條款，供研究與商業開發使用。每個模型都是 Cosmos 3 Nano 的後訓練版本，具有 160 億個可訓練參數。
這項公告之所以重要，是因為 Physical AI 團隊需要能對動作做出反應的環境，而不只是靜態合成影像或彼此孤立的影片片段。NVIDIA 將這些檢查點與更廣泛的軟體堆疊搭配，用於適配、強化學習、最佳化與部署。不過，現有證據來自 NVIDIA 及其開發者生態系發布合作夥伴，因此關於效能與採用的說法仍屬供應商報告。
四個模型針對不同的模擬問題
四個檢查點分別涵蓋自動駕駛與機器人工作流程。
Cosmos3-Nano-Transfer-Auto 是為離線合成駕駛資料生成而設計。它可以為最多 11 個攝影機視角建立同步影片，包括魚眼攝影機，同時生成 RGB 影像與 LiDAR。開發者可透過 World Scenario Map 控制項與文字提示，改變天氣、光線、一天中的時間、道路配置和交通號誌狀態。選用的初始 RGB 影像可以幫助固定場景的視覺外觀。
該模型也可作為擁有自有感測器配置團隊的適配階段。NVIDIA 所記錄的工作流程，是使用專有攝影機、LiDAR 與環境資料對 Transfer-Auto 進行後訓練，之後將適配模型用於離線資料生成，或作為更快速串流模型的基礎。
Cosmos3-Nano-Sim-Auto 是串流導向的變體。根據 Hugging Face 的說明，它由 Transfer-Auto 進行因果蒸餾，只需幾個去噪步驟便可生成連續的同步攝影機影片與 LiDAR 片段。它使用生成的歷史與更新後的駕駛控制，以支援更長時間的互動式展開。
這項區別對產品團隊很重要。離線生成可以擴充訓練集，但閉環評估要求模擬世界隨著策略採取行動而更新。Sim-Auto 仍依賴能將駕駛輸入轉換為更新控制的模擬執行環境與渲染器；該檢查點並不會取代完整的車輛模擬器。
對機器人及其他具身系統而言，Cosmos3-Nano-Sim-Transfer 接受來自物理模擬器的空間控制與文字提示，然後為策略產生 RGB 觀測。模擬器仍負責運動、接觸與物理狀態。在 NVIDIA 描述的工作流程中，一個動作會更新模擬器，模擬器產生空間控制，而模型渲染下一個視覺觀測。
Cosmos3-Nano-Sim-Bimanual 則預測機器人或攝影機動作造成的視覺結果。發布的範例支援 YAM 與 AgiBot 具身系統的互動式雙臂模擬，也可由策略或人操作的搖桿控制。其混合動作設定在同一控制序列中包含視角變化與操作；訓練期間，具有 59 個值的控制模式會補齊至 64 個值。
NVIDIA 正圍繞檢查點建立開發路徑
這次模型發布是更大型 NVIDIA Cosmos 平台的一部分，而不是獨立下載。公司的 Cosmos Framework 提供訓練、多模態資料處理、推論、最佳化與評估所需的配方和代理技能。NVIDIA 表示，該框架除了 Cosmos 3 外，也能搭配 Alpamayo、GR00T、Qwen、pi0.5 等模型，以及相容的 Hugging Face 模型使用。
在適配方面，該框架支援 LoRA 與完整的監督式微調，並提供 JSONL、WebDataset、LeRobot 與自訂適配器的資料載入路徑。NVIDIA 也列出離線與線上強化學習流程，包括 DPO、GRPO、PPO、on-policy 蒸餾與 DiffusionNFT。這些能力可能讓開發者從預訓練世界模型進入特定任務的策略訓練，而不必自行組裝整個工作流程的每個部分。
部署層是 Cosmos NIM，即 NVIDIA 的 GPU 加速微服務集合。開發者部落格表示，NIM 設定支援量化、推測解碼與考量 KV 快取的路由等技術。NVIDIA 報告 H200 GPU 上約有 2 至 3 倍的加速，但這是公司的說法，來源沒有提供足夠的實驗細節，無法與其他服務堆疊進行獨立比較。
硬體需求仍然不低。NVIDIA 列出的 Cosmos3-Nano 生成需求，在 BF16 下為 58 GiB GPU 記憶體，在採用卸載的 FP8 下為 44 GiB。這些要求在資料中心部署中或許可以管理，但對較小的研究團隊及許多以邊緣為導向的機器人系統而言相當可觀。可下載檢查點與具備回應性的模擬服務之間的差距，將取決於批次處理、延遲目標、序列長度、感測器數量及周邊模擬器。
證據對能力的支持強於對策略品質的支持
來源確認了四個檢查點的存在、其宣稱的控制介面、開放權重的可用性，以及配套的開發與部署工具。來源也記錄了具體用例：駕駛用同步攝影機與 LiDAR 生成、以模擬器為條件的渲染，以及以動作為條件的雙臂機器人預測。
但這些來源並未證明模型能可靠地保留物理定律、準確預測罕見事件，或改善下游策略效能。Hugging Face 的文章明確將這些列為尚待研究的問題，包括模型在哪些地方能忠實支援策略學習與評估，以及在哪些地方會失敗。這項保留對安全敏感的應用尤其重要。
生成的視覺真實感不等於模擬有效性。駕駛場景可能看起來很可信，卻錯誤呈現深度、物體運動、感測器雜訊或不尋常操控的後果。同樣地，以動作為條件的機器人模型可能產生合理畫面，卻沒有維持準確的接觸動力學。NVIDIA 的架構在 Sim-Transfer 中將物理與狀態留給外部模擬器，部分處理了這個問題，但最終策略訓練的品質仍取決於這些系統之間的介面。
來源也沒有提供與競爭世界模型的獨立基準、客戶部署數字，或模型已在廣泛感測器配置中完成驗證的證據。因此，建構者應將此次發布視為容易取得的開發基線，而不是合成展開可以取代真實世界測試的證明。
對建構者與企業買家的影響
對自動駕駛團隊而言，最實用的功能可能是外觀與幾何之間的連結。RGB 與 LiDAR 的聯合生成，以及與地圖對齊的控制，可以在改變環境條件的同時，協助團隊建立匹配的視覺與三維觀測。只要適配後仍能維持準確對齊，這對感測器融合研究會比單獨生成攝影機畫面更有用。
對機器人公司而言，Sim-Bimanual 與 Sim-Transfer 的區分提供兩種部署模式。Sim-Bimanual 可以直接根據機器人或攝影機動作建模視覺結果，而 Sim-Transfer 則允許物理引擎繼續掌握狀態與接觸。後一種安排可能更容易稽核，因為物理軌跡由模擬器而非生成模型定義。
成本與營運複雜度很可能影響採用。團隊需要足夠的 GPU 記憶體、模擬器或渲染器、用於自有感測器的資料管線，以及能偵測視覺合理性錯誤的評估程序。開放權重授權可能降低實驗門檻，但商業使用者仍需審查 OpenMDW1.1 條款，並判斷預期用途、資料與分發模式是否符合規定。
更廣泛的競爭訊號，是 NVIDIA 試圖將模型權重、訓練配方、強化學習與推論服務連接成一個 Physical AI 工作流程。這可能減少已使用 NVIDIA 基礎設施團隊的整合工作。對重視供應商中立服務、低成本推論，或在公司偏好 GPU 堆疊之外硬體上部署的組織而言，吸引力可能較低。
接下來值得觀察的事項
第一個訊號將是對策略學習與閉環行為的獨立評估。有用的測試應比較真實與模擬感測器的幾何、長時間範圍的一致性、罕見事件覆蓋率，以及下游駕駛或操作效能，而不只是影片品質。
第二個訊號是 Transfer-Auto 適配新感測器配置的能力。NVIDIA 將適配及其後蒸餾至 Sim-Auto 描述為一條開發路徑，但目前證據尚未顯示完成這項轉換所需的資料量、訓練成本或效能保留程度。
開發者也應關注 H200 部署以外的延遲與記憶體結果，尤其是需要內部部署或邊緣推論的機器人團隊。最後，使用 Cosmos 3 以外模型的專案是否採用 Cosmos Framework，將顯示 NVIDIA 建立的是廣泛有用的工具鏈，還是主要圍繞自家檢查點建立的生態系。
Creati.ai 觀點
NVIDIA 的發布之所以重要，與其說是又推出一個影片生成器，不如說是將多種以動作為條件的模擬介面整合在一起：駕駛的感測器到感測器生成、模擬器到影片的渲染，以及機器人動作的直接預測。這種劃分比單一、未加區分的世界模型主張，更貼近 Physical AI 系統的實際建構方式。
核心考驗將是互動中的可靠性。開放權重與配方讓實驗更容易，但建構者需要證據證明，生成的觀測在長時間展開中仍保持幾何一致，並且對策略決策有用。在這些評估出現之前，Cosmos 3 最適合被視為一個用於模擬研究與適配的重要平台，而不是已被證明可以取代物理引擎、真實資料或實體驗證的方案。
