NVIDIA 展示 AI 代理如何建構與測試 Omniverse 模擬

NVIDIA 正展示一系列開發者實驗，內容是前沿 AI 模型協助將模擬概念轉化為可運作的應用程式。這些工作流程把自然語言指示與 NVIDIA Omniverse 中用於物理、算繪、感測器、場景管理和使用者介面的函式庫結合起來。

案例涵蓋人形機器人、自動駕駛車、倉儲作業、數位孿生、太空船視覺化與機器人拆解。它們不代表單一產品發布，也不是經過獨立驗證的基準測試。相反地，NVIDIA Blog 的文章說明了該公司預期 AI 代理如何降低組裝與反覆修改模擬環境所需的工程工作。

從提示到模擬系統

建立實用的模擬器通常不只是產生程式碼。開發者必須準備 3D 資產、連接物理行為、設定感測器、管理場景資料，並建立檢查結果的方法。在 NVIDIA 的案例中，AI 代理被定位為整個工具鏈中的助手，而不是工程審查的替代品。

在一項示範中，NVIDIA 產品經理 Frank DeLise 使用 NVIDIA 稱為 GPT-6 Astra 的模型，將一座 SimReady 倉庫和人形機器人轉化為互動環境。系統支援第一人稱與第三人稱視角，並連接 Omniverse 的物理、場景更新、光線追蹤算繪與使用者介面控制元件。NVIDIA 表示，DeLise 指定所需工作流程後，代理生成了動畫和應用程式程式碼。

這種方法仰賴開發者指導代理、審查其輸出並要求修改。對於評估模擬用 AI 程式設計工具的團隊而言，這項區別很重要：模型可以協助協調多個函式庫，但產生的應用程式仍需依照物理和營運要求進行測試。

機器人與自動駕駛車是主要測試案例

多個展示專案聚焦於機器在進入物理世界前的評估問題。NVIDIA 模擬技術團隊經理 Doyub Kim 使用 Astra 建立「Zero to Alpamayo」，這是一個以舊金山 Market Street 為基礎、可重複使用的環境。原型分階段連接了資產建立、交通、Omniverse RTX 感測器模擬與 Alpamayo 駕駛。

NVIDIA 表示，分階段的工作流程讓 Kim 能比較模型，並追蹤場景或感測器的變化如何影響後續駕駛行為。一項相關的 Cosmos3-Nano 實驗改變了錄製模擬影片中的天氣與照明，讓團隊能比較駕駛模型在不同條件下的反應。

該公司也描述了由 Ashley Reid 主導的工作，目的是將模擬相機輸出與原始 LiDAR 輸出和錄製資料進行比較。Reid 指示 Astra 與 Claude Fable 5 代理在約三天內建立或改進四個數位孿生。代理測量差異、修改 OpenUSD 場景，並處理遺失物件、幾何形狀和材質等問題。NVIDIA 表示，驗收依據是相機和 LiDAR 指標，而不只是視覺檢查。

在機器人領域，Tae Kim 在「Robo Olympics」中使用運動影片與自然語言指示，這項實驗涉及模擬的 Unitree G1 人形機器人。工作流程使用 Newton Physics Engine 進行行為模擬，使用 NVIDIA Warp 加速計算，並以 Omniverse RTX 進行算繪。NVIDIA 報告稱，其中一個機器人在 100 次試驗中有 64 次越過單一障礙。這是專案特定的模擬結果，並不代表該機器人已準備好執行現實世界中的類似任務。

證據有用，但仍是供應商報告

文章提供了工具、工作流程與實驗的具體描述，但證據來自 NVIDIA 自己的部落格及其員工的專案。沒有獨立複製、客戶部署資料，也沒有外部機構對所報告開發時間節省的評估。

這限制了建構者應該做出的推論。NVIDIA 的案例顯示，代理能在人工指導下協助連接 Omniverse 函式庫、建立 OpenUSD 場景並反覆調整模擬行為。但這些案例並未證明代理能持續產生可投入生產的模擬器、準確建模現實條件，或在不同組織中降低總體工程成本。

64 次成功越過 100 次障礙的結果同樣具有局限性。它顯示重複的物理試驗可以暴露控制問題並提供回饋，但不能定義通用的機器人基準測試。數位孿生工作暗示了一種以指標為核心的驗證流程，但感測器保真度、模擬到現實的轉移，以及錄製參考資料的品質等問題仍未解決。

NVIDIA 使用 GPT-6 Astra 和 Claude Fable 5 等模型名稱，也應被視為公司所描述實驗的一部分。來源沒有提供這些模型更廣泛的可用性、價格或獨立能力比較。

這些工作流程對建構者與企業的意義

對 AI 建構者而言，最重要的轉變在於架構。代理不只是撰寫獨立腳本，而是協調資產、模擬引擎、算繪系統、感測器模型和應用程式介面。這可能讓團隊更容易建立用於情境探索、故障分析和設計審查的專用內部工具。

近期最有力的使用案例，可能是具有可量測回饋的工作流程。感測器驗證可以將算繪後的相機或 LiDAR 輸出與錄製資料比較。機器人控制實驗可以反覆執行物理試驗。工業設計任務可以在硬體製造前測試工具是否能觸及某個零件。這些循環為代理提出和評估變更提供了具體標準。

NVIDIA 的汽車懸吊案例展示了企業角度。Jens Jebens 在 PTC Onshape 中建立懸吊模型，在 NVIDIA Isaac Sim 中進行設定，並使用 Astra 探索工具修改方案。NVIDIA 表示，代理測量可用空間，設計了一把預計能觸及懸吊螺栓的扳手，並成功模擬拆除一個零件。這種工作流程可能連接電腦輔助設計、工具製作與機器人策略開發，但實體驗證仍不可或缺。

NASA 的視覺化案例也體現了同一原則。Nic Johns 使用 Blender 資產和 Omniverse 元件，組裝一個帶有遙測資料的國際太空站 OpenUSD 模型，並將其串流至瀏覽器。在另一個專案中，立體相機擷取內容轉化為可編輯的工作室，其物件和互動在 Isaac Sim 中接受測試。這些案例顯示，代理可在將分散的 3D 資料轉化為可檢查的應用程式方面發揮實用作用。

風險同樣具體。生成的場景可能含有錯誤幾何形狀、不充分的物理假設或隱藏的遺漏。企業需要版本化資產、可重現的實驗、可量測的驗收標準和審查關卡，才能在模擬影響安全關鍵決策前進行把關。代理帶來的便利並不能取代領域專業知識。

接下來值得關注的事項

接下來的訊號包括 NVIDIA 是否發布外部開發者而不只是內部團隊的案例，以及這些專案是否包含可重現的資產、程式碼和評估程序。建構者也應關注 Omniverse 代理能否在不大幅增加審查負擔的情況下，處理更大型的場景、更多感測器和更長時間的模擬。

產品團隊會希望了解如何取得相關模型、Omniverse 函式庫是否可用，以及在企業規模執行代理驅動的反覆迭代需要多少成本。研究人員則應尋找模擬到現實的效能、數位孿生保真度，以及生成的場景變更對後續機器人或車輛策略影響的獨立測量。

Creati.ai 的觀點

NVIDIA 的公告最好被理解為模擬用代理編排的示範，而不是提示可以取代模擬工程的證據。其最可信的貢獻，是展示代理可如何加入結構化循環：組裝場景、執行測試、比較可量測輸出，並在人工監督下進行修改。

對於建構機器人和工業 AI 系統的團隊而言，這種模式可能很重要，因為它把生成模型與驗證任務連接起來，而不是只將其限制在程式碼生成。關鍵問題在於，離開 NVIDIA 受控的示範後，這些工作流程是否仍能產生可靠、可稽核的結果。在獨立證據出現之前，這項機會雖然令人期待，但仍只是供應商報告的一個開發方向。