NVIDIA 展示 AI 代理人在 Omniverse 中建構倉儲、機器人與工業模擬

NVIDIA 正展示一系列開發者專案，使用前沿 AI 代理人將自然語言指令轉化為倉儲、工業設備與機器人的可運作模擬。這些示範將 GPT-6 Astra 等模型，與 NVIDIA Omniverse 用於物理、渲染、感測器模擬及瀏覽器式視覺化的程式庫結合。

該公司的案例顯示，模擬應用程式的組建方式可能正在改變。開發者不必手動連接每個資產、求解器與視覺化元件，而是可以指示代理人、檢查結果並要求修改。不過，底層系統仍需要工程審查，而 NVIDIA 自己的案例也顯示，效能測試與實體驗證仍不可或缺。

從指令到可編輯的模擬場景

NVIDIA 的一項工作流程聚焦於倉儲規劃。建築掃描可能包含貨架、機械與其他物件，使底層結構難以直接用作模擬環境。NVIDIA 模擬技術團隊的 David Wehr 指導 Astra 解讀全景照片、產生建築幾何，並將其與點雲測量結果對齊。

其成果旨在成為可編輯、可直接用於模擬的建築表示。開發者接著可以新增或重新配置貨架、機器及其他元素，在進行實體改造前研究倉儲布局。模型使用 OpenUSD 儲存，Omniverse 的 ovrtx 程式庫則負責渲染場景以供檢查。

這個例子說明 AI 代理人 在模擬開發中的可能用途：不是取代物理引擎，而是作為介面，將雜亂的來源資料與設計意圖轉換成結構化資產。NVIDIA 表示，開發者也可以使用 Omniverse agent skills，協助代理人操作其程式庫。

另一項示範使用 SimReady Central Library。這是 NVIDIA 的資產集合，包含來自設備製造商與資產供應商、超過 2,000 個可用於模擬的 USD 資產。NVIDIA Omniverse 文件團隊成員 Paul Kind 透過對話指示代理人組建廚房場景。場景包含根據程式庫 63 個獨特資產建立的 180 個配置，以及 18 個自訂幾何物件。

相同的資產工作流程也適用於機器人與工廠數位孿生；在這些領域，可供模擬的屬性可能比單純的視覺外觀更重要。NVIDIA 表示，開發者可以選取具有內建模擬特性的資產，並將其放入環境中進行測試。

這些示範實際證明了什麼

NVIDIA 最有力的證據，是其自家部落格所描述的一系列內部原型與測量測試。這使技術細節具有參考價值，但也代表效能與生產力主張是供應商自行報告，尚未經過獨立驗證。

在一項倉儲測試中，NVIDIA 工程師 Bhavik Sanganee 使用 Astra 與 Omniverse 程式庫提高場景複雜度，並調查效能問題。模擬包含 80 條輸送帶、40 支機械手臂與 800 個箱子。NVIDIA 表示，在兩分鐘測試期間，系統以 Full HD 解析度維持每秒 30 幀，而機械手臂成功完成 640 次箱子放置。

這項成果依賴物理計算、影像渲染與影片準備的並行執行。當場景大小加倍後，效能再次下降。進一步測試將變慢原因追溯至物理與機器人控制管線。這項細節很重要：代理人協助找出了瓶頸，但該案例並未顯示 AI 能獨立解決擴展問題。

NVIDIA 也描述了一款針對模擬燃氣渦輪機與發電機的工業 what-if 分析應用程式。Pradeep Kaushik 指導 Astra 建立工具，讓使用者調整負載、環境溫度與燃料成分，再比較功率、效率、燃料消耗與設備反應。六項測試程序涵蓋負載變化、燃料閥卡住及排氣感測器故障等情境。

原型使用 Cantera 進行熱化學計算，使用 SciPy 處理設備動態。包括 ovstage、ovrtx 與 ovstream 在內的 Omniverse 元件，負責更新、渲染及串流三維場景。工程師可以檢查剖面渦輪機、變更指示器，並將動畫反應與圖表及虛擬儀表比較。

這些是有用的整合示範，但不應被解讀為代理人已驗證真實渦輪機或工業控制系統的證據。模擬仍然是模型，其價值取決於建立模型時所使用的假設、求解器與來源資料品質。

機器人是更嚴格的測試

第三個專案針對電子組裝，機器人必須將柔性纜線繞過元件，並將連接器準確對準連接埠。NVIDIA 機器人技術行銷經理 Oyindamola Omotuyi 指導 Astra 使用 NVIDIA Isaac Lab、Newton 物理與 Omniverse 渲染建立模擬，並由 Robotiq 夾爪操作纜線。

代理人還開發了一套強化學習系統，將學習到的纜線導引動作，與位置和方向回饋以及 USB-C 插入的修正動作結合。控制器依賴模擬提供的資訊，使開發者能在進行實體機器人實驗前測試這項任務。

NVIDIA 列出多個後續步驟，包括測試以摩擦力維持的抓取方式，以及實體機器人可能從攝影機和感測器取得的輸入。這些步驟揭示了受控模擬與實際部署之間的差距。若策略是在擁有完整模擬器狀態時成功，轉而處理有雜訊的視覺觀察、不確定的接觸力與不同的纜線摩擦時，可能需要大幅修改。

對開發者與企業團隊的影響

對 AI 開發者而言，重要的架構模式是將代理人與結構化資產程式庫、領域工具及可檢查的輸出結合。代理人可以產生場景描述、連接元件並提出修改建議，但開發者仍須負責檢查幾何、物理設定與行為。

對企業團隊而言，潛在好處是在昂貴的實體改造之前加快迭代。倉儲營運商可以比較布局，工業工程師可以研究故障情境，機器人團隊則可以在使用硬體前測試操作策略。價值不會只取決於對話控制本身，而取決於最終應用程式對特定決策而言是否可重複、可追溯且足夠準確。

這些示範也凸顯部署成本。大型場景需要協調運作的物理、渲染與串流管線。更多資產與機器人可能暴露出代理人可以協助診斷、卻無法自動消除的瓶頸。採購者需要評估 GPU 需求、模型延遲、資產授權、與現有工程系統的整合，以及用真實測量驗證模擬結果的流程。

接下來值得關注的事項

下一個訊號將是 NVIDIA 是否發布更多包含獨立基準測試、可重現設定，或與傳統模擬開發工作流程比較的案例。同樣重要的是觀察 Astra 產生的應用程式如何處理版本控制、稽核軌跡，以及底層模型中的刻意錯誤。

對機器人而言，實體測試會比模擬成功率更有啟發性。NVIDIA 表示，纜線導引專案正朝攝影機與感測器輸入，以及實體機器人實驗發展。這次轉換的結果可能顯示，代理人建立初始控制器後，仍需多少人工工程工作。

SimReady Central Library 的擴充也是值得追蹤的領域。更大型且文件完善的資產生態系，可能讓代理人輔助的場景建構更實用；但企業採用將取決於資產準確性、授權條款，以及與既有數位孿生工作流程的相容性。

Creati.ai 觀點

NVIDIA 的公告最好理解為代理人輔助模擬工程的示範，而非自主工程。該公司展示了模型如何協助在 Omniverse 中連接資產、求解器與視覺介面，同時開發者仍須負責判斷模擬是否正確且有用。

這種分工可能比對話介面本身更重要。如果代理人能可靠地組建可檢查的原型並找出效能瓶頸，它們或許能縮短從工程問題到可測試情境的路徑。但商業價值將取決於驗證、可擴展性，以及從引人注目的示範走向可用於實際營運決策、值得信賴的模擬所需成本。