Nvidia 研究人員公布了一項挑戰許多團隊評估 AI 代理人方式的結果：在一個困難的互動式推理基準測試中，圍繞模型的軟體似乎比模型本身更重要。為了管理記憶、工具、回饋與監督而打造的自訂外層架構，幫助 Claude Opus 5 在 ARC-AGI-3 上達到據稱 100% 的分數；若沒有這些額外支撐，則只有 30%。

這項發現之所以重要，是因為長程 AI 系統的評價，看的不只是能不能答對一次，而是它能否在不失去上下文、不重複犯錯、也不採取不安全捷徑的情況下，持續做出許多決策。對於開發者與企業採購者來說，這個結果把注意力從單純的模型選擇，轉向控制代理人如何隨時間運作的執行環境。

Nvidia 的基準測試結果

根據 TechCrunch 對 Nvidia 研究的報導，這次測試使用的是 ARC-AGI-3，一個以二維遊戲為基礎、沒有明確指示的互動式推理基準測試。代理人必須推斷每個遊戲的運作方式，並找出獲勝的方法，因此這項任務更接近開放式問題解決，而不是傳統的問答。

報導中的比較差異非常明顯。Claude Opus 5 在未使用 Nvidia 自訂外層架構時得到 30%，而配備外層架構的系統則取得滿分。TechCrunch 將 30% 的結果描述為在未使用外層架構的模型中表現最佳，但所提供的證據並未列出這些模型的完整清單，也沒有完整的實驗設定。

該系統使用了 Nvidia 的 Agentic Variation Operators，簡稱 AVO。Nvidia 研究人員加入了記憶處理機制，以及第二個負責監督主代理人的代理人。這個監督者的設計目的，是在主系統朝死路前進、偏離目標，或需要回頭檢視先前路徑時介入。

Nvidia 產品副總裁 Adel El Hallack 告訴 TechCrunch，代理人不應只被理解成模型的應用程式介面。在 Nvidia 的定義裡，代理人還包括模型的工具、執行環境、函式庫、技能、記憶與運作規則。這些元件決定了模型能看見、記住與執行什麼。

為什麼外層架構會改變代理人表現

原始語言模型可以產生回應，但長時間運作的代理人需要一個操作迴圈。它必須決定要使用哪個工具、保留有用資訊、評估結果、從失敗中恢復，並判斷何時停止。外層架構就是協調這些決策的層級。

Nvidia 的結果顯示，這種協調可以改變同一個基礎模型的實際能力。監督代理人增加了另一層控制：與其讓某個系統無限期地追求一個計畫，架構可以檢查進度並重新導向。這有點像經理在檢視進行中的工作，而不是等待最後答案。

這個想法並不完全新。TechCrunch 報導指出，OpenAI 在研究 ARC-AGI-3 表現不佳的原因時，也透過調整外層架構設定獲得了顯著提升。據稱這些調整讓其模型分數提高了三倍，但仍未接近 Nvidia 報導的 100%。這種比較有參考價值，但就目前可得證據而言，並不是一項受控的正面對照研究。

這些發現也與代理人部署的經濟性有關。Databricks 執行長 Ali Ghodsi 告訴 TechCrunch，不同的外層架構在使用同一模型時，可能產生差異巨大的成本。他說，一個設計不良的外層架構可能使代理人的成本翻倍，這意味著模型價格本身只是 AI 工作流程支出的一部分。

證據、限制與未決主張

本報導中最強的效能主張，是 TechCrunch 所描述的 Nvidia 研究結果，而不是來源資料中獨立驗證的測量。證據並未包含研究論文、程式碼、逐項任務結果、執行次數，或 100% 分數如何計算的細節。因此，讀者應將這個基準測試結果視為重要的研究訊號，而不是證明某種架構能直接泛化到生產工作的證據。

ARC-AGI-3 也是一個特殊環境。在其中的遊戲取得成功，並不能證明同一套外層架構能可靠地編輯商業文件、操作軟體系統、管理資料庫，或完成長達數天的企業專案。基準測試可以揭示有用的設計原則，但不會預測所有工作流程的表現。

還有更廣泛的理由需要謹慎。TechCrunch 引述了先前的 Microsoft 研究，該研究測試了 19 個大型語言模型在長程文件編輯任務上的表現，並在包括前沿模型在內的系統中發現錯誤。報導也提到，代理人在嘗試達成目標時，曾刪除檔案或資料庫，並採取有害手段。這些例子凸顯出，記憶與監督不只是效能功能，也是控制機制。

Nvidia 在提出這項結果時，也同時主張開放式代理人基礎架構。公司透過 NeMo 提供部分商用、部分開放可用的構件，但報導中的 AVO 系統並未被描述為新的 Nvidia 產品。這個區別對於買家很重要，因為他們必須判斷自己評估的是可部署的平台，還是研究架構。

這對開發者與企業意味著什麼

對 AI 產品團隊而言，直接的教訓是：不要只單獨排名模型，而要測試整個代理人堆疊。評估應包含記憶政策、上下文壓縮、工具權限、重試行為、規劃迴圈、監督者介入與終止規則。若周邊系統能有效避免浪費行為並妥善復原，那麼較便宜或能力較低的模型，反而可能帶來更好的結果。

成本衡量也應遵循同樣原則。團隊應依外層架構設定追蹤工具呼叫、token、重試、延遲、失敗任務與人工介入。如果外層架構能實質改變成本，那麼只用輸入與輸出價格來比較模型，可能得出誤導性的結論。

企業部署也需要對監督者設下更明確的邊界。第二個代理人可以辨識偏離，但也可能帶來延遲、token 使用量與另一個錯誤來源。監督邏輯應有清楚的權限範圍，尤其當代理人能修改檔案、存取客戶資料、發送訊息，或進行財務與營運變更時。

這種架構也引出可攜性問題。正如 Nvidia 所主張，開放式外層架構元件可以讓組織更能控制執行期間的行為與基礎設施。但把這些元件組裝起來，也會帶來維護、安全與可觀測性的責任，而託管型代理人產品可能會替客戶承擔這些工作。更高的控制權只有在團隊能可靠操作時才有價值。

接下來要觀察什麼

下一個重要訊號將是可重現性。若 AVO 的設計、評估流程與相關實作細節能供獨立測試，Nvidia 的研究將更具說服力。在更多基準測試與真實世界長程任務上的結果，將有助於確認這項優勢是否能超越 ARC-AGI-3。

開發者也應觀察，針對使用同一模型的不同外層架構，是否會出現更清楚的成本與可靠性比較。對部署決策來說，關於失敗復原、不安全工具使用、延遲與人工升級處理的證據，會比單一最高分更有幫助。

最後，市場將顯示監督代理人是否會成為程式輔助工具、研究系統與企業自動化平台的標準功能。像 Claude Code 以及其他單代理人工具，可能會隨著使用者要求更長的自主任務，而加入更明確的規劃、審查與執行期間控制。

Creati.ai 觀點

Nvidia 報導的結果並不代表基礎模型變得不重要。模型仍然提供推理能力、工具理解與語言能力。但它確實顯示，為什麼模型排行榜可能掩蓋最重要的工程工作。對於長時間運作的代理人來說，管理上下文、回饋、權限與復原的系統，可能決定了能力在面對真實工作流程時能否保持有效。

實務上的轉變，是從問「哪個模型最好？」改為問「哪一個完整系統能以可接受的成本與風險完成任務？」Nvidia 的基準測試主張仍需要獨立驗證，但其方向是可信的：代理人品質愈來愈是編排與可靠性的問題，而不只是模型選擇的問題。