
NVIDIA表示,其 Agentic Variation Operators 系統,亦即 NVIDIA AVO,在 ARC-AGI-3 的公開測試集上取得滿分,完成了 25 個互動環境中的全部 183 個關卡。這項結果之所以重要,是因為它將長時程代理效能視為系統問題,而不只是底層語言模型的簡單衡量。
這項主張來自 NVIDIA Developer Blog 的一篇文章,該文將 AVO 描述為一種用於持續自主工作的通用架構。該公司表示,同一系統也曾在七天的執行期間優化 GPU 核心,顯示其設計可在軟體工程工作流程與陌生的互動式推理任務之間轉移。不過,這些效能數據是由 NVIDIA 提供,現有證據並不包含獨立驗證或同行評審的評估。
NVIDIA 報告指出,AVO 在 ARC-AGI-3 公開測試集中取得 100.00 的 RHAE 分數。公司表示,該代理完成了該基準 25 個環境中的每一個關卡,且使用的環境動作比公司文章中提及的比較系統 VISTA 少了 12%。
ARC-AGI-3 是圍繞陌生的互動式環境所設計,在這些環境中,代理必須推斷動作如何運作,並發現自己被期望達成什麼。與傳統問答測試不同,這個基準要求代理在從回饋中學習的同時,於多個步驟中維持進度。
NVIDIA 的核心論點是,這類評估測量的不只是模型智慧。代理必須決定要觀察什麼、使用哪些工具、如何保留有用狀態,以及當方法失敗時如何恢復。依公司說法,周邊的 harness 決定了模型能力有多有效地轉化為持續的自主行為。
該文章也說,基於 Claude Opus 5 建構的系統在納入完整 AVO 架構後,將效能從 30% 的模型基線提升到報告中的 100% 結果。NVIDIA 將這項比較作為系統設計能實質改變基準結果的證據。若沒有更多關於評估設定的細節,不應把它解讀成對 Claude Opus 5 或 AVO 的獨立排名。
AVO 被描述為一套程式設計與任務執行系統,能檢視與編輯程式碼、執行命令、查閱文件,並透過執行來驗證變更。NVIDIA 表示,其定義性特徵不是單一工具,而是能夠在長串實驗中持續工作的能力。
其中有兩個機制受到特別強調:持久記憶與監督。持久記憶儲存先前的實作、測試結果、編譯器與分析器輸出,以及累積的推理。這使代理能夠從當前狀態繼續,而不必在每個上下文視窗後重建理解。
監督元件會觀察更廣的軌跡。當主代理卡住或重複無效循環時,監督者可以將其導向不同策略。主代理仍負責決定要檢視、修改、測試與提交哪些內容,而監督者則監控整個較長過程中的進展。
針對 ARC-AGI-3,NVIDIA 表示,其將同一基礎代理接到不同介面,改變可用的環境工具與評估流程,但保留核心架構。這種可移植性對 AI 建構者來說是更關鍵的主張:該系統旨在適應新的回饋迴路,而無須從零重設整個代理。
NVIDIA 首先透過 GPU 核心最佳化實驗來描述 AVO。根據公司說法,在那項工作中,系統在七天內自主探索了超過 500 個最佳化方向,並提交了 40 個核心版本。
NVIDIA 報告指出,在 NVIDIA DGX B200 系統上,所產生的多頭注意力核心在其評估的配置中,效能比 cuDNN 高出最多 3.5%,比 FlashAttention-4 高出最多 10.5%。公司也表示,AVO 只花了約 30 分鐘的額外自主工作,就把演進後的核心改造成分組查詢注意力。
這些數字說明了 AVO 設計來處理的工作流程:進行變更、執行以硬體為基礎的測試、解讀結果,並決定下一步要嘗試什麼。它們並不能證明該系統會在其他核心、硬體配置或正式產品程式碼庫中帶來相同收益。這些比較屬於供應商基準測試,而文章所提供的證據不足,無法獨立評估完整的測試方法。
ARC-AGI-3 的結果也有類似的限制。公開測試集上的滿分在該基準內是強烈訊號,但本身並不能證明企業環境中的通用可靠性。真實部署會帶來成本、權限、工具失敗、敏感資料、目標不明,以及稽核可追溯性的要求,而公開基準可能無法捕捉這些面向。
對產品團隊而言,最直接的啟示是架構層面。提升基礎模型能力或許能改善單次回應,但長時間運作的工作流程也需要狀態管理、受控的工具存取、執行回饋、檢查點與復原邏輯。
這對程式設計助理、研究系統、資料分析工具,以及其他無法只靠單一模型回應成功的 AI 代理 很重要。負責最佳化程式碼的代理需要保留測試歷史,並區分真正改善與雜訊結果。企業工作流程也需要類似控制,以防重複操作、限制失敗擴散,並解釋系統為何走上特定路徑。
AVO 的設計也凸顯了部署上的取捨。持續實驗能改善結果,但會消耗算力並可能增加延遲。七天的自主最佳化執行適合某些工程搜尋,但不適合每一項面向客戶的任務。建構者需要政策來規範代理何時可獨立持續、何時必須請求核准,以及可消耗多少預算。
這種架構也可能加劇模型供應商與基礎設施供應商之間的競爭。如果代理效能越來越依賴模型周圍的 harness,那麼單看模型基準測試就不再足以預測產品效能。企業可能在記憶系統、評估器、監督者、工具編排與執行環境等方面,與模型訓練同樣激烈地競爭。
首先要觀察的是 ARC-AGI-3 結果是否能被獨立重現,包括確切的模型、提示、工具、動作預算與監督設定。這些細節將決定提升有多少來自 AVO 的通用架構,又有多少來自任務特定工程。
第二是 NVIDIA 控制示範之外的證據。值得追蹤的資料包括更多互動式基準上的表現、長時間執行中的失敗率、每個完成任務所消耗的算力,以及與其他代理 harness 的比較。
對企業買家而言,部署證據比單一基準分數更重要。請注意權限控制、稽核日誌、沙箱隔離、工具錯誤復原、資料隔離,以及需要人工介入的頻率。
最後,GPU 核心工作提供了一個實際測試,用來檢驗自主最佳化是否能在不同工作負載與硬體上產生可重複的收益。若能出現超出報告配置之外的結果,工程主張將更具持久性。
NVIDIA 的公告最好被理解為關於代理架構的報告,而不是某個模型突然變得普遍強大的證明。報告中的 ARC-AGI-3 分數值得注意,因為 AVO 將記憶、監督、工具與回饋整合進一個系統,旨在第一個回應失敗後仍能持續工作。
對 AI 建構者而言,長期可靠性的持久啟示是:它可能同樣取決於周邊控制迴路,而不只是模型本身。NVIDIA 提供了一個有趣的供應商基準;下一個問題是,獨立團隊能否在經濟、安全,且跨越基準之外重要任務的情況下重現這項結果。
NVIDIA表示,其AVO代理在ARC-AGI-3取得滿分,突顯記憶、監督與工具如何擴展模型效能。