AI 代理擴大了模型開發工作，但關鍵決策仍由人類掌控

AI 代理正在承擔越來越多與建構 AI 模型相關的工作，但一項新分析顯示，當研究人員決定要追求什麼、以及要如何推進時，它們的影響力仍然小得多。

一支包含中國復旦大學在內的研究團隊，檢視了一項模型開發專案中的 769 份任務紀錄，該專案涉及 56 位參與者及其所使用的代理。研究發現，AI 在方法與參數方面提供了最高達 55.4% 的提案，而人類在這些領域做出了 85.5% 的最終決策。人類也在 93.4% 的案例中選擇了專案目標與範圍。

這些發現比原始活動量指標所暗示的更能審慎地描繪代理的自主性。代理完成了工作、生成了選項、並處理了修訂，但人類判斷仍是主要控制點——尤其是在專案面臨模糊性、失敗或策略性選擇時。

以 Atria Dawn Preview 作為測試案例

該專案的核心是 Atria Dawn Preview，一款建立在混合專家（mixture-of-experts）架構上的代理式語言模型，擁有 7440 億個參數。團隊將其設計用於研究與工程任務，採用的工作流程中，每個任務都連結到一個執行環境。代理可以呼叫工具、產生中間結果，並從測試、指標或來源證據中取得回饋。

研究人員表示，在受檢視的任務中有 96.5% 使用了 AI。四週內，代理行動與人類輸入的中位比率從 11 增加到 28.5。這種上升看起來像是代理變得更獨立，但作者認為，它主要反映的是另一種模式：一次人類決策往往會觸發一連串更長的代理行動。

據報導，該模型在 16 項基準測試中的 5 項領先，包括網路搜尋與網路安全。不過，來源並未顯示 Atria Dawn Preview 在整體上領先競爭系統，因此這些基準結果應被視為有限的性能主張，而非廣泛優勢的證據。

代理提出選項；人類選擇方向

最常見的決策模式是「AI 提案，人類選擇」，占方法與參數決策的 55.4%。在同一類別中，AI 做出最終決策的比例為 9.2%，相較之下，人類為 85.5%。AI 提案的占比依決策類型而異，介於 17% 到 55% 之間，但其在最終選擇中的角色仍維持在個位數。

在人類對專案層級的控制上，情況更為明顯。研究人員在 93.4% 的案例中對目標與範圍做出最終決定。在 151 項參與者表示若沒有 AI 就無法完成的任務中，人類仍有 95.4% 的時間選擇了目標。

這個區別對模型開發很重要。代理可以搜尋大量可能的實作空間，或執行複雜實驗，卻不必自己決定這個實驗值不值得做。研究證據顯示，現行系統更適合作為研究操作員與提案產生器，而不是研究議程的擁有者。

AI 讓更多工作成為可能，而不只是更快

這項研究也指出了 AI 代理一個較不顯眼的效果。在 455 項由 AI 協助完成的任務中，參與者認為其中 151 項——大約三分之一——若沒有 AI，在相同範圍與品質下將無法完成。這些任務分布於 56 位參與者中的 27 位，而不是只集中在少數進階使用者身上。

這個結果顯示，代理可能擴大團隊能夠嘗試的工作範圍，而不只是加快既有工作流程。對 AI 建構者而言，這可能意味著更多實驗、評估與工程變更進入專案流程。它也可能意味著更大的監督負擔，因為需要審查的行動數量會隨著嘗試工作量的增加而上升。

當任務變得困難時，人類介入通常是解決之道。在 588 項有記錄難度的任務中，76% 透過人類協助而推進，而 23% 則由代理在沒有介入的情況下完成。最常見的協助形式是提供背景脈絡或釐清需求，占 35.2%；其次是診斷問題或更改方法，占 34.7%。

人類很少直接接手執行。部分修改僅占介入的 3.2%，全面接管僅占 0.7%。在提供回饋後，代理在 75.4% 的情況下自行完成修訂。實務上，人類瓶頸通常是判斷與資訊，而不是手動執行任務。

監督問題會隨代理活動而加劇

這些發現並未排除更自主的模型開發可能性。相反地，它們指出了一個控制問題，且隨著代理鏈變長而愈加明顯。如果沒有人能檢查每個中間動作，人類審查可能會退化成對摘要或最終輸出的核准，而不是真正的監督。

研究人員也觀察到，參與者經常使用自主模式，以避免中斷長時間運行的流程。據報導，這種界線是出於便利而被選定，並非因為團隊正式決定代理應擁有多少權限。對企業 AI 團隊而言，這是一項警訊：營運設定可能悄悄變成治理決策。

這項研究將當前系統置於兩個發展階段之間：AI 已經超越僅僅是研究對象或狹義任務工具，但尚未明確成為獨立的研究指揮者。作者將可能的下一階段描述為遞迴式自我改進，在此過程中，更強大的系統協助產生其後繼者，同時強調從訓練任務表現提升到更佳模型設計的路徑仍未解決。

下一步要關注什麼

最重要的後續問題是，其他模型開發組織與專案中是否也會出現類似的決策模式。這項研究只檢視了一個團隊的工作，因此其觀察不應被視為 AI 自主性的普遍衡量。

研究者與採購者應關注三項訊號。第一，未來評估應將代理行動與關於目標、方法和資源分配的決策區分開來。第二，開發平台可能需要稽核軌跡，揭示最終建議如何由長長的代理鏈形成。第三，自稱自動化 AI 研究的公司應揭露，人類有多常設定目標、拒絕提案、變更方法，或在失敗後介入。

關於遞迴式自我改進的辯論，也將取決於研究判斷方面的證據，而不只是程式撰寫速度或實驗吞吐量。像 Anthropic 這類公司關於日益自動化的研究導向之主張，與這個獨立描述的專案屬於不同類型的證據；若沒有共同衡量標準，不應直接比較。

Creati.ai 觀點

這項研究的核心教訓是營運層面的：更多代理活動，不一定代表更多代理權限。AI 代理可以放大團隊能執行的實驗與工程任務數量，而人類仍然決定哪些問題重要，以及結果是否足以支持改變方向。

對建構者與企業團隊而言，當前的優先事項不只是最大化自主執行次數，而是設計能保留決策來源、呈現不確定性，並且讓長鏈代理工作中被隱藏的選擇可以被檢視的系統。在代理能於結果出現前可靠評估研究目標之前，人類判斷仍是模型開發中最稀缺的資源。