實際環境基準測試發現，編程代理在大多數任務中仍需要人工收尾

根據一項以真實使用者請求建立的新基準測試，AI 編程代理可以完成軟體變更的很大一部分，卻仍無法交付完全可運作的結果。測試發現，即使是最強的系統，也只有在 26.4% 的案例中完成了任務所需的所有部分，這意味著近四分之三的工作仍需要人工收尾。

這項名為 Co-Design Bench 的基準測試由 Alibaba 和多所亞洲大學的研究人員開發。The Decoder 報導稱，它評估代理對現有網頁應用程式進行修改的能力，而不是處理孤立的程式設計問題。任務可能包含視覺參考資料、音訊、影片和文件，反映產品與工程團隊越來越常提供給 AI 工具的混合輸入。

給編程代理的更嚴格測試

Co-Design Bench 旨在處理研究人員所稱的既有編程評測飽和問題。當模型能夠執行、檢查並修復自己的程式碼時，它們在一些舊基準測試中可以取得超過 99% 的分數，幾乎沒有空間再區分不同系統。

新測試改為採用實際編程工作階段中的請求。研究人員選取了使用者已經需要重新措辭請求或回復失敗變更的案例。這些任務從相對狹窄的工作開始，例如從收據中擷取金額並更新相關總額，也包括更廣泛的應用程式重新設計。

這種設計使基準測試不再主要代表乾淨、獨立的編程練習，而是更接近維護實際運行產品時所涉及的混亂工作。這也意味著，結果不應被視為所有編程工作流程的普遍衡量標準。不過，它確實凸顯了產生看似合理的程式碼，與完成使用者完整請求之間的差距。

26.4% 結果背後的證據

根據 The Decoder 描述的論文，GPT-6 Astra 是十個受測模型中表現最佳的模型。它平均滿足約 70% 的任務要求，但完全解決的任務只有 26.4%。只有在應用程式中所有要求的功能都能運作時，任務才算完成。

在報告的排名中，Claude Opus 5 和 Qwen3.8-Max 緊隨 GPT-6 Astra 之後，而 Grok 4.6 排名最後。在較大規模的應用程式改造中，較小的 Qwen3.8-27B 模型升至第二名，但研究人員並未將這項結果視為該模型具備普遍優勢的證據。

評分流程也比單純的程式碼審查更加嚴格。一個自動化評審在瀏覽器中測試完成的應用程式，另一名審查員則檢查正面結果，並尋找視覺模型稿、硬編碼輸出或其他捷徑；這些做法可能讓請求看似已獲滿足，卻沒有實作底層行為。

這些是研究結果，而不是經過獨立驗證的採用率或生產力衡量。基準測試作者承認，自動化評審可能出錯，而且任務使用單一固定請求，而非使用者可以回答問題或在工作中途修正代理的即時對話。因此，結果顯示的是代理在這項測試設定下遇到困難的地方，而不是每種生產環境所需人工勞動的精確數量。

模型只是系統的一部分

這項基準測試最重要的發現之一涉及代理 harness，也就是讓模型能夠讀取檔案、修改程式碼、執行應用程式並檢查結果的軟體環境。在另一項比較中，Qwen3.8-27B 在一種 harness 中進行大型改造時取得 75% 的分數，在另一種環境中卻只有 56%。兩個模型的相對排名也會隨環境而改變。

這項結果對僅透過模型排行榜比較編程代理的做法提出質疑。模型的表現取決於它能呼叫的工具、接收到的上下文、觀察瀏覽器行為的方式，以及從錯誤變更中恢復的能力。因此，對於評估AI 編程助理的採購者而言，實際的比較單位應是模型與 harness 的組合。

研究也發現，額外的計算量並不能可靠地縮小差距。在較小的變更中，GLM-5.2 使用的 token 幾乎是 GPT-6 Astra 的六倍，卻取得明顯較弱的分數。更多推理或更長的執行時間可能有助於某些任務，但結果顯示，增加 token 使用量並不能取代更好的任務拆解、測試和與應用程式的互動。

這些發現對開發者與企業的意義

對工程團隊而言，直接的含義是，AI 編程代理目前仍最適合作為受監督的實作夥伴，而不是自主負責產品變更的角色。代理或許能建立一項功能的大部分內容，但團隊仍需要檢查邊界情況、視覺還原度、資料處理，以及不同要求之間的互動。

對結合版面、設計、互動和內容變更的任務而言，風險尤其高。基準測試發現，隨著結合的變更類型增加，各模型的表現都會下降，儘管這些相互交織的要求在實際產品工作中十分常見。因此，將每個請求視為單一提示的工作流程，可能產生令人信服的部分實作，同時留下重要的未完成細節。

評估工具的團隊應以具代表性的內部任務測試工具，包括修改既有程式碼庫和應用程式，而不只是測試全新開發的範例。他們應衡量完整驗收率、回歸率、審查時間和人工修正頻率。這可以補充 SWE-bench Verified 等既有評測，但不應取代人工審查或部署安全措施。

這些發現對代理平台開發者也很重要。更好的瀏覽器檢查、更清晰的狀態追蹤、可靠的回復功能和更強的驗證，可能與擴大底層模型一樣改善結果。harness 的結果表明，產品團隊應評估整個工作流程，包括權限、工具可靠性、可觀測性和故障恢復。

接下來值得關注的事項

下一個有用的訊號將是 Co-Design Bench 或類似評測是否會超越固定的一次性請求。真實的軟體工作包含澄清、變動中的要求，以及來自使用者或專案主管的回饋，因此互動式測試版本可能會呈現代理實用性的不同面貌。

研究人員和採購者也應關注同時報告模型與 harness 的結果，而不是只發布單一模型排行榜。獨立複製研究有助於確定，所報告的排名和顯著的環境影響是否能在不同程式碼庫和應用程式類型中持續存在。

最後，實際工程團隊中的驗收率仍會比單純的基準測試完成率更有意義。The Decoder 早前引用 METR 的研究指出，專案主管接受 AI 生成程式碼的比例，比 SWE-bench Verified 的分數低約 24 個百分點。這項差距提醒人們，看似完成任務並不會自動轉化為可部署的軟體。

Creati.ai 的觀點

Co-Design Bench 之所以重要，是因為它衡量了編程代理工作的最後一里路：不是代理能否產生程式碼，而是所要求的產品變更是否真的能在整個應用程式中運作。26.4% 的完整完成率提醒我們，部分自動化仍可能帶來大量的審查與修復工作。

對 AI 開發者和企業採購者而言，實際的教訓是不要再把模型視為完整產品。可靠的執行將取決於模型、harness、測試、應用程式上下文和人工核准的組合。在這些元件能夠針對真實任務被整體評估之前，對自主軟體開發的宣稱都應持審慎態度。