AI News

NVIDIA 已發布一套開發工作流程,展示 AI 編碼代理如何協助工程師使用 NVIDIA Holoscan 建構即時應用程式;Holoscan 是其邊緣 AI 平台,適用於醫學影像與機器人等工作負載。該公司採用這種方法,打造了一個可重複使用模型、即時視覺化、遙測與基準測試的內視鏡工具分割應用程式。

這篇文章與其說是新的產品公告,不如說更像是 NVIDIA 對開發者如何將 AI 編碼代理與結構化儲存庫、命令列工具與人工審查結合的實務示例。其核心論點是:當代理在明確的工程限制與可重複的開發流程中運作時,比起試圖用單一提示就生成整個應用程式,更有價值。

以迭代方式建立的醫學影像應用程式

NVIDIA 的範例重用了既有的 MONAI 內視鏡工具分割模型與一段 Holoscan 範例影片。公司首先確認現有的 monai_endoscopic_tool_seg 應用程式可在本機執行,接著圍繞同一深度學習管線開發另一個應用程式。

新應用程式的設計目標是加入分割遮罩的即時渲染、統計分析、執行時遙測與可重複的效能基準測試。NVIDIA 將目標描述為端到端即時工作流程,但所提供的說明並未給出具體的吞吐量、延遲、硬體或基準數據。

工程師並未要求編碼代理一次完成所有內容,而是把工作拆成更小的問題。這些問題包括:環境是否正確設定、模型與影片是否能在新應用程式中運行,以及是否能在不破壞現有功能的前提下改善渲染效能。

每次迭代都採取類似的結構:工程師設定目標與限制,代理檢視相關範例與文件,代理實作並測試變更,工程師則在定義下一個任務前檢查產生的程式碼與輸出。隨著應用程式變得更複雜,這個過程讓設計決策仍可被審查。

Holoscan 工具如何引導代理

這套工作流程結合了三項資源:HoloHub 儲存庫、開發 skills,以及 Holoscan CLI。HoloHub 是 NVIDIA 為 Holoscan 提供的參考應用程式與元件集合。其文件透過 agents.md 採用漸進式揭露結構,讓代理能找到越來越具體的指引,而不是只接收一大塊未經整理的材料。

開發 skills 包括 holohub-app-lifecycleholohub-debug-build-run。它們描述了預期的應用程式生命週期,以及偵錯、建置與執行專案所需的操作。Holoscan CLI 則透過 ./holohub 包裝器呼叫,提供共用的執行介面。

這個共用介面不只是方便而已。代理可以透過與工程師相同的 CLI 指令來發現並執行開發操作,而工程師也能檢查、重複與稽核這些指令。原則上,這縮小了代理生成的程式碼與驗證它所用指令之間的落差。

NVIDIA 表示,這套工作流程不依賴特定代理。示範中使用的是搭配 GPT-5.6 的 Codex,並採用「sol max」模式,同時指出文章中提到的處理時間僅為近似值。因此,這個範例展示的是一種流程,而不是證明 Holoscan 開發必須依賴某個特定模型或代理。

證據顯示了什麼,以及沒有顯示什麼

NVIDIA 報告指出,隨著實作被基準測試與最佳化,迭代式開發提升了應用程式吞吐量並降低延遲。公司也描述了一項消融研究,結果顯示 Holoscan CLI、開發 skills 與文件或範例的組合,比只使用文件或只使用 CLI 更能產生高效率且高品質的工作流程。

這些結果由供應商自行報告。原始資料沒有指出獨立評估者,也未揭露完整測試設定,沒有提供數值型基準測試結果,也沒有說明這套工作流程在不同代理、模型、應用程式或硬體配置上的表現。因此,這些結果應被視為 NVIDIA 自身開發實驗的證據,而不是對 AI 輔助工程的普遍效能保證。

不過,這篇文章對代理使用提供了比「程式碼助理可以寫軟體」這種泛泛之談更具體的訊號。代理被提供了一個既有程式碼庫、參考實作、流程文件,以及關於模型重用、視覺證據與模型權重完整性的明確限制。人工審查仍是每次迭代的一部分,而設定下一個目標的則是工程師,而不是代理。

這種區分對即時與醫療工作負載尤其重要。生成的實作可能可以編譯或產生視覺結果,但仍可能違反延遲目標、改變模型行為,或讓效能難以重現。NVIDIA 的工作流程把這些風險視為需要測試的工程問題,而不是交給模型處理的假設。

對開發者與企業團隊的意涵

對 Holoscan 開發者而言,最直接的啟示既是組織層面的,也是技術層面的:代理需要可導航的專案結構與操作工具。具備範例、生命週期說明、偵錯程序與標準指令的儲存庫,能讓代理在不熟悉的基礎架構中有一條受限的路徑可走。

這種方法也可能幫助團隊在不丟棄已驗證元件的情況下現代化參考應用程式。NVIDIA 的範例中,分割模型與範例輸入被重複使用,同時周邊應用程式增加了視覺化與遙測。這比要求代理選擇模型、設計架構,並從零建立整個醫療影像管線,更狹窄且更可控。

對企業買家與產品團隊而言,這套工作流程突顯了幾個部署問題。團隊需要決定哪些生成的變更必須經過人工核准、如何保護模型權重與資料、目標裝置上的基準測試是否可重現,以及當代理修改渲染或管線程式碼時如何偵測回歸。在受規範或安全敏感的環境中,指令與測試輸出的可稽核性,可能與程式碼生成速度同樣重要。

這個範例也指出了不同編碼代理平台之間的競爭差異。價值不一定只來自底層語言模型,也可能取決於代理能否有效連接領域文件、可執行工具、參考應用程式與評估迴圈。NVIDIA 的貢獻在於把這些元素包裝在 Holoscan 與 HoloHub 周圍,同時保留代理層可替換的特性。

接下來值得關注什麼

下一個有價值的訊號,是 NVIDIA 是否會公布這個內視鏡應用程式的數值結果,包括硬體配置、基準比較、吞吐量、延遲,以及代理協助迭代的成本或時間。這些細節將更容易評估其聲稱的最佳化效果。

開發者也應留意 HoloHub 是否為其他 Holoscan 工作負載,例如機器人或其他醫學影像管線,加入更多面向代理的 skills 與範例。更廣泛的覆蓋將顯示這套工作流程是否能推廣到單一應用程式之外。

最後,針對不同編碼代理與模型的獨立測試,將有助於將 NVIDIA 儲存庫與 CLI 的貢獻,與示範中所使用的特定代理能力區分開來。關於失敗率、審查成本與可重現性的證據,對企業採用尤其重要。

Creati.ai 觀點

NVIDIA 的公告最好被理解為受限代理式工程的藍圖,而不是證明 AI 編碼代理能獨立開發可上線的即時醫療軟體。這個範例最強的部分,是回饋迴圈:受限目標、可執行工具、經過基準測試的輸出,以及人工審查。

對 AI 建構者而言,更廣泛的啟示是實務上的。當團隊把專案知識轉化為容易搜尋的指令,並把驗證納入與實作相同的工作流程時,代理會更可靠。NVIDIA 的 Holoscan 技術堆疊能否在規模化下帶來這種優勢,將取決於獨立基準測試、更廣泛的範例,以及這套流程能在不削弱可靠性或監督的前提下減少工程工作量的證據。

精選

NVIDIA 詳述以代理協助的 Holoscan 醫療 AI 應用建置工作流程

NVIDIA 詳述一套以代理協助的 Holoscan 工作流程,透過 CLI、skills 與 HoloHub 建置並評測即時醫療 AI 應用。