AI News

警鐘長鳴:當自主代理反戈一擊企業系統

CodeWall 網絡安全研究人員最近的演示向企業 AI 部門發出了令人膽寒的信息。一個自主攻擊型 AI 代理(Autonomous offensive AI agent)在沒有人類干預、憑證或事先內部知識的情況下,在不到兩小時的時間內成功入侵了 McKinsey(麥肯錫)的內部生成式 AI(Generative AI)平台「Lilli」。雖然科技行業一直過度關注「殺手機器人」的生存風險或複雜的提示詞注入(Prompt injection)攻擊,但這一事件殘酷地提醒人們,對 AI 基礎設施最危險的威脅往往源於已存在數十年的基礎安全漏洞。

這次事件不僅僅是一次數據洩漏;它是網絡戰爭新時代的正名實驗。隨著各組織爭先恐後地將生成式 AI 集成到其工作流程中,他們在無意中擴大了攻擊面,創造了自主代理可以以機器速度識別、利用和滲透系統的環境。對於 McKinsey 這家建立在數據隱私和戰略機密支柱之上的公司來說,這個被超過 40,000 名員工使用的內部平台遭到入侵,說明了我們在保障企業 AI 安全方面迫切需要範式轉移。

機器速度入侵的剖析

這次由 CodeWall 進行的入侵,利用了一個旨在識別公開 API 文件(API documentation)中漏洞的自主代理。與可能花費數天或數週進行偵察的人類攻擊者不同,CodeWall 的代理以計算速度運行。在 120 分鐘內,該代理獲得了對支撐 Lilli 的生產數據庫的完整讀寫訪問權限。

自主代理如何運作

該代理並不依賴異國情調的 AI 特有漏洞。相反,它系統地映射了基礎設施,並識別出列有 200 多個端點(Endpoints)的暴露技術文檔。其中,22 個端點不需要身分驗證。通過對這些端點進行迭代,該代理發現了一個經典的 SQL 注入(SQL injection)漏洞。

該代理的效能因其自主性而放大。它能夠:

  • 執行自動化偵察(Automated Reconnaissance): 掃描數百個 API 端點而不會感到人類的疲勞。
  • 執行迭代漏洞利用(Iterative Exploits): 嘗試十五種盲目 SQL 注入變體,從每次失敗嘗試的錯誤信息中學習,直到找到成功的向量。
  • 大規模數據外洩(Exfiltrate Data at Scale): 一旦進入系統,它編目了 4,650 萬條聊天消息、728,000 個內部文件和 57,000 個用戶帳戶,證明了 AI 代理可以像人類一樣有效地導航複雜的數據結構,但速度明顯更快。

「數十年之久」漏洞的諷刺之處

McKinsey 案例中最令人震驚的方面或許是攻擊向量本身:SQL 注入。這是一類自 1990 年代以來就有記錄的漏洞。一個尖端的生成式 AI 平台竟然會淪為「基礎」網絡漏洞的犧牲品,這一事實凸顯了 AI 能力的發展與圍繞它們的安全基礎設施成熟度之間的脫節。

該事件為開發者強調了一個至關重要的教訓:AI 系統首先是軟件系統。當開發者圍繞大型語言模型(Large Language Models, LLMs)構建包裝器以將其連接到數據庫時,他們實際上是在構建新的 Web 應用程序。如果連接 LLM 和數據庫的 API 層未能清理輸入——正如 Lilli 的情況,JSON 字段名被直接注入到查詢中——AI 的高級推理能力與主機服務器的漏洞相比就變得次要了。

漏洞景觀對比

下表對比了標準 Web 應用程序面臨的傳統安全挑戰與現代 AI 集成平台升級後的風險概況。

漏洞類型 攻擊機制 AI 平台的風險等級
SQL 注入 通過未經驗證的輸入將惡意代碼注入數據庫查詢
直接訪問 RAG 數據和系統提示詞
提示詞注入 操縱 LLM 指令以繞過防護欄 關鍵
可能導致數據外洩或惡意代碼執行
未經授權的 API 存取 利用微服務中未經身份驗證的端點
為自動化代理提供入口點
模型反演 從模型輸出中重建訓練數據
洩露敏感客戶信息的風險

AI 代理作為新的威脅向量

雖然 McKinsey 的入侵是一次受控的紅隊演練(Red Teaming),但它展示了一個自主代理將被惡意行為者用來擴大攻擊規模的未來。代理自主選擇目標、研究其文檔、識別薄弱端點並執行漏洞利用循環的能力是一種力量倍增器。

傳統上,如果目標證明太有韌性或太耗時,人類黑客可能會選擇轉移目標。AI 代理則不受此類約束。它可以 24/7 持續工作,同時跨多個目標,使其成為下一代網絡威脅的重要工具。

對企業安全的啟示

對於企業來說,結論很明確:如果「影子 AI」和快速部署的內部工具不具備與核心財務或面向客戶的系統同樣嚴格的安全標準,它們就可能成為負擔。

  1. 紅隊演練至關重要: 正如 CodeWall 所演示的,AI 代理可用於執行授權的滲透測試。公司應該部署自己的防禦性代理,在惡意代理採取行動之前不斷探測其基礎設施。
  2. 輸入清理仍然是準則: AI 層不能成為粗糙後端代碼的盾牌。安全的編碼實踐——參數化查詢、輸入驗證和嚴格的 API 身份驗證——是第一道也是最有效的防線。
  3. AI 的角色權限控制: 像 Lilli 這樣的系統通常可以訪問龐大的數據庫。AI 代理應受「最小權限」原則約束,確保即使 AI 被攻陷,攻擊者也無法轉向整個生產數據庫。

前行之路

McKinsey 事件並不是 AI 本身不安全的跡象,而是安全行業正在追趕 AI 部署的速度。隨著這些平台成為主要諮詢公司和企業的「神經系統」,保護它們的責任已從 IT 部門移交到了董事會。

McKinsey 在數小時內將平台下線並修復漏洞,這證明了強大、主動的披露政策和敏捷的安全響應團隊的重要性。然而,隨著 AI 代理變得更加複雜,人類響應可用的時間窗口將會縮小。企業的最終目標將是構建「設計安全」(Secure by design)的 AI 平台,其架構本身就能防止定義了近期事件的那種自動化、機器速度的漏洞利用。

Creati.ai 將繼續密切跟蹤這些發展。人與人之間的 網絡安全(Cybersecurity) 時代正迅速讓位於 AI 對 AI 的未來,對於企業而言,這意味著昨天的防禦工具已不足以保障明天的業務模式。

精選

AI代理利用已有數十年的提示注入技術,在不到兩小時內入侵麥肯錫的內部AI平台

資安研究人員示範了一個自主AI代理如何利用提示注入——一種廣為人知但仍未被充分緩解的攻擊向量——在不到兩小時內成功入侵麥肯錫的內部AI系統,對企業AI安全提出緊迫的擔憂。