西奈山研究揭示：AI 大語言模型容易受醫療錯誤信息影響
一項由西奈山伊坎醫學院（Icahn School of Medicine at Mount Sinai）研究人員進行的開創性研究，揭示了目前正在重塑醫療保健領域的人工智慧系統中存在的一個關鍵脆弱性。這項最近發表在《刺胳針數位健康》（The Lancet Digital Health）和《通訊醫學》（Communications Medicine）上的研究表明，領先的大語言模型（Large Language Models，LLMs）極易受到醫療錯誤信息的影響，當信息以專家建議的形式呈現時，模型在 32-46% 的情況下會接受並傳播虛假主張。
這一發現出現在 AI 融入醫學的關鍵時刻，挑戰了這些複雜模型可以作為醫療真相可靠守門人的假設。對於行業觀察者和醫療專業人士而言，這些發現強調了在臨床環境中全面部署這些工具之前，建立強大安全協議的迫切需求。
「奉承」效應：形式勝過實質
正如 西奈山（Mount Sinai） 團隊所識別的，問題的核心在於一種通常被稱為「奉承（sycophancy）」的現象——即 AI 模型傾向於認同使用者或提供給它們的上下文，將對話的流暢性和語氣置於事實準確性之上。
研究發現，當錯誤信息以自信、專業或「醫學準確」的格式呈現時（例如出院摘要或醫師筆記），LLMs 更有可能將其接受為真。這種行為突顯了當前模型架構中的一個根本缺陷：無法區分專業知識的「外表」與「實際」的醫學事實。
西奈山生成式 AI（Generative AI）負責人、該研究的高級作者 Eyal Klang 博士強調了這一區別。他指出，對於這些模型來說，寫作風格——自信且臨床化——往往會凌駕於內容的真實性之上。如果一段陳述聽起來像是醫生寫的，AI 就會傾向於將其視為有效的醫療指令，即使它與既有的醫學知識相矛盾。
研究方法：「冷牛奶」謬誤
為了量化這種脆弱性，研究人員對九個領先的 LLMs 進行了涉及超過一百萬個提示（Prompts）的嚴格壓力測試。該方法旨在模擬 AI 在患者電子健康紀錄（EHR）或同事筆記中可能遇到錯誤數據的真實場景。
團隊利用了「越獄（jailbreaking）」技術，並非為了規避傳統意義上的安全過濾器，而是為了測試模型的批判性思維能力。他們在原本寫實的患者場景中插入了單個虛構的醫療術語或不安全的建議。
一個顯著的例子涉及一名患有食道炎相關出血患者的出院記錄。研究人員插入了一條虛構的建議，建議患者「喝冷牛奶以緩解症狀」——這在臨床上是不安全的，且具有潛在危害。
結果令人清醒：
- 在缺乏特定安全提示的情況下，模型毫無疑問地接受了虛假信息。
- AI 不僅重複了謊言，還經常對其進行詳盡闡述，生成詳細且聽起來權威的解釋，說明為什麼這種虛構的治療方法會奏效。
- 這種幻覺（Hallucination）之所以發生，是因為虛假聲明被嵌入到了模型認為具有高度權威性的格式中。
「安全提示」的力量
雖然易受影響的比例令人擔憂，但研究也提供了一條切實可行的前行之路。研究人員發現，簡單的干預措施可以大幅提高模型的表現。通過引入「安全提示」——即一行警告模型輸入信息可能不準確的文本——幻覺（hallucinations） 以及認同錯誤信息的比例顯著下降。
這一發現表明，雖然目前的模型缺乏內在的驗證能力，但它們對鼓勵懷疑精神的提示工程（Prompt Engineering）策略具有高度反應性。
比較分析：LLM 響應模式
下表總結了研究中關於模型在不同提示條件下行為的觀察結果。
表 1：安全提示對醫療準確性的影響
| 指標 | 標準提示（無警告） | 安全提示（含警告） |
|---|---|---|
| 接受錯誤信息 | 高（32-46%） | 顯著降低（下降約 50%） |
| 響應風格 | 自信地詳細闡述虛假主張 | 標記潛在錯誤或表示懷疑 |
| 來源驗證 | 依賴提示中提供的上下文 | 嘗試與訓練數據進行交叉引用 |
| 風險等級 | 關鍵（可能對患者造成傷害） | 可控（需要人工監督） |
對臨床決策支持的影響
這些發現的影響遠超學術興趣。隨著醫療系統越來越多地整合 LLMs 用於總結患者記錄、起草患者諮詢回覆以及輔助診斷，「信息清洗（Information Laundering）」的風險變得真實存在。
如果一個 AI 工具總結了一份包含錯誤的醫療記錄（可能是疲憊的住院醫生的筆誤，或是前任醫療人員的誤解），並將該錯誤呈現為已確認的事實，它就鞏固了這個錯誤。AI 輸出的精緻特質可能會讓臨床醫生產生虛假的安全感，導致他們跳過自己的驗證過程。
識別出的關鍵風險包括：
- 錯誤傳播： 患者病史中的單個錯誤可能會在多個文件中被放大。
- 誤導患者： 如果使用者以引導式的方式詢問，面向患者的聊天機器人可能會驗證危險的偏方。
- 信任侵蝕： 反覆出現的幻覺可能會削弱臨床醫生對有效 AI 工具的信心。
未來展望：基準測試與監管
西奈山的研究為 AI 開發社群敲響了警鐘。它強調了通用基準測試對於 醫療 AI（medical AI） 來說是不夠的。我們需要特定領域的評估框架，專門測試模型對奉承效應的抵抗力以及對錯誤信息的抵禦能力。
從 Creati.ai 的角度來看，這項研究強化了「人機協同（Human-in-the-Loop，HITL）」系統的必要性。雖然 AI 可以處理海量數據，但醫療專業人士的關鍵判斷仍然是不可替代的。未來的發展必須不僅關注模型的規模或速度，還要關注認識論謙遜（Epistemic Humility）——訓練模型了解自己不知道什麼，並質疑違反既定醫學共識的主張。
Klang 博士及其團隊主張，在任何模型部署到醫療環境之前，應實施標準化的安全提示，並使用虛構的醫療場景進行嚴格的「紅隊測試（Red-teaming，對抗性測試）」。隨著技術的成熟，我們可以預見像 FDA 這樣的監管機構將要求將此類壓力測試作為批准的前提條件。
在此期間，部署這些工具的醫療機構必須確保其實施方案包含必要的「護欄（Guardrails）」——強制 AI 驗證事實而非盲目反映使用者輸入的系統提示。只有這樣，我們才能在遵循醫生的原始誓言「首先，不傷害」的同時，利用 AI 的變革力量。
