你的醫生用 AI 寫給你的訊息，可能會要你的命——而沒人告訴你
去年我和一位醫療系統的技術長（CTO）通話時，他說了一句話，讓我瞬間僵住。
「我們現在用 GPT 來草擬病患入口網站的訊息。醫生很喜歡，每週能替他們省下好幾個小時。我們的 AI 導入基本上已經大功告成了。」
大功告成。這四個字像一塊石頭壓在我胸口。因為我才剛讀完一項研究——發表於《刺胳針數位健康》（The Lancet Digital Health）2024 年 4 月號，由哈佛醫學院、耶魯大學與威斯康辛大學的研究人員共同進行——而它講述的是一個截然不同的故事。在那項研究中，GPT-4 在一套模擬的電子健康紀錄系統內草擬了 156 則病患入口網站訊息。其中 7.1% 的草稿存在造成嚴重傷害的風險。有一則——占 0.6%——構成直接的死亡風險。
接下來這個數字讓我放下咖啡，把那段話重讀了三遍：二十位審閱這些 AI 草稿的執業初級照護醫師，平均漏掉了 66.6% 的危險錯誤。
這位技術長並非疏忽。他所做的，正是整個產業都在做的事——把一個通用型語言模型包在一層薄薄的軟體之外，指向病患訊息，然後寄望於流程末端一位醫生的雙眼，能攔下任何出錯之處。
過去這幾年，我一直在 Veriprajna 打造具備扎根性（grounded）的 AI 系統——這類系統錨定於經過查證的知識，而不僅僅是統計機率。而這項研究，把我一直在那些人們不願聆聽的場合中所主張的觀點，具體化了：所謂的「人在迴路中」（human-in-the-loop）並不是一種安全機制。它是一種祈禱。
當 AI 替你的醫生撰寫回覆時，會發生什麼事？
讓我先描繪一下這項技術為何一開始就會存在，因為這份需求既真實又急迫。
美國的初級照護醫師平均每個月要花10 個小時光是回覆病患入口網站的訊息。順帶一提，這是無償的工作——歷來無法計費。它是造成醫師倦怠危機的主要推手之一，這場危機正把醫生徹底逼出醫界。
因此，當能夠草擬出富有同理心、內容詳盡、文法工整的病患問題回覆的 AI 工具問世時——這些回覆在感知品質上，往往比疲於奔命的醫師在晚上 11 點寫出的東西還要更高——採用的速度極為迅速。Epic 的 MyChart 整合了 AI 草擬功能。新創公司募得數億美元。醫療系統歡慶效率的提升。
我懂。我是真的懂。倦怠問題對我而言絕非抽象。我曾與一些醫師面對面而坐，他們形容自己的收件匣是第二份全職工作，一份讓他們開始怨恨那些當初立志從醫要幫助的病患的工作。
但在醫療領域，只有效率而沒有準確度並不是創新。那是在等一位原告上門的疏失。
那項本該成為火警警報的《刺胳針》研究
2024 年 4 月的這項研究並不是什麼小型試驗或意見文章。它是一項橫斷面模擬研究，讓執業臨床醫師在逼真的電子健康紀錄環境中審閱 AI 生成的草稿。研究人員刻意在部分草稿中植入錯誤——正是大型語言模型（LLM）實際會產生的那種錯誤——然後觀察後續的發展。
後續的發展令人痛心。
90% 的審閱醫師表示信任該 AI 工具的表現。他們發現它降低了自身的認知負荷——有 80% 的人同意這一點。這些草稿流暢、富同理心、結構完善。它們讀起來感覺是對的。
但只有二十位醫師中的一位抓出了全部四則刻意植入錯誤的草稿。就一位。而在這些錯誤草稿中，有 35% 到 45% 被送交給病患，而且是完全未經編輯
當一則 AI 草稿讀起來比一位疲憊的醫生在 12 小時輪班結束時所寫的還要好時，本能反應並不是仔細審視它，而是點下傳送。
這種現象有個名稱：自動化偏誤（automation bias）——這是一種有充分文獻佐證的傾向，即人類會過度依賴自動化的建議，所施加的批判性審視程度，比對自己或同事的工作時還要低。《刺胳針》的研究人員發現這種相關性具有統計顯著性（p < 0.001）：AI 草稿表面上看起來愈好，醫師就愈可能漏掉其中埋藏的臨床錯誤。
這些錯誤並非打字錯誤，而是臨床推理的失誤。AI 捏造了醫療資訊，引用了過時的診療準則。在那個被標記為死亡風險的案例中，它未能告訴一位正經歷危及生命症狀的病患前往急診室——反而生成了一則平靜、令人安心、卻致命地錯誤的非緊急回覆。
我一再回想起那個具體的案例。那則訊息讀起來大概很優美。溫暖、富同理心、內容詳盡。而如果一位病患聽從了它的建議，他們可能已在家中等待週一的門診時死去。
為什麼「醫生在迴路中」一再失靈？
我曾就此和一位打造臨床 AI 工具的同行爭論過。他的立場很直接：「醫生會審閱每一則。那就是安全網。」
我問了他一個問題：「如果你給一位醫生一疊 50 則訊息，其中 48 則都完全沒問題，然後告訴他們這些全是 AI 寫的——你覺得他們會多仔細地讀第 37 則訊息？」
他頓了一下。
這正是核心問題所在。人在迴路中的模式假設人類的注意力是恆定的、假設疲勞不會削弱警覺、也假設 AI 文筆的品質不會影響審閱的深度。這些假設全都是錯的，而《刺胳針》的數據證明了這一點。
當人已經在心理上被預先誘導去信任機器時，「人在迴路中」就不再是一種安全機制。
此外還有一個更深層的架構性問題。標準的大型語言模型是自迴歸的（auto-regressive）——它們根據統計機率預測下一個字詞，而不是依循結構化的醫療推理。它們並不「理解」某個症狀是緊急的。它們並不「知道」某項準則上個月才更新過。它們生成的文字聽起來像是出自一位知識淵博的臨床醫師之手，因為它們接受過數百萬則知識淵博的臨床醫師書寫範例的訓練。但在醫療領域，聽起來像對的與確實是對的，是危險地大不相同的兩回事。
我在我們研究的互動版本中深入撰寫了關於這個架構落差的內容，不過簡短的版本是：LLM 沒有一個關於病患的模型。它有的是一個關於語言的模型。而這兩者並非同一回事。
加州剛剛讓這件事成了每個人的問題
就在研究界拉響警報之際，加州的立法機關正在草擬法律。第 3030 號議會法案（Assembly Bill 3030）於 2024 年 9 月簽署，並自 2025 年 1 月 1 日起生效。它要求加州境內每一家醫療機構、診所與醫師執業單位，只要在傳達臨床資訊時使用了生成式 AI，就必須通知病患。
書面訊息需在最上方附上免責聲明。語音訊息需在開頭與結尾進行口頭告知。視訊與聊天通訊則需全程顯示免責聲明。
有趣之處就在這裡——也是我認為大多數醫療系統誤讀了這條法律之處。
AB 3030 包含一項豁免條款：若一位有執照的醫療提供者已「閱讀並審閱」該 AI 生成的通訊內容，則告知規定便不適用。書面上看，這像是一張免死金牌。讓醫生留在迴路中，省去免責聲明，並維持每一則訊息都是親自撰寫的假象。
但把這項豁免條款與《刺胳針》的數據並列——66% 的錯誤被漏掉、35% 到 45% 的危險草稿未經編輯即送出——你就有了一顆法律上的定時炸彈。一個聲稱其醫師「閱讀並審閱」了 AI 草稿的醫療系統，若那些醫師明顯漏掉了三分之二的錯誤，那它並不合規。它是暴露在風險之中。
在那通電話裡，我告訴那位技術長：「這項豁免條款不是一面盾牌。它是一個責任加速器——除非這項技術能主動幫助審閱者攔下他們大腦天生就會漏掉的東西。」
「LLM 包裝層」這套做法到底哪裡出了錯？
眼下大多數 AI 醫療新創公司所打造的，是我所稱的包裝層（wrappers）——一層薄薄的軟體，把病患資料傳送到某個商用 LLM API，再把回應加上一些格式後傳回。它們建置快速、易於展示，但用於臨床卻根本不足以勝任。
有三個問題讓包裝層變得危險：
知識截止點是看不見的殺手。公開的 LLM 是在靜態資料集上訓練的。它們不知道上一季更動的準則、上個月被標記的藥物交互作用，或病患今早的檢驗結果。一個未整合即時臨床資料的包裝層，是在真空中生成回應——而審閱這份草稿的醫師甚至可能沒意識到這個真空存在。
詞元預測不是臨床推理。當 GPT-4 寫下「你應繼續服用目前的藥物」時，它並沒有在評估你的腎功能、你的藥物交互作用，或你最新的血液檢查。它是在預測哪些字詞在統計上有可能接在前面的字詞之後。在放射學、腫瘤學，以及任何需要細膩診斷判讀的領域，語言流暢度與醫療準確度之間的這道落差，正是病患受害之處。
資安是事後才想到的事。許多通用型 LLM 介面本質上並不符合 HIPAA 規範。若缺乏嚴謹的資料遮罩與適當的商業夥伴協議（Business Associate Agreement），每一則透過商用 API 傳輸的病患訊息，都是一次潛在的隱私外洩。而提示注入攻擊（prompt injection）——即以對抗性輸入誘騙模型洩露內部脈絡或病患資料——在包裝層架構中，仍是一個大致上未被處理的漏洞。
如何打造真正對病患安全的 AI？
這裡我要從批評者轉為建造者，因為沒有替代方案的批評只是噪音。
在 Veriprajna，我們一直在開發我所謂的扎根式 AI（grounded AI）——在這類系統中，語言模型絕不會是唯一的真相來源。它始終與經過查證的臨床知識相繫，並且對於答案的來源始終保持透明。
檢索層改變了一切
檢索增強生成（Retrieval-Augmented Generation，RAG）是基礎所在。在 AI 為一則病患回覆生成任何一個字之前，它會先從一個經過查證的語料庫中檢索相關文件：病患的臨床紀錄、現行的機構準則、經同儕審查的文獻。模型接著會依據這份檢索到的脈絡來構思回應，而不僅僅依據其訓練資料。
這不是一項小小的微調。它是一種從根本上就不同的架構。以 RAG 為基礎的系統能夠引用來源——「根據您 3 月 12 日的檢驗結果與現行的 ACC/AHA 準則……」——這讓醫師的審閱從「這聽起來對嗎？」轉變為「這個來源正確嗎？」。第二個問題要好回答得多，即使是在週四晚上 11 點也一樣。
知識圖譜賦予 AI 一項包裝層永遠給不了的東西：關係
下一層是醫療知識圖譜（Medical Knowledge Graphs）——這是一種結構化的網路，它把臨床知識表示為彼此相連的概念，而非文字。一個知識圖譜不只知道二甲雙胍（metformin）是一種糖尿病藥物。它知道二甲雙胍的作用機轉、它在腎功能損害時的禁忌症、它與顯影劑的交互作用，以及低於某個特定 eGFR 閾值就應停用它。
像 MediGRAF 這樣的系統使用 Neo4j 之類的圖形資料庫，將精確的結構化查詢與敘事式檢索結合，達成了在事實性臨床查詢上 100% 的召回率，同時對於複雜推論仍維持安全標準。當我第一次看到那些召回率數字時，我是抱持懷疑的——於是我們拿那些曾讓我們評估過的每一套包裝層系統都栽跟頭的邊緣案例，對這套做法進行了壓力測試。而這套圖譜撐住了。
若想完整了解這些架構做法的技術剖析——RAG 流程、知識圖譜整合、概念層級的建模——請參閱我們詳盡的研究論文。
那個沒人願意談的測試問題
我記得一家醫療 AI 新創公司的一場展示——精緻、令人印象深刻，正是那種讓投資人伸手去掏支票簿的東西。那個 AI 草擬了一則關於如何管理新確診糖尿病的病患訊息。它溫暖、周全、可付諸行動。
我問道：「如果我告訴系統，我對它剛剛推薦的那種藥物過敏，會怎麼樣？」
那位創辦人頓了一下。「醫生會抓到那一點的。」
又來了。那場祈禱。
打造安全的臨床 AI 需要對抗性測試（adversarial testing）——不是作為事後補救，而是作為一種持續、自動化的流程。在 Veriprajna，我們使用像Med-HALT（醫療領域幻覺測試）這樣的框架，它是專為透過各種技術來辨識醫療 AI 幻覺而設計的，例如「假信心測試」（False Confidence Test），即挑戰模型去評估一個隨機提出的錯誤答案，以及「假問題測試」（Fake Questions Test），用以判斷模型能否辨識出捏造的醫療問題。
我們也執行自動化的紅隊演練——模擬攻擊，探測提示注入的漏洞、試圖透過間接提問來抽取病患資料的手法，以及試圖繞過臨床防護機制的越獄模式。每一天。不是每一季。不是在發布之前。每一天。
如果你的 AI 系統這一週還沒被紅隊攻擊過，你就不知道它是否安全。你只知道它在你上次檢查時是安全的。
近期研究中有一項發現讓我念念不忘：像 MedGemma 這樣「醫療專用」的模型，在某些基準測試上的準確度僅有 28% 到 61%，反而是更廣泛的推理模型表現勝過它們。這個含義有違直覺，卻很重要——臨床 AI 的安全性源自成熟的推理能力，而不僅僅是特定領域的微調。在一個模型上貼一張醫療標籤，並不會讓它在醫療上變得安全。
醫療過失的版圖正在每個人腳下移動
以下是過去一年我與三位不同醫院的法務長進行過的對話，而且每一次的走向都大致相同。
我：「如果你們的 AI 草擬了一則傷害到病患的訊息，而審閱的醫師漏掉了那個錯誤，誰要負責？」
他們：「醫師。是他審閱並核准的。」
我：「那麼，如果原告的律師證明你們的系統在設計上，會在心理上誘導醫師去漏掉錯誤——即 AI 的流暢感造就了一種虛假的安全感——這會改變你們的分析嗎？」
一片沉默。
醫療領域的照護標準正在演變，以將 AI 納入考量。法院已開始認知到，未使用一項本可預防某個錯誤的、經過驗證的 AI 工具，可能構成失職。但反過來的情況也正在浮現：使用一項未經驗證的AI 工具，或以一種削弱人類監督的方式使用一項經過驗證的工具，都會製造出各自的法律責任。
模型漂移使這問題雪上加霜。AI 系統隨著在新資料上重新訓練，會隨時間退化。六個月前通過你安全評估的那個模型，可能已不是今天正在生成病患訊息的那個模型。若缺乏受版本控管的稽核日誌，明確記錄是哪個模型產出了哪個輸出、以及它遵循了哪些推理步驟，一個醫療系統在法庭上便毫無可辯護的立場。
一些較新的醫療過失責任保險產品，已開始承保與 AI 相關的索賠，但它們通常額度偏低，且要求提供人類監督的書面佐證——而那正是《刺胳針》研究所顯示並不可靠的那種監督。
「但病患更喜歡 AI 寫的訊息」
有人拿這一點來反駁我，而我想誠實地面對它，因為那項數據是真實的。多項研究已顯示，病患對 AI 草擬訊息在同理心與詳盡度上的評分，高於醫師親自撰寫的訊息。這並非無足輕重。在一個病患感覺自己不被傾聽的醫療體系中，一個願意花時間去解釋、去體認、去安撫的 AI——那確實具有真正的價值。
但研究同時也顯示：當病患得知有 AI 涉入時，病患滿意度評分會下降。這裡存在一種反向的自動化偏誤在起作用——病患看重的是那份「我的醫生親自參與了我的照護」的信念。這段臨床關係對他們而言至關重要，而且他們感覺得出來這段關係何時被中介了，即使這種中介產出的是一則「更好」的訊息。
這告訴了我一件關於 AI 在這套工作流程中該歸屬何處的重要事情。它不該替醫生當代筆的影子作者。它該去做那些結構化、可檢索、可查證的工作——調出檢驗結果、比對準則、標記交互作用——好讓醫生有餘裕，為那位確實需要一則真正個人化回覆的病患，寫下這樣的回覆。
臨床 AI 的目標不是取代醫生的聲音。而是把時間還給醫生，讓他得以運用那個聲音。
接下來會如何發展
我不打算以一句模稜兩可的「時間會證明一切」或一段對我公司的軟性推銷來作結。我要告訴你我所相信的。
當前這一代的 AI 病患訊息工具將會造成傷害。不是可能——是必將。這道算術很直白：AI 草稿中 7.1% 的嚴重傷害率、審閱醫師 66% 的漏檢率，再乘上全美醫療體系每月數以百萬計的病患入口網站訊息。事故將會累積。訴訟將會接踵而至。而監管的回應將既生硬又嚴厲，因為證明這一切早可預見的證據，已然發表於《刺胳針》。
能避開這一切的醫療系統，不是那些行動遲緩的，而是那些以不同方式行動的。那意味著扎根於經查證醫療知識的 RAG 架構；意味著賦予 AI 結構化臨床推理、而非統計式字詞預測的知識圖譜；意味著持續運行、而非儀式性走過場的對抗性測試；也意味著旨在抵銷、而非利用自動化偏誤的審閱介面。
我們打造 Veriprajna 就是為了做這項工作——不是因為我們看到了某個市場機會，而是因為我眼看著一群聰明、立意良善的人部署著可能傷害病患的系統，而他們所打造的與證據所要求的之間的落差，令人無法容忍。
醫療的第一條準則是primum non nocere——首要之務，不傷害。過去兩年，我們一直在打造把這條準則當作工程約束、而非行銷口號的 AI。要把這件事做對的技術，是存在的。證明當前這套做法危險的研究，是存在的。剩下唯一的問題是：這個產業會不會在證據對它動手之前，先根據證據採取行動。