AI 病患訊息存在 7% 的嚴重傷害率

問題所在

一套 AI 為一名描述危及生命症狀的患者草擬了回覆。它並未告知患者前往急診室，而是發送了一則平靜的常規回覆。那則單一訊息後來被歸類為構成直接的死亡風險。

這並非邊緣性失誤。在 2024 年 4 月發表於《刺胳針數位健康》（The Lancet Digital Health）的一項研究中，來自哈佛醫學院、耶魯大學與威斯康辛大學的研究人員測試了 GPT-4 草擬病患入口網站訊息的能力。他們在模擬電子病歷系統內，透過該 AI 運行了 156 場模擬患者對話。結果令人震驚：7.1% 由 AI 生成的草稿對患者構成嚴重傷害風險。而 0.6%——模擬中的一則訊息——帶來了直接的死亡風險。

但最令人徹夜難眠的部分在於此：二十位執業基層醫療醫師審查了這些 AI 草稿，他們平均漏掉了三分之二的危險錯誤。二十位醫師中只有一位發現了全部四則刻意設計的缺陷訊息。35% 至 45% 的錯誤草稿在未經任何修改的情況下直接發送給患者。醫師們信任這套 AI。90% 的醫師表示信任該工具的表現；80% 的醫師表示它減輕了他們的心智負擔。AI 文筆流暢、語帶同理心且語氣拿捏得當，它只是在醫學上出錯了——而醫師們並未察覺。

如果貴醫療體系正在使用 AI 草擬病患通訊，這便是貴體系當前面臨的風險輪廓。

為什麼這對貴企業至關重要

此處的財務與法律風險暴露並非理論假設，而是可衡量的且持續擴大。

加利福尼亞州第 3030 號議會法案（AB 3030）於 2025 年 1 月 1 日生效。該法案要求每間醫療機構、診所及醫師診所，凡使用生成式 AI 傳達臨床資訊時，均須通知患者。這意味著電子郵件頂端須附有書面免責聲明、電話通話開始與結束時須有口頭免責聲明，而在視訊與即時通訊互動過程中則須有持續顯示的免責聲明。若未能遵守，貴機構將面臨罰款與執照處分，個別醫師則將面臨針對其醫師執照的紀律處分。

AB 3030 確實包含一項豁免條款：若持照醫事人員「閱讀並審查」AI 輸出內容，則無需揭露。但請考量《刺胳針》研究的數據：

• 7.1% 的 AI 生成草稿構成嚴重傷害風險
• 66.6% 的危險草稿被審查醫師漏看
• 35%–45% 的錯誤草稿在完全未經修改的情況下發送
• 90% 的醫師回報信任該 AI 工具的表現

該項豁免假設人工審查確實有效。然而證據顯示事實往往並非如此。若患者因醫師未經實質審查便核准的 AI 草擬訊息而受到傷害，貴機構將面臨醫療疏失索賠，而此領域的醫療照護標準正在迅速演進。法院現在開始質疑醫事人員是否盲目接受 AI 建議，並認定演算法偏誤是造成病患實質傷害的根源。此外，貴機構的醫療疏失保險公司可能會要求提供載有模型版本、推理步驟及醫師具體修改記錄的書面稽核日誌。

新型保險產品如今已承保 AI 幻覺索賠——但它們附帶較低的理賠上限與嚴格的監督文件要求。若貴機構無法提供該等文件，保險理賠可能無法生效。

底層究竟發生了什麼

當今大多數醫療 AI 工具都是業界所謂的「LLM 包裝器」。不妨將它們視為圍繞著通用 AI（如 GPT-4 或 Google Gemini）的一層薄軟體外殼。貴機構的電子病歷系統將患者訊息發送給 AI，AI 隨後回傳草稿。這基本上就是整個系統的全部運作。

這正是其危險所在。這些模型是依據統計模式來預測句子中的下一個詞。它們並不會進行醫學推理，不會檢查藥物交互作用，也不會評估患者的症狀究竟是週二早晨的微恙還是週六深夜的緊急情況。《刺胳針》研究發現，AI 最嚴重的失誤源於其無法評估患者病情的緊急程度。

想像一名員工透過抄襲數千份舊備忘錄中的語句來撰寫備忘錄。文法完美無瑕，語氣專業得體，但該員工對這些詞彙的實際含義一無所知。這正是通用 AI 處理貴機構病患訊息的方式。

這些模型還具有知識截止日期——即固定日期之後的事物它們一無所知。除非有人建構了相關連接，否則它們無法參考患者最新的檢驗報告或最新的臨床指引。它們通常無法處理影像、心電圖波形或基因組數據。此外，若沒有特定的 HIPAA 業務合作協議與數據遮蔽協議，透過通用 AI API 傳輸病患數據將帶來嚴重的隱私風險。對抗性提示詞注入攻擊可能誘使這些模型洩漏敏感的病患資訊。

結果就是：貴機構的 AI 聽起來自信滿滿，醫師們信任它，直到患者受到傷害，才有人發現其中的錯誤。

哪些方法有效（哪些無效）

首先，以下是三種無法解決此問題的做法：

「只要訓練醫師更加謹慎即可。」 自動化偏誤是一種有充分文獻記錄的心理效應。當 AI 產生流暢且富有同理心的文字時，即使是經驗豐富的臨床醫師也會放下戒心。《刺胳針》研究以統計顯著性（p < 0.001）證實了這一點。

「微調醫療 AI 模型。」 研究顯示，如 MedGemma 等專用醫療模型在部分幻覺測試中的準確率僅有 28%–61%。單靠領域微調無法修復根本的推理缺陷。

「加上免責聲明就了事。」 符合 AB 3030 法規是必要的，但並不充分。免責聲明並不能防止傷害發生，它只是告訴患者該歸咎於誰。

真正有效的做法是——透過三個步驟建構扎根架構：

步驟 1：生成之前先檢索。 在 AI 下筆撰寫任何字句之前，應先提取相關的來源資料。這稱為檢索增強生成（Retrieval-Augmented Generation，RAG）——一種向 AI 提供經過驗證的文件（例如患者的臨床病歷、當前治療指引及機構規程）的技術。隨後，AI 僅依據檢索到的資訊生成回覆，而非基於其通用的訓練數據。

步驟 2：將知識結構化為圖譜。 醫療知識圖譜將臨床概念描繪為互相關聯的關係——某種藥物連結至其禁忌症，禁忌症再連結至特定的病患狀況。如 MediGRAF 等系統使用圖形資料庫將通俗問題轉譯為精確查詢。由於系統遍歷的是經過驗證的關係而非統計猜測，因此在事實性臨床查詢上可實現 100% 的召回率。

步驟 3：引用每項主張。 AI 輸出中的每項陳述都應連結回其來源文件。審查醫師無需猜測 AI 是否正確，他們可以在數秒內對照引用的來源驗證每項主張。這將被動審查轉化為主動驗證。

稽核軌跡的優勢正是使此方法具備抗辯能力的原因。每份由 AI 生成的草稿都載有檢索了哪些文件、遍歷了哪些知識圖譜路徑，以及哪項來源支持每項陳述的記錄。當貴機構的合規團隊、保險公司或原告律師詢問某則具體訊息是如何生成時，貴機構可以向其展示完整的邏輯軌跡。這正是具備抗辯能力的流程與承擔法律責任之間的差別。

就貴機構的 醫療 AI 合規與安全計畫而言，這套架構並非可有可無——它是正在形成的醫療照護標準。相同的原則亦適用於貴機構的 RAG 與知識圖譜基礎設施 以及 紅隊演練與驗證測試 ，後者應當每日對貴系統進行壓力測試。

您可以 閱讀完整的技術分析 以取得詳細的工程規範，或 探索互動版本 以取得架構的引導式逐步說明。