九成醫師信任自家的臨床 AI，卻只抓出三分之一的危險錯誤
我們臨床 AI 安全工具的第一個版本運作得非常出色。而那正是問題所在。
我們打造它是為了做那件顯而易見的事：抓出幻覺。把它對準一款環境語音記錄工具或病患入口網站的草稿工具，餵給它 AI 的輸出，讓它標示出事實上錯誤的陳述。它抓出了錯誤的藥物名稱。它抓出了不可能的化驗數值。它抓出了一個相差一個數量級的劑量。我記得當時對它感覺相當良好——我們正在找出錯誤，展示很成功，數字看起來很乾淨。
接著，專案上的一位臨床顧問——一位在病房待了二十年的住院醫療專科醫師——帶我看了一個我至今仍會思考的例子。一款 AI 為一位詢問用藥的病患草擬了一則 MyChart 回覆。草稿說要繼續服用 metformin，並愉快地指出上次的 HbA1c 是 6.8%。其中的每一項事實都是真的。這則筆記充滿同理心、結構良好，正是一位優秀醫師會寫的。我們的工具讓它通過，沒有標示任何警示。
這位病患的肌酸酐在三次就診中持續攀升。上升的肌酸酐意味著腎功能下降，而腎功能下降會使 metformin 變得危險。這款 AI 不懂得去查看。而且——這正是徹底改變了我對臨床 AI 安全的看法的地方——負責審閱的醫師也不會發現。忙碌的臨床醫師在點擊發送前，只會用十到十五秒快速掃過這份流暢、友善、事實前後一致的草稿。
我們的幻覺偵測器解決的是錯誤的問題。傷害病患的錯誤，通常不是那些明顯錯誤的。它們是那些局部正確、卻在脈絡上致命的錯誤。你無法靠事實查核走向安全，因為危險就藏在 AI 沒有說出的東西裡。
那次失敗，正是 Veriprajna 不再打造幻覺偵測器，轉而建構涵蓋醫療系統實際運行的整套 AI 堆疊的獨立安全基礎設施的原因。這篇文章要談的，是我們誠實審視那套堆疊時的發現。
這個數字應該讓每一位 CMIO 徹夜難眠
2024 年 4 月，The Lancet Digital Health發表了一項研究，我認為它是醫療 AI 領域最重要、卻最少被吸收的發現。研究人員讓醫師審閱 AI 起草的病患訊息回覆。那些草稿中有 7.1% 構成病患受害的嚴重風險。0.6% 構成死亡風險。
比錯誤率更重要的是這一點。這些醫師做的正是我們要求他們做的事——審閱 AI 的工作——卻漏掉了66.6%的有害草稿。錯誤草稿中，有三分之一到近半數完全未經修改就發出。而在受訪時，這些同樣的醫師中有 90% 表示信任該工具的表現。
九成的信任，卻只抓出三分之一的危險錯誤。這道落差不是訓練問題。它是要求人類去稽核一台寫得比自己更流暢的機器時，可預期的結果。
這就是自動化偏誤，而它並非醫師的性格缺陷。它是這種互動的一種特性。當一份草稿寫得文筆好又富同理心時，在讀者心中，文字的品質便替代了獨立的驗證。AI 寫得越好，人就查核得越少。我們正在部署的工具，其最大的優勢——流暢、自信的語言——恰恰正是繳械我們在它們周圍所建安全網的機制。
ECRI 是一家病患安全非營利組織，每年發布頂尖健康科技危害清單，它將 AI 驅動的診斷風險列為2025 與 2026 兩年的頭號危害。不是進入前十名，而是頭號危害，連續兩年。
「已閱讀並審閱」是一種法律虛構
加州的 AB 3030 法案自 2025 年 1 月起生效，要求醫療系統在與病患的臨床溝通中使用 AI 時須予以揭露。它帶有一項聽起來合理的豁免：若一位持照的醫療提供者閱讀並審閱了 AI 的輸出，則無需揭露。其邏輯是，一個在迴路中的人類，使 AI 的貢獻變得隱形且安全。
Lancet 的資料摧毀了那套邏輯。如果醫師漏掉了三分之二的有害錯誤，那麼對很大一部分案例而言，「已閱讀並審閱」就是一個橡皮圖章。這項豁免假定了一種審閱品質，而自動化偏誤使這種品質在規模化下變得不可能。對一家機構而言，違規的罰款最高可達每起事件 25,000 美元，加上名字署在該筆記上的醫師所面臨的懲戒風險。
我花很多時間與醫療資訊長交流，而對話通常就在這裡變得令人不安。法律框架假定人工審閱是有意義的。而臨床現實是，有意義的審閱需要 AI 廠商大多尚未建構的技術支架——不確定性標示、回溯至來源的引用連結，以及能讓醫師停下來審視真正重要主張的主動確認工作流程。已有少數廠商開始建構它——Abridge 的 Linked Evidence 能將生成筆記的每一行回溯到產生它的確切音訊片段——這只證明了這種能力確實存在，而多數工具仍未將其列為優先。缺少那套支架，「有人審閱過」只是一個合規勾選框，而非安全控制。
廠商說 0.001%。德州檢察長說：拿出證據。
每一家臨床 AI 廠商都以一個準確度數字作為開場。我在稽核這些工具時學到的第一件事是，在你知道那個數字是如何計算出來之前，它只是一件行銷產物。
2024 年 9 月，德州檢察長就 Pieces Technologies 所行銷宣稱的「關鍵幻覺率」低於0.001%與其達成和解。Pieces 的軟體部署在德州四家大型醫院——Houston Methodist、Children's Health、Texas Health Resources 與 Parkland。此案引人注目之處在於，檢察長並不需要任何 AI 專屬法律。既有的消費者保護法規就足以挑戰這家公司無法佐證的準確度宣稱。
這項和解——一份為期五年的自願遵從保證——如今迫使 Pieces 向每一位客戶揭露：它的指標是如何定義與計算的、模型是用哪些資料訓練的，以及它所知的有害用途有哪些。那是整個產業的一個範本。
一個沒有分母的幻覺率不是一項量測。它是一則廣告。
把 0.001% 拿來和我們及其他人在實地中實際發現的數字相比。在 2025 年第一季的一項試點中，一款 AI 出院助理為一位病歷明確記載對該藥物類別過敏的病患推薦了該藥物。它在臨床上可採取行動的錯誤陳述的真實比率為0.98%——是廠商所宣稱 0.08% 的十二倍。同一類產品，簡報投影片與病患之間卻相差一個數量級。MIT Media Lab 發現，若不加以緩解，模型在臨床案例上的幻覺率會超過 60%。誠實的答案是，在你追問之前，沒有任何頭條數字有任何意義：是在哪個資料集上計算、由誰驗證、涵蓋多長期間，以及——幾乎沒人問的問題——橫跨哪些病患族群？
那最後一個問題，結果是背後有著人命的那一個。
你看不見的偏差，因為裝置把它藏了起來
有一個事實，我希望在重症照護圈外能更廣為人知。脈搏血氧儀——夾在病患手指上、讀取血氧飽和度的那個小夾子，是醫學中最受信賴的數字之一——在深色皮膚上的準確度有系統性地較低。
黑人病患大約有三倍的可能性出現隱匿性低氧血症：血氧危險地偏低，裝置卻讀為正常。這種高估幅度為 0.6 到 1.5 個百分點，聽起來微不足道，直到它成了「送入加護病房」與「送回家」之間的差別。在兒科資料中，該裝置漏掉了膚色最深的兒童中 7% 的低血氧情況，膚色最淺者則為 0%。FDA 於 2025 年 1 月發布指引草案，建議製造商使用 Monk 膚色量表，在至少 150 名多元參與者身上進行測試，遠高於先前少至十人的常規。
現在，在一個感測器層面就已存在偏差的量測之上疊加 AI。模型繼承了這種偏差，並透過一個自信的輸出將它漂白。這正是臨床 AI 安全中廠商最無力在自身找出的部分，因為找出它需要刻意按種族、性別與年齡對表現進行分層——然後公布其中的差距。
Epic Sepsis Model 是我在每一場治理討論中都會提起的警世故事。開發者報告的 AUC——一種預測準確度的標準衡量指標，1.0 為完美、0.5 相當於擲硬幣——為 0.76 到 0.83。當密西根大學在自家病患身上進行外部驗證時，他們得到的是0.63。敏感度為 33%，意味著它漏掉了三分之二的敗血症病例。其陽性預測值為 12%，意味著它的警報中有 88% 是假警報。而且它對黑人與西班牙裔病患的校準很差，這些族群的敗血症發生率接近兩倍。一個以歷史臨床判斷訓練的模型，學到的是歷史上的臨床盲點，然後披著演算法的權威把它們回射給臨床醫師。Epic 於 2022 年徹底改造了該模型，其第二版的多中心前瞻性驗證於 2026 年 2 月刊登在 JAMA Network Open——這正是重點所在。外部的、部署後的驗證，才是能捕捉原始 AUC 宣稱所掩蓋之差距的方法，而在這裡，它花了數年、並靠外部研究人員才被迫進行。
這種情況最極端的版本出現在孕產照護中。黑人女性的分娩死亡率為每 10 萬名活產 42.8 到 50.3 人，而白人女性為 13 到 14.5 人。加州的一項檢視發現，AI 早期預警系統漏掉了黑人病患中 40% 的嚴重併發症病例。當預警系統對最高風險的族群視而不見時，它不只是中立地失敗——它擴大了自己號稱要縮小的那道差距。
為什麼你不能就直接測一測模型的偏差，然後繼續前進？
人們問我，為什麼醫療系統不乾脆跑一次公平性檢查、把模型認證了事。我以前以為那是資源問題。它比那更深，而且是數學性的。
有一個結果叫做 Chouldechova 不可能定理。簡單來說：兩種合理的公平性定義——族群均等（模型以相同比率標示每個群體）與均等勝算（模型在每個群體內同等準確）——除了在無關緊要的情形外，無法同時被滿足。你必須選擇你要最佳化的是哪一種公平，而那個選擇有臨床後果。
「我們測過偏差」若不指明標準便毫無意義。任何無法告訴你他們選了哪一種公平性定義的廠商，都是已經選了一種、卻沒告訴你。
這就是為什麼一次真正的偏差稽核不是一張一次性的證書。它是分層的次群體表現表格、按族群劃分的校準曲線，以及一個族群穩定性指數（PSI）——一種漂移指標——按每個部署地點追蹤，因為一個在波士頓公平的模型，可能會隨著病患組成的變化，在休士頓漂移出校準之外。這項工作所需的專家裁定基準真值標註，每個案例要 50 到 200 美元。它是昂貴、專門、持續進行的基礎設施。它也是唯一站在採購決策與驗屍報告之間的東西。
沒有人擁有整套堆疊
我一再遇到的結構性問題是這樣的：一家中大型醫療系統同時運行著五到十五種 AI 工具。一款環境語音記錄工具（在 UPMC 四十多家醫院使用的 Abridge，或接入 EHR 的 Nuance DAX Copilot）、一個來自 Epic 的敗血症模型、一款病患入口網站草稿工具、一種檢傷分類演算法、一位編碼助理。每一個都有自己的準確度宣稱、自己的安全概況、自己的盲點，以及自己的儀表板。沒有廠商提供橫跨這些工具的治理，因為沒有任何廠商販售所有這些工具。
而確實存在的治理，比組織圖所暗示的還要單薄。Censinet 的 2026 年資料顯示，84% 的醫療系統設有 AI 治理委員會——但只有 59% 在 AI 工具上線前擁有正式、有文件記錄的核准流程。資訊長（CIO）出席其中 63% 的委員會；而當工具出錯時負臨床責任的醫療資訊長（CMIO），出席的比例只有45%。與此同時，臨床醫師正自行採用工具——影子 AI——其速度比任何委員會所能審查的都快。
這就是 Veriprajna 為了填補而建立的那道落差，也是為什麼我不再把我們所做的事描述為「幻覺偵測」。我們對一家醫療系統實際部署的 AI 進行獨立、廠商中立的評估：像對手或倒楣的一天那樣對這些工具進行紅隊演練、以真實的分母驗證廠商的準確度宣稱、執行大多數 IT 團隊沒有能力執行的偏差稽核，並把 AB 3030、科羅拉多州的 AI 法案，以及歐盟 AI 法案的高風險規則，轉化為可操作的控制，而非法律上的焦慮。一個橫跨每一款工具的安全層。
「這不就是在拖慢創新嗎？」
這是我最常聽到的異議，通常來自某個看著環境語音記錄在一年之內變成一個 6 億美元類別、且不想成為那個說不的主管的人。
我會主張恰恰相反。獨立的安全，正是讓快速採用得以存活下來的東西。被燒到的醫療系統不是謹慎的那些——而是那些照著廠商的簡報投影片就部署、然後在病患受害之後才發現 0.08% 與 0.98% 之間差距的那些。醫療 AI 投資的平均回報約為每一美元 3.20 美元，並在 14 個月內實現。而在一款未經驗證的工具第一次引發醫療事故索賠時，那份投資報酬率就會蒸發——而且與 AI 相關的索賠自 2022 年以來已上升 14%，集中在放射科、心臟科與腫瘤科。驗證不是創新的稅。它是讓你在第一件事出錯之後仍能持續創新的保險。
第二個異議：難道我們自己的資訊團隊不能處理這件事嗎？有時候可以，部分可以。但一次獨立評估的價值，恰恰在於它是獨立的——這和你不會讓一家公司稽核自己的財務報表是同樣的道理。廠商不會把自己紅隊演練成一個更難看的數字，而一個曾為某項採購背書的內部團隊，對它的成功懷有一份靜默的利害關係。一個在這筆交易中沒有立場的人，會問出其他每個人都有理由不去問的那些問題。
我今天會對一位 CMIO 說的話
我以前以為重要的問題是這個 AI 有效嗎？我錯了。每一家廠商都會向你展示它有效。真正重要的問題是你能否證明它有效——橫跨每一個病患族群——就在監管機構、原告律師或記者要求你證明的那一天？
目前大多數醫療系統做不到。他們擁有無法重現的準確度數字、一個沒有臨床負責人在內的治理委員會，以及一整支從未被任何獨立方一起測試過的工具艦隊。那份流暢的草稿會繼續被點擊通過。那個敗血症警報會繼續在 88% 的時間裡狼來了。那個脈搏血氧儀會繼續在那位其實並不正常的病患身上讀出正常。
我打造了Veriprajna 的醫療 AI 安全實務，因為 metformin 那個例子始終縈繞在我心頭。那份筆記完美無瑕。其中的一切都是真的。而它本可能害死一個人——不是因為 AI 愚蠢，而是因為它極具說服力，且沒有人有能力去查核它沒有說出的那件事。臨床 AI 的安全，不在於抓出顯而易見的錯誤。而在於建構能在病患之前抓出那個看不見的錯誤的基礎設施。
