拒絕垂死病患照護的演算法——以及它教會我如何打造不會害死人的 AI
2024 年底，我坐在一間會議室裡，一位同事在她的筆電上調出一項數據，把螢幕轉向我。「你看過這個嗎？」
那是聯合健康集團（UnitedHealth Group）nH Predict 演算法的申訴翻案率——這套 AI 系統是他們的子公司 NaviHealth 用來決定何時該停止為 Medicare 病患提供急性後期照護（post-acute care）的工具。專業護理。復健。就是那種能讓一位 82 歲的老人在中風後不至於被送回空蕩公寓、獨自面對的照護。
這個數字是 90%。
每十次由真人法官實際覆核演算法拒絕給付的決定，就有九次被推翻。這套 AI 十次有九次是錯的。而聯合健康心知肚明。他們之所以知道，是因為只有 0.2% 的病患——那些年長、身障、認知受損的人——曾成功提出申訴。這套系統的設計目的並不是要準確。它的設計目的是要讓人 無從申訴。
那晚我闔上筆電，卻難以入眠。並不是這項技術讓我意外——我花了多年建構 AI 系統，我理解以相關性驅動的模型是如何失敗的。真正讓我輾轉難眠的是更醜陋的東西：這不是一個程式錯誤。這是一套商業模式。而且它是我這整個產業歡欣鼓舞地推廣了半個十年的那套企業 AI 哲學，其合乎邏輯的終點。
我經營 Veriprajna，這家公司立基於一項前提：用於高風險領域的 AI，必須與那些主導著各種討論的聊天機器人和內容生成器有著根本上的不同。聯合健康的這場危機，不只是驗證了這項前提。它讓這項前提變得更為激進。
一套看不見一位垂死女性的十億美元演算法
讓我跟你說說卡蘿・克萊門斯（Carol Clemens），因為若沒有她，那些數字什麼意義都沒有。
卡蘿罹患高鐵血紅蛋白血症（methemoglobinemia）——一種危及生命的血液疾病，會讓血液無法正常攜帶氧氣。在一次嚴重發作後，她住進一家專業護理機構，接受她存活所需的復健。那正是 Medicare 理應涵蓋的照護。
接著 nH Predict 生成了一個「目標出院日期」。這套以 600 萬份病患紀錄訓練出來的演算法，把卡蘿的診斷與歷史結果交叉比對後，判定她已經康復完成。至於她的血氧濃度仍低到危及生命，它毫不在意。至於她的臨床醫師表示她需要更多時間，它也毫不在意。模型已經開了金口。
她的家人自掏腰包付了 16,768 美元 讓她繼續接受照護。他們算是幸運的——他們有這筆資源。多數處於卡蘿這種處境的病患並沒有。
這個案例讓我難以釋懷的是：nH Predict 並不是什麼脫序的實驗。聯合健康旗下的 Optum 部門付了超過 10 億美元 收購 NaviHealth 及其演算法。這是一家預估 2025 年營收達 3,400 億美元的公司的旗艦產品。這是醫療史上最昂貴的 AI 部署，卻無法分辨統計上的平均值與一位正在窒息的女性之間的差別。
為什麼這套演算法有 90% 的時間都判斷錯誤？
這是每個人都會問的問題，而答案看似簡單得令人受騙。nH Predict 是一具偽裝成臨床工具的相關性引擎。
它吸收病患紀錄並找出模式：診斷為 X 的病患通常住院 Y 天。就這樣。整套把戲就這麼多。它並沒有為 為什麼 不同病患需要長短不一的照護建立模型。它沒有考量某人家中是否有照顧者、他們的經濟是否穩健到足以應付門診治療、他們是否有特定併發症讓他們的情況異於統計平均。
一個告訴你「像這樣的病患通常 14 天出院」的模型，跟一個理解為什麼這位特定病患需要 21 天的模型，並不是同一回事。前者是加了幾道手續的試算表。後者才是智慧。
我跟其他創辦人爭辯過這件事，次數多到我數不清。「可是這模型平均而言是準確的啊！」他們會說。當然。一條河平均而言四英尺深，但這對淹死在八英尺深那一段的人來說毫無安慰。
nH Predict 所欠缺的東西，其技術上的名稱是 因果推理——也就是從「通常會發生什麼」推進到「如果我們改變這個變數會發生什麼」的能力。一個因果模型會問：如果我們在第 14 天撤除卡蘿・克萊門斯的專業護理照護，她的康復軌跡會如何？她會復發嗎？她會死嗎？相關性模型不會問。它問不出來。它的建構本就不是為了問這個。
我在 我們研究的互動版本 中深入探討了這項區別，因為我認為這是當下企業領導者對於 AI 最需要理解的單一最重要概念。
「3% 到 1%」規則——或者說，你如何把護理師變成橡皮圖章
演算法的不準確已經夠糟了。聯合健康拿它做的事更糟。
吹哨者的證詞揭露，NaviHealth 的管理者為其臨床人員設下了僵化的合規指標。個案管理師——護理師、醫師，這些花了數十年學習評估病患需求的人——被要求把病患實際的住院天數，控制在 nH Predict 所預估天數的 3% 誤差 範圍之內。
接著他們把標準收緊到 1%。
想想這在實務上意味著什麼。你是一名護理師。你檢查了一位病患。憑著多年經驗，以及眼前的臨床證據，你清楚知道這個人還沒準備好回家。但演算法說是第 14 天，你的主管說你必須命中第 14 天正負不到一天的範圍，否則你就要面臨懲處。也許是被解僱。
你會怎麼做？
多數人選擇了順從。不是因為他們是差勁的臨床人員，而是因為這套系統的設計，就是要讓順從成為唯一能活下去的選項。照護協調員被指示要把他們的進度覆核時間，安排得 剛好 與演算法預測的出院日期一致——把臨床時間表工程化到去配合模型，而不是配合病患。
我記得我向一位在航空安全領域工作的朋友描述這件事，他臉都白了。「這就像是叫飛行員不管天氣狀況、只照飛行計畫降落，」他說。「你這輩子就別想再飛了。」
當臨床人員因為推翻一套有瑕疵的演算法而遭到懲處，你所擁有的就不是「人在迴路中」（human-in-the-loop）。你擁有的是一枚人形橡皮圖章。
這就是我所謂的 演算法脅迫，也是最令我膽寒的失效模式——不是因為這 AI 是自主的，而是因為它創造出一種環境，讓人類因為行使了 AI 所欠缺的判斷力而 遭到懲罰。
2025 年 2 月 13 日在法庭上發生了什麼事？
這起集體訴訟——Estate of Gene B. Lokken 訴 UnitedHealth Group 案——在美國聯邦地區法院法官約翰・滕海姆（John Tunheim）裁定該案可以繼續審理時，迎來了轉捩點。這件事的意義極其重大，而且不只對聯合健康而言。
法院查明，UHC 自己的政策文件承諾，給付決定將由「臨床服務人員」與「醫師」做出。藉由用一套實質上主宰結果的演算法來取代那些真人，聯合健康可能已經違反了它與每一位保戶之間的契約。
更重要的是：這位法官 免除了病患在提告前須先窮盡行政申訴程序的要求。通常，Medicare 受益人在能夠訴諸法院之前，必須先走完多個層級的官僚覆核。但滕海姆看著那 90% 的錯誤率，看著那 0.2% 的申訴率，實質上等於是說：我們不會強迫垂死之人去參與一套被動了手腳、對他們不利的系統。
那項裁定，理應成為每一位在受監管產業中部署 AI 的高階主管的必讀教材。司法體系再也不願意把演算法的失能，當成一個病患得靠自己去解決的流程問題。
為什麼「包裝式 AI」是醫療領域裡一顆滴答作響的定時炸彈
接下來，我得對自己所屬的產業坦白直言，因為聯合健康這個故事並不是一個孤立事件。它是一個結構性問題最為顯而易見的症狀。
過去三年來，企業 AI 市場充斥著我所謂的 包裝式解決方案——這些公司拿一個現成的大型語言模型，包上一層自訂介面，或許再用一些特定領域的資料做微調，然後把它當成一項醫療 AI 產品來賣。或是一項保險 AI 產品。或是一項合規 AI 產品。
這些包裝品都具備讓 nH Predict 變得危險的每一項弱點：
它們是 黑箱。你無法稽核任何一項個別決定背後的推理，這意味著你在系統性偏誤已經傷害了成千上萬人之前，都無法察覺它。
它們 繼承了偏誤，來自其底層模型。如果訓練資料反映了歷史上的歧視模式——而在醫療領域，它一向如此——那麼這個包裝品便會忠實地複製那些模式。
它們 毫無因果理解。它們是根據統計相關性來預測，這意味著它們是在為「通常會發生什麼」進行最佳化，而不是為「對這位病患應該怎麼做」進行最佳化。
而且至關重要的是，它們 經不起檢驗。任何競爭對手都能在同一個基礎模型上，建出一模一樣的包裝品。這裡沒有專屬的智慧，沒有獨到的洞見——只有一層薄薄的自動化，覆蓋在別人的引擎之上。
醫療 AI 的包裝經濟，是建立在流沙之上。當監管的潮水湧入——而它正快速湧來——那些沒有深度、無法解釋、缺乏因果根基的系統的公司，將會被沖走。
我這麼說並不是因為 Veriprajna 與包裝式公司競爭（雖然我們確實有競爭）。我這麼說，是因為我親眼見過這些系統在正式環境中失效時會發生什麼，而「可供展示」與「臨床上安全」之間的落差，是包裝品跨不過去的一道鴻溝。
FDA 希望 AI 如何證明自己值得信賴？
2025 年 1 月，FDA 發布了草案指引，為用於醫療與監管決策的 AI 模型，訂立了一套 七步可信度評估框架。我花了好幾週研讀這份文件，它是我所見過最具影響力的一份 AI 監管文件。
這套框架要求，每一項 AI 部署都必須清楚定義它所回答的確切問題、明確指出它在臨床工作流程中的角色、評估它出錯時會發生什麼，然後——透過嚴謹的測試——證明它適合那個特定的用途。
nH Predict 會在每一個步驟都不合格。它對自己的臨床角色沒有清楚的定義。它的風險評估忽視了拒絕照護所帶來的、危及生命的後果。它所謂的「驗證」，是在為成本控制進行最佳化，而不是為病患的結果。
與此同時，歐盟《人工智慧法案》（EU AI Act）於 2025 年將醫療 AI 歸類為「高風險」，要求強制性的透明揭露與人為監督。違規罰則最高可達 全球營業額的 7%。對一家像聯合健康這種規模的公司而言，那不是一筆罰款——那是一項生存威脅。
世界衛生組織（WHO）則走得更遠，明確鎖定他們所稱的 自動化偏誤——也就是臨床人員即便在演算法與自身臨床判斷相牴觸時，仍傾向於服從演算法的現象。這正是 NaviHealth 所發生的事。WHO 的 2024 年指引警告，過度依賴 AI 可能導致醫師「技能退化」，因為他們不再進行批判性評估。
若想完整了解這些監管框架的技術面拆解，以及它們如何適用於企業 AI 的部署，請參閱 我們的研究論文。
我意識到「可解釋性」並非選配的那一夜
在每一位創辦人的旅程中，都有那麼一個時刻，一個抽象的原則變得刻骨銘心。對我而言，那是一個深夜，我正在一份醫療資料集上測試我們某個模型的早期版本。
那個模型把一個案例標記為應拒絕給付。我請團隊跑 SHAP——SHapley Additive exPlanations（夏普利加值解釋），一種能顯示哪些特徵驅動了某項特定預測的工具。排名最高的因素既不是病患的診斷，也不是他們的臨床軌跡。而是他們的 郵遞區號。
我和我的首席工程師盯著螢幕。我們都清楚郵遞區號在美國醫療資料中與什麼相關。我們看的不是一個臨床變數。我們看的是一個以五位數字打扮起來、代表種族與收入的代理變數。
那晚我們就把那個特徵砍掉了。但那次經歷讓某件我在理智上早已理解、卻不曾在心底真切感受到的事變得清晰起來：如果你無法解釋你的 AI 為 什麼 做出某項決定，你就無法揪出那些站不住腳的決定。
這就是為什麼我們在建構時，是把可解釋性當成架構，而不是事後補上的東西。SHAP 這類工具讓你能綜觀是什麼在驅動你的模型。LIME——Local Interpretable Model-Agnostic Explanations（局部可解釋的模型無關解釋）——則讓你看見任何單一決定背後的推理。對一位像卡蘿・克萊門斯這樣的病患，LIME 本可以讓人看清：這套演算法正在忽視她危險偏低的血氧，轉而偏袒她那個診斷代碼的平均康復統計數據。
接著還有 信心評分——這是多數包裝式解決方案完全略過的一環。當一位病患出現一種在訓練資料中呈現不足的罕見病況時，這套系統必須明確地說：「我所知不足，無法做這個判斷。把它轉給真人。」這不是一項建議。這是一道硬性煞車。
為什麼這件事再也不能是一個「IT 問題」了
每當我說 AI 治理應該歸屬於董事會，總會有人反駁我。「那不就是工程團隊該做的事嗎？」不。絕對不是。而聯合健康這個案子就是明證。
NaviHealth 的工程師並沒有設下那 1% 誤差的強制要求。那是一項管理決策。工程師並沒有決定要懲處那些推翻演算法的臨床人員。那是一項政策決策。工程師並沒有選擇在缺乏因果驗證的情況下，把一套以相關性為基礎的模型部署到攸關生死的給付決定上。那是一項策略決策。
到了 2025 年，標普 500 指數成分股中有 72% 的公司 已在其向美國證券交易委員會（SEC）提交的文件中，揭露了重大的 AI 風險。名譽風險如今是被引用最多的疑慮。單單一次演算法的失敗，就能同時引爆訴訟、監管行動與公眾憤怒——而那個說「我們並不知情」的董事會，將會發現：無知並不能構成抗辯。
在 Veriprajna，我們推動每一位客戶去設立跨職能的 AI 治理委員會，成員涵蓋臨床領導者、法律顧問與病患安全代表——而不只是工程師與產品經理。這些委員會需要有權力去維護一份中央登錄冊，記載組織技術堆疊中的每一個 AI 模型，在效能衰退時強制執行回退（rollback）選項，並且——這正是讓高階主管坐立難安的部分——在一個能賺錢的模型正在造成傷害時，把它砍掉。
AI 治理不是一個成本中心。它是「一家負責任地部署 AI 的公司」與「一家成為下一場參議院調查中警世案例的公司」之間的分野。
我一再重複的那場爭論
幾乎在每一場會議上，我都會有一段這樣的對話，內容如下：
「Ashutosh，你把這件事搞得太複雜了。我們可以用我們的臨床資料微調 GPT-4，六週內就交付一個東西。你那套做法要花好幾個月。」
對於時程，我並不反對。我反對的是對「完成」的定義。
你當然可以在六週內交付一個包裝品。你可以把它展示得美輪美奐。它會生成聽起來煞有介事的臨床摘要，讓你的投資人開心。然後，六個月後，當一位病患因為你的模型信心滿滿地建議了錯誤的處置方針、而沒有人能解釋為什麼，最終喪命時，你會發現：你省下的那六週，讓你付出了一切代價。
聯合健康的這場危機，並不是由差勁的工程師或惡意所造成。它是由一個把 AI 當成吞吐量最佳化問題的組織所造成——把每個案例的覆核時間縮短六到十分鐘——而不是把它當成一個臨床判斷問題。他們用處理速度和拒絕率來衡量成功，而不是用病患的結果。
從預測式包裝品，轉向我所謂的 深度 AI，其重點並不在於使用更花俏的模型。而在於提出一個根本上不同的問題。不是「我們如何把這個決定自動化？」而是「我們如何讓這個決定比單靠一個人所能做到的更好、更透明、更能問責？」
我們從這裡往何處去
我想用一件自從我開始寫這篇文章以來就一直困擾著我的事，來作結。
nH Predict 的故事令人震驚，但它不該令人意外。多年來，我們一直在建構一個獎勵速度勝於安全、相關勝於因果、自動化勝於增益（augmentation）的 AI 生態系。那些誘因結構——創投的時程、企業採購的週期、那股要不斷交付的無情壓力——全都朝著包裝式做法推進。快速建構、快速販售、治理的事以後再說。
沒有「以後」。2025 年 2 月的那項裁定已經把這點講清楚了。FDA 的可信度框架已經把這點講清楚了。歐盟《人工智慧法案》那 7% 的罰則已經把這點講清楚了。而卡蘿・克萊門斯那 16,768 美元的醫療帳單，則以最貼近人性、最無可辯駁的方式，把這點講清楚了。
前進的道路並不是更少的 AI。而是配得上我們所賦予它之權力的 AI——透過理解 為什麼 的因果驗證，透過能展示其運作過程的可解釋架構，透過能讓人類無須擔心遭受懲罰便可推翻機器的治理結構，以及透過最基本的機構性謙遜，去承認模型何時所知不足、無法做出判斷。
問題從來都不是「AI 能不能做醫療決定？」它一直都是「我們該不該讓 AI 去做那些它無法解釋、無法證明其正當性、而且有 90% 的時間都做錯的醫療決定？」而答案，終於，是不該。
我們創立 Veriprajna，是因為我們相信這個答案終將到來。我只希望，不必以垂死病患為代價，才能證明我們是對的。
