夾在我女兒手指上的脈搏血氧儀在說謊——你醫院裡的AI也一樣
去年春天，我女兒發燒到華氏103度。我們在急診室裡，護理師把一個脈搏血氧儀夾在她小小的棕色手指上。螢幕顯示血氧飽和度97%。正常。護理師笑了。我沒有。
我知道——因為我在Veriprajna的一個專案中花了數個月鑽研臨床文獻——夾在她手指上的那個裝置幾乎肯定高估了她的血氧。而且並非微不足道的程度，而是足以造成影響的程度。發表於《新英格蘭醫學雜誌》與《英國醫學期刊》的研究已顯示，黑人患者出現臨床上所謂「隱匿性低氧血症」的可能性幾乎高出三倍——這種情況是裝置顯示你一切正常，但你實際的血氧水平卻已危險地偏低。2024年范德堡大學的一項研究發現，常見的脈搏血氧儀在膚色最深的兒童中有7%未能偵測到低血氧，而在膚色最淺的兒童中則零失誤。
我看著螢幕上那個小小發光的數字，心想：這就是一切的起點。不是源於惡意的演算法，不是源於帶偏見的資料集，而是源於一個以白人皮膚校準、三十年來一直對其他所有人說謊的30美元硬體。
那一晚改變了我對我們在Veriprajna所打造的一切的思考方式。這正是我寫下我們關於臨床AI演算法公平性的研究的原因，也是我此刻寫下這篇文章的原因。
為什麼你的脈搏血氧儀在深色皮膚上表現不同？
其物理原理簡單得幾乎令人難堪。脈搏血氧儀將紅光和紅外光穿透你的手指，並測量有多少光被吸收。含氧血紅素與去氧血紅素以不同的比例吸收光，裝置便利用這個比例來估算你的血氧水平。
問題就在這裡：黑色素也會在這些相同的波長上吸收光。如果你主要以膚色較淺的人來校準裝置——製造商正是這麼做的，而且直到近期，FDA也只要求對總共十名受試者進行測試——那麼深色皮膚中黑色素造成的額外吸收就會被誤讀。裝置會把它解讀為比實際存在更多的含氧血紅素。你的數字看起來會高於真實情況。
這並非某種細微的學術發現。在膚色較淺者身上，偵測低血氧的假陰性率介於1.2%至26.9%之間。而在膚色較深者身上，它躍升至7.6%至62.2%。那不是捨入誤差，那是截然不同的醫療現實。
當你手指上的裝置顯示97%，而你實際的動脈血氧只有88%時，你不會得到補充氧氣，你不會得到升級的照護，你會被送回家。
我記得在我彙整完這些資料後坐在一場團隊會議中，我們的一位工程師——一位才華洋溢的人，一位我完全信任的人——說：「但下游的AI模型肯定會修正這一點吧？」我這才意識到，那正是那個害死人命的假設。AI不會修正它。AI會放大它。
沒有人談論的連鎖反應
以下是現代醫院裡發生的事。一名患者抵達。生命徵象被記錄下來——包括那個脈搏血氧儀讀數。這些生命徵象流入電子健康紀錄。而且越來越常見的是，一套AI系統監看著那道資料流，尋找暗示病情惡化的模式：敗血症、呼吸衰竭、心臟事件。
如果AI觸發「高優先級」警示的閾值是SpO₂低於92%，而一名黑人患者的血氧儀顯示93%、其真實動脈血氧卻是88%時，警示永遠不會觸發。患者不會被標記出來。同時照護著另外十五名患者、且已學會信任這套系統的臨床醫師，不會介入處理。
這並非假設。這正是此刻數百家醫院的架構。
我和我的共同創辦人花了一整個漫長的夜晚推敲這件事的種種影響。我們一再回到同一個令人不安的體悟：偏見不在演算法裡，而在輸入裡。而如果你打造出全世界最精密、最具公平意識、校準得完美無瑕的AI模型，卻餵給它來自一支種族歧視體溫計的資料，你得到的就是一個擁有優異資歷的種族歧視AI。
當最廣泛使用的敗血症AI漏掉67%的病例時，會發生什麼事？
如果說脈搏血氧儀的故事講的是硬體偏見流入軟體，那麼Epic敗血症模型的故事講的則是當軟體本身從一開始就不是為所有人打造時會發生什麼事。
Epic敗血症模型，簡稱ESM，已整合進數百家美國醫院的電子健康紀錄系統。它被行銷為一項突破——一個能在臨床醫師察覺之前就辨識出敗血症、透過早期介入拯救生命的AI。開發者回報的曲線下面積（一項標準的效能指標）為0.76至0.83。相當可觀的數字。
接著，密西根醫學中心的研究人員進行了一次獨立的外部驗證。曲線下面積跌至0.63。敏感度——模型實際捕捉敗血症病例的能力——為33%。它每三個病例就漏掉兩個。陽性預測值為12%，意味著它有88%的警示都是假警報。而且它只在6%的病例中比臨床醫師更早標記出患者。
我想停下來好好思考這一點。一套部署於數百家醫院、整合進醫師每天賴以運作的工作流程的系統，在發出警報時幾乎每十次就有九次是錯的，而且它有三分之二的時候漏掉了真正的病例。
一個敏感度只有33%的敗血症模型不是安全網。它是一種帶有全院訂閱費的虛假安全感。
但這些效能數字，儘管糟糕，卻不是最糟的部分。最糟的部分是它辜負了誰。
為什麼AI敗血症偵測特別會辜負黑人患者？
黑人與西班牙裔患者罹患敗血症的發生率幾乎是白人患者的兩倍，而且他們往往在更年輕的年紀就發病。你會以為這應該讓他們成為AI偵測系統中最高優先級的族群。然而，研究卻發現，像ESM這樣的模型在這些族群之間表現出糟糕的校準。
原因是一種名為標籤偏見的東西，而一旦你理解了它，你就再也無法對它視而不見。
多數敗血症模型都是以臨床定義或帳務代碼來訓練的。那些代碼是由做出人為決定的人類臨床醫師產生的。如果歷來醫師為黑人患者開立血液培養檢查的速度較慢——無論是出於隱性偏見、溝通障礙，或系統性因素——那麼訓練資料就會反映那樣的延遲。AI學到的是「敗血症」看起來像白人患者的資料特徵，因為那些正是得到及時診斷的患者。它實際上變得對黑人患者的敗血症表現視而不見。
然後，致命的回饋迴路便閉合了：AI漏掉了患者，因為歷史資料帶有偏見。臨床醫師漏掉了患者，因為他們信任了一個沒有觸發警示的AI。
我曾為此和一位潛在投資人爭論過。他說：「你不能直接用更好的資料重新訓練模型嗎？」彷彿「更好的資料」正躺在某處的倉庫裡，等著被接上去。那份資料就是歷史。那段歷史就是偏見。你無法靠加入更多同樣帶偏見的資料來修復一個帶偏見的資料集。你必須改變架構。
每10萬人50.3例死亡：那個應該縈繞在醫療保健AI心頭的數字
我至今所描述的一切——血氧儀說謊、敗血症模型失靈、標籤偏見——在孕產婦健康領域匯聚成最具毀滅性的結果。
美國疾病管制與預防中心（CDC）回報，黑人女性面臨的妊娠相關死亡率為每10萬名活產50.3例。白人女性則為14.5例。那不是差距，那是鴻溝——高出3.5倍。而且即使你控制了教育程度與收入，它依然存在。一名擁有大學學位的黑人女性，在分娩中死亡的機率高於一名沒有高中文憑的白人女性。
加州孕產婦資料中心是全美資料最豐富的孕產婦健康環境之一，它發現自動化的早期預警系統漏掉了黑人患者中40%的嚴重病態病例。四成。這些都是危及生命的併發症——出血、子癇前症、敗血症——其發生頻率是孕產婦死亡的100倍。AI本應捕捉到它們，卻沒有。
部分原因涉及研究人員所稱的「風化」效應——由系統性種族主義所造成的慢性壓力對生理的耗損。黑人女性往往帶著較高的基線血壓與改變過的心血管反應就醫。一個以群體平均值訓練的AI可能會把這些解讀為「對這位患者而言正常」，而非把它們辨識為一具長期承受重壓的身體所發出的警訊。
當一套AI早期預警系統漏掉黑人母親中40%的嚴重併發症時，那不是技術故障。那是一套系統確確實實按照其訓練資料所教導的方式運作——也就是說，不公平地運作。
而這裡有個應該讓每一位醫療保健高階主管都留意的數字：麥肯錫估計，弭平黑人孕產婦健康差距可為美國GDP增加244億美元，並每年節省3.85億美元的可預防醫療成本。這不僅僅是一場道德危機，更是一場經濟危機。
一旦發生嚴重併發症，黑人女性的死亡機率是白人女性的1.79倍。那與發生率無關——那關乎「搶救失敗」。併發症發生了，介入的窗口開啟了，而系統卻未能及時行動。當AI沒有發出警示，而臨床醫師正照護著另外十多名患者時，那個窗口便關上了。
為什麼ChatGPT無法解決這個問題？
我不斷被問到這個問題。某種版本的：「為什麼不直接用附帶醫療提示的GPT-4就好？它懂很多醫學知識啊。」
它確實懂很多醫學知識，就跟一個讀遍每一本教科書卻從未碰過病人的人懂很多醫學知識是同一種方式。大型語言模型是一部以語言機率訓練的統計引擎。它不理解病理生理學。它不處理來自床邊監測儀的即時波形資料。它無法告訴你，考量到患者的膚色以及所使用的特定裝置型號，某個特定的SpO₂讀數是否可信。
研究發現，當患者的個別變數複雜時，大型語言模型在腎功能不全的劑量調整上僅達到16.7%的準確率。它們會產生幻覺——自信滿滿地生成聽起來權威、卻完全捏造的臨床資訊。它們無法提供臨床醫師驗證一項建議所需的透明推理鏈，而這在GDPR及不斷演變的美國健康法規之下，正日益成為一項法規要求。
醫療保健AI市場充斥著我所稱的「包裝殼」應用程式——套在通用公開API上的薄薄介面。它們用來草擬出院摘要或彙整病歷筆記還算可以，但用來決定一名帶著臨界生命徵象就醫的32歲黑人女性是需要立即介入還是可以等待，它們從根本上就不足以勝任。
這個區別很重要。包裝殼是把一個通用型語言模型指向一個醫療問題。而一套深度AI系統——正是我們在Veriprajna所打造的——從根基處就將即時生理訊號、專家標註的資料集，以及具公平意識的數學約束整合進模型的架構之中。
這其中一種做法能寫出一段關於敗血症、令人信服的段落。另一種則能真正公平地偵測出敗血症。
你究竟要如何打造一個不會歧視的臨床AI？
這裡我必須講得稍微技術一點，因為解決方案並非哲學性的——而是數學性的。而正是這門數學，把深度AI與立意良善的空殼產品區分開來。
傳統的機器學習最佳化會將整個資料集的平均誤差最小化。這聽起來很合理，直到你意識到「平均」天生就偏袒多數族群。如果你70%的訓練資料來自白人患者，模型就會為白人患者做最佳化。其他所有人的誤差率就只是……平均值裡可接受的損失罷了。
我們不接受那樣。在Veriprajna，我們實施所謂的最差族群損失最佳化。我們最小化的不是平均誤差，而是所有人口統計子群體中的最大誤差。在數學上，我們求解的是：同時將黑人、白人、西班牙裔及其他族群中的最差情況損失最小化。自動化憂鬱症偵測的研究已顯示，儘管這種做法可能略微降低整體準確率，卻能顯著改善那些原本會被系統性錯誤分類、代表性不足的族群的結果。
我們同時也強制執行均等機會（equalized odds）——要求真陽性率與假陽性率在各人口統計族群之間都相等。如果一個敗血症模型對白人患者有80%的敏感度，對黑人患者卻只有40%，那麼它就是在依種族提供不同層級的照護。就是這樣，沒有例外。那不是一個模型效能問題，那是一個公民權利問題。
至於完整的數學框架——包括具公平意識的損失函數、對抗式去偏見，以及我們對多模態訊號融合的做法——我已在我們的研究論文中詳述了技術細節。
但數學只是其中一層。以下是完整架構在實務中的樣貌：
你必須修復輸入端。我們不把脈搏血氧儀讀數當作絕對真相。我們的模型將血氧測量與心率變異性、呼吸速率及乳酸趨勢融合在一起。如果一名患者的心率和乳酸正在攀升、而SpO₂卻可疑地維持穩定，系統就會標記出訊號不一致，並提示臨床醫師開立動脈血液氣體分析——也就是黃金標準。我們是在三角定位患者的真實狀態，而非信任單一支帶偏見的感測器。
你必須修復標籤。我們使用經專家裁定的絕對真相，而非帳務代碼。當三位敗血症專家各自獨立審查一個病例並就診斷時間軸達成一致時，那是與一個在患者早已進了加護病房六小時後才產生的帳務代碼截然不同的訓練訊號。
你必須在地驗證。每一次部署都始於對該機構自身資料的回溯稽核。我們測量一項名為族群穩定性指數（Population Stability Index）的東西，以量化在地的患者族群與我們的訓練世代之間的差異程度。如果差距太大，我們就會在上線前重新校準。Epic敗血症模型災難性的效能崩跌——從內部的0.83曲線下面積跌到外部的0.63——正是你略過這一步時會發生的事。
「但這難道不會拖慢AI的採用嗎？」
人們這樣問我，而我理解這背後的衝動。把AI導入臨床工作流程確實有其真切的急迫性。當我們還在辯論公平性指標時，人們正在死去。
但這是我所學到的：迅速部署一套帶偏見的AI系統並不會拯救更多性命。它拯救的是某些性命——不成比例地偏向白人、不成比例地偏向富裕階層——同時製造出一種虛假的安全感，主動地傷害其他所有人。Epic敗血症模型被迅速地部署了，被廣泛地部署了。而它漏掉了三分之二的敗血症病例，同時有88%的時候在製造假警報。沒有公平的速度不是進步。那是規模化的疏失。
我聽到的另一個反對意見是：「公平性約束會降低準確率。」在最狹隘的意義上，這在技術上是真的——為最差族群的效能做最佳化可能會略微降低總體指標。但「總體準確率」正是那套讓脈搏血氧儀危機延續了三十年的統計障眼法。當你的95%準確率意味著對白人患者是95%、對黑人患者卻是62%時，那個總體數字就是一個謊言。
在醫療保健AI中為平均準確率做最佳化，就像回報一家醫院裡的平均溫度——它完全告訴不了你那個正在著火的病人任何事。
我在凌晨兩點所思考的事
我想到這樣一個事實：每三名黑人女性中就有一名回報自己在孕產照護期間受到不當對待。我想到加州的AI系統在黑人患者中漏掉的那40%嚴重病態病例。我想到我女兒的手指夾在那個脈搏血氧儀夾裡，想到護理師的微笑，想到螢幕上那個我心知肚明很可能是錯的數字。
而我也想到這樣一個事實：我們擁有修復這一切的數學工具。具公平意識的損失函數存在。多模態訊號融合存在。在地驗證框架存在。最差族群最佳化存在。這些沒有一項是理論上的。我們已經打造出來了。其他團隊也正在打造。這門知識就在這裡。
缺少的是意志。太多醫療系統在採購包裝殼解決方案，因為它們既便宜又快。太多AI供應商在回報總體準確率，因為子群體的細分數據會讓人難堪。太多監管者在以十名受試者測試裝置，並宣稱那樣就足夠了。
前進的道路並不複雜。向每一家AI供應商索取子群體效能指標——按種族、年齡與性別細分的敏感度、特異度與陽性預測值。拒絕那些不肯讓你看見分母的「99%準確率」宣稱。要求獨立的外部驗證，而非供應商的白皮書。並且，別再把公平當作一項功能需求了。它是一項設計要求。
黑人母親正以白人母親3.5倍的速率死去。建立在帶偏見硬體與帶偏見標籤之上的AI系統，正讓情況變得更糟。而我們每一天在沒有追問一套解決方案為誰有效、為誰無效的情況下就部署下一套包裝殼解決方案，我們就是在選擇便利而非人命。
我創辦Veriprajna，不是為了打造又一個帶有醫療詞彙的聊天機器人。我創辦它，是因為我相信深度AI——那種會質問自身輸入、以數學方式強制執行公平、並在碰觸任何一名患者之前先進行在地驗證的AI——是唯一在有人生命危在旦夕時，配得上待在那個房間裡的技術。
問題不在於AI是否屬於醫療保健。它屬於。問題在於，我們是否有那份正直，把它做對。
