夹在我女儿手指上的脉搏血氧仪在撒谎——你所在医院的AI也一样
去年春天，我女儿发烧到103华氏度。我们在急诊室，护士把一个脉搏血氧仪夹在她小小的棕色手指上。屏幕显示血氧饱和度97%。正常。护士笑了。我没有笑。
我知道——因为我为Veriprajna的一个项目埋头钻研了几个月的临床文献——她手指上那个设备几乎肯定在高估她的血氧。而且高估的幅度绝非微不足道，足以造成严重后果。发表在《新英格兰医学杂志》和《英国医学杂志》上的研究表明，黑人患者出现临床上所谓“隐匿性低氧血症”的可能性几乎高出三倍——这是一种设备显示你一切正常、而你实际血氧水平却危险偏低的状况。2024年范德堡大学的一项研究发现，常见的脉搏血氧仪在肤色最深的儿童中有7%未能检测出低血氧。而在肤色最浅的儿童中，它一例都没有漏检。
我看着屏幕上那个发着微光的小数字，心想：一切就是从这里开始的。不是从一个恶意的算法开始，不是从一个有偏见的数据集开始，而是从一个价值30美元、按白人皮肤校准、三十年来一直在对其他所有人撒谎的硬件开始。
那一晚改变了我对我们在Veriprajna所构建的一切的思考方式。这正是我撰写我们关于临床AI中算法公平性的研究的原因，也是我现在写下这篇文章的原因。
为什么你的脉搏血氧仪在深色皮肤上的表现不一样？
其中的物理原理简单得近乎令人难堪。脉搏血氧仪向你的手指发射红光和红外光，并测量有多少被吸收。含氧血红蛋白和脱氧血红蛋白以不同的比例吸收光，设备利用这个比例来估算你的血氧水平。
问题就在这里：黑色素也会在这些相同的波长范围内吸收光。如果你主要按肤色较浅的人来校准设备——制造商正是这样做的，而且直到最近，美国FDA也只要求对总共十名受试者进行测试——那么深色皮肤中黑色素的额外吸收就会被误读。设备会将其解读为比实际存在更多的含氧血红蛋白。你的数字看起来就比真实情况更高。
这并不是一个细微的学术发现。在肤色较浅者中，检测低血氧的假阴性率介于1.2%到26.9%之间。而在肤色较深者中，这一比例跃升至7.6%到62.2%。这可不是四舍五入的误差，而是截然不同的医学现实。
当你手指上的设备显示97%、而你的实际动脉血氧只有88%时，你不会得到吸氧支持，不会得到升级救治。你会被打发回家。
我记得，在我汇编完这些数据后的一次团队会议上，我们的一位工程师——一个非常聪明的人，一个我完全信任的人——说：“但下游的AI模型肯定会对此加以校正吧？”于是我意识到，正是这种假设在害人性命。AI并不会校正它，AI会放大它。
无人谈及的连锁反应
现代医院里会发生这样的事。一位患者到院。生命体征被记录下来——包括那个脉搏血氧仪读数。这些生命体征流入电子健康记录。而且越来越多地，一个AI系统在监视着这股数据流，寻找预示病情恶化的模式：脓毒症、呼吸衰竭、心脏事件。
如果AI触发“高优先级”警报的阈值是SpO₂低于92%，而一位黑人患者的血氧仪显示93%、其真实动脉血氧却是88%，那么警报永远不会响起。该患者不会被标记出来。那位正在管理另外十五名患者、并且已经学会信任系统的临床医生，不会进行干预。
这并非假设。这就是当下数百家医院的运作架构。
我和我的联合创始人花了一整晚梳理这件事的影响。我们一次次回到同一个令人不安的认识上：偏差不在算法里，而在输入端。就算你打造出世界上最精密、最讲究公平、校准得最完美的AI模型，然后把一个种族主义体温计产生的数据喂给它，你得到的也只是一个拥有出色资历的种族主义AI。
当使用最广泛的脓毒症AI漏诊67%的病例时，会发生什么？
如果说脉搏血氧仪的故事讲的是硬件偏差如何流入软件，那么Epic脓毒症模型的故事讲的则是：当软件本身从一开始就不是为所有人打造时，会发生什么。
Epic脓毒症模型，即ESM，已集成到数百家美国医院的电子健康记录系统中。它被宣传为一项突破——一种能在临床医生察觉之前就识别出脓毒症、通过早期干预挽救生命的AI。开发方报告的曲线下面积（一项标准的性能指标）为0.76到0.83。相当体面的数字。
随后，密歇根医学院的研究人员进行了一次独立的外部验证。AUC降到了0.63。灵敏度——即模型实际捕捉到脓毒症病例的能力——只有33%。它每三个病例中就漏掉两个。阳性预测值为12%，也就是说它88%的警报都是假警报。而且它仅在6%的病例中比临床医生更早发出标记。
我想在这一点上多停留片刻。一个部署在数百家医院、集成进医生每天赖以工作的流程中的系统，在它拉响警报时几乎十次有九次是错的，而在真正的病例上又漏掉了三分之二。
灵敏度只有33%的脓毒症模型不是安全网。它是一种带着全院订阅费的虚假安全感。
但这些性能数字尽管糟糕，却还不是最糟的部分。最糟的部分是它辜负了谁。
为什么AI脓毒症检测偏偏辜负黑人患者？
黑人和西班牙裔患者罹患脓毒症的发生率几乎是白人患者的两倍，而且他们往往在更年轻的年龄就发病。你会以为这该让他们成为AI检测系统最优先照顾的人群。然而，多项研究却发现，像ESM这样的模型在这些群体上的校准表现很差。
原因是一种叫做标签偏差的东西，一旦你理解了它，就再也无法视而不见。
大多数脓毒症模型是基于临床定义或计费代码训练的。那些代码由做出人为判断的人类临床医生生成。如果医生在历史上一向较慢地为黑人患者开血培养——无论是出于隐性偏见、沟通障碍，还是系统性因素——那么训练数据就会反映出这种延迟。AI于是学到“脓毒症”看起来就像白人患者的数据特征，因为正是这些患者得到了及时诊断。实际上，它变得对黑人患者身上脓毒症的表现视而不见。
接着，致命的反馈闭环合拢了：AI漏掉了患者，因为历史数据本身有偏差；临床医生漏掉了患者，因为他们信任了一个没有拉响警报的AI。
我曾就此与一位潜在投资人争论过。他说：“难道不能直接用更好的数据重新训练模型吗？”仿佛“更好的数据”正躺在某个仓库里，等着被接进去。数据本身就是历史。历史本身就是偏差。你没法靠往里加入更多同样带偏差的数据来修复一个有偏差的数据集。你必须改变架构。
每10万例50.3例死亡：这个应当让医疗AI寝食难安的数字
我到目前为止描述的一切——血氧仪的谎言、脓毒症模型的失灵、标签偏差——在孕产妇健康领域最为惨烈地汇聚到了一起。
美国疾控中心（CDC）报告称，黑人女性面临的妊娠相关死亡率为每10万例活产50.3例。白人女性：14.5例。这不是差距，而是鸿沟——高出3.5倍。而且即便你把教育程度和收入控制住，这道鸿沟依然存在。一位拥有大学学位的黑人女性，死于分娩的可能性比一位连高中文凭都没有的白人女性还要高。
加州孕产妇数据中心是全美数据最丰富的孕产妇健康环境之一，它发现自动化早期预警系统漏掉了黑人患者中40%的严重并发症病例。整整百分之四十。这些都是危及生命的并发症——大出血、先兆子痫、脓毒症——其发生频率是孕产妇死亡的100倍。AI本应捕捉到它们，却没有。
个中原因之一涉及研究人员所称的“风化”效应——由系统性种族主义造成的慢性压力所带来的生理性损耗。黑人女性往往在就诊时血压基线更高、心血管反应发生改变。一个基于人群平均值训练出来的AI，可能会把这些解读为“对这位患者而言是正常的”，而不是把它们识别为一个长期处于压力之下的身体所发出的警示信号。
当一个AI早期预警系统漏掉黑人母亲身上40%的严重并发症时，这不是一次技术故障。这是一个系统在丝毫不差地按照它的训练数据所教的那样运作——也就是说，以不公平的方式运作。
而这里有一个应当让每一位医疗高管都竖起耳朵的数字：麦肯锡估计，弥合黑人孕产妇健康差距每年可为美国GDP增加244亿美元，并节省3.85亿美元的可预防医疗成本。这不仅仅是一场道德危机，也是一场经济危机。
一旦发生严重并发症，黑人女性的死亡可能性是白人女性的1.79倍。这无关发生率——这关乎“抢救失败”。并发症出现了，干预的窗口打开了，而系统却未能及时行动。当AI不发警报、而临床医生又正在管理另外十几位患者时，那扇窗口就关上了。
为什么ChatGPT解决不了这个问题？
我一直被问到这个问题。大意都是：“为什么不直接用带有医疗提示词的GPT-4呢？它懂很多医学知识啊。”
它确实懂很多医学知识，就像一个读遍了所有教科书、却从未接触过一位病人的人懂很多医学知识一样。大语言模型是一个基于语言概率训练出来的统计引擎。它并不理解病理生理学。它不处理来自床边监护仪的实时波形数据。它无法告诉你，考虑到患者的肤色和正在使用的特定设备型号，某个SpO₂读数是否可信。
有研究发现，当患者的个体变量较为复杂时，大语言模型在肾功能不全的剂量调整上准确率仅为16.7%。它们会产生幻觉——自信满满地生成听起来权威、实则完全是编造的临床信息。它们无法提供临床医生用来核实建议所需的透明推理链条，而这在GDPR以及不断演进的美国健康法规下，正日益成为一项监管要求。
医疗AI市场充斥着我所称的“套壳”应用——套在通用型公共API之上的浅薄界面。它们用来起草出院小结或总结病历记录还行，但在判断一位32岁、生命体征处于临界值的黑人女性是需要立即干预还是可以再等等这件事上，它们从根本上就不够格。
这个区别至关重要。套壳应用拿来一个通用型语言模型，然后把它指向一个医学问题。而深度AI系统——正是我们在Veriprajna所构建的——从根基起就把实时生理信号、专家标注的数据集以及讲究公平的数学约束整合进模型架构之中。
这两种做法中，一种能写出一段关于脓毒症的令人信服的文字，另一种则能真正公平地检测出脓毒症。
你到底该如何构建不带歧视的临床AI？
这里我必须讲得稍微技术一点，因为解决方案并非哲学层面的——它是数学层面的。而正是这套数学，把深度AI和那些出于善意的空壳产品区分开来。
传统的机器学习优化，追求的是让整个数据集上的平均误差最小化。这听上去很合理，直到你意识到“平均”天然偏向多数群体。如果你70%的训练数据来自白人患者，模型就会为白人患者做优化。其他所有人的误差率，只不过是……平均值里可以接受的损失罢了。
我们不接受这一点。在Veriprajna，我们采用一种叫做最劣群体损失优化的方法。我们最小化的不是平均误差，而是所有人口统计学子群体中的最大误差。用数学语言说，我们求解的是：同时最小化黑人、白人、西班牙裔以及其他人群中的最坏情形损失。自动化抑郁症检测方面的研究表明，尽管这种方法可能会略微降低整体准确率，却能显著改善那些原本会被系统性错误分类的、代表性不足的群体的结果。
我们还强制执行“均等几率”——要求真阳性率和假阳性率在各个人口统计群体之间都相等。如果一个脓毒症模型对白人患者的灵敏度是80%、对黑人患者却只有40%，那么它就是在依据种族提供不同层级的救治。就是这样，没有商量余地。这不是模型性能问题，这是一个公民权利问题。
完整的数学框架——包括讲究公平的损失函数、对抗性去偏，以及我们对多模态信号融合的做法——我已在我们的研究论文中详细阐述。
但数学只是其中一层。以下是完整架构在实践中的样子：
你必须修好输入。我们不把脉搏血氧仪读数当作绝对真值。我们的模型将血氧测量与心率变异性、呼吸频率和乳酸趋势融合起来。如果一位患者的心率和乳酸正在攀升、而SpO₂却可疑地保持稳定，系统就会标记出信号不一致，并提示临床医生开具动脉血气检查——也就是金标准。我们是在对患者的真实状态进行三角定位，而不是去信任单一的、有偏差的传感器。
你必须修好标签。我们使用经专家裁定的绝对真值，而不是计费代码。当三位脓毒症专家各自独立评审一个病例、并就诊断时间线达成一致时，这与一个在患者已经进入重症监护室六小时之后才生成的计费代码，是截然不同的训练信号。
你必须在本地进行验证。每一次部署，都从对该机构自身数据的回顾性审计开始。我们测量一种叫做人群稳定性指数的指标，来量化本地患者人群与我们训练队列的差异程度。如果差距太大，我们会在上线前重新校准。Epic脓毒症模型灾难性的性能下滑——从内部的0.83 AUC降到外部的0.63——正是跳过这一步会有的下场。
“但这难道不会拖慢AI的普及吗？”
人们问我这个问题，我也理解这背后的冲动。把AI用进临床流程确实有着真切的紧迫感。就在我们争论公平性指标的时候，还有人正在死去。
但我学到的是：快速部署一个有偏差的AI系统，并不会挽救更多生命。它只挽救一部分生命——不成比例地偏向白人、不成比例地偏向富人——同时制造出一种虚假的安全感，反而主动伤害其他所有人。Epic脓毒症模型部署得很快，部署得很广。而它在生成假警报88%的时间里都在误报的同时，漏掉了三分之二的脓毒症病例。没有公平的速度不是进步，而是大规模的失职。
我听到的另一个异议是：“公平性约束会降低准确率。”从最狭隘的意义上说，这在技术上是成立的——为最劣群体的表现做优化，可能会略微拉低总体指标。但“总体准确率”正是那种统计上的花招，它让脉搏血氧仪危机得以持续三十年。当你所谓的95%准确率对白人患者意味着95%、对黑人患者却只有62%时，那个总体数字就是一个谎言。
在医疗AI里为平均准确率做优化，就好比报告一家医院的平均温度——它对那个正在被火烧着的患者只字未提。
凌晨两点我会想些什么
我会想到这样一个事实：每三位黑人女性中就有一位报告自己在孕产护理期间受到过不当对待。我会想到加州的AI系统在黑人患者中漏掉的那40%严重疾患病例。我会想到我女儿夹在那个脉搏血氧仪夹子里的手指，想到护士的微笑，想到屏幕上那个我知道很可能是错的数字。
而我也会想到这样一个事实：我们拥有修复这一切的数学工具。讲究公平的损失函数是存在的。多模态信号融合是存在的。本地验证框架是存在的。最劣群体优化是存在的。这一切都不是纸上谈兵。我们已经把它构建出来了。其他团队也在构建它。相关的知识就在这里。
缺的是意愿。太多医疗系统在购买套壳方案，只因为它们便宜又快。太多AI厂商在报告总体准确率，只因为子群体的拆分数据会让人难堪。太多监管者在只用十名受试者测试设备，还称之为足够。
前行的道路并不复杂。向每一家AI厂商索要子群体性能指标——按种族、年龄和性别拆分的灵敏度、特异度和阳性预测值。拒绝那些不向你展示分母的“99%准确率”宣称。要求独立的外部验证，而不是厂商的白皮书。并且，别再把公平当成一项功能需求。它是一项设计要求。
黑人母亲正以白人母亲3.5倍的比率死去。建立在有偏差的硬件和有偏差的标签之上的AI系统，正在让情况变得更糟。而我们每多部署一个套壳方案、却不去问它为谁服务、又辜负了谁，我们就是在拿性命去换便利。
我创办Veriprajna，不是为了再造一个带有医学词汇的聊天机器人。我创办它，是因为我相信深度AI——那种会审视自身输入、用数学方式强制公平、并在接触任何一位患者之前先在本地完成验证的深度AI——是唯一有资格在有人性命攸关时出现在那个房间里的技术。
问题不在于AI是否属于医疗行业。它属于。问题在于，我们是否有足够的正直去把它构建对。
