医疗领域的 AI 偏见正在危及患者生命

问题所在

黑人产妇在怀孕和分娩期间的死亡率是白人产妇的 3.5 倍。旨在拯救她们的 AI 系统却正在让这场危机愈演愈烈。加州各医院的自动化预警系统漏诊了黑人患者 40% 的严重且危及生命的并发症。作为应用最广泛的脓毒症预测模型之一，安装在数百家医院的 Epic 脓毒症模型（Epic's Sepsis Model）在独立测试中漏诊了 67% 的实际脓毒症病例。该模型触发了如此多的虚警，以至于其 88% 的警报都是错误的。

这绝非理论上的担忧。这些失败此时此刻正发生于您的医院中，或由贵组织承保、资助或合作的医院中。其根本原因远比糟糕的软件更为深刻。向 AI 提供数据的物理设备——例如脉搏血氧仪——在其物理原理中就植入了种族偏见。而构建在这些数据之上的 AI 模型继承了每一个缺陷，将其放大，并披上一层算法权威的外衣。

如果贵组织正在部署、采购或依赖临床 AI，您必须了解这些失败是如何级联扩散的——以及在它们演变为您的法律责任之前，需要采取何种措施来予以解决。

为何这对您的业务至关重要

带偏见的临床 AI 所带来的财务与法律风险是触目惊心的。麦肯锡（McKinsey）估计，仅解决黑人孕产妇健康差距一项，每年就能节省 3.85 亿美元的可预防医疗成本，并通过恢复健康寿命年为美国 GDP 增加 244 亿美元。这意味着现有系统在提供更差医疗照护的同时，正在耗费巨额资金。

以下是应当引起您领导团队高度关注的问题：

• 监管风险正在加剧。 欧洲 GDPR 已经要求自动化系统提供透明的推理链条。美国医疗监管机构也在朝着同一方向迈进。如果您的 AI 无法解释为何标记某位患者却忽略另一位患者，您就将面临合规风险。
• 死亡率差距成为诉讼目标。 一旦发生严重并发症，黑人女性的死亡几率是白人女性的 1.79 倍。当 AI 系统未能向临床医生发出警报，且由此造成的伤害不成比例地落在某一特定种族群体身上时，起诉的法律依据便不言自明。
• 警报疲劳正在摧毁您的投资。 Epic 脓毒症模型 88% 的误报率意味着临床医生不再信任该系统。您付费购买的工具，一线医护人员却学会了将其忽略。这是对您的投资回报率（ROI）以及患者安全指标的直接打击。
• 董事会层面的声誉风险。 三分之一的黑人女性表示在产科护理期间曾遭遇不当对待。如果您的 AI 正在加剧这种模式而非纠正它，造成的声誉损害可能是严重且持久的。

您的首席财务官（CFO）需要明白：在此事上犯错的代价，是以生命、诉讼和信任丧失来衡量的。

底层究竟发生了什么

问题的出现甚至早于任何 AI 模型的运行。它始于夹在患者手指上的传感器。

脉搏血氧仪的工作原理是通过皮肤照射光线并测量血液中的含氧量。然而，黑色素——赋予皮肤颜色的色素——同样会吸收这种光线。由于这些设备主要是在浅肤色人群身上进行校准的，来自深色皮肤的额外吸收就会被误读。当患者实际上处于危险之中时，设备却报告血氧水平正常。

不妨将其想象成一个仅用体重在 120 到 160 磅之间的人群校准的浴室体重秤。如果您以 200 磅的体重站上去，它可能显示 170 磅。这个数字看起来很正常，但却错得极其危险。

黑人患者遭遇这种被称为隐匿性低氧血症（occult hypoxemia）的隐藏血氧危机的几率，接近白人患者的三倍。在肤色最深的新生儿和儿童中，常见脉搏血氧仪在 7% 的病例中漏诊了危险的低血氧，而在肤色最浅的人群中漏诊率为零。

现在再将 AI 叠加在上面。如果您的分诊算法在血氧降至 92% 以下时触发高优先级警报，它就会系统性地漏掉那些真实血氧为 88%、但设备读数显示为 93% 的黑人患者。AI 继承了传感器的盲区。随后它又增添了自身的问题：基于带有偏见的临床病历训练出来的模型，会学会将“脓毒症”与白人患者的数据模式联系起来。如果在历史上临床医生对黑人患者开具血培养医嘱的速度更慢，AI 也会学会这一盲区。这就形成了一个致命的反馈回路——输入偏见数据，输出偏见决策。

哪些方法有效（哪些无效）

在探讨有效方案之前，先来看看哪些方法行不通：

• 通用 AI 聊天机器人和 LLM 外壳。 这些只是覆盖在 GPT 或 Gemini 等通用大语言模型之上的单薄软件层。它们处理的是词语概率，而非临床逻辑。研究发现，当临床情况较为复杂时，LLM 在肾脏疾病患者用药剂量调整方面的准确率仅有 16.7%。它们根本不是为了生死攸关的决策而构建的。
• 缺乏亚组数据的供应商准确率宣称。 如果一家供应商告诉您其模型“准确率达到 95%”，但对白人患者的灵敏度为 80%，对黑人患者的灵敏度仅为 40%，那么这一宣称就毫无意义。您需要按种族、年龄和性别细分的性能表现指标——而不是单个平均数字。
• 一次性模型验证。 在一家医院验证过的模型在另一家医院往往会失效。Epic 脓毒症模型在内部宣称其 AUC（预测准确率的标准衡量指标）为 0.76 至 0.83。密歇根大学医学院（Michigan Medicine）的外部独立测试却发现，该指标暴跌至 0.63。您的患者群体与供应商的训练群体并不相同。

真正有效的是一种在各个阶段逐层解决问题的分层方法：

1. 修复输入端。 切勿将任何单一传感器视为绝对事实。将血氧测量读数与心率变异性、呼吸频率和实验室化验值相结合。当这些信号发生冲突时——例如心率上升、乳酸升高但血氧读数保持稳定——系统会标记出差异并提示进行金标准动脉血气分析（ABG）。这能捕捉到带偏见传感器所遗漏的病例。

2. 修复训练过程。 使用经过临床专家审核的标签来训练模型，而不是使用带有历史偏见的计费代码或文档简化记录。在训练期间应用公平性约束——即强制模型在跨种族和人口统计群体中表现同样良好的数学规则，即便这意味着略微降低整体平均评分。

3. 修复部署环节。 在贵机构上线运行之前，先进行本地验证审计。使用名为人口稳定性指数（Population Stability Index，PSI）的指标，衡量您的患者群体与模型训练数据的差异程度。然后进行重新校准。并持续重复这一审计，因为您的患者构成和临床方案会随时间而变化。

此处的合规优势至关重要。从传感器校正到公平性约束再到本地审计，每一步都会产生记录在案的审计轨迹。当监管机构或原告询问您的系统为何做出某一特定决策时，您可以准确展示哪些数据点触发了警报、应用了哪些公平性检查，以及该模型是如何针对您特定的患者群体完成验证的。正是这一审计轨迹，将可辩护的 AI 与危险的 AI 区分开来。

您的总法律顾问和风险管理官应当向您评估的每家 AI 供应商索取此类文档。如果供应商无法提供按亚组细分的性能指标、校准曲线以及经过同行评审的独立外部验证证据，那就是您应当果断放弃合作的信号。