问题所在
UnitedHealth Group 的 AI 算法拒绝对老年患者的护理——而且它在 90% 的情况下都是错的。当人类法官真正进行审查时，十次拒绝中有九次被推翻。但 UnitedHealth 明知一个毁灭性的事实：只有 0.2% 的患者拥有反击的资源。
处于这场危机核心的算法名为 nH Predict。UnitedHealth 旗下的 Optum 部门于 2020 年以超过 10 亿美元将其收购。它本应预测 Medicare 患者需要接受多长时间的急性后期护理，例如专业护理机构的住院，结果却变成了一台无视患者是否真正需要帮助的成本削减机器。
以 Carol Clemens 为例。她在从高铁血红蛋白血症——一种危及生命的血液疾病——中幸存后，需要高强度的专业护理。临床证据支持她持续接受康复治疗的必要性。但 nH Predict 的预测还是终止了她的保险覆盖。她的家人自掏腰包支付了超过 16,768 美元，以避免她被过早出院。诉讼指控称，UnitedHealth“押注”于这样一个事实：像 Clemens 这样的患者病得太重、年纪太大或太过贫穷，无力提出上诉。
2025 年 2 月，一名联邦法官裁定这起集体诉讼可以继续推进。躲在黑箱 AI 决策背后的时代正在终结。如果您的组织使用 AI 作出影响人们生命或生计的决策，此案就是对您的警告。
这对您的企业为何重要
这不只是一个医疗行业的故事。这是一个公司治理的故事，而财务敞口大得惊人。
UnitedHealth Group 每年创造约 3000 亿美元的收入。该公司如今面临一起联邦集体诉讼，而这起诉讼可能重塑每一家受监管企业部署 AI 的方式。以下数字揭示了您自身的风险：
拒绝率飙升超过 100%。 在 AI 部署之后，急性后期护理拒绝率从约 10% 跃升至 22.7%。专业护理机构的拒绝率上升了 800%。您的董事会应该追问：您的 AI 系统是否正在产生监管机构可以标记出来的统计异常结果？
标普 500 成分股公司中有 72% 现已在其年度 SEC 文件中披露重大 AI 风险。 声誉损害是被援引最多的担忧。一次疯传的 AI 失效事件所引发的诉讼，其代价可能达到该 AI 本应节省金额的数倍。
欧盟《人工智能法案》的罚款最高可达全球营业额的 7%。 根据这部法律，医疗 AI 系统被归类为“高风险”，需要进行强制性合规评估、透明度披露和人类监督。如果您在欧洲开展业务，不合规就是董事会层面的财务威胁。
FDA 于 2025 年 1 月发布的指南草案现已为用于医疗和监管决策的 AI 模型确立了一个强制性的 7 步可信度框架。监管机构不再只是建议最佳实践——他们正在制定规则。
对您损益表的底线是：妥善治理 AI 的成本，只是为集体诉讼辩护、缴纳监管罚款或在公开失败后重建品牌所需成本的一小部分。
底层究竟发生了什么
以下是 nH Predict 失效的原因——无需行话即可解释清楚。
该算法的工作方式是对一个包含 600 万份患者记录的数据库进行交叉比对。它寻找模式：诊断相似的患者历史上平均住院 X 天。然后，它会为每一位新患者生成一个“目标”出院日期。
把它想象成一台只知道平均交通模式的 GPS。它告诉您车程需要 30 分钟。但它看不见前方的事故、道路封闭，也看不见您的车胎瘪了。它只是一味坚称您早就该到了。
nH Predict 存在同样的盲区。它依赖的是相关性——通常会发生什么——而非因果性——真正驱动每位患者病情的因素。它无法考虑患者家中是否有照护者、是否面临财务不稳定，或者是否存在特定的临床并发症。按照 Medicare 规则，这些因素决定了医疗必要性，但这个模型完全忽略了它们。
这种失效模式有一个名字：它就是询问“通常会发生什么”与“这位患者为什么需要更多时间”之间的区别。一个相关性驱动的模型——只发现模式而不理解原因——会告诉您，患有某种诊断的患者通常在 14 天后离开。而一个因果模型会问：哪些因素导致患者需要更多时间？过早取消覆盖又会带来什么后果？
问题之所以恶化，是因为 UnitedHealth 把一个有缺陷的预测工具变成了强制性指令。内部管理者要求个案管理员将患者住院时长控制在算法预测值的 3% 以内。随后他们又把该目标收窄至仅 1%。为了满足患者实际需求而偏离目标的临床人员面临纪律处分或解雇。“人在回路”这道保障沦为了一枚橡皮图章。
什么有效（以及什么无效）
让我们先从无效的做法说起，因为您的组织可能已经在采用其中之一。
在现有 AI 之上叠加一层聊天机器人。 这是“套壳”路线——在 GPT 等第三方 AI 引擎外包一层定制界面。这类套壳没有专有逻辑可言，会继承其基础模型的全部偏见，并产生您无法审计的黑箱输出。在受监管行业中，它们就是负债。
以为人工审核能解决一切。 从技术上讲，UnitedHealth 确实有人工审核 AI 决策。但当您因员工推翻算法而惩罚他们时，您的“人在回路”就只是一个虚构。流程设计比政策措辞更重要。
把 AI 治理当成一个 IT 项目。 如果您的 AI 治理完全归属 IT 部门，您就会遗漏法律、临床和财务这些真正构成责任风险的维度。2025 年 2 月的裁决之所以成功，是因为法官认定 UnitedHealth 违反了其合同承诺——覆盖决定本应由“临床服务人员”和“医生”作出，而不是由算法作出。
真正有效的做法分三步：
输入：用因果建模取代相关性。 您的 AI 系统应当构建于 因果与反事实建模 之上——这种方法要求您梳理所在领域中真实的因果关系，而不仅仅是历史模式。对医疗行业而言，这意味着要为患者为什么需要护理建模，而不只是看相似患者住了多久。
处理：带置信度评分的可解释 AI。 AI 作出的每一项决策都应附带一段通俗易懂的解释，说明驱动它的因素。SHAP 和 LIME 这类工具——用于展示哪些数据点影响了某个特定输出的方法——能让审计人员看清拒绝究竟是由临床证据驱动，还是由邮政编码等代理变量驱动。当 AI 遇到训练数据之外的病例时，置信度评分应标示出这种不确定性，并把病例转给人工审核员。
输出：带终止开关控制的完整审计跟踪。 每一项 AI 输出都必须被记录、加盖时间戳并可追溯。您的 AI 治理与合规计划 应包括一个中央 AI 登记册，编录您技术栈中的每一个模型；包括带回滚选项的模型变更管理；以及明确的授权，使跨职能委员会有权在某个模型性能退化时将其关停。
正是这条审计跟踪能把这套方案推销给您的合规团队。当监管机构或原告律师要求“向我展示这项决策是如何作出的”时，您要么拥有一条有据可查的逻辑链，要么就吃官司。FDA 的 7 步可信度框架如今明确要求一份“可信度报告”，记录验证策略、指标以及任何偏差。如果您的 AI 出具不了这份报告，那它在走进法庭之前就已经通不过监管考验。
那些构建 医疗健康与生命科学 AI 解决方案 的组织，需要的是能解释自身推理、标示自身不确定性、并让人类真正掌控全局的系统。UnitedHealth 案中法院传递的信息明白无误：如果您的 AI 系统存在根本性缺陷，法院不会要求受害者去参与一场被操纵的上诉闹剧。
关键要点
- UnitedHealth 的 AI 以 90% 的错误率拒绝了老年患者的护理，但只有 0.2% 的患者有能力上诉——这成了一个有利可图的失败。
- 一名联邦法官允许集体诉讼继续推进，裁定用 AI 算法取代人类临床判断可能违反了对投保人的合同承诺。
- 欧盟《人工智能法案》可对不合规的医疗 AI 部署处以最高达全球营业额 7% 的罚款，而 FDA 现已要求 AI 模型遵循 7 步可信度框架。
- 基于相关性、只会预测“通常会发生什么”的 AI 在受监管环境中注定失灵——您需要能解释决策“为什么”的因果模型。
- 在高风险领域中，每一项 AI 输出都需要完整的审计跟踪、置信度评分和终止开关——否则您构建的不是效率，而是法律责任。
总结
UnitedHealth 一案证明了一个事实：一套有利可图的 AI 系统，仍然可能是一套错得灾难性的系统——而法院会让您的组织为这道鸿沟承担责任。如果您在任何影响人们健康、财务或法律权利的决策中部署 AI，您的系统必须能解释自己的推理并标示自身的不确定性。请问您的 AI 供应商：当您的模型拒绝一项理赔或作出高风险建议时，它能向监管机构出示它权衡过的确切因素、该具体决策的置信水平，以及证明人类拥有真实推翻权限的审计跟踪吗？