拒绝为垂危患者提供护理的算法——以及它教会我如何构建不会致命的 AI
2024 年年底，我正坐在一间会议室里，一位同事在她的笔记本电脑上调出一组数据，把屏幕转向我。“你看过这个吗?”
那是 UnitedHealth Group 旗下 nH Predict 算法的申诉推翻率——这套 AI 系统被其子公司 NaviHealth 用来决定何时可以中止对 Medicare 患者的急性后期护理。专业护理。康复治疗。正是这类护理，让一位 82 岁的老人在中风后不至于被送回空无一人的公寓独自面对。
这个数字是 90%。
在人类评审真正审查算法拒绝承保的决定时，十次里有九次都会推翻它。这个 AI 十次里错了九次。而 UnitedHealth 是知情的。他们之所以知道，是因为只有 0.2% 的患者——年迈的、残疾的、认知受损的人——最终能够成功提交申诉。这套系统的设计初衷根本不是为了准确。它被设计成无法申诉。
那天晚上我合上笔记本电脑，无法入睡。不是因为这项技术让我惊讶——我花了多年构建 AI 系统，我明白相关性驱动的模型是如何失灵的。让我夜不能寐的是更丑陋的东西:这不是一个 bug。这是一种商业模式。而它正是我所在行业整整半个十年来一直兴高采烈地推广的那套企业 AI 哲学的逻辑终点。
我经营着 Veriprajna，这家公司建立在这样一个前提之上:在高风险领域中的 AI，必须与主导公众讨论的那些聊天机器人和内容生成器有着根本的不同。UnitedHealth 危机不只是印证了这个前提。它让这个前提变得更加激进。
一个价值十亿美元、却看不见一位垂死女性的算法
让我跟你讲讲 Carol Clemens，因为脱离了她，那些数字毫无意义。
Carol 患有高铁血红蛋白血症——一种危及生命的血液疾病，患者的血液无法正常携带氧气。在一次严重发作后，她住进一家专业护理机构，接受维持生命所需的康复治疗。正是 Medicare 本应承保的那种护理。
随后 nH Predict 生成了一个“目标出院日期”。这个在 600 万份患者记录上训练出来的算法，将 Carol 的诊断与历史结果进行交叉比对，判定她已经可以出院了。全然不顾她的血氧水平仍然低到危及生命。全然不顾她的临床医生说她需要更多时间。模型已经发话了。
她的家人支付了 $16,768 的自付费用 来让她继续接受护理。他们是幸运的——他们有这个财力。处在 Carol 那种境况中的大多数患者并没有。
关于这个案子，最让我难以释怀的是:nH Predict 并不是什么擅自进行的实验。UnitedHealth 旗下的 Optum 部门斥资超过 $1 billion 收购了 NaviHealth 及其算法。这是一家预计 2025 年营收达 3400 亿美元的公司的旗舰产品。这是医疗史上最昂贵的 AI 部署，而它却无法区分一个统计平均值和一位正在窒息的女性。
为什么这个算法有 90% 的时候都出错?
这是每个人都会问的问题，而答案简单得有些具有迷惑性。nH Predict 是一台伪装成临床工具的相关性引擎。
它吸收患者记录并找出规律:诊断为 X 的患者通常住院 Y 天。就这样。整个把戏就是如此。它并没有建模为何患者需要不同的护理时长。它没有考虑到某人在家是否有照护者，他们的经济状况是否稳定到足以应对门诊治疗，他们是否有使其病情不同于统计平均值的特定并发症。
一个告诉你“这样的患者通常 14 天就能出院”的模型，与一个理解为何这位具体患者需要 21 天的模型，并不是一回事。前者是多绕了几步的电子表格。后者才是智能。
我和其他创始人争论过这个问题，次数多到数不清。“可模型平均来说是准确的啊!”他们会说。当然。一条河平均深四英尺，但这对那个淹死在八英尺深处的人来说毫无安慰。
nH Predict 所缺乏的东西，其技术术语叫作 因果推理——即从“通常会发生什么”迈向“如果我们改变这个变量会发生什么”的能力。一个因果模型会问:如果我们在第 14 天撤掉专业护理，Carol Clemens 的康复轨迹会怎样?她会复发吗?她会死亡吗?相关性模型不会去问。它问不了。它本就不是为此而造的。
我在我们研究的交互式版本中深入探讨了这一区别，因为我认为这是当下企业领导者需要理解的、关于 AI 的最重要的那个概念。
3% 到 1% 规则——或者说，你如何把护士变成橡皮图章
算法的不准确已经够糟了。而 UnitedHealth 用它做的事更加恶劣。
举报人证词揭示，NaviHealth 的管理者为其临床员工设定了严苛的合规指标。个案管理者——护士、医生，那些花了数十年学习评估患者需求的人——被要求将患者的实际住院时长控制在3% 的偏差以内，无论 nH Predict 预测的是多少。
随后他们把它收紧到 1%。
想想这在实践中意味着什么。你是一名护士。你检查了一位患者。凭借多年的经验和眼前的临床证据，你知道这个人还没准备好回家。但算法说是第 14 天，而你的经理说你必须踩中第 14 天，正负不超过零点几天，否则你就会面临纪律处分。也许是解雇。
你会怎么做?
大多数人都服从了。不是因为他们是糟糕的临床医生，而是因为这套系统被设计成让服从成为唯一能生存下去的选择。护理协调员被指示将他们的进展评估安排得恰好与算法预测的出院日期同一时间——刻意让临床时间表去迎合模型，而非患者。
我记得我把这件事讲给一位在航空安全领域工作的朋友听，他脸都白了。“这就好比告诉飞行员，不管天气状况如何，都要按飞行计划降落，”他说。“你再也别想飞了。”
当临床医生因为推翻一个有缺陷的算法而受到处分时，你拥有的就不是“人在回路中”。你拥有的是一个人形的橡皮图章。
这就是我所说的算法胁迫，也是最让我恐惧的失效模式——不是因为这个 AI 是自主的，而是因为它创造了一种环境，在这种环境里，人类会受到惩罚，只因他们行使了 AI 所缺乏的判断力。
2025 年 2 月 13 日，法庭上发生了什么?
这起集体诉讼——Estate of Gene B. Lokken v. UnitedHealth Group——在联邦地区法院法官 John Tunheim 裁定该案可以继续审理时，迎来了一个转折点。这一点意义重大，而且不仅仅是对 UnitedHealth 而言。
法院查明，UHC 自己的政策文件承诺，承保决定将由“临床服务人员”和“医生”做出。通过用一个实际上主宰了结果的算法来替代这些人，UnitedHealth 可能违背了它与每一位保单持有人之间的合同。
更为重要的是:这位法官免除了患者在起诉前必须用尽行政申诉程序的要求。通常，Medicare 受益人在能够上法庭之前，必须闯过多个层级的官僚审查。但 Tunheim 看了看 90% 的错误率，又看了看 0.2% 的申诉率，实质上说:我们不会强迫垂死的人去参与一个被操纵得对他们不利的系统。
那项裁定应当成为每一位在受监管行业中部署 AI 的高管的必读材料。法律体系不再愿意把算法失灵当作一个需要患者自己去解决的流程问题。
为何“套壳 AI”在医疗领域是一颗滴答作响的定时炸弹
在这里我需要对我自己所在的行业直言不讳，因为 UnitedHealth 的故事并非孤立事件。它是一个结构性问题最显眼的症状。
在过去三年里，企业 AI 市场充斥着我所说的套壳解决方案——这些公司拿来一个现成的大语言模型，用一个自定义界面把它包裹起来，也许再用一些特定领域的数据微调一下，然后把它当作医疗 AI 产品来卖。或者保险 AI 产品。或者合规 AI 产品。
这些套壳产品共享着让 nH Predict 变得危险的每一个弱点:
它们是黑箱。你无法审计任何单个决策背后的推理，这意味着在系统性偏见已经伤害了成千上万人之前，你根本无法察觉它。
它们继承了偏见——源自它们的基础模型。如果训练数据反映了历史上的歧视模式——而在医疗领域，情况总是如此——套壳产品就会忠实地复制这些模式。
它们没有因果理解。它们基于统计相关性进行预测，这意味着它们优化的是“通常会发生什么”，而不是“对这位患者应该发生什么”。
而且至关重要的是，它们不具防御性。任何竞争对手都能在同样的基础模型上构建出同样的套壳。没有专有的智能，没有独特的洞见——只是在别人的引擎之上薄薄一层自动化而已。
医疗 AI 中的套壳经济是建立在沙滩之上的。当监管的潮水涌来时——而它来得很快——那些没有深度的、可解释的、以因果为根基的系统的公司，将会被冲走。
我这么说，并不是因为 Veriprajna 与套壳公司竞争（尽管我们确实如此）。我这么说，是因为我亲眼见过这些系统在生产环境中失效时会发生什么，而“演示就绪”与“临床安全”之间的鸿沟，是套壳产品无法跨越的深渊。
FDA 希望 AI 如何证明自己值得信赖?
2025 年 1 月，FDA 发布了一份指南草案，确立了一套7 步可信度评估框架，适用于用于医疗和监管决策的 AI 模型。我花了数周研读这份文件，它是我所见过的最具深远影响的一份 AI 监管文件。
该框架要求每一次 AI 部署都清晰地定义它所回答的确切问题，明确它在临床工作流程中的角色，评估如果它出错会发生什么，然后通过严格的测试来证明——它适用于那个特定目的。
nH Predict 会在每一个步骤上都不合格。它对自身的临床角色没有清晰的定义。它的风险评估忽略了拒绝护理所带来的危及生命的后果。它的“验证”优化的是成本控制，而非患者结果。
与此同时，《欧盟人工智能法案》在 2025 年将医疗 AI 归类为“高风险”，要求强制性的透明度披露和人工监督。违规处罚最高可达全球营业额的 7%。对于 UnitedHealth 这种规模的公司来说，那不是一笔罚款——那是关乎存亡的威胁。
世界卫生组织走得更远，专门针对它们所称的自动化偏见——即临床医生即便在算法与自己的临床判断相矛盾时，也倾向于服从算法。这正是 NaviHealth 所发生的事。WHO 2024 年的指南警告，过度依赖 AI 可能导致那些不再进行批判性评估的医生出现“技能退化”。
有关这些监管框架的完整技术剖析，以及它们如何适用于企业 AI 部署，请参阅我们的研究论文。
我意识到可解释性并非可有可无的那个夜晚
在每一位创始人的旅程中，都有那样一个时刻，一个抽象的原则变得真切可感。对我而言，那是一个深夜，我正在一个医疗数据集上测试我们某个模型的早期版本。
该模型将一个案例标记为应予拒绝。我请团队运行 SHAP——SHapley Additive exPlanations，一种显示哪些特征驱动了某个具体预测的工具。最主要的因素不是患者的诊断，也不是他们的临床病程。而是他们的邮政编码。
我和我的首席工程师盯着屏幕。我们都知道，在美国的医疗数据里，邮政编码与什么相关。我们看到的不是一个临床变量。我们看到的是一个被包装成五位数字的、种族与收入的代理变量。
那天晚上我们废弃了那个特征。但这段经历让某个我在理智上早已理解、却从未在骨子里真切感受到的东西变得清晰起来:如果你无法解释为什么你的 AI 做出了某个决定，你就无法发现那些站不住脚的决定。
这就是为什么我们把可解释性作为架构来构建，而不是事后的补丁。像 SHAP 这样的工具，能给你一个关于是什么在驱动你的模型的全局视角。LIME——Local Interpretable Model-Agnostic Explanations——则向你展示任何单个决策背后的推理。对于像 Carol Clemens 这样的患者，LIME 本会让人看清:算法忽视了她危险偏低的血氧，转而偏向她那个诊断编码的平均康复统计数据。
然后还有置信度评分——大多数套壳解决方案完全跳过的那一环。当患者出现一种在训练数据中代表性很差的罕见病症时，系统需要明确地说:“我了解得不够，无法做出这个判断。把它转交给人类。”这不是一个建议。这是一个硬性的停止。
为何这再也不能是一个“IT 问题”
每当我说 AI 治理属于董事会的事务时，人们总会反驳我。“那不正是工程团队该干的吗?”不。绝对不是。而 UnitedHealth 这个案子就是明证。
NaviHealth 的工程师们并没有设定 1% 偏差的强制要求。那是一个管理层的决定。工程师们并没有决定去处分那些推翻算法的临床医生。那是一个政策决定。工程师们并没有选择在没有因果验证的情况下，为生死攸关的承保决定去部署一个基于相关性的模型。那是一个战略决定。
到 2025 年，72% 的标普 500 强公司已在其提交给 SEC 的文件中披露了重大 AI 风险。声誉风险如今是被援引最多的担忧。单次算法失效就能同时引发诉讼、监管行动和公众愤怒——而那个说“我们并不知情”的董事会将会发现，无知并不能成为辩护理由。
在 Veriprajna，我们推动每一位客户去建立跨职能的 AI 治理委员会，成员包括临床领导者、法律顾问和患者安全代表——而不只是工程师和产品经理。这些委员会需要有权力去维护一份组织技术栈中每一个 AI 模型的中央登记册，在性能退化时强制执行回滚选项，并且——这正是让高管们感到不安的部分——在一个能盈利的模型正在造成伤害时把它叫停。
AI 治理不是一个成本中心。它是一家负责任地部署 AI 的公司，与一家沦为参议院调查中下一个前车之鉴的公司之间的区别。
我反复经历的那场争论
有一段对话，我几乎在每一次会议上都会遇到，它是这样的:
“Ashutosh，你把这件事搞得太复杂了。我们可以在自己的临床数据上微调 GPT-4，六周内就能交付点东西。你那套方法要花好几个月。”
在时间线上我并不反对。我反对的是对“完成”的定义。
你当然可以在六周内交付一个套壳。你可以把它演示得美轮美奂。它会生成听起来煞有介事的临床摘要，让你的投资人开心。然后，六个月后，当一位患者因为你的模型信心满满地推荐了错误的治疗方案、而没人能解释为什么而死去时，你会发现，你省下的那六周，让你付出了一切。
UnitedHealth 危机并不是由糟糕的工程师或恶意造成的。它是由一个把 AI 当作吞吐量优化问题的组织造成的——把每个案例的审查时间缩短六到十分钟——而不是当作一个临床判断问题。他们用处理速度和拒绝率来衡量成功，而不是用患者结果。
从预测型套壳转向我所说的深度 AI，并不是要使用更花哨的模型。而是要提出一个根本不同的问题。不是“我们如何自动化这个决定?”，而是“我们如何让这个决定比人类单独做出的更好、更透明、更负责?”
我们从这里走向何方
我想以一件自我动笔写这篇文章以来就一直困扰着我的事情来结尾。
nH Predict 的故事令人震惊，但它不应令人意外。多年来，我们一直在构建一个奖励速度胜过安全、奖励相关胜过因果、奖励自动化胜过增强的 AI 生态系统。那些激励结构——风险投资的时间线、企业采购周期、要求尽快交付的无情压力——全都在推向套壳这条路。快速构建，快速销售，治理的事以后再说。
根本没有“以后”。2025 年 2 月的裁定把这一点讲清楚了。FDA 的可信度框架把这一点讲清楚了。《欧盟人工智能法案》7% 的处罚把这一点讲清楚了。而 Carol Clemens 那 $16,768 的医疗账单，用最贴近人性的方式把这一点讲清楚了。
前路不是更少的 AI。而是配得上我们所赋予它的那份权威的 AI——通过理解为何的因果验证、通过展示其工作过程的可解释架构、通过让人类能够在不惧惩罚的情况下推翻机器的治理结构，以及承认模型了解得不足以做出判断时的那份基本的制度性谦逊。
问题从来都不是“AI 能不能做医疗决策?”。它一直都是“我们该不该让 AI 去做它无法解释、无法证明其合理性、而且有 90% 的时候都出错的医疗决策?”。答案，终于，是不该。
我们创立 Veriprajna，是因为我们相信这个答案终会到来。我只是希望，证明我们是对的，不必以垂死的患者为代价。
