九成医师信任他们的临床 AI，却只抓住其三分之一的危险错误
我们临床 AI 安全工具的第一个版本运行得非常出色。而这恰恰就是问题所在。
我们打造它的初衷是做一件显而易见的事：捕捉幻觉。把它对准一个环境记录工具或患者门户的草拟工具，输入 AI 的输出，让它标记出与事实不符的陈述。它抓出了错误的药名。它抓出了不可能的化验值。它抓出了相差一个数量级的剂量。我记得当时对它的感觉确实很好——我们在发现错误，演示很成功，数字看起来很干净。
后来，项目上的一位临床顾问——一位在病房里工作了二十年的住院医师——带我看了一个我至今仍在思考的例子。一个 AI 为一位询问用药的患者起草了一份 MyChart 回复。草稿建议继续服用二甲双胍，并愉快地指出上一次的糖化血红蛋白（HbA1c）为 6.8%。其中的每一个事实都是真的。这份记录充满同理心、结构良好，正是一位优秀医师会写的内容。我们的工具没有任何标记就让它通过了。
这位患者的肌酐在三次就诊中一直在攀升。肌酐升高意味着肾功能下降，而肾功能下降会使二甲双胍变得危险。AI 不知道要去查看这一点。而且——这正是重塑了我对临床 AI 安全的认识的部分——审阅医师也不会去查看：在点击发送之前，繁忙的临床医生只花十到十五秒扫一眼这份流畅、友好、事实一致的草稿。
我们的幻觉检测器解决的是错误的问题。伤害患者的错误通常并不是那些明显错误的。它们是那些局部正确、但在具体情境中致命的错误。你无法靠核查事实来通往安全，因为危险就藏在 AI 没有说出来的东西里。
正是那次失败，让 Veriprajna 停止构建幻觉检测器，转而开始构建面向一个医疗系统实际运行的整套 AI 技术栈的独立安全基础设施。这篇文章讲的就是当我们诚实地审视那一整套技术栈时所发现的东西。
那个本该让每一位 CMIO 彻夜难眠的数字
2024 年 4 月，《柳叶刀·数字健康》发表了一项研究，我认为它是医疗 AI 领域最重要、也最少被吸收的发现。研究人员让医师审阅 AI 起草的患者消息回复。其中 7.1% 的草稿存在严重的患者伤害风险。0.6% 存在致死风险。
下面这一点比错误率更重要。这些医师完全按照我们要求他们做的去做——审阅 AI 的工作——却漏掉了66.6%的有害草稿。在这些有错误的草稿中，有三分之一到近一半完全未经修改就发了出去。而在接受调查时，这些医师中有 90% 表示他们信任该工具的表现。
九成的信任，却只抓住了三分之一的危险错误。这道落差不是培训问题。它是让一个人去审查一台比自己写得更流畅的机器时，可以预见的结果。
这就是自动化偏见，它并不是医生的性格缺陷。它是这种交互本身的属性。当一份草稿写得好、又富有同理心时，在读者心里，文字的质量就替代了独立的核查。AI 写得越好，人就检查得越少。我们正在部署的工具，其最大的优势——流畅、自信的语言——恰恰就是让我们围绕它们建立起来的安全网失效的机制。
ECRI 是一家发布年度顶级健康技术危害清单的患者安全非营利组织，它将 AI 驱动的诊断风险列为2025 年和 2026 年的头号危害。不是前十名之一。是头号，连续两年。
“已阅读并审阅”是一种法律虚构
加利福尼亚州的 AB 3030 法案于 2025 年 1 月生效，要求医疗系统在与患者的临床沟通中使用 AI 时予以披露。它带有一项听上去合理的豁免条款：如果一名持照医疗提供者阅读并审阅了 AI 的输出，就无需披露。其逻辑是，有人参与其中就能让 AI 的贡献变得不可见且安全。
《柳叶刀》的数据击碎了这一逻辑。如果医师漏掉了三分之二的有害错误，那么对相当一部分情况来说，“已阅读并审阅”不过是走个过场。这项豁免所假设的审阅质量，正是自动化偏见在规模化时所无法实现的。对一家机构而言，每次违规最高可罚款 25,000 美元，此外，签名在这份记录上的医师还要面对纪律处分的风险。
我花了大量时间与首席医疗信息官打交道，而对话往往就在这里变得令人不安。法律框架假定人工审阅是有意义的。而临床现实是，有意义的审阅需要 AI 供应商大多尚未构建的技术支撑——不确定性高亮、回溯到来源的引文链接、以及能让医师停下来、去核对那些重要论断的主动确认工作流。少数供应商已经开始构建它——Abridge 的 Linked Evidence 能把生成记录中的每一行追溯回产生它的那一段确切音频——这只能证明这种能力是存在的，而大多数工具仍未把它放在优先位置。没有那套支撑，“有人审阅过了”只是一个合规勾选框，而不是一项安全控制。
供应商说是 0.001%。得克萨斯州总检察长说：拿出证据来。
每家临床 AI 供应商都以一个准确率数字打头阵。我在审计这些工具时学到的第一件事就是：在你搞清楚这个数字是怎么算出来的之前，它只是一件营销产物。
2024 年 9 月，得克萨斯州总检察长就 Pieces Technologies 所营销的“关键幻觉率”低于0.001%的宣称达成了和解。Pieces 的软件部署在得克萨斯州的四家大型医院——Houston Methodist、Children's Health、Texas Health Resources 和 Parkland。此案引人注目之处在于，总检察长并不需要任何针对 AI 的专门法律。现有的消费者保护法就足以挑战这家公司无法证实的准确率宣称。
这份和解协议——一份为期五年的《自愿合规保证》——如今迫使 Pieces 向每一位客户披露：其各项指标是如何定义和计算的、模型是用什么数据训练的，以及它已知的有害用途有哪些。这为整个行业树立了一个范本。
没有分母的幻觉率不是一项测量。它是一则广告。
把 0.001% 与我们和其他人在实地实际发现的情况做个对比。在 2025 年第一季度的一次试点中，一个 AI 出院助手为一位病历中明确标注对某类药物过敏的患者推荐了该类药物。它在临床上需要处理的错误陈述的真实发生率是0.98%——是供应商所宣称的 0.08% 的十二倍。同一类产品，幻灯片与患者之间却相差一个数量级。MIT Media Lab 发现，在没有缓解措施的情况下，模型在临床病例上的幻觉率高达 60% 以上。诚实的答案是：在你追问之前，没有谁的头条数字有任何意义——它是在哪个数据集上算出来的、由谁验证的、跨越多长时间，以及——那个几乎没人问的问题——是跨哪些患者人口群体得出的？
事实证明，最后那个问题，是背后有人命的那一个。
你看不见的偏见，因为设备把它藏了起来
有一个事实，我希望在重症监护领域之外能更广为人知。脉搏血氧仪——夹在患者手指上、用来读取血氧饱和度的那个小夹子，医学中最受信赖的数字之一——在深色皮肤上系统性地更不准确。
黑人患者大约有三倍的可能性出现隐匿性低氧血症：即设备读作正常、实则危险偏低的血氧。这种高估幅度在 0.6 到 1.5 个百分点之间，听上去微不足道，直到它成为“收入 ICU”和“送回家”之间的分界线。在儿科数据中，对于肤色最深的儿童，设备漏检了 7% 的低血氧，而对肤色最浅的儿童漏检率为 0%。FDA 于 2025 年 1 月发布了指南草案，建议制造商使用 Monk 肤色量表在至少 150 名多样化受试者身上进行测试，而此前的惯例低至仅十人。
现在，在一个在传感器层面就已经存在偏差的测量之上再叠加 AI。模型继承了这种偏差，并通过一个自信的输出把它“洗白”。这正是临床 AI 安全中供应商最没有能力在自身发现的部分，因为要发现它，就必须刻意按种族、性别和年龄对性能进行分层——然后把这些差距公之于众。
Epic 脓毒症模型是我在每一次治理讨论中都会拿出来的警示故事。开发方报告的 AUC——一种预测准确性的标准衡量指标，1.0 为完美，0.5 相当于抛硬币——为 0.76 到 0.83。而当密歇根大学在他们自己的患者身上进行外部验证时，他们得到的是0.63。灵敏度为 33%，意味着它漏掉了三分之二的脓毒症病例。它的阳性预测值为 12%，意味着它 88% 的警报都是虚惊一场。而且它对黑人和西班牙裔患者的校准很差，而这些人群的脓毒症发病率几乎是前者的两倍。一个用历史临床判断训练出来的模型，学到的是历史上的临床盲点，然后再披着算法的权威，把这些盲点反射回临床医生身上。Epic 在 2022 年对该模型进行了彻底改造，其第二版的一项多中心前瞻性验证于 2026 年 2 月发表在《JAMA Network Open》上——而这恰恰就是关键所在。外部的、部署后的验证，才是能抓住原始 AUC 宣称所掩盖的差距的东西，而在这里，逼出这一验证花了数年时间和外部研究人员的推动。
这种情况最极端的版本出现在孕产妇护理中。黑人女性的分娩死亡率为每 10 万例活产 42.8 至 50.3 例，而白人女性为 13 至 14.5 例。加利福尼亚州的一项审查发现，AI 早期预警系统漏掉了黑人患者中 40% 的严重并发症病例。当预警系统对风险最高的人群视而不见时，它就不只是中立地失效——它反而扩大了那道它被兜售来弥合的差距。
为什么不能直接测一下模型有没有偏见，然后就翻篇了？
人们问我，为什么医疗系统不干脆做一次公平性检查、然后给模型发个合格证。我过去以为这是资源问题。其实它比那更深层，而且是数学层面的。
有一个结论叫 Chouldechova 不可能性定理。简单来说：两种合理的公平性定义——人口均等（模型对每个群体的标记率相同）和几率均等（模型在每个群体内的准确性相同）——除了在平凡的情形下，二者无法同时得到满足。你必须选择你要优化的是哪一种公平，而这个选择会带来临床后果。
“我们测试过偏见”这句话，如果不说明用的是什么标准，就毫无意义。任何一家无法告诉你他们选了哪种公平性定义的供应商，其实都已经选了一种，只是没告诉你。
这就是为什么一次真正的偏见审计不是一张一次性的合格证。它是分层的亚组性能表、按人口群体划分的校准曲线，以及一个逐部署站点跟踪的人口稳定性指数（Population Stability Index，一种漂移指标）——因为一个在波士顿公平的模型，随着患者构成的变化，可能会在休斯敦漂移到失去校准。这项工作所需的、由专家裁定的真值标签，每个病例的成本在 50 到 200 美元之间。它是昂贵、专业、持续投入的基础设施。它也是横亘在一项采购决策与一份验尸报告之间的唯一屏障。
没有人对整套技术栈负责
我一再遇到的结构性问题是这样的：一个中到大型医疗系统会同时运行五到十五种 AI 工具。一个环境记录工具（Abridge 覆盖 UPMC 旗下四十多家医院，或者接入 EHR 的 Nuance DAX Copilot）、一个来自 Epic 的脓毒症模型、一个患者门户草拟工具、一个分诊算法、一个编码助手。每一个都有自己的准确率宣称、自己的安全概况、自己的盲点，以及自己的仪表盘。没有任何一家供应商能提供跨这些工具的治理，因为没有任何一家供应商同时卖出所有这些工具。
而且，确实存在的那些治理，比组织架构图上显示的要单薄。Censinet 的 2026 年数据显示，84% 的医疗系统设有 AI 治理委员会——但只有 59% 在一款 AI 工具上线前设有正式的、有文档记录的审批流程。CIO 出现在其中 63% 的委员会里；而当工具出错时在临床上负责的那个人——CMIO——只出现在其中45%。与此同时，临床医生正在自行采用工具——影子 AI——其速度快过任何委员会所能审查的速度。
这正是 Veriprajna 被创立来填补的空白，也是我不再把我们所做的事情描述为“幻觉检测”的原因。我们对一个医疗系统实际部署的 AI 进行独立的、供应商中立的评估：像对手或一个糟糕的日子那样对这些工具进行红队测试，用真实的分母去验证供应商的准确率宣称，运行大多数 IT 团队没有能力运行的偏见审计，并把 AB 3030、科罗拉多州的《AI 法案》以及欧盟《AI 法案》的高风险规则，转化为可操作的控制措施，而不是法律上的焦虑。一个横跨每一款工具的安全层。
“这不就是在拖慢创新吗？”
这是我听到最多的反对意见，通常来自一个眼看着环境记录在一年内成长为一个价值 6 亿美元的品类、又不想成为那个说“不”的高管的人。
我会主张相反的观点。独立的安全，才是让快速采用得以存活下来的东西。被烧伤的医疗系统不是那些谨慎的——而是那些照着供应商的幻灯片就部署、直到有患者受到伤害之后才发现 0.08% 与 0.98% 之间差距的系统。医疗 AI 投资平均每投入一美元回报约 3.20 美元，在 14 个月内实现。而这份投资回报率，会在一款未经验证的工具第一次引发医疗事故索赔时蒸发殆尽——而自 2022 年以来，与 AI 相关的索赔已经上升了 14%，集中在放射科、心脏科和肿瘤科。验证不是创新的税。它是让你在第一件事出错之后还能继续创新的保险。
第二种反对意见：难道我们自己的信息学团队不能处理这件事吗？有时候，能处理一部分。但独立评估的价值，恰恰就在于它是独立的——正如你不会让一家公司审计自己的财务报表一样。供应商不会通过红队测试把自己搞出一个更难看的数字，而一个曾力推某项采购的内部团队，对这项采购的成功有着一份不便言明的利害关系。一个在这笔交易中没有立场的人，才会去问那些其他所有人都有理由不去问的问题。
如果是今天，我会对一位 CMIO 说什么
我过去以为重要的那个问题是：这个 AI 有用吗？我错了。每一家供应商都会向你展示它有用。真正重要的问题是：在监管者、原告律师或记者要求你证明的那一天，你能证明它有用吗——而且是在每一个患者人口群体上都有用？
眼下大多数医疗系统都做不到。他们有着自己无法复现的准确率数字，一个没有临床负责人参与的治理委员会，以及一批从未有任何独立方一起测试过的工具。那份流畅的草稿会继续被一路点击通过。脓毒症警报会继续在 88% 的时间里虚报狼来了。脉搏血氧仪会继续在其实并不正常的患者身上读出正常。
我创建Veriprajna 的医疗 AI 安全业务，是因为那个二甲双胍的例子从未离开过我。那份记录堪称完美。其中的一切都是真的。而它本可以害死一个人——不是因为 AI 愚蠢，而是因为它极具说服力，而且没有人有能力去核对它没有说出来的那件事。临床 AI 中的安全，不是抓住那个显而易见的错误。它是构建起相应的基础设施，在患者先一步抓住那个看不见的错误之前，把它抓住。
