你的医生用 AI 给你写了一条可能致命的消息——却没人告诉你
去年我和一位医疗系统的 CTO 通话时，他说的一句话让我瞬间僵住。
“我们现在用 GPT 起草患者门户的消息了。医生们都很喜欢，每周能省下好几个小时。AI 的部署我们基本上已经搞定了。”
搞定了。这个词像一块石头压在我的胸口。因为我刚读完一项研究——发表于《柳叶刀·数字健康》（The Lancet Digital Health），2024 年 4 月，由来自哈佛医学院、耶鲁大学和威斯康星大学的研究人员完成——它讲述的却是一个截然不同的故事。在那项研究中，GPT-4 在一个模拟的电子健康记录系统内起草了 156 条患者门户消息。其中 7.1% 的草稿存在造成严重伤害的风险。有一条——占 0.6%——存在直接致死的风险。
而正是下面这个数字，让我放下咖啡、把那一段反复读了三遍：审阅这些 AI 草稿的二十名执业初级保健医生，平均漏掉了 66.6% 的危险错误。
这位 CTO 并非玩忽职守。他所做的正是整个行业都在做的事——把一个通用语言模型套上一层薄薄的软件外壳，让它去处理患者消息，然后寄希望于流程末端那位医生的眼睛能够抓住任何出错的地方。
过去几年里，我一直在 Veriprajna 构建这样一类 AI 系统，它们从设计上就要做到有据可依——锚定于经过验证的知识，而不仅仅是统计概率。这项研究让我一直在那些人们不愿倾听的场合里所主张的观点变得无比清晰：“人在回路”（human-in-the-loop）并不是一种安全机制。它只是一种祈祷。
当 AI 替你的医生写回复时会发生什么？
让我先描绘一下这项技术为何会存在，因为这种需求是真实而迫切的。
美国的初级保健医生平均要花每月 10 个小时仅仅用于回复患者门户消息。顺便说一句，这是无偿劳动——历来无法计费。它是把医生彻底逼出医疗行业的职业倦怠危机的主要推手之一。
所以，当出现能够针对患者问题起草出有同理心、内容详尽、语法工整的回复的 AI 工具时——这些回复在感知质量上的评分往往高于那些疲惫不堪的医生在晚上 11 点写出的内容——其被采用的速度极快。Epic 的 MyChart 集成了 AI 起草功能。初创公司融资数亿美元。医疗系统为效率提升而欢呼。
我理解这一点，我是真心理解。职业倦怠的问题对我来说并不抽象。我曾与一些医生面对面交谈，他们把自己的收件箱形容为第二份全职工作，一份让他们开始厌恶那些自己当初立志从医要去帮助的患者的工作。
但在医疗领域，只有效率而没有准确性，并不是创新。那是在等待原告上门的玩忽职守。
那项本该拉响火警的《柳叶刀》研究
2024 年 4 月的这项研究并不是一次小规模试点，也不是一篇观点文章。它是一项横断面模拟研究，由执业临床医生在逼真的电子健康记录（EHR）环境中审阅 AI 生成的草稿。研究人员刻意在部分草稿中植入了错误——正是大语言模型实际会产生的那类错误——然后观察会发生什么。
结果令人震惊。
90% 的审阅医生表示信任这款 AI 工具的表现。他们发现它减轻了自己的认知负荷——80% 的人在这一点上表示认同。这些草稿流畅、有同理心、结构良好。它们给人的感觉是对的。
但只有二十名医生中的一名抓出了全部四份故意植入错误的草稿。仅仅一名。而 35% 至 45% 的错误草稿被原封不动地提交给了患者。
当一份 AI 草稿读起来比一位疲惫的医生在 12 小时轮班结束时所能写出的内容更出色时，人的本能反应并不是去仔细审查它，而是点击发送。
这种现象有一个名字：自动化偏见——一种有据可查的人类倾向，即过度依赖自动化的建议，对其施加的批判性审查比对自己或同事的工作要少得多。《柳叶刀》的研究人员发现，这种相关性具有统计学显著性（p < 0.001）：AI 草稿表面上看起来越出色，医生就越有可能漏掉其中埋藏的临床错误。
这些错误并不是错别字。它们是临床推理的失败。AI 编造了医疗信息。它引用了过时的诊疗方案。在那例被标记为致死风险的案例中，它没有告诉一名正在出现危及生命症状的患者去急诊室——反而生成了一份冷静、令人安心、却致命错误的“无需紧急处理”的回复。
我一再回想那个具体案例。那条消息读起来大概很美。温暖。富有同理心。细致入微。而如果一名患者听从了它的建议，他们可能会在家中苦等周一的预约期间死去。
为什么“医生在回路”一次次失灵？
我曾就此与一位构建临床 AI 工具的同行争论过。他的立场很直白：“医生会审阅每一条。那就是安全网。”
我问了他一个问题：“如果你给一位医生一叠 50 条消息，其中 48 条完全没问题，并告诉他们这些全都是 AI 写的——你觉得他们会多认真地去读第 37 条消息？”
他顿住了。
这就是核心问题所在。“人在回路”模型假定人的注意力是恒定的，假定疲劳不会削弱警觉性，假定 AI 文笔的质量不会影响审阅的深度。这些假设无一成立，而《柳叶刀》的数据证明了这一点。
当人已经在心理上被引导去信任机器时，“人在回路”就不再是一种安全机制。
还存在一个更深层的架构问题。标准的大语言模型是自回归的——它们根据统计概率来预测下一个词，而不是依据结构化的医学推理。它们并不“理解”某个症状是紧急的。它们并不“知道”某项指南上个月刚刚更新。它们生成的文本听起来像出自一位知识渊博的临床医生，是因为它们是在数以百万计的、由知识渊博的临床医生撰写的范例上训练出来的。但在医学中，听起来对和真正对，是两件危险地不同的事。
我在我们研究的互动版本中深入探讨过这一架构鸿沟，但简短的版本是：大语言模型并没有一个关于患者的模型。它拥有的是一个关于语言的模型。而这两者并非同一回事。
加州刚刚让这件事成了所有人的问题
就在研究界纷纷发出警报之时，加州立法机构正在起草法律。《3030 号议会法案》（Assembly Bill 3030）于 2024 年 9 月签署，自 2025 年 1 月 1 日起生效。它要求加州境内的每一家医疗机构、诊所和医生执业机构，在使用生成式 AI 传达临床信息时，都必须告知患者。
书面消息需要在顶部注明免责声明。音频消息需要在开头以及结尾进行口头披露。视频和聊天通信则需要全程显示免责声明。
有意思的地方在这里——我认为大多数医疗系统正是在此处误读了这部法律。
AB 3030 包含一项豁免：如果一名持照的医疗提供者“阅读并审阅”了 AI 生成的通信内容，那么披露要求就不适用。在纸面上，这看起来像一张免罪金牌。让医生留在回路中，跳过免责声明，维持每条消息都是亲手精心撰写的假象。
但把这项豁免和《柳叶刀》的数据放在一起——66% 的错误被漏掉，35%–45% 的危险草稿未经编辑就被发出——你手里就握着一颗法律定时炸弹。一个声称其医生“阅读并审阅”了 AI 草稿、而这些医生却明显漏掉了三分之二错误的医疗系统，并不合规。它是暴露在风险之中。
我在那通电话里告诉那位 CTO：“这项豁免不是一面盾牌。它是一个责任加速器——除非这项技术能主动帮助审阅者抓住他们的大脑天生就会漏掉的东西。”
“LLM 外壳”做法究竟错在哪里？
眼下，大多数 AI 医疗初创公司在构建的，是我称之为外壳的东西——一层薄薄的软件，把患者数据传给商用大语言模型 API，再把带一些格式的回复返回来。它们构建快、演示方便，用于临床用途却根本不合格。
三个问题使这些外壳变得危险：
知识截止日期是隐形的杀手。公开的大语言模型是在静态数据集上训练的。它们不知道上个季度变更的指南，不知道上个月被标记的药物相互作用，也不知道患者今早的化验结果。一个没有整合实时临床数据的外壳，是在真空中生成回复——一个审阅草稿的医生甚至可能都意识不到其存在的真空。
词元预测不等于临床推理。当 GPT-4 写下“你应当继续服用目前的药物”时，它并没有在评估你的肾功能、你的药物相互作用，或你最新的血液检查结果。它是在预测哪些词在统计上很可能跟在前面的词之后出现。在放射学、肿瘤学，以及任何需要细致诊断解读的领域，语言流畅性与医学准确性之间的这道鸿沟，正是患者受到伤害的地方。
安全是事后才想起的事。许多通用大语言模型接口本身并不符合 HIPAA 规定。若没有严格的数据脱敏和一份正规的业务伙伴协议（BAA），每一条经由商用 API 传输的患者消息都是一次潜在的隐私泄露。而提示注入攻击——即用对抗性输入诱使模型泄露内部上下文或患者数据——在外壳架构中仍是一个基本未被解决的漏洞。
如何构建真正为患者保驾护航的 AI？
接下来，我要从批评者转为构建者，因为只有批评而不提供替代方案，只是噪音。
在 Veriprajna，我们一直在开发一种我称之为有据可依的 AI（grounded AI）的东西——在这类系统中，语言模型绝不是唯一的真相来源。它始终系于经过验证的临床知识，并且始终对其答案的来源保持透明。
检索层改变了一切
检索增强生成（Retrieval-Augmented Generation，RAG）是其根基。在 AI 生成患者回复的任何一个字之前，它会先从经过验证的语料库中检索相关文档：患者的临床病历、当前的机构指南、经同行评审的文献。随后，模型会基于这些检索到的上下文来生成回复，而不仅仅依据其训练数据。
这不是一次小修小补。它是一种根本不同的架构。基于 RAG 的系统能够引用其来源——“根据你 3 月 12 日的化验结果和当前的 ACC/AHA 指南……”——这就把医生的审阅从“这听起来对吗？”转变为“这个来源正确吗？”后一个问题回答起来要容易得多，即便是在星期四晚上 11 点。
知识图谱赋予 AI 外壳永远无法给予的东西：关系
下一层是医学知识图谱——一种结构化网络，它把临床知识表示为相互关联的概念，而不是文本。一个知识图谱不只是知道二甲双胍是一种糖尿病药物。它知道二甲双胍的作用机制、它在肾功能受损时的禁忌、它与造影剂的相互作用，以及低于该阈值就应停用它的具体 eGFR 值。
像 MediGRAF 这样的系统利用 Neo4j 之类的图数据库，把精确的结构化查询与叙事式检索结合起来，实现了对事实性临床查询 100% 的召回率，同时对复杂推理保持安全标准。当我第一次看到那些召回率数字时是持怀疑态度的——所以我们拿那些曾把我们评估过的每一个基于外壳的系统都难住的边缘案例，对这套方法做了压力测试。图谱经受住了。
关于这些架构方法的完整技术剖析——RAG 流水线、知识图谱集成、概念级建模——请参见我们的详细研究论文。
没人愿意谈的测试难题
我记得一家医疗 AI 初创公司的一次演示——精致、令人印象深刻，是那种让投资人伸手去掏支票簿的东西。这个 AI 起草了一条关于如何应对新确诊糖尿病的患者消息。它温暖、周到、可操作。
我问：“如果我告诉系统，我对它刚刚推荐的那种药物过敏，会怎么样？”
创始人顿住了。“医生会抓住这一点的。”
又来了。那句祈祷。
构建安全的临床 AI 需要对抗性测试——不是作为事后才想起的事，而是作为一个持续、自动化的过程。在 Veriprajna，我们使用像Med-HALT（医学领域幻觉测试，Medical Domain Hallucination Test）这样的框架，它专门设计用来识别医疗 AI 的幻觉，采用诸如“虚假信心测试”（False Confidence Test，让模型评估一个随机给出的错误答案）和“伪问题测试”（Fake Questions Test，判断模型能否识别出编造的医疗查询）等技术。
我们还运行自动化红队演练——模拟攻击，探查提示注入漏洞、通过迂回提问来窃取患者数据的企图，以及试图绕过临床护栏的越狱模式。每一天都做。不是每季度。不是在发布之前。是每一天。
如果你的 AI 系统本周没有被红队攻击过，你就不知道它是否安全。你只知道它在你上次检查时是安全的。
近期研究中有一项发现让我难以释怀：像 MedGemma 这类“医学专用”模型在某些基准上的准确率仅为 28%–61%，而更宽泛的推理模型却胜过它们。其含义有违直觉却很重要——临床 AI 的安全性源自成熟的推理能力，而不仅仅是特定领域的微调。给一个模型贴上医学标签，并不会让它在医学上更安全。
医疗事故责任的版图正在所有人脚下悄然移动
下面是过去一年里我与三位不同医院总法律顾问都有过的一段对话，而它每次的走向大致相同。
我：“如果你们的 AI 起草了一条伤害患者的消息，而审阅的医生漏掉了错误，谁来担责？”
他们：“医生。是他们审阅并批准的。”
我：“那如果原告律师证明，你们的系统在设计上会在心理层面诱导医生漏掉错误——AI 的流畅性制造了一种虚假的安全感——这会改变你们的分析结论吗？”
一片沉默。
医学中的诊疗标准正在演变，以将 AI 纳入考量。法院开始意识到，未能使用一款经过验证的 AI 工具、而该工具本可防止某个错误，这或许构成失职。但相反的一面也在浮现：使用一款未经验证的AI 工具，或以某种削弱人类监督的方式使用一款经过验证的工具，都会产生其自身的责任。
模型漂移使这一切雪上加霜。AI 系统会随着在新数据上被重新训练而随时间退化。半年前通过了你安全评估的那个模型，也许并不是今天正在生成患者消息的那个模型。若没有受版本控制的审计日志，明确记录是哪个模型产生了哪个输出、以及它遵循了哪些推理步骤，医疗系统在法庭上就毫无立足之地。
一些较新的医疗事故责任保险产品开始承保与 AI 相关的索赔，但它们通常限额很低，并要求提供人类监督的书面证明——而这恰恰是《柳叶刀》研究表明并不可靠的那种监督。
“但患者更喜欢 AI 写的消息”
人们用这一点来反驳我，而我想坦诚地回应它，因为数据是真实的。研究表明，患者对 AI 起草的消息在同理心和细致程度上的评分，高于医生亲笔撰写的消息。这并非无足轻重。在一个患者感到不被倾听的医疗体系里，一个愿意花时间去解释、去认可、去安抚的 AI——确有其真正的价值。
但研究同时表明的还有这一点：当患者得知有 AI 参与其中时，患者满意度评分会下降。这里存在一种反向的自动化偏见——患者珍视这样一种信念：自己的医生正亲身投入到对他们的照护之中。这种临床关系对他们很重要，而且他们能感觉出这种关系何时被居间介入了，即便这种介入产出了一条“更好的”消息。
这告诉我一件关于 AI 在这套工作流程中该处何位的重要事实。它不该替医生做“影子写手”。它应当去做那些结构化的、可检索的、可核验的工作——调取化验结果、核对指南、标记相互作用——好让医生有余力去为那位需要的患者写出一份真正个性化的回复。
临床 AI 的目标不是取代医生的声音。而是把使用这声音的时间还给医生。
这一切将走向何方
我不打算以一句含糊其辞的“时间会证明一切”来收尾，也不打算为我的公司来一段软性推销。我要告诉你我所相信的。
当前这一代 AI 患者消息工具将会造成伤害。不是可能——是必然。这道算术很简单：AI 草稿中 7.1% 的严重伤害率，审阅医生 66% 的漏检率，再乘以整个美国医疗体系每月数以百万计的患者门户消息。事故将会累积。诉讼将会随之而来。而监管的回应将是生硬而严厉的，因为这一切本可预见的证据，早已发表在《柳叶刀》上了。
躲过这一劫的医疗系统，并不是那些行动缓慢的，而是那些以不同方式行动的。这意味着：以经过验证的医学知识为根基的 RAG 架构。赋予 AI 结构化临床推理、而非统计词汇预测的知识图谱。持续运行、而非走过场的对抗性测试。以及旨在抵消、而非利用自动化偏见的审阅界面。
我们创建 Veriprajna 就是为了做这项工作——不是因为我们看到了一个市场机会，而是因为我眼看着聪明、心怀善意的人们部署着可能伤害患者的系统，而他们所构建的东西与证据所要求的东西之间的落差，是不可容忍的。
医学的第一条准则是primum non nocere——首先，不伤害。过去两年里，我们一直在构建这样一种 AI，它把这条准则当作一项工程约束，而不是一句营销口号。把这件事做对的技术已经存在。证明当前做法危险的研究已经存在。剩下唯一的问题是：这个行业究竟会在证据对它下手之前依据证据行动，还是不会。