有据 AI 的临床要务：超越医疗沟通中的 LLM 封装器

医疗行业正处于一个岌岌可危的关口：缓解临床医生职业倦怠的紧迫需求，与生成式人工智能的快速、往往未经充分审查的部署发生了碰撞。初级保健医生（PCP）的行政负担已达到临界阈值，部分临床医生每月平均仅在患者门户消息上就要花费 10 小时——这项工作历来不可计费，也是职业耗竭的主要驱动因素。¹ 作为回应，将大型语言模型（LLM）整合用于自动化患者沟通，被誉为革命性的效率提升。然而，2024 年 4 月发表于 The Lancet Digital Health 的一项标志性横断面模拟研究——由哈佛医学院、耶鲁医学院和威斯康星大学的研究人员开展——揭示了这一方法的系统性脆弱性。¹ 该研究发现，尽管生成式 AI 显著降低了感知认知工作负荷，但它引入了严重的患者安全风险，而现有的“人在回路”保障措施往往未能捕获这些风险。³

本白皮书由 Veriprajna 撰写，论证当前行业对“LLM 封装器”——本质上将用户数据以极少临床依据传递给通用模型的应用——的依赖，对于临床护理这一高风险环境而言是不够的。随着加州议会法案 3030（AB 3030）准备自 2025 年 1 月起强制要求对患者沟通进行 AI 披露，实验性自动化的时代必须让位于深入、基于证据的 AI 工程。⁶ 真正的临床安全需要架构转向检索增强生成（RAG）、医学知识图谱以及严格的对抗性红队测试。

取证证据：剖析 2024 年 4 月 Lancet 研究结论

Lancet 研究是迄今为止在模拟临床环境中对生成式 AI 最严格的评估之一。研究人员评估了 GPT-4 在模拟电子健康记录（EHR）平台中为 156 条患者门户消息起草回复的表现。¹ 结果呈现双重叙事：一边是巨大的生产力潜力，另一边是灾难性风险。

AI 危害与医师监督的统计分解

该研究的定量发现表明，在缺乏深度临床依据的情况下使用 LLM，能够生成极具说服力却在医学上危险的内容。在 156 份 AI 生成草稿中，7.1% 被归类为对患者构成严重伤害风险。¹ 最令人震惊的是，0.6% 的回复——具体而言是模拟中的一例——构成了直接的死亡风险。¹ 这些有害输出通常源于模型未能识别临床紧迫性，或其倾向于提供过时且不正确的医学建议。³

AI 性能与风险指标	统计值	来源
严重伤害风险（未编辑的 AI 草稿）	7.1%	4
直接死亡风险（未编辑的 AI 草稿）	0.6%	4
医师认同：AI 降低了认知工作负荷	80%	3
医师对 AI 工具性能的信任	90%	3
医师平均漏检的错误草稿比例	66.6%	3
完全未编辑即提交的错误草稿	35% – 45%	3
错误草稿被漏检的可能性（p 值）	< 0.001	3

将这些数字与审阅医师的表现并置时，其临床意义被进一步放大。该研究动用了 20 名执业中的 PCP 审阅 AI 生成的回复。尽管具备专业能力，这些临床医生在 4 份故意错误的草稿中平均漏检了 2.67 份。³ 二十名参与者中，仅有一人能够识别并充分处理全部四条错误消息。³ 这一落差凸显了“医生在回路”模型中的根本心理脆弱性：自动化偏见。

失效机制：自动化偏见与幻觉

自动化偏见发生在人类操作者过度依赖自动化建议之时，往往未能施加他们对自己工作或人类同事工作本会施加的同等批判性审查。⁵ 在 Lancet 模拟中，GPT-4 草稿的高语言质量与共情语气营造了虚假的安全感。¹ 即使漏检了关键错误，医师仍报告对该工具性能有 90% 的信任水平。³

这些错误本身并非仅仅是笔误，而是临床推理中的实质性失败。这些“幻觉”包括捏造医学信息、使用过时协议，以及最关键的是未能评估患者状况的“急重症程度”。³ 例如，被归类为“死亡风险”的那一例之所以发生，是因为 AI 未能指示患者对危及生命的症状立即寻求急诊护理，反而提供了标准的、非紧急的回复。¹

监管演进：加州 AB 3030 与透明度强制要求

随着生成式 AI 的技术风险变得可量化，立法机构开始制定框架以保护患者。加州的 AB 3030 于 2024 年 9 月签署成为法律，标志着医疗 AI 强制透明度的重大转向。⁷

2025 年合规要求

自 2025 年 1 月 1 日起，AB 3030 要求所有卫生设施、诊所和医师执业机构，在使用生成式 AI 传达“患者临床信息”时通知患者。⁶ 这包括与患者健康状况相关的任何信息，同时豁免预约安排或账单等行政任务。⁶

沟通媒介	AB 3030 下的通知标准	来源
书面（信件、电子邮件）	免责声明须在每份沟通的开头显著展示	6
在线（基于聊天、远程医疗）	免责声明须在整个交互过程中显著展示	6
音频（语音留言、通话）	口头免责声明须在开始与结束时均提供	6
视频沟通	免责声明须在整个交互过程中显著展示	6

除简单披露外，该法还要求向患者提供关于如何联系人类医疗保健提供者或适当人员的清晰说明。⁷ 未能遵守这些规定将使卫生设施面临罚款和执照处分，而个体医师可能面临针对其医疗执照的纪律处分。⁹

“人在回路”豁免及其影响

AB 3030 中的一项关键条款规定，若 AI 生成的沟通已由持牌或认证的人类医疗保健提供者“阅读并审阅”，则免责声明与说明要求不适用。⁶ 表面上，这为卫生系统继续使用 AI 起草工具、而无需向患者披露其使用提供了一条路径。

然而，Lancet 研究为这一豁免提供了毁灭性的反证：如果临床医生因自动化偏见漏检 66% 的错误，则“阅读并审阅”标准可能在维持高临床风险的同时，提供虚假的合规感。¹ Veriprajna 认为，人类审阅所提供的法律与伦理“安全港”仅在以下情况下有效：该审阅得到主动抑制被动接受的技术支持，并向审阅者提供识别幻觉所需的必要上下文。

“LLM 封装器”模型的局限

当前 AI 医疗初创公司的普遍做法是部署“封装器”——在 EHR 系统与商业 LLM API（如 OpenAI 的 GPT-4 或 Google 的 Gemini）之间促成交互的薄软件层。尽管这些封装器可以快速开发，但它们继承了若干根本性缺陷，使其不适合临床决策支持。

自回归推理缺口

标准 LLM 是自回归的；它们基于统计概率预测下一个词元（词或子词），而非基于对医学科学的结构化理解。⁸ 这种“词元级预测”缺乏医学所需的“概念级推理”。¹³ 在放射学或肿瘤学等专业领域，LLM 往往难以捕捉对精细诊断解读至关重要的长程依赖与复杂语义关系。¹³

知识截止日期与上下文盲区

公共版本的 LLM 在具有固定知识截止日期的静态数据集上训练，若无外部数据集成，便无法引用最新临床指南或患者最近的实验室结果。¹⁴ 此外，基于封装器的系统往往缺乏整合多模态数据的能力——例如 X 光、波形（ECG）或基因组图谱——从而产生遗漏复杂医疗情境所需关键细节的“通才式”回答。¹⁵

安全与 HIPAA 合规

许多通用 LLM 接口本身并不具备 HIPAA 合规性，在没有特定业务伙伴协议（BAA）和严格数据脱敏协议的情况下将其用于患者数据，会带来严重的隐私风险。¹⁵ 封装器开发者往往忽视“数据投毒”或“提示注入”漏洞的深度，对抗性输入可能诱使模型泄露敏感内部上下文或患者数据。¹⁶

深度 AI 的架构方案：Veriprajna 框架

要超越封装器模型，AI 解决方案必须从一开始就以临床安全作为首要架构约束来构建。这涉及从纯粹概率模型转向有据、混合的系统。

医疗领域的检索增强生成（RAG）

检索增强生成（RAG）通过在生成回复前向模型提供可参考的“事实来源”，缓解幻觉问题。¹⁴ 在基于 RAG 的系统中，AI 首先从经验语料库——例如患者的临床笔记、同行评议医学期刊和机构指南——检索相关文档，然后基于这些检索到的信息约束其回复。²⁰

RAG 组件	在临床安全中的功能	相对独立 LLM 的优势
稀疏检索器（BM25）	针对特定药物或编码的精确关键词匹配	对客观数据的高精度
稠密检索器（神经）	针对复杂症状与同义词的语义匹配	捕捉文本之外的医疗意图
RAG 提示	约束 LLM“仅使用所提供的上下文”	显著减少幻觉
经核实的引用	将每条 AI 陈述链接回源文档	增强临床医生审阅与信任

医学知识图谱与 Neo4j 集成

临床依据最精深的方法涉及使用医学知识图谱（KG）。这些图谱将临床知识表示为相互关联概念的网络，而非文本字符串。²¹ 例如，知识图谱可以显式建模特定药物、其作用机制、其禁忌症，以及针对肾功能受损患者的典型剂量之间的关系。

诸如 MediGRAF（Medical Graph Retrieval Augmented Framework）的系统利用 Neo4j，将 Text2Cypher 能力——将自然语言转换为精确图查询——与用于叙事检索的向量嵌入相结合。²² 这使 AI 能够遍历“完整患者旅程”，在复杂推理中保持高安全标准的同时，以 100% 召回率识别事实性查询结果。²²

概念级建模（LCM）与词元级预测

面向未来的临床 AI 必须迈向大概念模型（LCM）。与处理词元的 LLM 不同，LCM 在思想与层级推理的层面运作。¹³

特征	大型语言模型（LLM）	大概念模型（LCM）
抽象层次	词元级预测（逐词）	概念级预测（逐思想）
推理能力	主要为局部预测；缺乏逻辑	显式层级推理/规划
表示形式	语言特定的词元	语言无关的句子嵌入
临床效用	语言幻觉风险高	针对结构化推理优化

验证与安全测试：新标准

传统软件测试对生成式 AI 不足。企业级解决方案需要对抗性测试与基准评估的持续循环。

Med-HALT 与临床基准

Med-HALT（Medical Domain Hallucination Test）是专为识别医疗 LLM 中的幻觉而设计的多国基准。²³ 它采用推理幻觉测试（RHT），例如虚假置信测试——挑战模型评估随机建议的答案——以及虚假问题测试，后者判定模型能否识别无意义或捏造的医学查询。²³

此外，研究表明，像 MedGemma 这样的“医学专用”模型（在某些测试中仅达到 28%–61% 准确率）表现不佳，相较于更广泛的推理模型如 Gemini-2.⁵ Pro，这凸显出安全性源于“在大规模预训练期间发展的复杂推理能力”，而不仅仅是领域特定微调。²⁴

面向安全与安保的自动化红队测试

红队测试涉及模拟对抗行为，以在部署前识别失效模式。¹⁹ 对医疗而言，这包括：

1.​ 直接对抗探测：试图覆盖系统指令以生成不安全的医学建议。¹⁹

2.​ 敏感数据提取：探测模型是否会通过间接提问或提示注入泄露 PHI。²⁶

3.​ 越狱模式：使用角色扮演或重新框定来绕过内容限制与临床护栏。¹⁹

责任与护理标准的转变

将 AI 融入临床实践不仅是技术挑战，也是法律挑战。在医疗事故诉讼中，核心问题是医师是否遵循了“护理标准”——即合理的医疗提供者在类似情况下会提供的护理。²⁷

AI 过失的 ABCD

随着 AI 成为“诊室中的新同事”，职业责任的法律定义正在演变。²⁹

●​ 义务（Duty）：提供者负有恰当使用 AI 工具的义务。未能使用本可防止错误的经验证 AI 工具，可能很快被视为违反义务。²⁹

●​ 违约（Breach）：若 AI 系统因模型不透明或不正确数据而提供导致伤害的建议，医师若盲目接受该建议，可能被认定违反了其义务。³⁰

●​ 因果关系（Causation）：由于某些模型的“黑箱”性质，确立 AI 输出与患者伤害之间的清晰因果联系具有挑战性，需要对决策过程进行彻底调查。³⁰

●​ 损害（Damages）：患者必须遭受实际伤害。导致诊断延迟或不公平分诊的算法偏见，是法院现已认可的重要伤害来源。³⁰

保险与模型漂移

“模型漂移”或“模型崩塌”现象——即 AI 在自身或新数据上再训练时性能随时间下降——对医疗事故保险构成独特挑战。³³ 较新的保险产品开始承保由 AI 幻觉和故障聊天机器人引起的法律索赔，但这些通常限额较低，并要求有人类监督的书面证明。³³ 对卫生系统而言，能够生成显示所用模型版本及其所遵循具体推理步骤的审计日志，对于医疗事故案件中的抗辩至关重要。²⁷

伦理考量：人机协作

合乎伦理的医疗 AI 必须优先保障患者能动性与临床医生自主性。目标不是自动化人际互动，而是增强它。

透明度与患者满意度

研究表明，尽管患者欣赏 AI 消息的共情与细节，但当他们得知涉及 AI 时，其满意度评分会略有下降。¹ 这凸显了患者中的“反向自动化偏见”：他们重视临床关系，以及相信其临床医生亲自参与其护理。¹ 因此，AI 必须用于处理常规与结构化任务，使临床医生得以专注于技术无法复制的、细腻的人与人互动。

偏见缓解与公平

算法反映其所训练的数据，而这些数据往往包含针对代表性不足群体的系统性偏见。¹⁵ Veriprajna 倡导“EquityGuard”系统——在 AI 输出到达临床医生之前对其施加事后公平约束的两阶段去偏过程。¹⁶ 这确保试验匹配推荐或分诊评分不会因人口统计标签而偏斜。

结论：Veriprajna 战略路线图

2024 年 4 月的 Lancet 研究提供了证据，AB 3030 提供了法律推动力：若无深入、专业化的工程，医疗 AI 的当前轨迹不可持续。³ 对卫生系统与软件提供商而言，前进之路需要从实验性试点项目过渡到企业级 AI 生态系统。

1.​ 消除封装器依赖：摆脱简单的 API 集成。投资于将 LLM 锚定在持久、经验证的医学知识图谱上的混合 RAG 架构。²²

2.​ 实施稳健的红队测试：安全不能是事后补救。自动化红队智能体必须每日探测系统中的幻觉、数据泄露与临床不准确之处。¹⁹

3.​ 为披露强制要求做准备：设计促进有意义人类审阅的系统，使临床医生能够记录其对 AI 草稿的验证，并在不损失效率的情况下遵守 AB 3030 等法律。⁷

4.​ 优先临床依据而非生成华丽：在医学中，准确性是唯一重要的指标。系统必须针对概念级推理而非词元级概率进行优化。¹³

通过采纳这些原则，医疗行业可以驾驭人工智能的变革力量，以解决医师职业倦怠危机，同时坚守医学最神圣的信条：Primum non nocere——首先，不造成伤害。Veriprajna 已准备好引领这一转型，超越封装器，提供未来医疗所要求的深度 AI 解决方案。

参考文献

1. Patients Not Told AI Drafted Messages From Their Doctors - MHA Online, 于2026年2月6日访问, https://www.mhaonline.com/blog/ai-messages-from-doctors

2. When AI Writes Back: Ethical Considerations by Physicians on AI-Drafted Patient Message Replies - ResearchGate, 于2026年2月6日访问, https://www.researchgate.net/publication/394687833_When_AI_Writes_Back_Ethical_Considerations_by_Physicians_on_AI-Drafted_Patient_Message_Replies

3. Opportunities and risks of artificial intelligence in patient portal messaging in primary care, 于2026年2月6日访问, https://pmc.ncbi.nlm.nih.gov/articles/PMC12022076/

4. Mass General Brigham research identifies pitfalls and opportunities for generative artificial intelligence in patient messaging systems | EurekAlert!, 于2026年2月6日访问, https://www.eurekalert.org/news-releases/1041892

5. Critics bristle over creating MyChart messages with AI: 4 things to know | Becker's, 于2026年2月6日访问, https://www.beckershospitalreview.com/patient-experience/critics-bristle-over-creating-mychart-messages-with-ai-4-things-to-know/

6. GenAI Notification Requirements | Medical Board of California, 于2026年2月6日访问, https://www.mbc.ca.gov/Resources/Medical-Resources/GenAI-Notification.aspx

7. California Requires Disclaimers for Health Care Providers' AI-Generated Patient Communications | ArentFox Schiff, 于2026年2月6日访问, https://www.afslaw.com/perspectives/alerts/california-requires-disclaimers-health-care-providers-ai-generated-patient

8. The Clinicians' Guide to Large Language Models: A General Perspective With a Focus on Hallucinations - Interactive Journal of Medical Research, 于2026年2月6日访问, https://www.i-jmr.org/2025/1/e59823

9. New Law Regulates Use of Generative Artificial Intelligence in Healthcare - Fenton & Keller, 于2026年2月6日访问, https://fentonkeller.com/fk-articles/new-law-regulates-use-of-generative-artificial-intelligence-in-healthcare/

10. Bill Text: CA AB3030 | 2023-2024 | Regular Session | Amended - LegiScan, 于2026年2月6日访问, https://legiscan.com/CA/text/AB3030/id/3012689

11. U.S. State AI Law Tracker – All States, 于2026年2月6日访问, https://ai-law-center.orrick.com/us-ai-law-tracker-see-all-states/

12. California Turns to the Use of AI in Healthcare | BCLP - Bryan Cave Leighton Paisner, 于2026年2月6日访问, https://www.bclplaw.com/en-US/events-insights-news/california-turns-to-the-use-of-ai-in-healthcare.html

13. Large language models and large concept models in radiology: Present challenges, future directions, and critical perspectives - PMC - PubMed Central, 于2026年2月6日访问, https://pmc.ncbi.nlm.nih.gov/articles/PMC12679190/

14. Reducing Hallucinations in Large Language Models for Healthcare - Cognome, 于2026年2月6日访问, https://cognome.com/blog/reducing-hallucinations-in-large-language-models-for-healthcare

15. The dangers of using non-medical LLMs in healthcare communication - Paubox, 于2026年2月6日访问, https://www.paubox.com/blog/the-dangers-of-using-non-medical-llms-in-healthcare-communication

16. Challenges of Implementing LLMs in Clinical Practice: Perspectives - PMC, 于2026年2月6日访问, https://pmc.ncbi.nlm.nih.gov/articles/PMC12429116/

17. Risk Management: Artificial Intelligence in Clinical Practice - PMC - NIH, 于2026年2月6日访问, https://pmc.ncbi.nlm.nih.gov/articles/PMC11709444/

18. Large Language Models Are Highly Vulnerable to Adversarial Hallucination Attacks in Clinical Decision Support: A Multi-Model Assurance Analysis | medRxiv, 于2026年2月6日访问, https://www.medrxiv.org/content/10.1101/2025.03.18.25324184v1.full-text

19. How AI red teaming fixes vulnerabilities in your AI systems | Invisible Blog, 于2026年2月6日访问, https://invisibletech.ai/blog/ai-red-teaming-2026

20. Retrieval-Augmented Generation (RAG) in Healthcare: A Comprehensive Review - MDPI, 于2026年2月6日访问, https://www.mdpi.com/2673-2688/6/9/226

21. Use case: Building a medical intelligence application with augmented patient data, 于2026年2月6日访问, https://docs.aws.amazon.com/prescriptive-guidance/latest/rag-healthcare-use-cases/case-1.html

22. Unlocking Electronic Health Records: A Hybrid Graph RAG Approach to Safe Clinical AI for Patient QA - arXiv, 于2026年2月6日访问, https://arxiv.org/html/2602.00009v1

23. Med-HALT: Medical Domain Hallucination Test for Large Language Models - GitHub, 于2026年2月6日访问, https://github.com/medhalt/medhalt

24. mitmedialab/medical_hallucination: Medical Hallucination in Foundation Models and Their Impact on Healthcare (2025) - GitHub, 于2026年2月6日访问, https://github.com/mitmedialab/medical_hallucination

25. What Is AI Red Teaming? Why You Need It and How to Implement - Palo Alto Networks, 于2026年2月6日访问, https://www.paloaltonetworks.com/cyberpedia/what-is-ai-red-teaming

26. AI Red Teaming Agent (preview) - Microsoft Foundry, 于2026年2月6日访问, https://learn.microsoft.com/en-us/azure/ai-foundry/concepts/ai-red-teaming-agent?view=foundry-classic

27. AI in Medical Malpractice: Liability, Risk, & What Physicians Need to Know - Indigo, 于2026年2月6日访问, https://www.getindigo.com/blog/ai-in-medical-malpractice-liability-risk-guide

28. Healthcare AI 2025 - USA – California | Global Practice Guides | Chambers and Partners, 于2026年2月6日访问, https://practiceguides.chambers.com/practice-guides/healthcare-ai-2025/usa-california/trends-and-developments

29. A New Duty of Care: How AI Is Rewriting Medical Liability | Gyrus Group, 于2026年2月6日访问, https://gyrusgroup.com/news/a-new-duty-of-care-how-ai-is-rewriting-medical-liability/

30. Artificial Intelligence: The Legalities of AI in Health Care and the Day-to-Day Use of AI in the Clinical Setting - Oncology Issues, 于2026年2月6日访问, https://journals.accc-cancer.org/view/artificial-intelligence-the-legalities-of-ai-in-health-care-and-the-day-to-day-use-of-ai-in-the-clinical-setting

31. Understanding Liability Risk from Using Healthcare AI Tools - Illinois Health and Hospital Association, 于2026年2月6日访问, https://www.team-iha.org/getmedia/3d7473d7-192e-40b8-ad2e-b40b27be43ae/K_Understanding-Liability-K-2025.pdf

32. Appendix E — The Clinical AI Morgue - The Physician AI Handbook, 于2026年2月6日访问, https://physicianaihandbook.com/appendices/failures.html

33. AI regulation in insurance: Risk-based pricing and fairness - Browne Jacobson LLP, 于2026年2月6日访问, https://www.brownejacobson.com/insights/the-word-may-2025/ai-hallucinations

34. Legal AI Hallucinations and Your Attorney Malpractice Insurance Coverage, 于2026年2月6日访问, https://www.l2insuranceagency.com/blog/legal-ai-hallucinations-and-your-attorney-malpractice-insurance-coverage/