临床AI安全与治理
环境记录工具起草临床病历。患者门户AI代表您的医生发送消息。脓毒症模型触发警报。分诊算法对患者进行分流。每种工具都有自己的准确性声明、自己的安全特性以及自己的盲区。问题不在于您的AI是否有效。问题在于,当监管机构、原告律师或记者发问时,您能否跨越每个患者人口统计群体加以证明。
7.1%
AI起草的消息构成严重的患者伤害风险
《柳叶刀-数字医疗》,2024年4月
66.6%
被复核医生漏掉的有害错误占比
《柳叶刀-数字医疗》,2024年4月
14%
自2022年以来AI相关医疗事故索赔的增幅
《医学经济学》,2025年
Veriprajna构建位于您的临床AI工具与患者之间的安全基础设施。独立评估、偏差监测、治理架构以及法规合规工程。厂商中立。基于证据。专为需要答案而非营销幻灯片的CMIO(首席医疗信息官)打造。
临床AI会以特定的、可记录的方式失效。每种失效模式都有自己的证据基础、自己的监管应对以及自己的技术缓解措施。理解其间的区别很重要,因为针对每种失效模式的治理控制各不相同。
AI生成貌似合理但实际错误的临床内容,而医生信任了它。
一位住院部主治医师复核一份AI起草的MyChart回复,该回复针对一名询问新药物的患者。草稿建议继续服用二甲双胍,并指出该患者最近一次的HbA1c为6.8%。医生用12秒扫了一眼便点击发送。问题在于:该患者的肌酐在三次就诊中持续升高,而AI并未标记出使二甲双胍成为禁忌的肾功能下降。医生信任了AI的情境感知能力,没有独立核查化验结果。这份草稿语言完美、富有同理心,却是错误的。
这并非假设。《柳叶刀》研究记录到,当AI草稿措辞精良且富有同理心时,医生会进入一种认知状态:文笔质量取代了独立的临床核实。研究中90%的医生表示信任AI的表现。错误捕获率为33.4%。
在2025年第一季度三家医院的一项试点中,一款AI出院助手为一名被明确列为对某药物类别过敏的患者推荐了该类药物。这一错误被一名护士发现,而非复核医生。该系统实际的临床可操作错误陈述率为 0.98%,是厂商声称的 0.08%的十二倍。
厂商说是99.999%。德州总检察长说:请证明它。
2024年9月,德克萨斯州总检察长就Pieces Technologies针对部署于休斯顿卫理公会医院、Children's Health（儿童健康系统）、Texas Health Resources（德克萨斯健康资源）和Parkland的临床文档软件所声称的<0.001%“严重幻觉率”达成和解。总检察长并不需要专门针对AI的立法。现有的消费者保护法已足以质疑无依据的准确性声明。
为期五年的《自愿合规保证》如今要求Pieces向每一位客户披露指标定义、计算方法、训练数据以及已知的有害用途。这一先例适用于在美国运营的每一家临床AI厂商。如果您的厂商声称某个具体的错误率,您应该追问:在什么数据集上计算的?由谁验证?在多长的时间段内?针对哪些患者人口统计群体?
继和解之后,德克萨斯州出台了《负责任AI治理法案》(2025年6月),设立了每项不可纠正违规 $80,000-$200,000 的民事罚款。科罗拉多州的《AI法案》于2026年6月30日生效。欧盟《AI法案》对临床AI的高风险分类于2026年8月2日生效,罚款最高可达 1500万欧元 或全球营业额的3%。
您的模型表现因患者身份而异。您可能并不知情。
对于肤色较深的患者,脉搏血氧仪会将血氧饱和度高估0.6至1.5个百分点。黑人患者发生设备无法检测到的隐匿性低氧血症的可能性约为其他患者的三倍。当您的AI分诊系统将SpO2作为一项输入特征时,它便继承了这种偏差。一名真实动脉血氧为88%、但脉搏血氧仪读数为93%的患者,不会触发设定在92%的高优先级警报。算法并未歧视。它所摄取的数据本身就已是错误的。
这一问题在预测模型中会进一步加剧。Epic脓毒症模型在内部声称的AUC为0.76-0.83。在密歇根医学院的外部验证显示AUC为 0.63,敏感性仅为33%(漏掉三分之二的脓毒症病例),阳性预测值为12%(假警报率为88%)。它仅在6%的病例中比临床医生更早发出警报。脓毒症发病率几乎高出一倍的黑人和西班牙裔患者,面对主要在白人患者群体数据上训练的模型,表现最差。
在孕产妇健康领域,AI预警系统漏掉了黑人患者中40%的严重病症病例(加州孕产妇数据中心)。黑人女性面临每10万例活产49.5例的妊娠相关死亡率,是白人女性的3.4倍。当这些患者在并发症一旦发生时死亡的可能性还是白人女性的1.79倍(“抢救失败”)时,算法所检测到的与患者所需要的之间的差距,是以生命来衡量的。
本表旨在供您下一次AI治理会议调阅。它涵盖了您可能已在运行或评估的各类工具,并对每个类别的不足之处给出坦诚的评估。有些缺口指向Veriprajna的能力。另一些则指向任何厂商都无法替您解决的组织性挑战。
| 类别 | 主要参与者 | 他们擅长什么 | 他们的不足之处 |
|---|---|---|---|
| 环境记录 | Nuance DAX(微软)、Abridge、Ambience Healthcare | 将文档记录负担减少50-79%。Abridge和Nuance提供关联证据的可追溯性。深度集成EHR(Abridge是Epic的首个Pal)。 | 没有一家发布按临床专科分层的、独立的、经同行评审的幻觉率。准确性是自我报告的。没有厂商提供人口统计层面的性能细分。 |
| 临床决策支持 | Epic(内置)、Viz.ai、Aidoc、Pieces Technologies | Viz.ai在1,400多家医院获得多项FDA许可。Aidoc获批用于14种病症的腹部CT分诊,敏感性达97%。 | Epic的内置模型(如ESM)显示出较差的外部泛化能力。专有模型往往缺乏独立验证。亚组性能数据很少披露。 |
| AI治理平台 | Censinet、Credo AI、Holistic AI、IBM watsonx.governance | Censinet提供医疗专属的风险管理。Credo AI映射法规要求。IBM提供企业级的生命周期治理。 | 治理平台管理流程。它们不会针对幻觉测试临床AI,不会运行对抗性探测,也不会在您的患者数据上衡量人口统计层面的性能。 |
| 幻觉检测 | Vectara(HHEM-2.1)、Arthur AI、Galileo | Vectara的HHEM模型对忠实度进行基准测试。Arthur AI提供全生命周期的ML监测。 | 通用工具未针对临床文本进行校准。“考虑使用二甲双胍”对于2型糖尿病可能是正确的,但对于肾功能损害则可能危险。依赖情境的检测需要临床基础。 |
| 四大会计师事务所/大型系统集成商 | Deloitte、Accenture、McKinsey、EY | 企业级变革管理。董事会层面的可信度。可承担多年实施的大型团队。 | 他们实施平台,而非从头构建临床AI安全基础设施。合约起步价为50万至500万美元以上。通用型团队轮换流动;领域深度始终肤浅。他们推荐治理框架。他们很少针对您的数据测试模型。 |
| 内部团队 | 您的信息学、合规和IT团队 | 了解您的工作流程、您的数据、您的内部博弈。对于持续治理至关重要。 | 大多数医疗系统的信息学团队缺乏对抗性AI测试能力、公平性指标计算基础设施,以及进行跨厂商偏差监测的带宽。这是一个外部厂商无法完全解决的资源缺口。Veriprajna可以构建基础设施并培训团队,但持续监测需要内部能力。 |
每一次合作都从您已部署的AI工具和您的患者群体开始。我们不销售平台。我们构建您的治理委员会和临床团队就临床AI做出可辩护决策所需的安全基础设施。
我们针对您的患者群体(而非通用基准)测试您的临床AI工具。对于每种工具,我们衡量跨临床专科的幻觉率,计算按种族、性别和年龄分层的敏感性/特异性/PPV,探测提示注入和数据泄露漏洞,并将厂商声明与独立观测到的性能进行基准对比。
我们采用从Med-HALT衍生、并针对临床文档调整的测试协议,而非通用的忠实度指标。对于环境记录工具,我们将AI生成的病历与医生核实过的就诊记录进行对比,以按病历分节(现病史HPI、评估、计划)计算事实一致率。对于CDS工具,我们对您的历史数据进行回顾性分析,以按人口统计亚组衡量警报准确性。
我们设计并落地您的委员会所需的治理基础设施,使其超越一纸章程,进入可执行的监督。这包括带有加权标准(临床验证、人口统计性能、法规认证、互操作性)的厂商评估记分卡、按临床紧密度校准的风险分级审批工作流、模型卡模板,以及部署后监测仪表板。
我们将治理控制与NIST AI RMF和ISO 42001对齐,因为这些框架在科罗拉多州《AI法案》下构成可反驳的合规推定。我们还构建影子AI检测协议,以识别并治理临床医生在机构监督之外采用的工具。
我们构建持续监测系统,针对您部署的每一种临床AI工具,跨人口统计群体追踪均等几率、PPV/NPV分层以及群体稳定性指数。当您的脓毒症模型对西班牙裔患者的敏感性下降,或您的分诊算法在肤色较深的患者中继承了脉搏血氧测量偏差时,您会在数天之内知晓。
我们将上游数据问题纳入考量。脉搏血氧仪在肤色较深的患者中高估SpO2。FDA于2025年1月的指南草案现建议使用Monk肤色量表对150名以上多样化参与者进行测试,而此前为10名。我们构建的监测能够标记SpO2与生命体征之间的差异,并追踪您的AI模型性能是否与已知的传感器偏差模式相关。
我们将AB 3030(加州)、科罗拉多州《AI法案》(SB 24-205)、欧盟《AI法案》附件三以及德州总检察长和解先例转化为技术控制与运营工作流。带有按媒介分类规范的披露模板。对抗自动化偏差的有意义复核界面。满足总检察长调查和联合委员会评审认证的审计追踪架构。反映Pieces案后透明度要求的厂商合同条款。
针对科罗拉多州《AI法案》,具体而言,我们将您部署的每一种AI工具与“后果性决策”的定义进行映射,确定哪些符合HIPAA医疗服务提供者建议豁免的条件,并构建该法律所要求的年度审查与影响评估文档。
我们在恶意行为者或边缘案例之前,先针对您的临床AI系统模拟对抗场景。使用领域特定的临床边缘案例进行幻觉探测(多药治疗患者中的药物相互作用、模拟常见病症的罕见表现、体重边缘患者的儿科剂量)。针对面向患者的聊天机器人和门户界面进行提示注入测试。数据提取尝试,以测试是否可通过间接提问诱导出PHI。试图绕过临床护栏并生成不安全医疗建议的越狱模式。
交付成果:一份按严重程度分级的发现报告,附有具体的整改建议,映射到您的风险管理框架,适用于治理委员会复核和法规文档。
每一次合作都遵循四阶段结构。时间表因部署的AI工具数量和您所处法规环境的复杂程度而异。单一工具的安全评估可在4-6周内完成。一个拥有10种以上AI工具的多医院系统的完整治理架构构建通常需要12-16周。
第1阶段
我们对临床使用中的每一种AI工具进行编目,包括个别临床医生或部门在治理之外采用的影子AI。对于每种工具,我们记录厂商、它所触及的临床工作流程、它所摄取的数据、它所影响的决策,以及当前的监督控制(或其缺失)。我们对照AB 3030、科罗拉多州《AI法案》及相关的州/联邦要求,审查您现有的治理委员会结构、厂商合同和合规态势。典型周期:2-3周。
第2阶段
我们对您风险最高的AI工具进行安全评估。这包括使用临床边缘案例的幻觉测试、使用您患者群体数据的人口统计性能分层、对抗性红队演练以及厂商声明验证。在偏差监测方面,我们计算基线均等几率和PSI指标,作为持续监测的参照点。交付成果:一份按严重程度分级发现的逐工具安全报告。典型周期:视工具数量而定,3-6周。
第3阶段
我们设计并构建治理基础设施:厂商评估记分卡、风险分级审批工作流、监测仪表板、事件报告路径、模型卡模板以及法规合规文档。对于有意义的复核界面(AB 3030),我们设计能够突出AI不确定性、呈现患者情境并记录复核操作的临床工作流程。我们将所有控制与NIST AI RMF和ISO 42001对齐,以满足科罗拉多州《AI法案》的合规要求。典型周期:4-8周。
第4阶段
我们培训您的信息学和合规团队,使其能够独立运营监测基础设施。我们开展桌面演练,模拟AI安全事件(幻觉触及患者、人口统计性能退化、监管问询)。我们建立季度复核节奏,并定义触发治理行动的指标、阈值和升级路径。提醒:持续监测需要内部能力。我们构建系统并培训团队,但我们坦诚地说,外部咨询机构无法取代内部的临床信息学领导力。典型周期:2-4周。
回答关于您医疗系统当前AI治理与安全基础设施的8个问题。该评估会生成一个就绪度评分,并附有具体、可操作的后续步骤,无论您是否聘用Veriprajna,都可以独立采取这些步骤。
在任何演示之前,先从三项不可商量的要求开始:针对该工具将服务的患者群体、按种族、性别和年龄分层的亚组性能数据;一项独立的外部验证研究(非厂商资助);以及一份完整的模型卡,记录训练数据来源、已知失效模式,以及该工具尚未经过测试的特定临床情境。
大多数厂商会提供总体准确性数字。请追问得更深。要求提供按人口统计群体细分的敏感性和阳性预测值。一个对白人患者敏感性为80%、对黑人患者为40%的脓毒症模型,并不是一个准确率80%的模型。它是两种不同的工具,提供两个等级的医疗服务。
要求厂商签署合同条款,承诺持续披露性能,而不仅仅是售前基准。Pieces Technologies和解确立了:营销中作出无依据的准确性声明属于欺骗性贸易行为。您的厂商合同应当反映这一先例:将准确性表述与可独立验证的指标挂钩,并纳入因性能退化而触发的整改条款。
特别是对于环境记录工具,请要求具备关联证据能力,即临床病历中每一条AI生成的陈述都能追溯到患者就诊录音中的某个具体时刻。Abridge和Nuance均提供此类功能的版本。如果您的厂商无法为生成的文本提供来源归因,那便是一个您无法监测的幻觉风险。
2024年9月德州总检察长与Pieces Technologies的和解确立了:现有的消费者保护法,而非新的专门针对AI的立法,已足以就欺骗性准确性声明追究医疗AI厂商的责任。为期五年的《自愿合规保证》要求Pieces向所有现有和未来客户披露指标定义、计算方法、训练数据细节以及已知的有害用途。
对于您的合同,这带来三项立即行动事项。第一,审计您现有厂商协议和营销材料中的每一项准确性声明。如果厂商声称某个具体的幻觉率、错误率或准确率百分比,您的合同应要求披露该数字是如何计算的、在什么数据集上计算,以及是否经过独立验证。第二,在新合同中加入性能透明度条款。要求厂商提供亚组性能指标,披露可能影响准确性的模型更新,并同意由您选择进行独立的第三方审计。第三,审查您的责任分配。大多数EHR厂商合同,包括Epic的《主软件许可协议》,都包含宽泛的责任限制条款。当Epic的内置脓毒症模型误触发时,合同责任通常仍归于医疗系统。
Pieces先例表明,欺骗性的准确性营销或许可以推翻这些限制,但该理论尚未在法庭上得到检验。不要等到诉讼来澄清此事。现在就将独立验证纳入您的治理流程。
AB 3030要求加州医疗机构在使用生成式AI传达患者临床信息时通知患者,并对书面、在线聊天、音频和视频通信制定了具体的通知标准。关键的细微之处在于“已读并复核”豁免:如果持证的医疗服务提供者在AI生成的通信送达患者之前已阅读并复核,则披露要求不适用。
大多数医疗系统都依赖这一豁免。问题在于,依赖它要求医生复核是有意义的,而证据表明并非如此。2024年4月的《柳叶刀》研究发现,医生漏掉了AI起草的患者消息中66.6%的有害错误,其中35-45%的错误草稿被完全未经编辑地发出。许多机构的中位复核时间为每条消息8-15秒。如果您的住院部医师团队每天处理400多条AI起草的MyChart消息,中位复核时间为12秒,那么“已读并复核”豁免就是一个无法经受监管审查的法律虚构。
我们的建议是:同时落实披露基础设施和有意义的复核控制。作为基线,在所有AI辅助的通信中加入所需的免责声明。然后构建一个复核界面,突出AI不确定性,在草稿旁呈现相关患者病史,要求对被标记的临床陈述进行主动确认,并记录复核时长和具体编辑。无论该豁免是否成立,这都能保护您,而且它解决了实际的患者安全问题。
针对机构每次违规25,000美元的罚款是真实存在的,但一条AI起草的消息伤害了一名从未被告知涉及AI的患者所带来的医疗事故风险敞口,则要大上几个数量级。
责任是分层的,其分配取决于具体的AI工具、它是如何部署的,以及临床医生如何处理其输出。在2025-2026年,涉及AI工具的医疗事故索赔相较2022年增加了14%,集中在放射科、心脏科和肿瘤科。
不断演变的医疗标准在两个方向上都产生责任:盲目接受有害AI建议的医生可能被认定为疏忽;而随着AI辅助医疗成为预期标准,未使用本可捕获错误的、经验证的AI工具的医生,也可能面临责任。
对于医疗系统而言,三个责任向量很重要。第一,厂商选择责任:如果您在未对某AI工具的安全特性、人口统计性能和临床验证进行充分尽职调查的情况下选用了它,那么该采购决策可能受到质疑。第二,监督责任:如果您的治理结构未能监测该工具的持续性能或对已知安全信号作出响应,系统将承担责任。第三,工作流程集成责任:如果AI的集成方式使临床医生难以推翻或质疑其建议(自动填充字段、默认接受、时间紧迫的工作流程),那么系统设计本身就成为一个促成因素。
医疗事故保险公司正在作出反应。一些公司现已纳入专门针对AI的除外责任。另一些则要求医生完成AI安全培训以维持承保。您的风险管理项目需要记录您的厂商评估流程、您的持续监测以及您的临床医生培训。最有利地位的组织,将是那些拥有可审计的治理追踪记录、表明其识别了风险、监测了性能并对退化信号采取行动的组织。
偏差检测需要持续的监测基础设施,而非一次性审计。从三个具体步骤开始。第一,为您的临床AI输出配置人口统计分层工具。您的AI工具生成的每一项预测、警报或建议,都应可与患者自报的种族、族裔、性别和年龄一同记录。这不需要更改AI模型本身。它需要在模型输出之上构建一个分析层,以滚动方式按人口统计群体计算敏感性、特异性和阳性预测值。
第二,设立警报阈值。如果您的脓毒症模型对黑人患者的敏感性低于其对白人患者敏感性的80%(大致类比于就业歧视中使用的五分之四规则),那便触发一次治理复核。具体阈值取决于您的临床情境和风险承受度,但没有阈值就意味着您在盲飞。
第三,解决上游数据问题。脉搏血氧仪在肤色较深的患者中将SpO2高估0.6至1.5个百分点。FDA于2025年1月发布指南草案,建议使用Monk肤色量表对150名以上多样化参与者进行测试,此前的要求仅为10名受试者。如果您的AI分诊系统将SpO2作为一项输入特征,它便继承了这种硬件偏差。黑人患者发生脉搏血氧仪漏检的隐匿性低氧血症的可能性约为其他患者的三倍。当肤色较深的患者的SpO2读数与其他生命体征出现偏离时,您的临床协议应纳入补充评估。
这不仅仅是一个AI问题。它是一个被AI放大的数据完整性问题。Epic脓毒症模型有记录的性能差距(外部验证AUC为0.63,而声称为0.76-0.83)说明了当特定站点的过拟合遇上对人口统计盲目的评估时会发生什么。
科罗拉多州《AI法案》(SB 24-205)在从2月延期后现于2026年6月30日生效,是首部对医疗有直接影响的美国全面性州级AI法律。它将“高风险”AI系统定义为在后果性决策中构成实质性因素的系统,包括医疗服务的提供、拒绝、费用或条款。医疗部署方必须实施风险管理政策,对每个高风险AI系统就算法歧视进行年度审查,完成影响评估,在AI做出后果性决策时通知患者,并通过人工复核提供申诉机会。
对于受HIPAA管辖的实体存在一项关键豁免:如果AI提供的建议需要医疗服务提供者采取行动来实施,则该系统可能获得豁免。这意味着您那款为医生复核起草病历的环境记录工具很可能获得豁免,但一款自动分诊患者或自动拒绝事前授权的AI则不然。科罗拉多州总检察长拥有唯一的执法权,而遵守NIST AI RMF或ISO 42001可构成对合理注意义务的可反驳推定。
对于欧盟《AI法案》,临床决策支持依据附件三第5点被归类为高风险。到2026年8月2日,任何服务于欧盟患者的CDS工具都必须遵守第9-17条:风险管理系统、技术文档、数据治理、透明度要求、人工监督以及上市后监测。不合规罚款最高可达1500万欧元或全球年营业额的3%。
对于这两部法律,务实的起点是相同的:维护一份集中清单,列出在临床工作流程中部署的每一种AI工具,按风险等级对每一种进行分类,并为每个等级记录您的治理控制。
截至2026年,84%的医疗机构已设立AI治理委员会,但大多数缺乏运营层面的执行力。CIO在63%的委员会中任职,CMIO仅在45%中任职,这意味着近一半的此类委员会在做出临床AI决策时,桌前并没有临床信息学医师。
委员会需要四项运营能力,而不仅仅是一纸章程。第一,带有明确标准的部署前审批工作流:在AI工具能够用于临床环境之前,需要哪些证据?至少应包括独立验证数据、亚组性能指标、一份完整的模型卡、HIPAA/BAA/SOC 2文档,以及一位为该工具安全部署负责的临床推动者。
第二,部署后监测协议:谁来复核AI工具的性能、多久一次,以及什么会触发暂停或撤回?定义具体指标(幻觉率、警报疲劳指标、人口统计性能比率)和复核节奏(低风险工具每季度一次,高风险工具每月一次)。
第三,事件报告路径:当临床医生发现一个AI错误时,该报告流向何处?它应当并入您现有的患者安全报告系统,而不是一个单独的、专门针对AI的孤岛。
第四,影子AI检测与响应计划。临床医生正在机构治理之外采用AI工具。您的委员会需要一套流程,用于发现未经授权的AI使用、评估其风险,并将其要么纳入治理予以批准,要么予以移除。委员会构成应包括CMIO(临床安全)、CISO(安全与隐私)、一名合规官(法规)、一名患者安全官(事件管理)、一名一线临床医生推动者(工作流程现实),以及一名数据科学家或信息学专家(技术评估)。每月召开会议,设有固定议程:新工具申请、监测仪表板复核、事件报告、法规更新。
支撑本解决方案页面的交互式白皮书。每一篇都深入探讨临床AI安全的某个特定维度。
对《柳叶刀》患者门户研究、自动化偏差机制、用于临床落地的RAG架构以及AB 3030合规影响的取证分析。
对欺骗性准确性声明的技术剖析、Pieces Technologies和解、Med-HALT评估框架,以及用于临床工作流程的AI安全级别分层模型。
脉搏血氧测量的种族偏差、Epic脓毒症模型失效分析、黑人孕产妇健康差距、公平感知损失函数,以及人口统计性能监测架构。
单一AI相关不良事件会使医疗系统在调查、整改和法律风险敞口上付出250,000美元至100万美元以上的代价。
随着涉及AI工具的医疗事故索赔自2022年以来上升14%,以及州总检察长执法范围扩展至德州以外,独立安全验证的成本只是一次未被察觉的失效成本的一小部分。我们从对您风险最高的AI工具进行聚焦评估开始。