当前AI领域最危险的数字,就是99.999%
去年我和一家医院的CIO通话时,他调出了一家供应商的推介幻灯片并分享了他的屏幕。第七张幻灯片上只有一个数字,居中显示,用72号字体写着:<0.001% 的幻觉率。 下方用较小的字体写着:“已通过临床验证。”
他透过网络摄像头看着我,说:“Ashutosh,我该相信这个吗?”
我告诉他我不知道——但这个数字本身应该让他感到不安,而不是安心。一个用于总结数十个专科中杂乱、矛盾、手写加口述的临床笔记的系统,幻觉率竟低于十万分之一?这不是一项准确性声明。这是变魔术。而根据我的经验,当有人在销售会议上给你变魔术时,你事后应该检查一下自己的口袋。
几个月后,德克萨斯州总检察长让这种直觉变得正式。2024年9月,该州与总部位于达拉斯的医疗AI公司Pieces Technologies达成了一项具有里程碑意义的和解,起因是总检察长指控其作出了欺骗性的准确性声明——包括那个确切的0.001%关键幻觉率。这是首例针对医疗领域生成式AI公司的此类执法行动,而且它不需要任何新的AI专门法律。只需那部老旧的《德克萨斯欺骗性交易行为法》,就是用来对付不良汽车经销商的同一部法规。
那项和解改变了我对我们在Veriprajna所构建的一切的看法。不是因为我们做错了什么,而是因为它让我一直难以向客户表达清楚的某个想法结晶成形了:企业AI的问题不在于模型会产生幻觉。而在于整个行业围绕假装模型不会产生幻觉,构建了一整套市场推广策略。
0.001%的幻觉率究竟意味着什么?
让我带你过一遍数学计算,因为正是数学让这个魔术露了馅。
大型语言模型是概率系统。它们并不像数据库那样“知道”事物。它们预测下一个词——或者更确切地说,下一个token——这基于训练期间学到的模式。任何生成输出的概率,是序列中每个单独token的概率的乘积。每个token都是一次微小的下注,而最终的输出是一长串微小下注相乘的结果。
现在,声称关键幻觉率低于0.001%,意味着不到十万分之一的输出会包含严重到足以造成临床伤害的错误。要以任何统计置信度来验证这一声明,你需要一个庞大的、标注完美的黄金标准数据集——数以万计的临床摘要,每一份都由领域专家审阅,并对什么算作“关键”达成一致。这样的数据集并不存在。Pieces Technologies没有,任何人都没有。临床笔记太过特殊、太依赖专科、太取决于医生个人的风格和患者的病史。
当有人在一项任务上声称99.999%的准确率,而在这项任务上连人类专家都对“正确”的样子意见不一时,他们并没有解决问题。他们只是把问题定义掉了。
德克萨斯州总检察长的调查得出结论,Pieces所使用的指标“很可能不准确”,并且可能对部署该工具的医院具有误导性——这些医院包括休斯顿卫理公会医院、帕克兰医院、德克萨斯儿童健康系统和德克萨斯健康资源公司。四大医疗系统。真实的患者。真实的临床笔记正被一个准确性声明经不起监管审查的系统所总结。
我不再信任基准测试的那个夜晚
我想告诉你一个重塑了我对此看法的时刻。
我们当时正在对一个临床摘要流水线进行内部评估——不是为客户,只是为我们自己的研发。我的团队构建了一个我们自认为很扎实的基于RAG的系统。检索增强生成(Retrieval-Augmented Generation),对于不了解的人来说,是这样一种技术:不是让模型凭记忆作答,而是先从知识库中检索相关文档,并将它们作为上下文喂给模型。它本应让输出立足于事实。
我们的内部指标看起来很棒。忠实度得分超过95%。检索精度高达90多。我们感觉良好。然后我们的一位工程师——Priya,她有一个令人抓狂的习惯,总是在那些没人愿意听的事情上说对——建议我们做点不一样的。她没有拿我们自己的测试集来衡量,而是从一个公开数据集中抽取了五十份真实的出院小结,并让两位医生独立审查AI生成的版本。
结果在一个周四晚上出来了。我记得这一点,因为当时我正在做晚饭,手机震动,收到Priya发来的一条Slack消息,上面只写着:“你应该在明天之前看看这个。”
医生们标记出了问题,涉及50份摘要中的23份。在大多数情况下,这些并非灾难性错误——一处药物剂量是从上一次入院记录中提取的,而非本次入院;一处家族史细节被归到了错误的亲属身上;一处化验值方向正确但数值有误。但在临床环境中,“方向正确但数值有误”可能意味着安全出院与再入院之间的差别。
我们的自动化指标几乎全都漏掉了。这个系统生成的文本在语言上流畅,在语义上与源材料相似——而这正是那些指标所衡量的。但它生成的文本并不是临床安全的,而这才是真正重要的。
那就是我不再把基准测试当作质量替代指标的那个夜晚。这也是为什么Pieces一案曝光时对我冲击如此之大。我完全清楚一家公司是如何能够看着自己的数字、真诚地相信它们,却仍然错得危险。
为什么德克萨斯州动用的是消费者保护法——而不是一部AI法律?
这正是应该让每一家AI供应商夜不能寐的部分。
德克萨斯州总检察长没有等待国会通过一部AI法规。他没有援引任何新颖的法律理论。他动用的是《德克萨斯欺骗性交易行为—消费者保护法》——一部已经存在数十年的法规——并将其适用于AI准确性声明,就像它会被适用于一家在汽车燃油效率上撒谎的公司一样。
由此产生的《自愿合规保证》将Pieces Technologies锁定在为期五年的强化透明度期内。公司现在必须披露其所宣传的任何准确性指标背后的定义和计算方法。它必须告知客户其产品“已知或可合理知晓的有害或潜在有害用途”。它必须提供有关其训练数据和模型类型的文档。而且它必须在30天内回应总检察长办公室的信息请求。
这不是轻描淡写的警告。这是一个模板。
医疗领域首例重大AI执法行动并不需要新的立法。现有的消费者保护法就足够了——而每个州都有一部。
我曾与一些企业法务团队交谈,他们以为自己是安全的,因为“目前还没有AI法律”。这个假设是错的。如果你对自己AI系统的性能作出声明,而该声明具有误导性,那么根据现有法律你就已经面临风险了。Pieces的和解恰恰证明了这一点。
我在我们研究的互动版本中,写到了完整的监管影响——包括和解协议下的具体义务。如果你从事采购、法务或合规工作,值得仔细一读。
“套壳”问题
以下是我认为在架构上真正出错的地方——以及为什么它的意义远远超出Pieces Technologies。
如今出货的大多数企业AI产品,都是行业所称的“套壳(wrapper)”。套壳接收用户的输入,将其发送到一个基础模型的API——GPT-4、Claude、Gemini——然后将响应稍加格式化、或许再加装几道护栏后显示出来。它构建快、发布快、销售也快。它同样从根本上是脆弱的。
套壳不理解你的数据。它无法在患者的纵向病历中保持上下文。它不知道心脏科的Ramirez医生写笔记的方式与肿瘤科的Chen医生不同。它无法获取一位有二十年经验的护士脑海中所承载的机构知识。它只是预测token。
我曾就此与一位投资人争论过一次——一场激烈的争论。他看过一款基于套壳的临床文档工具的演示,并确信它“足够好了”。他的原话是:“Ashutosh,直接用GPT就行。稍微微调一下。发布它。市场不会等的。”
我告诉他,市场不会等,但监管机构会等。患者也会等。诉讼也会等着。
他没有投资。我不后悔那次谈话。
另一种选择——我们在Veriprajna所构建的、也是我认为行业需要转向的方向——是深度集成。这意味着将模型嵌入企业真实的数据结构之中。这意味着不把RAG当作一个勾选框式的功能,而是当作一个真正的立足机制,让检索流水线针对特定领域进行调优。这意味着在特定领域的语料上进行微调。这意味着建立多层次的人工监督,让人工真正拥有捕捉错误所需的权限和上下文。
研究支持这一点。多项研究显示,65%的开发者报告AI在复杂任务中“丢失相关上下文”——而这还是在软件工程领域,那里的代价是一次构建失败,而不是一个患者受损。在医疗领域,上下文丢失不是一个bug。它是一起安全事件。
真正有效的方法:对抗式AI与3.7小时问题
有一点我要为Pieces Technologies点个赞:他们的架构包含了一个对抗式检测模块。这个思路是合理的——用第二个AI模型来监管第一个,扫描生成的摘要,查找与源临床数据之间的差异。他们的技术论文显示,该对抗式模块在捕捉临床上重要的幻觉方面,比随机抽样的效力高出7.5倍。
这是一个真实的成果。但它也不够。
原因如下。当对抗式模块标记出一个错误时,被标记的摘要会被转交给一位取得专科委员会认证的医生审查。补救的中位时间是多少?3.7小时。 对于一份在换班结束时归档的病程记录,也许这是可以接受的。对于一份决定患者今天是回家还是再住一晚的出院小结,3.7小时是漫长的永恒。对于一个实时临床决策支持工具——那种人人都在争相构建的工具——它毫无用处。
这就是我所说的干预速度问题,也是行业尚未解决的一个问题。你可以构建世界上最好的幻觉检测系统,但如果纠正回路比临床工作流程更慢,那么在关键时刻医生看到的就是未经纠正的输出。
没有及时纠正的检测,只不过是对失败的记录。
在Veriprajna,我们已经开始分层来思考这个问题。并非每个AI用例都承担相同的风险,也并非每个用例都需要相同速度的人工干预。行政排班?每周审计一次。临床文档记录?在它进入病历之前先审查。实时决策支持?人工必须处于回路之中,要先于输出的生成,而不是在其之后。
医疗领域正在兴起的AI安全等级(AI Safety Level)框架很好地映射了这一点——从等级1(低影响的行政任务)一直到等级5(自主的患者交互)。我交谈过的大多数机构都在用等级1的监督来部署等级3和等级4的工具。这正是监管机构将会不断收窄的差距。
为什么只有5%的公司从AI中获得了真正的价值?
企业AI研究中有一个数据一直萦绕在我心头:只有5%的公司在规模化应用AI时获得了可衡量的商业价值。不是50%。不是25%。是百分之五。
那5%的公司有一个共同的模式。他们把70%的实施投入用于组织转型——重新设计工作流程、重新定义角色、改变决策的方式。20%用于技术栈。10%用于算法本身。
其余所有人都把这个比例倒了过来。他们花几个月挑选合适的模型,花几周构建流水线,而几乎不花时间去思考下游的人是否真正信任、理解,或能够有效监督AI的输出。
我亲眼见过这种情况。我们曾与一个团队合作,他们构建了一个技术上很优雅的系统——漂亮的架构、整洁的代码、令人印象深刻的基准表现。但为之构建这套系统的临床医生们并不使用它。不是因为它不好,而是因为没有人问过他们需要什么。这个工具生成的摘要格式与他们现有的工作流程不匹配。它把他们早已知道的信息呈现出来,却把他们真正需要的信息埋没了。它是对一个由工程师而非实际工作者所定义的问题的解决方案。
我们花了整整三周时间,只是坐在临床工作人员身边,观察他们工作,然后才为这次重新设计写下第一行代码。这就是那个至关重要的70%。
关于评估框架、对抗式检测架构,以及区分5%与95%的ROI模式的完整技术剖析,请参阅我们详细的研究论文。
企业究竟应该如何评估AI准确性声明?
人们经常问我这个问题,所以让我直说吧。
第一,索要定义。当一家供应商告诉你他们的幻觉率是X%时,追问:什么算作幻觉?谁标注了测试集?它有多大?是由领域专家还是由另一个AI模型评估的?如果他们不能清楚地回答这些问题,那么这个数字毫无意义。
第二,审视评估框架。我见过的针对医疗领域最好的框架是Med-HALT——医学领域幻觉测试(Medical Domain Hallucination Test)。它不只是衡量模型是否得出正确答案。它测试模型能否抵制给出一个自信却错误的答案。它的一个子测试——错误自信测试(False Confidence Test)——向模型提出一个问题以及一个建议的“正确”答案(而这个答案实际上是错误的),然后检查模型是否会随之附和。另一个测试,叫做“以上都不是”,检查模型能否识别出这样的情形:所提供的选项中没有一个是正确的——这是一项关键技能,因为在医学中,“我不知道”往往才是最安全的答案。
第三,坚持要求FAIR-AI框架所称的“AI标签”——一种标准化的披露,告诉终端用户模型是在什么数据上训练的、它已知的失败模式有哪些,以及当前部署的是哪个版本。可以把它想象成AI的营养成分标签。如果一家供应商不肯给你一份,那就问问自己他们在隐藏什么。
问题不是“你的AI有多准确?”而是“你怎么知道——以及你能向监管机构证明它吗?”
这项和解改变了一切。大多数人还没有注意到。
以下是我认为在未来两年里将会发生的事,而我是作为一个构建将受这些规则约束的系统的人来说这番话的。
德克萨斯州的和解将被复制。其他州的总检察长都在关注。FTC也在关注。这个模式已经确立:你不需要一部AI法律来监管AI声明。你只需要一部消费者保护法规,以及一个过度承诺的供应商。
企业采购将会改变。医院系统和大型买家将开始要求在签订合同之前,对AI准确性声明进行独立的第三方审计。和解协议明确允许以此作为自我披露的替代方案,而精明的买家将会提出这样的要求。
套壳模式将会消亡——先是缓慢地,然后是一下子全部消亡。不是因为套壳在低风险应用中行不通(它们行得通),而是因为在高风险环境中部署一个缺乏立足根基的系统的监管成本即将变得高得令人却步。幸存下来的公司将是那些在深度集成困难时就投入其中的公司,而不是那些快速发布、并寄望于无人核查的公司。
那么那个0.001%的声明呢?它将成为一个警世故事——企业AI界相当于Theranos的“一滴血”。一个完美到本该成为警告的数字。
我有时会想起那位医院的CIO。就是那位给我看了印着那个大数字的幻灯片的人。他没有购买那套系统。他后来告诉我,那个声明的精确性有某种东西让他感到不安——它太干净、太自信了,对于一项他清楚从根本上是概率性的技术而言。
他感到不安是对的。企业AI中最难的事不是构建一个能运作的系统。而是构建一个在它无法运作时会诚实告诉你的系统。这就是如今的标准。不是99.999%。不是幻灯片上的一个数字。这个标准是:你能否展示你的工作过程、为它负责,并在你出错时承担后果?
这就是我们正在努力构建的方向。不是完美的AI。而是诚实的AI。我认为这将比任何人的幻觉率都重要得多。