绿色仪表盘在说谎：企业级 AI 验证真正必须检验的是什么
在我职业生涯的很长一段时间里，我都是会议室里那个负责说"不行，这个模型还没有通过验证"的人。在银行业，这项职能有一个枯燥的名字——SR 11-7 框架下的独立模型验证，这是美联储和 OCC 自 2011 年以来管理模型风险的监管指引。这份工作正如它听上去那样"光鲜"。你要去读那份没人愿意读的局限性附录；你要追问供应商，模型在那些演示里没出现的案例上究竟表现如何。而且每隔一段时间，你会坐在审计委员会里，面对一块完全令人安心的绿色仪表盘——每一个复选框都打了勾，每一条政策都已对应，每一项合规状态都显示正常——心里却直往下沉，因为你清楚，这一片绿色几乎没告诉你这东西到底能不能真正运作。
这道鸿沟正是这整篇文章所要探讨的，也正是我们打造Veriprajna 的企业级 AI 验证实践 所围绕的那个不合时宜的理念：你必须检验答案，而不是检验流程。 治理仪表盘只能证明某个流程被遵循了，却不能证明你的 AI 针对这一位投保人、这一笔贷款、这一条法规给出了正确答案。这两者在董事会会议上被反复混为一谈，而这种混淆代价高昂。
让我告诉你，代价究竟有多高。
Klarna 省下了 40%——随后亏损了 9900 万美元
2024 年，Klarna 向全世界宣布，其 AI 助手已经取代了 700 名客服人员。这个助手用 35 种语言处理了大约三分之二的对话。每笔交易的成本从 $0.32 降到 $0.19——大约 40%——各种头条不请自来。这就是未来：更精简、更快、更便宜。
到 2025 年年中，他们已经在把软件工程师和市场营销人员重新调去支撑呼叫中心。CSAT（客户满意度）得分下降了 22%。在那些棘手的问题上——有争议的扣款、被质疑的退款、账户关闭——客户陷入了媒体所称的"卡夫卡式循环"。Klarna 的 2025 年第一季度以 9900 万美元的净亏损收官，高于上一年的 4700 万美元，尽管 营收增长了 15%。这位 CEO 承认，大规模自动化"导致了服务质量的下降"。
有一点我花了好一阵子才真正领悟，而它恰恰与大多数人得出的教训相反。Klarna 的 AI 是有效的。 它在密码重置和订单状态查询上确实省了钱。问题不在于 AI 很糟糕。问题在于，没有人去验证它能否应对那 20% 承载着绝大部分财务与声誉风险的互动——那些争议、那些边缘案例、那些会演变成客户流失和投诉的事情。毒性过滤器会让那些糟糕对话里的每一个都顺利通过。AI 在失败的时候依然彬彬有礼。
AI 并没有说出任何冒犯的话。它只是无法处理一笔涉及航班取消和争议扣款的多币种退款——而那正是真正要紧的那 20%。
Klarna 并非个例。它只是我接触过的每一家企业中正在悄然发生之事的可见版本。大约有 70% 到 85% 的企业 AI 项目根本从未走到投产阶段——RAND、Gartner、BCG 和麦肯锡各自独立得出的数字都接近于此。MIT 的 NANDA 研究在 2025 年发现，95% 的 AI 试点没有带来任何可衡量的盈亏影响。麦肯锡报告称，2025 年有 42% 的公司放弃了其大部分 AI 计划，高于上一年的 17%。这些试点演示得很漂亮，却在接触到演示从未展示过的案例时轰然倒下。
我们最先造错了东西
关于我们是如何走到"检验答案而非检验流程"这一步的，我想坦诚相告，因为我们并不是靠聪明才想到这一点的。我们是靠交付了一个行不通的东西，并眼睁睁看着它在一位客户面前失败，才走到这一步的。
如今回头看，我们的 AI 验证层的第一个版本，恰恰就是市场上早已在兜售的那种东西。我们搭起了一套体面的护栏框架——内容审核、PII（个人身份信息）检测、越狱检查——再加装了漂移与公平性监控，并把整套东西呈现为一个干净利落的合规视图。输入被扫描。输出也针对毒性内容和泄露的个人数据被扫描。一块变绿的仪表盘。我曾为它感到自豪。它看上去很像治理。
我们把它投入到一个受监管的金融工作流试点中，就在头几周里，AI 就给出了一个自信满满、格式规整、不含任何毒性内容、也没有泄露任何 PII 的答案——而它在某条领域规则上却干脆就是错的。我们的系统让它通过了。我们搭建的每一项检查都是绿色的。错误出在答案的实质之中——出在一个我们所有护栏都没有去审视的地方，因为它们中没有哪一个足够了解这个领域，能看出这个答案是错的。
就是在那个月，我不再相信我们所投身的这个品类。我在模型验证领域干了那么多年，早就在银行业的语境里明白这个道理，可我还是造出了一个犯着同样错误的工具——而这种错误正是我整个职业生涯一直在抓的。安全性不等于正确性。无害性不等于正确性。一块绿色的仪表盘不等于正确性。
一个能够抵御提示注入攻击的 AI，照样可能算错一笔准备金、引用一条已被废止的法规，或者批准一笔违反公平放贷规则的贷款。安全与正确是两个不同的问题，而几乎没有人在检验后者。
你听说过的那些工具，为什么都止步于它们止步之处？
如今已经存在一个真实且资金充裕的 AI 工具市场，以大约 45% 的年复合增长率扩张，我并不想对它不公平。这些产品中的大多数都把自己真正的本职工作做得很好。问题在于，它们真正的本职工作，并不是大多数买家以为自己买到的那份工作。
治理平台——Credo AI、IBM 的 watsonx.governance、ModelOp——负责把你的 AI 计划对应到监管框架，并跟踪合规状态。在《快公司》(Fast Company) 2026 年榜单的"应用 AI"类别中，Credo AI 与谷歌、英伟达和 Anthropic 并列，排名第 6；这是很扎实的工作。但政策合规并不等于输出正确。一块绿色的政策仪表盘意味着文书工作井然有序，而不是意味着 AI 针对你的具体用例给出了正确答案。
监控工具——Arthur、Galileo、Arize——实时观察模型层面的指标：漂移、公平性、延迟、token 分布。这很有用。但它们监控的是模型的整体行为，而不是在给定某位投保人的具体承保条款下，某一次特定的保险计算是否正确。安全类工具则更深入一层——思科在 2024 年 10 月以约 4 亿美元收购了 Robust Intelligence，并将其并入 Cisco AI Defense，把检测结果对应到 OWASP 和 MITRE ATLAS。这是必要的。但它同样关乎的是模型能否被攻击，而不是它是否正确。
再就是那些护栏框架，比如 NVIDIA 的 NeMo Guardrails 之类，它们擅长内容审核、PII 和主题过滤——而 NVIDIA 自己也谨慎地表示它们无法拦下一切，因为其自查机制依赖的正是它们所要防护的那些模型。此外还有四大会计师事务所，它们会用 6 到 18 个月、花你 50 万到 500 万美元卖给你一套治理战略，最后交给你一份 PowerPoint 和一份供应商候选名单——一套框架，而不是一个能在某个周二告诉你"你的 AI 错了"的运行中系统。
这些工具，每一个都有一栏，标记着它的用处到此为止。把它们全部叠加起来，你就覆盖了政策、安全、漂移和内容安全。可你依然没有回答那个真正决定这次部署生死存亡的问题：对于这个具体案例，答案正确吗？
那个 69% 的问题
如果你想要一个让我真切感受到这一点的数字，就是它了。在法律尽职调查任务上，独立测试给出的 AI 错误率介于 69% 到 88% 之间——远远高于供应商基准测试所暗示的水平。好好体会一下这个数字。不是 6.9%。是 69 到 88。
而且这些不是护栏能抓到的错误，因为它们既不冒犯也不涉及安全。它们错得只有真正懂这个领域的人才看得出来。到 2025 年年底，法律文书中有记录的 AI 幻觉事件已超过 729 起——高于上一年的 280 起。法院开始对当事人处以罚款。在其中一个案子里，Doiban 诉 OLCC，处罚金额算下来是：15 条编造的引注，每条罚 $500，另加 $1,000 补偿对方律师为追查那些根本不存在的幽灵案例所耗费的时间。美国最大的律师事务所之一在六个月里就记录到了三起独立的幻觉事件。
这些都是专业人士，会复核自己的工作，身处一个出错要付出代价的领域——可 AI 依然编造出了足够以假乱真、乃至能被写进法庭文书的判例法。这就是这种失败的质感。它流畅、看似合理、却是错的，而且它恰恰栖身于通用监控根本无从评估的那部分领域知识之中。
当供应商不肯打开这个黑箱时，你还能验证什么？
在受监管的行业里，这就不再是一个有趣的工程问题，而变成了一个法律问题。如果一个模型会影响承保、准备金计提或资本，那么美国银行业的 SR 11-7——以及面向欧洲保险公司的偿付能力监管 II（Solvency II）第二支柱——就要求对它进行独立验证、留档记录并持续监控。如今这项义务同样适用于大语言模型；监管机构才不管你的模型恰好是不是一个 LLM。
而这正是我反复陷入的两难。SR 11-7 验证传统上依赖于理解模型——它的假设、它的内部机制、它的边界。可 LLM 供应商不会告诉你模型是如何运作的。我的邮件存档里就有这样的邮件，措辞五花八门：我们无法披露模型的内部细节。 法律要求你去验证一个供应商拒绝打开的东西。
走出这一两难的唯一办法，就是不再试图去检视权重，而是开始给输出对照领域真值来打分。你要构建一批你已知正确答案的案例——比如当一份保单的分项限额与一项承保除外条款相互作用时，长尾责任准备金究竟应该如何计提，一条已被废止的法规意味着什么，一条公平放贷规则又该如何适用——然后你去测试 AI 是否把它们答对了，大规模地、持续地、在模型每一次更新或重新调优时都测一遍。你验证你能看见的行为，因为无论如何，那都是监管机构和客户所体验到的那个行为。这就是我们如今所构建之物的核心，也是无论供应商到底会不会打开黑箱都行得通的那一种方法。
当你无法看到模型内部时，输出层就是剩下的唯一一个可以诚实地进行验证的地方——而且恰好，它也是你的客户和你的监管机构真正会接触到的唯一一层。
为什么"直接买个平台就好"不再是答案
在企业构建 AI 的方式上，正在发生一场悄然的反叛，而它与验证直接相关。Retool 的 2026 年"自建 vs. 采购"报告发现，35% 的团队已经用自建方案替换了至少一款 SaaS 工具，78% 的团队预计还会自建更多。契合特定业务逻辑的定制方案，其回报一直是通用外壳产品的 3 到 5 倍——部分原因在于，大约 65% 的软件成本，都是在之后才到来的——落在部署、集成、维护，以及外壳产品没能完全做到的那些事情上。
但"自己造就行了"这一派人跳过了一个隐患。要把定制化验证做好，需要大多数公司都不具备的 ML 基础设施团队。所以真正的格局并不是"外壳 vs. 定制"。它其实是三个选项：一个不懂你所在领域的通用外壳、一个你根本没有配备人手的 DIY 项目，或者由那些此前做过这类验证工作的人、专为你所在的具体垂直行业打造的领域专家系统。第三个选项，正是我们决定驻守的那道空隙。不是一块你去授权采购的仪表盘。不是一个你去配备人手的平台。而是一个围绕你所在领域的真实事实而构建的验证层。
"我们已经买了的那个治理工具，难道不能覆盖这一点吗？"
人们不断地用各种说法问我这个问题，通常还带着一丝希望，因为他们已经把预算花出去了。诚实的回答是：你的治理工具覆盖的是治理——而治理确实是必要的。留着它。它只是不验证正确性，而且它从一开始就不是为此而造的。
他们问的第二件事，是关于那些他们无法 看见的 AI——也就是影子 AI（shadow AI）。这一件事让风险官们夜不能寐，而数据表明他们确实应该担心：78% 的员工在使用雇主并未提供的 AI 工具，其中 77% 的人把敏感或专有信息喂给了这些工具。三星和亚马逊都发现了自家的专有代码正躺在公开的 AI 服务里。一次影子 AI 泄露事件平均要付出 463 万美元的代价。Gartner 自己的说法才是那个令人不安的版本——绝大多数未经授权的 AI 活动来自内部的政策违规、过度共享和滥用，而不是外部攻击者。你的治理平台无法治理它看不见的东西，而验证必须从摸清到底有什么在运行开始。
第三个问题，是来得最快的那一个。Gartner 预测，到 2026 年年底，40% 的企业应用将嵌入自主 AI 智能体——这些智能体不只是回答问题，它们还会采取行动：修改数据库、执行交易、发送客户沟通信息。只有大约三分之一的组织表示自己对这其中任何一项有成熟的治理。当一个智能体能够采取不可逆的行动时，验证的问题就从"它有没有说对"变成了"它有没有做对"——而一个你无法收回的错误行动，与一句错误的话相比，是完全不同类别的风险。为聊天机器人打造的监控，从来就不是为它而设计的。
那张没人愿意放上董事会幻灯片的罚则表
我要用一个往往能终结争论的数字来收尾，因为它让不做验证的代价，以错误率做不到的方式，变得能被一位 CFO 清楚看懂。
从 2026 年 8 月 2 日起，《欧盟 AI 法案》剩余的大部分义务将开始生效——针对高风险系统的规则，以及第 50 条下的透明度要求。违反禁止性行为的罚款最高可达 3500 万欧元或全球营业额的 7%；高风险不合规则最高可达 1500 万欧元或 3%。芬兰在 2026 年 1 月成为第一个拥有全面可运作执法权力的成员国。这不再是一份关于未来的备忘录。它是一个标注了日期的账目条款。
把跳过验证的这笔账的其余部分加起来：每起影子 AI 泄露事件 463 万美元，一次重大 AI 宕机期间每小时超过 100 万美元，服务质量悄然崩塌时的 9900 万美元，每起幻觉事件六位数的处罚，以及一笔以全球营收百分点来计量的欧盟罚款。与所有这些相比，好好验证你的 AI 的成本——对照你所在的领域、持续地检验答案——不过是一个可忽略不计的零头。然而大多数企业依然把验证当成一个只勾一次的复选框，而不是一门他们要持续运行的纪律。
绿色仪表盘告诉他们一切都好。麻烦在于，这块仪表盘评判的是错误的东西。它核查的是他们有没有遵循流程——那是唯一一件既容易审计、又可以安全地为之负责的事情，而这恰恰就是为什么它早已不再有任何意义之后，还能长期存活在董事会幻灯片里。它从来没有哪怕一次去追问答案是否正确——可答案正确，才是客户、监管机构以及那一栏损失数字唯一在乎的东西。如果你想看看我们是如何转而去检验这一点的，我们把这套方法写在了这里。
我至今仍把 SR 11-7 的四大支柱清单放在我看得见的地方，而第四大支柱是监控——只有当你监控的是正确的东西时，它才有意义。一块给你的流程打分的仪表盘会一直亮着绿色，与此同时你的 AI 却在悄悄搞砸那笔多币种退款、那笔有争议的准备金、那条已被废止的法规。Klarna 的仪表盘当初也是绿色的，一直绿到它亏损 9900 万美元的那个季度为止。真正能保护你的验证，正是我整个职业生涯一直在做的那份不光鲜的工作：收集那些你已经知道正确答案的案例，然后一次又一次地检查——在模型每一次变化时都检查——机器是否依然把它们答对了。
