你的 AI 聊天机器人已经成了一名具有法律约束力的员工——大多数公司还没意识到

在Moffatt v. Air Canada裁决公布几个月后,我正在与一位潜在客户通话——一家中型金融科技公司,大概 200 名员工,发展迅速。他们用一个流行的 GPT 套壳产品构建了一个面向客户的聊天机器人。界面简洁。语气友好。客户很喜欢。

我问了一个问题:“当你的机器人报出错误的利率时,会发生什么?”

一片死寂。然后他们的 CTO 说:“不会的。我们有很好的提示词。”

我在屏幕上调出那份裁决,给他们读了法庭所说的那句话——加拿大航空“无法将自己与该 AI 聊天机器人区分开来”。公司要对机器人生成的每一个字负责,就如同一名人类员工说出这些话一样。而该航空公司的抗辩——辩称聊天机器人基本上是一个对自身错误负责的“独立法律实体”——被以近乎司法蔑视的态度驳回。

那位 CTO 的表情变了。因为这份裁决实际的含义是:如果你的 AI 聊天机器人在 5% 的市场环境下向客户承诺 2% 的利率,或者编造出一项根本不存在的退款政策,或者凭空捏造一条保修条款——恭喜你,你的公司刚刚签下了一份合同。不是比喻意义上的。是法律意义上的。

而最可怕的地方?几乎没有一个构建企业级 AI 的人真正理解了这一点。

这份重写了每一个 AI 聊天机器人风险画像的裁决

让我告诉你,在Moffatt案中究竟发生了什么,因为其中的细节比头条新闻所暗示的更重要。

Jake Moffatt 的祖母去世了。他访问了加拿大航空的网站,找到聊天机器人,询问丧亲票价。聊天机器人——以自信、流畅、这类系统被优化出来的那种乐于助人的语气——告诉他现在先购买全价机票,然后在 90 天内申请丧亲折扣以获得部分退款。

那项政策根本不存在。该航空公司的实际规定——埋藏在运价文件和静态网页中——恰恰相反:一旦搭乘航班,便不予追溯退款。这个聊天机器人凭空捏造了一项政策,它听起来很合理,因为从统计学上看,围绕“丧亲”“退款”和“90 天”这些短语的模式,在整个行业的航空公司政策文件中频繁地共同出现。

当 Moffatt 要求退款而加拿大航空拒绝时,他把他们告上了法庭。加拿大航空的律师提出了一个我至今仍觉得匪夷所思的论点:他们声称,这个聊天机器人应当被视为一个独立的法律实体,要对自己的陈述负责。他们还辩称,正确的信息在网站的其他地方是可以查到的,因此公司已尽到了义务。

法庭不仅仅是驳回了这一点。法庭成员 Christopher Rivers 实质上表示:人类客服、静态网页和交互式机器人之间,没有任何有意义的区别。它们都是公司在与客户对话。

如果你的 AI 说了它,你的公司就签下了它。法庭确立:幻觉不是软件缺陷——它们是过失性虚假陈述。

那份裁决产生了三条应当让每一位 CTO 夜不能寐的判例。统一责任:无论信息来自 HTML 文本还是神经网络——它全都是公司的陈述。注意义务:部署未经验证的概率模型来发布政策,就是过失。而最能击穿当前大多数架构的一条是:“黑箱”辩护已死。你的 AI 系统内部的复杂性提供的法律保护为零。

赔偿金是 800 美元。而这条判例在未来的责任敞口上价值数十亿。

为什么“好的提示词”救不了你

有件很多 AI 咨询公司不愿听的事,我得直言不讳:检索增强生成(RAG)并不是一种合规解决方案。

当我最初深入研究 Moffatt 案的细节时,我以为会发现聊天机器人无法访问正确的政策。那样的话就只是一次简单的检索失败——可修复、可理解。然而,我发现了更糟糕的情况。这个聊天机器人实际上提供了指向正确丧亲政策页面的链接。它拥有正确的文档。它只是把它总结错了。

这正是那种击垮“只要加上 RAG 就行”这一说法的失败模式。聊天机器人检索到了正确的上下文,却仍然把答案给幻觉出来了。

原因如下。大语言模型是概率引擎。它们基于训练数据中的统计模式来预测下一个可能出现的词元。当一个 LLM 说“90 天内可以退款”时,它并不是在查询一个规则数据库。它是在补全一个在统计上概率很高的句式,而这一概率来自它在训练期间摄入的数百万份文档——这些文档包含了来自无数不同公司的无数不同的退款政策。

给模型提供正确的文档会有帮助。但如果检索到的文本很复杂,如果法律语言很晦涩,如果在某个从句里埋着一个微妙的否定词——模型就可能忽略检索到的上下文,转而依从它预训练时形成的偏向。这并不是罕见的边缘情况。它是一种被称为参数记忆主导(parametric memory dominance)的已知失败模式,而且恰恰是在对合规最为要紧的那类复杂政策语言上,它发生得更为频繁。

我亲眼见过这种情况。我们当时在为一家医疗健康客户测试一个原型,系统的上下文窗口里已经有了正确的药物相互作用数据——就实实在在地摆在提示词里。可模型仍然生成了一个把“严重相互作用”警告淡化为“轻微注意”的回复。因为在训练数据中,关于这两种药物合用的大多数文本,都出现在淡化风险的语境里。检索是完美的。而生成是危险的。

RAG 提供的是知识,但它并不保证遵从。你无法仅凭一个概率引擎去解决一个严格的逻辑问题。

数据印证了这一点。归因于 AI 幻觉的全球损失在 2024 年达到了 674 亿美元。即便是最好的前沿模型——GPT-4o、Gemini 2.0——根据任务复杂度的不同,基准幻觉率仍保持在 0.7% 到 3% 之间。这听上去很小,直到你算一算这笔账:一家银行的 AI 助手每月处理一百万次查询,按 0.7% 的幻觉率计算,就会产生 7,000 起潜在的监管违规。每个月都如此。

而企业已经在为这种不可靠性支付一笔隐形税。Forrester 估计,幻觉缓解的成本大约为每位员工每年 14,200 美元的生产力损失——员工反复核查那些无法独立取信的 AI 工作成果。幻觉检测工具的市场增长了318%(2023 年至 2025 年间)。这不是问题正在被解决的迹象。这是一个行业在疯狂地给一种根本上就有缺陷的方法打补丁的迹象。

一个无法撒谎的聊天机器人是什么样子?

有那么一个瞬间——我记得很清楚,因为它发生在我和团队一次深夜的架构讨论中——核心的想法一下子豁然开朗。我们当时在争论如何让一个 LLM 在合规场景中“更准确”。更好的提示词。更好的检索。在领域数据上做微调。然后我的一位工程师说了一句让谈话戛然而止的话:“我们为什么要让模型准确?它就不是为准确而设计的。它是为流畅而设计的。”

她说得对。而那一次视角的重构,彻底改变了我们的构建方式。

答案并不是让这个概率模型变得不那么概率化。答案是根本不让它做任何决策——当风险很高的时候。

我们把这称为一个确定性行动层——一个位于用户和 LLM 之间的中间件组件,扮演着交通指挥员的角色。当客户询问天气,或者想要帮忙起草一封电子邮件时,LLM 就做它擅长的事:生成流畅、有用、富有创意的文本。但一旦对话触及退款、定价、法律条款、保修、隐私政策——任何一个错误答案就会引发责任的领域——系统就会彻底切换模式。

确定性行动层不再让 LLM 从它的权重中生成答案,而是触发硬编码的逻辑。一次数据库查询。一棵决策树。一份预先写好、经过法律审核的回复模板。LLM 的角色从“作者”收缩为“翻译”——它或许会把结果改写成一句礼貌的话,但它无法增加、删除或重新解读这些信息。

可以这样想。如果 Moffatt 案里的聊天机器人采用了这套架构,事情会是这样的:语义路由器检测到意图——bereavement_refund。系统不会让模型即兴发挥、去猜它以为丧亲退款政策通常是怎么规定的,而是执行一个确定性函数:if ticket_status == 'flown' return NO_REFUND。返回的回复是:“我们的政策严格禁止在出行后退款。参考:运价规则第 45 条。”乏味。但法律上滴水不漏。正是所需要的。

我在我们研究的交互式版本中深入写过这套架构,但核心的洞见很简单:将对话与合规分离开来。让神经网络去处理人类语言中那种混乱而美丽的多变性。让确定性代码去处理那些一旦出错就会造成金钱损失的部分。

沉默协议

我们采用了一种特定的设计模式,我认为它比任何架构图都更能体现这种理念。我们把它称为沉默协议。

当用户询问一个被我们归类为“合规关键”的话题时,生成式 AI 的创造能力实际上被静音了。系统从“作者”模式切换到“读者”模式。它从数据库中检索出确切的文本并原样呈现,或者用来自可信来源的变量去填充一个严格的模板。

接下来是让某些产品经理感到不舒服的部分:如果用户提出的问题落入了一个政策空白——那里不存在任何确定性规则——系统不会即兴发挥。它会说:“我无法直接回答这个问题。让我为您转接一位人工专家。”

我曾有一位潜在客户对此强烈反对。“用户想要即时的答案,”他说,“一个会说‘我不知道’的聊天机器人让人觉得坏掉了。”

我问他,哪一种更让人觉得坏掉了:是一个会说“让我为您找一位人工客服”的聊天机器人,还是一个编造出一项退款政策、导致公司不得不兑现它、法务团队花上六个月来收拾残局的聊天机器人?

用法律的语言来说,在合同条款上的“创造力”等同于捏造。一个企业级 AI 最有价值的特性,不是它能说什么——而是它被阻止说什么。

我们在合规话题上禁用创造力,因为在一个后 Moffatt 时代,一个“热心地”即兴编造政策的 AI,就是一个在未经授权的情况下实时改写你合同的 AI。

系统如何知道什么是危险的?

这是我被问得最多的问题,而且它问得很对。只有当路由层——那位交通指挥员——能够可靠地区分“给我讲讲你们公司的历史”(交给 LLM 生成是安全的)和“这个我能退款吗?”(必须以确定性方式处理)时,这套架构才行得通。

我们使用语义路由,它与旧式聊天机器人系统中那种脆弱的关键词匹配有着根本的不同。一个只找“退款(refund)”这个词的关键词系统,会漏掉“我想把钱要回来”或者“你能给我报销吗”。语义路由把用户的查询转换成一个高维向量嵌入,并将其与为受限话题预先定义的典范示例进行比对。

关键的细节是:这个路由层位于外部,即 LLM 的上下文窗口之外。这一点对安全至关重要。提示注入攻击——用户精心构造输入,意图诱骗模型忽略自己的指令——是一种真实且日益增长的威胁。但如果路由决策在查询到达模型之前就已经完成,那么这些攻击对合规逻辑来说就变得无关紧要了。你无法越狱一个从一开始就不把钥匙交给模型的系统。

一旦检测到敏感意图,我们就使用函数调用——这是现代 LLM 中的一种能力,模型输出的是结构化数据(一个调用特定函数的 JSON 对象),而不是自由格式的文本。LLM 从对话中提取参数——票号、购买日期、出行日期——并把它们传递给一个确定性的代码块。Python。SQL。或者任何执行实际业务逻辑的东西。模型从不计算退款。它从不判定资格。它把自然语言翻译成一次 API 调用,再把 API 的响应翻译回自然语言。做决定的是代码,而不是概率。

要完整了解路由架构、函数调用模式以及我们验证流水线的技术剖析,请参阅我们的技术深度解析。

监管的高墙正在合拢

如果 Moffatt 这条判例还不足以成为动力,那么监管格局即将让确定性护栏变得别无选择。

《欧盟人工智能法案》(EU AI Act)将许多面向客户的 AI 系统——尤其是在交通运输、银行和基础服务领域——归类为高风险。第 14 条强制要求人类监督:系统必须被设计成让人类能够解读输出、进行干预并按下停止按钮。一个黑箱式的 LLM 套壳产品无法满足这一点。而一个确定性行动层——由合规官编写系统所执行的规则——则可以做到。

GDPR 第 22 条赋予个人一项权利:当某些决定会产生法律效力或重大影响时,他们有权不受制于仅基于自动化处理所作出的决定。拒绝退款是一种重大影响。拒绝一份贷款申请是一种重大影响。当客户问“我为什么被拒绝了?”时,神经网络无法解释它的推理过程,因为它并没有推理——它只有统计权重。而一棵确定性逻辑树可以指向确切的节点:“信用评分低于阈值”或“票务状态:已搭乘”。

而ISO 42001——首个面向 AI 治理的全球标准——要求各组织梳理清楚在哪里使用了概率性逻辑、在哪里使用了确定性逻辑,测量幻觉率,并保存完整的审计追踪记录。我们专门把架构设计成能够满足这一标准的审计就绪要求。每一次交互、每一个路由决策、每一次政策执行,都会连同一条可追溯的逻辑路径被记录下来。

这不是纸上谈兵的合规。我曾与企业法务团队坐在同一间会议室里,他们正因为这些框架而积极地重新思考自己的 AI 部署。那些现在就把护栏建好的公司,将会比那些日后手忙脚乱去补装合规的公司更快、更广泛地部署 AI。

“可这难道不贵吗?”

人们总是这样问我,我也理解这种本能反应。构建语义路由、确定性逻辑层、知识图谱、验证流水线——这无可否认地比把一次 API 调用包进一个漂亮的界面里要复杂得多。

但让我重新表述这个问题。不去构建它,其代价又是什么?

加拿大航空的赔偿金是 800 美元。但律师费远远超过了这个数。而声誉上的损害——“航空公司辩称自家聊天机器人是一个独立法律实体”成了全球笑柄——更是无法估量。而那还只是一次关于一张丧亲票价的单次交互。

现在想象一个金融服务聊天机器人幻觉出一笔贷款批准。一个医疗健康机器人淡化了一条药物相互作用警告。一个保险机器人凭空捏造了保障条款。我们谈的已经不再是 800 美元了。我们谈的是集体诉讼的范畴。

企业目前每位员工每年在幻觉缓解上花掉的 14,200 美元——因为没有人信任 AI 的输出,只能靠人工手动核查——那才是“廉价” AI 的真实成本。套壳产品构建起来便宜,运营起来却昂贵。确定性架构构建起来昂贵,信任起来却便宜。

这关乎接下来会发生什么

我想以一件超越当下聊天机器人这个话题的事情来收尾,因为我认为 Moffatt 裁决是一场大得多的变革的预演。

我们正在从一个 AI 聊天机器人的时代,迈向一个 AI 智能体的时代——这些系统不只是回答问题,而是采取行动。预订航班。转账。批准理赔。签署协议。“用户应当自行核实信息”这套法律上的虚构说辞,在用于聊天机器人时就已经站不住脚。当它被用于自主执行交易的智能体时,则完全无法成立。

每一家部署了触及金钱、合同或受监管决策的 AI 的公司,此刻都在做出一个选择,无论他们是否意识到这一点。要么,他们在构建这样一种系统——其中 AI 的创造力被确定性逻辑所约束,机器可以在被严格执行的护栏之内做到流畅而有用;要么,他们在部署一些能言善辩、无人监督的智能体,让它们手握改写公司政策的法律权力,一次一个幻觉地改下去。

我清楚自己想站在那条线的哪一边。我也清楚法律将会要求站在哪一边。

你的聊天机器人是一名具有法律约束力的员工。它需要与一名经手公司资金的人类员工同样的培训、同样的监督,以及同样严格的边界。你不会让一名新员工凭感觉去编造退款政策。也别让你的 AI 这么做。

黑箱辩护已死。套壳的时代正在终结。而那些率先想明白确定性行动层的公司,将不只是规避了责任——它们将成为真正把 AI 规模化地推进到自身业务中最要紧环节的公司,因为它们将是那些系统能够被信任的公司。

问题不在于你的 AI 是否足够聪明。而在于它是否懂得何时该闭嘴。