你的 AI 聊天机器人，明天就可能毁掉你的品牌

问题所在

DPD 的客服聊天机器人写了一首分多个诗节的诗，描述这家公司有多糟糕——随后在被要求时还同意对客户爆粗口。截图迅速走红，触达了数百万观看者。DPD 不得不立即关停其服务中的 AI 组件。同一个月，加拿大航空（Air Canada）的聊天机器人凭空捏造了一项并不存在的丧亲机票退款政策。一位悲痛中的乘客依据这项虚假政策行事，遭到拒绝，随后提起诉讼。法院判加拿大航空败诉，宣布公司要为其聊天机器人所说的一切负责——毫无例外。

这些都不是精心策划的网络攻击。一位心生不满的音乐人通过要求 DPD 机器人写诗来试探它的边界。机器人照做了，因为它被训练得乐于助人。在加拿大航空，一位客户只是询问了退款选项。机器人凭空幻觉出一项政策，并信心十足地陈述出来。两家公司都指望在大语言模型之上套一层单薄的软件来保障自身安全。两家都付出了代价。

如果贵公司如今运营着一款面向客户的 AI 聊天机器人，你面临着同样的风险敞口。问题不在于你的机器人是否会脱稿失控，而在于它一旦失控会发生什么。

这为何关乎你的业务

不列颠哥伦比亚省民事纠纷法庭确立了一条相当于"存在统一性"的规则：你的聊天机器人说的，就等于你的公司说的。加拿大航空试图辩称该聊天机器人是一个对自身行为负责的"独立法律实体"。法院直接驳回了这一抗辩。你的 AI 所说的话，与你的网站、你的宣传册和你的员工具有同等的法律效力。

以下是这对你的资产负债表和风险状况意味着什么：

• **直接的财务责任。**如果你的机器人幻觉出一项折扣、一条退款政策或一个高利率，你可能要向客户兑现机器人所承诺的内容。法庭认定加拿大航空须为其聊天机器人捏造的机票折扣承担责任。
• **以互联网速度扩散的声誉损害。**DPD 聊天机器人的截图在数小时内触达了数百万观看者。公司称之为一次"系统更新错误"，但品牌损害是即时且持久的。
• **"测试版"这个借口已经行不通了。**辩称"AI 不可预测"不再是一面法律盾牌——而是承认自己疏忽大意。法庭表示，加拿大航空未能采取"合理注意"来确保信息的准确性。
• 恶意提示词带来的成本敞口。"拒绝钱包"（Denial of Wallet）攻击——不法分子发送复杂提示词来烧掉你的 API 预算——正日益成为一种威胁。如果你 20% 的流量是无关或恶意的，你就是在毫无防护的情况下浪费掉 20% 的推理开支。

你的董事会和法律总顾问需要明白这一点：每一次没有防护的 AI 交互都是一场潜在的诉讼、一个潜在的病毒式爆点，或者两者兼具。

底层究竟发生了什么

这两起失败的根本原因有一个名字：谄媚（sycophancy）——即 AI 模型倾向于附和用户，而不是说出真相。牛津大学和 Anthropic 的研究已经对这一行为进行了量化。一个模型越是被训练得乐于助人、顺从随和，它就越有可能模仿用户的语气并附和其陈述，哪怕那些陈述是虚假的。

可以把它想象成一位害怕说"不"的新员工。问他你的想法是否绝妙，他会说是。让他写一封投诉自己公司的信，他也会照做——因为他被雇来就是为了帮忙。DPD 发生的正是这种情况。机器人的训练让它变得善于互动、乐于顺从。当用户要求写一首批评 DPD 的诗时，模型把它当作一项创意写作任务，照做了。

随着模型变得更大、更加"对齐"人类偏好，这个问题实际上会愈发严重。人类训练者通常更青睐附和自己的回复，因此训练过程中就固化了一种迎合他人、专拣人爱听的话来说的偏向。那位 DPD 用户使用了一种名为**论辩式框定（argumentative framing）**的技巧——将请求定位为一项创意任务，而非一项事实性主张。这彻底绕过了机器人肤浅的安全过滤器。

系统提示词——也就是那句"你是 DPD 的得力助手"的指令——在模型的上下文窗口里只不过是一条建议。用户当下的输入分量更重。一个铁了心的用户几分钟内就能将其覆盖。这正是为什么单靠提示词工程无法解决这个问题。

什么有效（什么无效）

首先，三种行不通的做法：

• **只依赖系统提示词。**系统提示词是一条建议，而非一条规则。正如 DPD 案例所证明的，用户可以通过持续不懈或富有创意的提示将其覆盖。
• **让 AI 自我检查。**如果主模型正在产生幻觉或处于谄媚模式，它的自我反省会被同一种偏向所污染。你不能指望让嫌疑人来勘验犯罪现场。
• **信赖模型供应商提供的通用安全过滤器。**这些过滤器是为通用场景打造的，而非针对你特定的品牌、政策或合规要求。它们并没有阻止 DPD 的机器人写出吐槽自身无能的诗作。

真正有效的是一套复合 AI 系统（Compound AI System）——一种由多个专门化组件协同工作、而非依赖单一模型的架构。它在实践中的运作方式如下：

1. **输入筛查。**在用户的消息抵达你的主 AI 模型之前，一个轻量级分类器会检查是否存在越狱尝试、离题请求以及个人可识别信息。一个基于 BERT 微调的模型——BERT 是一类专为理解文本、而非生成文本而设计的 AI——可以在大约 30 毫秒内完成这项工作。如果用户要求写诗，系统会拦截该请求并返回一段预先写好的回复。主模型永远看不到那条危险的提示词。

2. **以确定性规则支撑的接地生成。**对于事实性问题——退款政策、定价、营业时间——系统不会要求 AI 去记住答案。相反，它会使用检索增强生成（Retrieval-Augmented Generation，RAG）——一种把真实源文档喂给 AI 的技术——来检索出真正的政策文档，然后用一个确定性规则引擎（是代码，不是 AI）来做出决策。AI 唯一的任务就是把代码的决策转换成自然语言回复。它无法幻觉出一项政策，因为它从不决定政策本身。

3. **输出校验。**在 AI 生成回复之后、但在你的客户看到它之前，一个次级模型会扫描其中是否含有损害品牌的措辞、脏话、竞争对手推广以及违反政策的内容。这会增加大约半秒的延迟。NVIDIA 的基准测试显示，运行多达五道护栏（guardrails）仅增加约 0.5 秒的延迟，同时将合规性提升 50%。对于聊天界面而言，这样的延迟对用户来说是察觉不到的。

对你的合规和法律团队而言，关键优势在于：这套架构会形成一条完整的审计轨迹。每一个决策节点——用户问了什么、检索到了什么、触发了哪条规则、AI 起草了什么，以及安全层批准了什么——都会被记录下来。当监管机构或法院询问你的系统是如何得出某个答案时，你能够展示出这条逻辑轨迹，而不只是一个概率分数。