问题所在
GPT-4，作为当前最先进的大语言模型，在一个复杂的多步骤旅行规划基准测试中，成功率仅为 0.6%。这意味着它的失败率高达 99.4%。而且失败的不是刁钻问题或冷门谜题——而是您的企业每天都在运行的那种结构化多步骤工作流：查询可用性、校验约束条件、处理交易、确认结果。
TravelPlanner 基准测试要求 AI 智能体规划横跨美国的旅行：预订航班、寻找酒店、挑选餐厅，并把花费控制在预算之内。GPT-4 完全理解这些请求。语言不是问题。问题在于 AI 无法同时把所有规则都记在脑子里。它在半途中忘掉了预算限制。它搞混了到达时间。它信心满满地完成了违反约束条件的交易——而这些约束条件它在片刻之前还刚刚正确识别出来。
这并非小众的研究发现。它暴露了当今大多数公司构建 AI 系统方式中的一个结构性缺陷。如果您的组织只是给大语言模型套上一层薄薄的代码，就称之为“AI 智能体”，那么您很可能正坐在同样的失败率之上。整个行业混淆了“谈论工作”的能力与“完成工作”的能力。这种混淆代价高昂，而且即将演变成一种合规责任。
这为什么关系到您的业务
这里的财务和运营风险是具体的，而非理论上的。想一想，当您把 AI 接入自己的真实系统——您的支付处理商、您的 ERP、您的预订引擎——时，99.4% 的失败率意味着什么。
- **失败的直接成本：**当 AI 智能体陷入错误循环——一遍又一遍地重试同一个坏掉的请求——单个会话在超时之前可能烧掉 5 到 10 美元的 API 成本。再把这个数字乘以每天数千次交互。
- **误差复利的数学：**即使您的 AI 每个单步的正确率达到 90%，一个十步工作流的总体成功率也会跌至约 34%。大多数企业流程都超过十步。您的理论上限早已低于任何运营团队所能接受的水平。
- 监管风险敞口：《欧盟人工智能法案》以及美国正在涌现的监管规定，都要求触及金融交易的高风险 AI 系统具备透明度。标准的 AI 包装器只会产出一堆杂乱的文本 token 日志。它无法证明自己为何做出某个具体决策。您的合规团队无法审计您的 AI 自己都解释不了的东西。
- **静默失败带来的声誉损害：**这类系统并不总是响亮地失败。白皮书记录了一些智能体凭空捏造出从未真正发生的“成功交易”的案例。您的团队可能以为某个预订已经确认，实际却并非如此。客户直到机场才发现真相。
演示系统与生产系统之间的鸿沟是巨大的。大多数 AI 智能体的失败从未被公开，这在董事会感知 AI 能力时制造了一种幸存者偏差。您看到的是打磨光鲜的演示。您看不到的，是 0.6% 的现实。
底层究竟发生了什么
要理解 AI 智能体为什么会在业务工作流上失败，您需要理解一个关键区别：语言模型预测的是下一个最可能出现的词。它们是模式匹配引擎，而不是逻辑引擎。
不妨这样想。想象您请一位才华横溢的诗人来管理贵公司的月末结账流程。这位诗人听得懂您说的每一个字，也能把流程描述得头头是道。可一旦要执行“第 7 步必须等第 5 步完成后才能进行”这样的规则时，他们靠的是根据读过的东西去猜，而不是照着清单逐项核对。
白皮书指出了三种摧毁真实世界表现的特定失效模式：
**上下文漂移是第一个杀手。**随着 AI 在漫长的的工作流中推进，它的记忆被中间数据填满。到了第十步，模型实际上已经“忘记”了自己在第四步中正确记录下的预算约束。注意力机制——AI 中决定该聚焦什么的部分——把精力摊得太薄，分散到了过多细节上。
**幻觉级联是第二个。**当 AI 在第二步犯了一个小错误——比如把航班时间 2:00 AM 误读成 2:00 PM——后续每一步都建立在这个错误数据之上。下游 API 并不知道 AI 的意图，只看到它提交的输入。于是它“成功地”处理了那个错误的请求，而 AI 则把这次成功当作自己判断正确的确认。
**推理与行动不匹配是第三个。**AI 的内部推理正确识别出了一条约束——“我需要一张低于 500 美元的机票”——但它随后调用的却是 600 美元的航班 API，因为那个选项在它的上下文中出现得更显眼。想的是对的，做的是错的。这种脱节无法靠更好的提示词修复。这是为语言而打造的工具与需要逻辑的任务之间的一种结构性错配。
哪些有效（哪些无效）
先从无效的做法说起，因为您的团队可能已经在这些死胡同上投入了资金。
**“更好的提示词”救不了您。**认为凭借巧妙的提示词工程就能迫使概率模型表现出确定性行为的想法，正是白皮书所说的“包装器错觉”（Wrapper Delusion）。任务复杂度线性增长时，失败的概率呈指数级上升。
**更大的模型救不了您。**TravelPlanner 基准测试用的就是当时最强大的模型 GPT-4。它的得分是 0.6%。瓶颈不在智能水平，而在架构。
**更长的上下文窗口救不了您。**更多的记忆解决不了上下文漂移。它反而可能让情况更糟——让注意力机制有更多无关 token 可以摊薄分散。
真正有效的，是一种被称为神经符号编排（neuro-symbolic orchestration）的设计方法：按照各自最擅长什么，把工作分派给 AI 或传统软件：
**AI 负责语言。**它读取用户的请求，把杂乱的自然语言输入翻译成结构化数据——字段经过校验的干净 JSON。“我想下周二从伦敦飞往某地”会被转换
{origin: "LHR", date: "2024-01-15"}。AI 扮演的是翻译者，而不是决策者。**硬编码图负责逻辑。**一台确定性状态机——您可以把它想象成一份严谨的电子流程图——掌控接下来会发生什么。它会检查：“我是不是既有出发地又有目的地？如果是，进入搜索；如果不是，请用户澄清。”这段逻辑以普通软件代码运行。它不可能被幻觉出来，也不可能跳过步骤。只要必填字段尚未齐备，系统在物理上就无法尝试预订。
**结构化状态取代聊天记忆。**系统不再依赖 AI 去记住漫长对话中的一切，而是把每一个关键变量——会话 ID、已选报价、剩余预算——存进一条带类型的数据库记录里。即便 AI 出现幻觉，除非某个特定的代码模块授权该项变更，否则它也无法覆盖您的会话令牌。
采用这种架构的系统，在同一份 TravelPlanner 基准测试上的得分是 97%——相比之下，GPT-4 只有 0.6%。
对于您的合规与风险团队而言，关键优势在于审计轨迹。每个决策点都会生成一条结构化日志记录： Node: Gatekeeper | Input: Price=1200 | Rule: Policy_Limit=1000 | Output: REJECT_NEED_APPROVAL。您的审计人员读得懂它。他们可以据此证明您的系统遵循了治理策略。他们可以把任何一项结果一路追溯到产生它的那条确切规则。标准的 AI 包装器给您的是一堵由文本 token 砌成的墙；而这个架构给您的，是证据。
您的工作流还可以暂停下来等待人工审批。当一笔交易超过某个美元金额阈值时，系统会冻结自身状态、通知一位管理者并进入等待。管理者批准之后，它就从停下来的地方精确恢复执行。无需重读对话，无需重新推断上下文。状态是被完整保存下来的，而不是被压缩成摘要的。
这种方式还能削减您的 AI 计算成本。代码层不再把 50 KB 的 API 响应整个喂给 AI，而是提取出五个相关字段，只把这些传给 AI 做摘要。这将使您的 token 用量减少约 90%，直接降低推理成本并加快响应速度。
关键要点
- GPT-4 在一个复杂的多步骤规划基准测试上失败了 99.4%——这不是提示词问题，而是架构问题。
- 即便单步准确率达到 90%，一个十步工作流的总体成功率也只会跌至 34%，这对企业运营而言是不可接受的。
- 一种神经符号方案——AI 负责语言、硬编码软件负责逻辑——在同一基准测试上取得了 97% 的成绩。
- 确定性图中的每个决策点都会生成一条可审计的日志记录，这对满足《欧盟人工智能法案》及美国新兴合规要求至关重要。
- 结构化状态管理与代码驱动的 API 调用可以把 AI 计算成本降低约 90%，同时消除由幻觉引发的错误循环。
总结
数据毫不含糊：用一层薄薄的代码包装大语言模型并称之为“智能体”，得到的系统在复杂工作流上的失败率超过 99%。解决方案在架构层面——把语言层与逻辑层拆开，让各自承担其本就擅长的工作。请询问您的 AI 供应商：当您的智能体在工作流中途遇到 GDS 错误代码或约束违规时，它能逐节点向我展示它所遵循的确切决策逻辑与恢复路径吗？