問題所在
GPT-4 是目前最先進的大型語言模型，在一個複雜的多步驟旅遊規劃基準測試中，成功率僅有 0.6%。這意味著它有 99.4% 的時間是失敗的。而且不是敗在刁鑽的問題或冷僻的謎題——而是敗在您的企業每天都在執行的那類結構化多步驟工作流程：查詢可用性、驗證約束條件、處理交易、確認結果。
TravelPlanner 基準測試要求 AI 代理規劃橫跨美國的旅程。它們必須訂機票、找飯店、挑餐廳，並且控制在預算之內。GPT-4 完全理解這些請求。語言不是問題。問題在於 AI 無法同時把所有規則都記在腦海裡。它會在中途忘記預算上限。它會搞混抵達時間。它會信誓旦旦地完成一筆違反約束的交易——而那些約束它幾分鐘前才剛正確辨識出來。
這不是一項冷門的研究發現。它揭露了當今大多數企業建構 AI 系統方式中的一個結構性缺陷。如果您的組織只是把大型語言模型包上一層薄薄的程式碼，就稱之為「AI 代理」，那麼您很可能正坐擁同樣的失敗率。這個產業把「談論工作的能力」誤當成了「完成工作的能力」。這種混淆代價高昂，而且即將成為合規上的負債。
為什麼這對您的企業至關重要
這裡的財務與營運風險是真實具體的，而非理論空談。想想看，當您把 AI 接上您的真實系統——您的金流處理器、ERP、訂票引擎——99.4% 的失敗率意味著什麼。
- 失敗的直接成本： 當 AI 代理陷入錯誤循環——一遍又一遍地重試同一個壞掉的請求——單一次工作階段在逾時之前就可能燒掉 $5 到 $10 的 API 成本。再把它乘上每天數千次的互動。
- 錯誤複利的數學： 即使您的 AI 在每一個單一步驟的正確率都有 90%，一個十步驟的工作流程整體成功率也會跌到大約只剩 34% 的整體成功率。大多數企業流程都超過十個步驟。您的理論天花板早已低於任何營運團隊所能接受的範圍。
- 法規風險： 歐盟 AI 法案與新興的美國法規，要求涉及金融交易的高風險 AI 系統必須具備透明度。標準的 AI 包裹層只會產出一堆雜亂的文字 token 日誌。它無法證明自己為何做出某個特定決策。您的 AI 無法解釋的事，您的合規團隊就無從稽核。
- 無聲失敗造成的商譽損害： 這些系統不一定每次都失敗得轟轟烈烈。白皮書中記錄了一些虛報交易成功的代理——而那些交易實際上從未發生。您的團隊可能以為某筆訂位已確認，實際上卻沒有。客戶到了機場才發現真相。
示範與正式系統之間的鴻溝非常巨大。大多數 AI 代理的失敗從未被公開，這造成董事會對 AI 能力認知上的倖存者偏差。您看到的是打磨過的示範。您看不到 0.6% 的現實。
底層究竟發生了什麼事
要理解 AI 代理為何在商業工作流程上失敗，您需要理解一個關鍵區別：語言模型預測的是下一個最可能出現的詞。它們是模式比對引擎，不是邏輯引擎。
不妨這樣想。想像您請一位才華洋溢的詩人來管理公司的月底結帳流程。這位詩人聽得懂您說的每一句話，也能把流程描述得頭頭是道。但一旦要執行「第 7 步必須在第 5 步完成後才能進行」這條規則時，他是根據讀過的內容在猜，而不是照著檢查清單走。
白皮書指出三種摧毀實際表現的具體失敗模式：
上下文漂移是第一個殺手。隨著 AI 在漫長的工作流程中推進，它的記憶會被中間資料塞滿。到了第十步，模型實際上已經「忘記」了它在第四步還正確記下的預算約束。注意力機制——AI 中決定該專注於什麼的部分——被攤得太薄，分散在太多細節上。
幻覺級聯是第二種。當 AI 在第二步犯了一個小錯——比如把航班時間 2:00 AM 誤讀成 2:00 PM——之後的每一步都建立在這份錯誤資料之上。下游 API 不知道 AI 的意圖，只知道它的輸入。於是它「成功地」處理了這筆錯誤請求，而 AI 便把這個成功當成自己是對的證明。
推理與行動不一致是第三種。AI 的內部推理正確找出了約束條件——「我需要一班低於 $500 的航班」——但接著卻呼叫 API 訂了一班 $600 的航班，只因為那個選項在其上下文中出現得更醒目。想法是對的，做法是錯的。這種斷裂不是靠更好的提示詞就能修好的。這是為語言而生的工具與需要邏輯的任務之間的結構性錯配。
什麼有效（以及什麼無效）
我們先從會失敗的說起，因為您的團隊可能已經正在投資這些死胡同。
「更好的提示詞」救不了您。 那種認為可以透過巧妙的提示工程迫使概率模型做出確定性行為的想法，正是白皮書所稱的「包裹層妄想」（Wrapper Delusion）。任務複雜度線性增加時，失敗概率呈指數增長。
更大的模型救不了您。 TravelPlanner 基準測試用的是當時最強大的 GPT-4，得分只有 0.6%。瓶頸不在智慧，而在架構。
更長的上下文視窗救不了您。 更多記憶解決不了上下文漂移，反而可能讓情況更糟——因為那會給注意力機制更多不相關的 token 去攤散。
真正有效的，是一種稱為神經符號編排（neuro-symbolic orchestration）的設計方法：按照各自最擅長的事，把工作分配給 AI 和傳統軟體：
AI 負責語言。 它讀取使用者的請求，把雜亂的自然語言輸入轉換成結構化資料——欄位經過驗證的乾淨 JSON。「我想下週二從倫敦出發」會變成
{origin: "LHR", date: "2024-01-15"}。AI 是翻譯者，不是決策者。硬編碼圖（hard-coded graph）負責邏輯。 一台確定性的狀態機——您可以把它想成一張嚴謹的數位流程圖——控制接下來發生什麼。它會檢查：「我是否既有出發地、又有目的地？若有，進入搜尋；若沒有，請使用者澄清。」這套邏輯以普通軟體程式碼執行。它不可能被幻覺出來，也不可能跳過步驟。在所有必填欄位齊備之前，系統要在物理上不可能嘗試訂位。
結構化狀態取代聊天記憶。 系統不再依賴 AI 從漫長對話中記住一切，而是把每個關鍵變數——工作階段 ID、已選方案、剩餘預算——存進一筆帶型別的資料庫紀錄。即使 AI 出現幻覺，除非某個特定的程式碼模組授權該變更，否則它也覆寫不了您的工作階段 token。
在同一個 TravelPlanner 基準上採用這種架構的系統拿到了 97%——相比之下，GPT-4 只有 0.6%。
對您的合規與風險團隊而言，關鍵優勢在於稽核軌跡。每個決策點都會產生一筆結構化的日誌紀錄： Node: Gatekeeper | Input: Price=1200 | Rule: Policy_Limit=1000 | Output: REJECT_NEED_APPROVAL。您的稽核員看得懂這些。他們能證明您的系統遵循了治理政策，能把任何結果回溯到產生它的那一條確切規則。標準的 AI 包裹層給您的是一面文字 token 的高牆；這給您的是證據。
您的工作流程也可以暫停以等待人工核准。若某筆交易超過美元門檻，系統會凍結其狀態、通知主管並等待。主管核准後，它會從停止的地方精準續跑。不必重讀對話，不必重新推斷上下文。狀態是被保存下來的，不是被摘要過的。
這種做法也能削減您的 AI 運算成本。與其把一份 50 KB 的 API 回應整個餵給 AI，程式碼層會萃取五個相關欄位，只把這些交給 AI 做摘要。這能減少大約 90% 的 token 用量，直接降低您的推論成本，並加快回應時間。
關鍵要點
- GPT-4 在一個複雜的多步驟規劃基準上有 99.4% 的時間失敗——這不是提示詞的問題，而是架構的問題。
- 即使每步正確率高達 90%，十步驟工作流程的整體成功率也會跌到僅 34%——這對企業營運而言難以接受。
- 神經符號方法——AI 負責語言、寫死的軟體負責邏輯——在同一個基準上拿到了 97%。
- 確定性圖中的每個決策點都會產生可稽核的日誌紀錄，這對歐盟 AI 法案及新興的美國合規要求至關重要。
- 結構化狀態管理與由程式碼驅動的 API 呼叫可減少約 90% 的 AI 運算成本，同時消除幻覺引發的錯誤循環。
總結
數據毫不含糊：把語言模型包上一層薄薄的程式碼就稱之為代理，產出的系統在複雜工作流程上的失敗率超過 99%。修復之道在架構——把語言層與邏輯層分開，讓各自去做它天生擅長的工作。問問您的 AI 供應商：當您的代理在工作流程中途遇到 GDS 錯誤代碼或約束違反時，它能逐節點地向我展示它所遵循的確切決策邏輯與復原路徑嗎？