你的 AI 聊天機器人剛剛成了具法律約束力的員工——而多數公司還沒察覺
在 Moffatt 訴 Air Canada 一案的裁決出爐幾個月後，我與一位潛在客戶通了電話——一家中型金融科技公司，大概有 200 名員工，成長迅速。他們用一個熱門的 GPT 封裝套件打造了一個面向客戶的聊天機器人。介面乾淨，語氣友善，客戶都很喜歡。
我只問了一個問題：「當你的機器人報錯利率時，會發生什麼事？」
一片死寂。接著他們的技術長說：「不會的。我們的提示詞寫得很好。」
我在螢幕上調出那份裁決，唸給他們聽——法庭在裁決中寫道，Air Canada「無法將自己與該 AI 聊天機器人切割開來」。公司要為機器人生成的每一個字負責，就如同一名人類員工說出這些話一樣。而航空公司的辯詞——主張這個聊天機器人基本上是一個要為自身錯誤負責的「獨立法律實體」——遭到了近乎司法蔑視的駁回。
那位技術長的臉色變了。因為這份裁決真正的含義是：如果你的 AI 聊天機器人在 5% 的環境下向客戶承諾 2% 的利率，或憑空捏造一項根本不存在的退款政策，或幻覺出一條保固條款——恭喜，你的公司剛剛簽下了一紙合約。這不是比喻。是在法律上真的簽了。
而最可怕的部分是什麼？幾乎沒有任何一個打造企業級 AI 的人真正把這件事放在心上。
那份改寫了每一個 AI 聊天機器人風險輪廓的裁決
讓我告訴你 Moffatt 一案實際上發生了什麼，因為其中的細節遠比那些頭條標題所暗示的更重要。
Jake Moffatt 的祖母過世了。他上了 Air Canada 的網站，找到聊天機器人，詢問喪親票價。這個聊天機器人——以這些系統被最佳化出來的那種自信、流暢、樂於助人的語氣——告訴他現在先買一張全價機票，然後在 90 天內申請喪親折扣，就能拿到部分退款。
那項政策根本不存在。這家航空公司真正的規定，深埋在票價文件和靜態網頁裡，說的正好相反：一旦搭乘完畢就不予溯及既往的退款。聊天機器人幻覺出了一項聽起來很合理的政策，因為從統計上看，「喪親」、「退款」和「90 天」這些詞組的模式，在整個業界的航空政策文件中經常同時出現。
當 Moffatt 要求退款而 Air Canada 拒絕時，他把他們告上了法庭。Air Canada 的律師提出了一個我至今仍覺得匪夷所思的論點：他們主張這個聊天機器人應被視為一個獨立法律實體，要為自己的陳述負責。而正確的資訊在網站的其他地方就查得到，所以公司已經盡了它的義務。
法庭不僅駁回了這一論點。法庭成員 Christopher Rivers 實質上表示：在人類客服、靜態網頁與互動式機器人之間，並不存在任何有意義的區別。它們全都是公司在對客戶說話。
如果你的 AI 說了，你的公司就簽了。法庭確立了一項原則：幻覺不是軟體錯誤——它們是過失性不實陳述。
那份裁決衍生出三項應該讓每一位技術長徹夜難眠的判例。統一責任：資訊來自 HTML 文字還是神經網路都無關緊要——它們全都是公司的陳述。注意義務：部署一個未經驗證的機率模型來散布政策資訊，就是過失。而最能摧毀當前多數架構的一項是：「黑盒子」辯護已死。你 AI 系統的內部複雜性提供的法律保護是零。
損害賠償是 800 美元。但這項判例在未來的責任風險敞口上價值數十億。
為什麼「好的提示詞」救不了你
有件事我必須直言不諱，儘管很多 AI 顧問公司不想聽：檢索增強生成並不是一種合規解決方案。
當我最初開始深挖 Moffatt 一案的細節時，我原本預期會發現聊天機器人根本無法存取正確的政策。那會是一次單純的檢索失敗——可修復、可理解。結果我發現的是更糟的事。這個聊天機器人其實提供了通往正確喪親政策頁面的連結。它拿到了正確的文件。它只是把它總結錯了。
這正是那種會擊碎「加個 RAG 就好」論調的失敗模式。聊天機器人檢索到了正確的脈絡，卻仍然幻覺出了答案。
原因如下。大型語言模型是機率引擎。它們根據訓練資料中的統計模式來預測下一個可能出現的詞元。當一個 LLM 說「退款可在 90 天內辦理」時，它並不是在查詢一個規則資料庫。它是在補完一個統計上很可能出現的句型，這是基於它在訓練期間吸收的數百萬份文件——這些文件包含了來自無數不同公司、無數種不同的退款政策。
把正確的文件餵給模型是有幫助的。但如果檢索到的文字很複雜、如果法律語言很晦澀、如果一個微妙的否定被埋在某個從屬子句裡——模型就可能忽略檢索到的脈絡，轉而偏向它預訓練得來的偏見。這並不是罕見的邊緣案例。這是一種已知的失敗模式，稱為參數記憶主導，而且它偏偏在那種對合規最為關鍵的複雜政策語言上更常發生。
我親眼見識過這種情況。我們當時在為一家醫療客戶測試一個原型，系統的脈絡視窗裡就有正確的藥物交互作用資料——字面上就寫在提示詞裡。模型卻仍然生成了一段把「嚴重交互作用」警告淡化為「輕微注意」的回應。因為在訓練資料裡，關於這兩種藥物合用的多數文字，都出現在淡化風險的脈絡中。檢索是完美的。生成卻是危險的。
RAG 提供的是知識，但它並不保證遵循。你無法單靠一個機率引擎去解決一個嚴格的邏輯問題。
數據佐證了這一點。歸因於 AI 幻覺的全球損失在 2024 年達到 674 億美元。即便是最頂尖的前沿模型——GPT-4o、Gemini 2.0——依任務複雜度不同，基準幻覺率仍維持在 0.7% 到 3% 之間。這聽起來很小，直到你算一算：一家銀行的 AI 助理每月處理一百萬次查詢、幻覺率為 0.7%，就會產生 7,000 次潛在的監管違規。每個月都是如此。
而企業其實已經在為這種不可靠付出一筆隱形稅。Forrester 估計，幻覺緩解在生產力損失上的成本大約是每名員工每年 14,200 美元——由人類反覆核對那些無法被信任而獨立成立的 AI 工作。幻覺偵測工具的市場在 2023 至 2025 年間成長了 318%。這不是問題正在被解決的跡象。這是一個產業在瘋狂為一種根本有缺陷的方法打補丁的跡象。
一個不會說謊的聊天機器人長什麼樣子？
曾有那麼一刻——我記得很清楚，因為它發生在我和我的團隊一次深夜架構討論中——那個核心想法豁然開朗。我們當時在爭論如何讓一個 LLM 在合規使用情境下「更準確」。更好的提示詞。更好的檢索。用領域資料微調。然後我的一位工程師說了一句讓整場對話戛然而止的話：「我們為什麼要求這個模型準確？它不是為準確而設計的。它是為流暢而設計的。」
她說得對。而那個重新框定改變了我們建構方式的一切。
答案不是把機率模型變得沒那麼機率化。答案是在根本不讓它做任何決定，當風險很高時。
我們稱之為確定性動作層——一個位於使用者與 LLM 之間的中介層元件，扮演交通指揮的角色。當客戶問天氣，或想找人幫忙草擬一封電子郵件時，LLM 就做它最擅長的事：生成流暢、有用、有創意的文字。但一旦對話觸及退款、定價、法律條款、保固、隱私政策——任何答錯就會產生責任的地方——系統就會完全切換模式。
確定性動作層不再讓 LLM 從它的權重生成答案，而是觸發硬編碼的邏輯。一次資料庫查詢。一棵決策樹。一份預先寫好、經過法律審核的回應範本。LLM 的角色從「作者」縮減為「翻譯」——它可以把結果改寫成一句禮貌的話，但它無法增添、移除或重新詮釋這項資訊。
這樣想吧。如果 Moffatt 那個聊天機器人採用了這個架構，事情會是這樣：語意路由器偵測到意圖——bereavement_refund。系統不再讓模型即興發揮它以為喪親退款政策通常會怎麼說，而是執行一個確定性函式：if ticket_status == 'flown' return NO_REFUND。回應是這樣的：「本公司政策嚴格禁止搭乘後退款。參照：票價規則第 45 條。」乏味。法律上滴水不漏。正是所需要的。
我在我們研究的互動版本中深入寫過這個架構，但核心洞見很簡單：把對話和合規分開。讓神經網路去處理人類語言那雜亂而美麗的多變。讓確定性程式碼去處理那些一旦出錯就要付出金錢代價的部分。
沉默協定
有一種我們使用的特定設計模式，我認為它比任何架構圖都更能捕捉到這套哲學。我們稱之為沉默協定。
當使用者詢問一個我們歸類為「攸關合規」的主題時，生成式 AI 的創作能力實質上會被靜音。系統從「作者」模式切換為「讀者」模式。它從資料庫檢索出確切的文字並逐字提供，或用來自可信來源的變數去填充一份嚴格的範本。
而讓某些產品經理感到不自在的地方在這裡：如果使用者問了一個落入政策空白的問題——也就是不存在任何確定性規則的地方——系統不會即興發揮。它會說：「我無法直接回答這個問題。讓我為您轉接一位真人專員。」
我曾有一位潛在客戶對這一點強烈反駁。「使用者想要即時的答案，」他說。「一個會說『我不知道』的聊天機器人感覺就像壞掉了。」
我問他，哪一種感覺更像壞掉：一個說「讓我幫您找位真人」的聊天機器人，還是一個憑空捏造退款政策、害得公司不得不履行、法務團隊得花上六個月收拾殘局的聊天機器人？
在法律上，對合約條款的創造性等同於捏造。企業級 AI 最有價值的功能不在於它能說什麼——而在於它被禁止說什麼。
我們為合規主題停用創造性，是因為在後 Moffatt 時代，一個「熱心地」即興編出一項政策的 AI，就是一個未經授權、正在即時改寫你合約的 AI。
系統如何知道什麼是危險的？
這是我最常被問到的問題，而且問得很對。這個架構唯有在路由層——那個交通指揮——能夠可靠地區分「跟我說說貴公司的歷史」（可安全交由 LLM 生成）與「我這個能退款嗎？」（必須以確定性方式處理）時才能運作。
我們使用語意路由，它與較舊聊天機器人系統那種脆弱的關鍵字比對有著根本上的不同。一個尋找「退款」的關鍵字系統會漏掉「我要把錢拿回來」或「你能補償我嗎」。語意路由會把使用者的查詢轉換成一個高維度的向量嵌入，並將它與受限主題的預定義標準範例進行比對。
關鍵的細節是：這個路由層位於 LLM 脈絡視窗之外。這對安全性極其重要。提示詞注入攻擊——使用者精心設計輸入，誘騙模型忽略它的指令——是一種真實且日益嚴重的威脅。但如果路由決策在查詢抵達模型之前就已發生，那些攻擊對合規邏輯就變得無關緊要。你無法越獄一個從一開始就不曾把鑰匙交給模型的系統。
一旦偵測到敏感意圖，我們就使用函式呼叫——這是現代 LLM 的一種能力，讓模型輸出結構化資料（一個呼叫特定函式的 JSON 物件）而非自由格式的文字。LLM 從對話中擷取參數——票券編號、購買日期、旅行日期——並把它們傳遞給一個確定性程式碼區塊。Python。SQL。任何執行實際商業邏輯的東西。模型從不計算退款。它從不決定資格。它把自然語言翻譯成一次 API 呼叫，再把 API 回應翻譯回自然語言。決定是由程式碼做的，不是由機率。
關於路由架構、函式呼叫模式以及我們的驗證流水線的完整技術剖析，請參閱我們的技術深度解析。
監管高牆正在合攏
如果 Moffatt 判例還不足以構成動機，那麼監管態勢即將讓確定性護欄不再是可有可無。
《歐盟 AI 法案》把許多面向客戶的 AI 系統——尤其是在交通、銀行和基本服務領域——歸類為高風險。第 14 條強制要求人類監督：系統的設計必須讓人類能夠解讀輸出、進行介入並按下停止鍵。一個黑盒子式的 LLM 封裝無法滿足這一點。而一個確定性動作層——由合規官撰寫系統所執行的規則——則可以。
《GDPR 第 22 條》賦予個人一項權利，即當某些決定具有法律或重大影響時，不受完全基於自動化處理的決定所約束。拒絕退款就是一種重大影響。拒絕貸款申請就是一種重大影響。當客戶問「我為什麼被拒絕？」時，神經網路無法解釋它的推理，因為它沒有推理——它有的是統計權重。而一棵確定性邏輯樹可以指向確切的節點：「信用評分低於門檻」或「票券狀態：已搭乘」。
而《ISO 42001》——第一個全球性的 AI 治理標準——要求組織繪製出何處使用機率邏輯、何處使用確定性邏輯，衡量幻覺率，並維護完整的稽核軌跡。我們專門把架構設計成能為此標準做好稽核準備。每一次互動、每一次路由決策、每一次政策執行，都會連同一條可追溯的邏輯路徑一併記錄下來。
這不是理論上的合規。我曾坐在會議室裡，與企業法務團隊一同開會，他們正因為這些框架而積極重新思考自己的 AI 部署。現在就把護欄建好的公司，將比那些日後手忙腳亂補救合規的公司，更快、更廣地部署 AI。
「但這不是很貴嗎？」
人們總是這樣問我，而我理解這種直覺反應。建構語意路由、確定性邏輯層、知識圖譜、驗證流水線——這無疑比把一次 API 呼叫封裝進一個漂亮的介面裡要複雜得多。
但讓我重新框定這個問題。不建構它的代價是什麼？
Air Canada 的損害賠償是 800 美元。但律師費遠遠超過了這個數字。聲譽損害——「航空公司主張自家聊天機器人是獨立法律實體」成了一個全球笑柄——則是難以估量的。而那還只是關於一次喪親票價的單一次互動。
現在想像一個幻覺出貸款核准的金融服務聊天機器人。一個淡化藥物交互作用警告的醫療機器人。一個憑空捏造承保條款的保險機器人。我們談的已經不再是 800 美元了。我們談的是集體訴訟的範疇。
企業目前花在幻覺緩解上的那筆每名員工每年 14,200 美元——由人類手動驗證 AI 輸出，只因為沒有人信任它們——那才是「廉價」AI 的真實成本。封裝套件建構起來便宜，運營起來昂貴。確定性架構建構起來昂貴，信任起來便宜。
這關乎接下來會發生什麼
我想以一件超越當前聊天機器人討論的事來收尾，因為我認為 Moffatt 裁決是一場遠為巨大的轉變的預告。
我們正從一個 AI 聊天機器人的時代，邁向一個 AI 代理的時代——這些系統不只回答問題，還會採取行動。訂機票。轉帳。核准理賠。簽署協議。「使用者應自行驗證資訊」這個法律擬制，套用在聊天機器人身上時就已經很薄弱了。當它套用在自主執行交易的代理身上時，就完全站不住腳了。
每一家部署觸及金錢、合約或受監管決策之 AI 的公司，此刻都正在做出一個抉擇，無論它們是否意識到這一點。它們要嘛在建構一種 AI 創造性受確定性邏輯所約束的系統——機器可以在嚴格執行的護欄之內做到流暢而有用——要嘛在部署能言善辯、無人監督、且擁有一次一個幻覺地改寫公司政策之法律權限的代理。
我知道我想站在那條線的哪一邊。我也知道法律將會要求站在哪一邊。
你的聊天機器人是一名具有法律約束力的員工。它需要與一名經手公司資金的人類員工相同的訓練、相同的監督、以及相同的嚴格界線。你不會讓一名新進員工憑感覺編造退款政策。也別讓你的 AI 這麼做。
黑盒子辯護已死。封裝套件的時代正在終結。而最先搞懂確定性動作層的公司不只會避開責任——它們還會是真正把 AI 規模化推進到自家業務中最要緊之處的那些公司，因為它們會是系統值得被信任的那些公司。
問題不在於你的 AI 夠不夠聰明。而在於它是否知道何時該閉嘴。