問題所在
Air Canada 的聊天機器人告訴一位痛失親人的旅客，他可以先購買全價機票，並在 90 天內申請喪親退款。這項政策根本不存在——是聊天機器人憑空捏造的。當這位旅客要求退款時，Air Canada 拒絕了，因為真正的政策規定旅程結束後不予退款。旅客提起訴訟，而航空公司竟提出一個令人咋舌的主張：它辯稱聊天機器人是應為自身錯誤負責的「獨立法律主體」。
審裁處徹底駁回了這項抗辯。審裁委員 Christopher Rivers 裁定，「Air Canada 無法將自身與 AI 聊天機器人切割開來」。法院表示，人工客服、靜態網頁與互動式機器人之間並無實質差異。它們全都代表您的公司發言。它們全都對您的公司具有拘束力。
這不是一次性的故障，而是當今大多數企業 AI 系統運作方式下可預見的失敗。您的聊天機器人並不「知道」您的政策。它是根據統計模式，預測什麼樣的回答聽起來像是好回答。當它聽起來信心十足時，您的客戶便會相信它。當它出錯時，買單的是您。Moffatt v. Air Canada 一案的判決確立：AI 幻覺——模型以自信口吻憑空捏造的回應——在法律上被歸類為過失性虛假陳述。只要是 AI 說出口的，就等於您的公司簽了字。
這為什麼對您的業務至關重要
這裡的財務風險絕非紙上談兵。全球 AI 幻覺造成的損失在 2024 年已達 674 億美元。這個數字涵蓋直接賠付、監管罰鍰、法律費用、品牌損害，以及員工人工檢核 AI 工作的隱性成本。
光是這筆隱性成本就相當驚人。Forrester Research 估計，每位企業員工每年花在幻覺緩解上的支出約為 14,200 美元——也就是不斷驗證那些本身就不值得信賴的 AI 輸出。
Moffatt 案的賠償金額很小——約 800 美元。但真正重要的是它建立的判例。這對您的組織意味著：
- **任何談論定價、退款、保固或服務條款的聊天機器人，現在都可能創造出具有拘束力的契約變更。**您的 AI 可以即時改寫企業的正式承諾。
- **「黑箱」抗辯已經失效。**您不能再主張自己不了解 AI 如何得出答案。法院不在乎您的系統在技術上有多複雜。
- **「正確資訊就在我們網站上」的抗辯也失敗了。**Air Canada 指向載有真實政策的靜態頁面。審裁處裁定這一點無關緊要——您 AI 所說的話同樣算數。
- **集體訴訟風險正在升高。**這項判決向全球原告律師釋出訊號：AI 的輸出是可以興訟求償的。關於金融產品的一次幻覺，就可能釀成數百萬元的法律責任。
幻覺偵測工具市場在 2023 年至 2025 年間成長了 318%。這樣的成長反映出整個產業正處於危機模式。您的競爭對手正在倉促應對。您的監管機關正在密切注視。您的董事會必須明白：這不是 IT 問題，而是資產負債表上的風險。
技術底層到底發生了什麼
要理解為什麼這種情況一再發生，您只需要了解大型語言模型運作方式的一件事：它們在預測下一個詞。僅此而已。它們不會去資料庫查詢您的退款政策。它們不會針對您的法律條款進行推理。它們只是依據訓練資料中的模式，生成統計上聽起來最可能的文字。
不妨這樣想。想像您雇用了一位天資聰穎的新員工，他背下了數百家不同航空公司的數千份公司手冊。當客戶問起你們的退款政策時，這位員工並不會去查你們專屬的手冊，而是根據他讀過的所有內容，拼湊出一個聽起來像退款政策會說的回答。有時他答對了。但出錯的次數也著實不少。
即使是最好的模型——Google 的 Gemini 2.0、OpenAI 的 GPT-4o——基準幻覺率仍介於 0.7% 到超過 25% 之間，視任務複雜度而定。0.7% 的錯誤率聽起來很小。但如果您的 AI 每月處理一百萬次客戶查詢，那就是 7,000 次潛在的監管違規、錯誤的財務陳述，或憑空出現的退款承諾。
真正的危險在於：這些模型「自信卻出錯」。它們以陳述事實般的權威語氣，說出憑空捏造的內容。您的客戶分辨不出來。事後覆核對話紀錄的第一線員工也一樣分不出來。
許多供應商把檢索增強生成（Retrieval-Augmented Generation，RAG）——一種將您的原始文件餵給 AI 的技術——當作解方來銷售。但 Air Canada 的聊天機器人很可能本來就能存取正確的政策，甚至還提供了該政策的連結，結果仍然把政策摘要錯了。當推理引擎本身不可靠時，只給 AI 正確的資訊並不夠。RAG 提供的是知識，但不保證 AI 會遵循它。
什麼有效（以及什麼無效）
在投資任何解決方案之前，您應該先了解哪些做法保護不了您：
**只靠提示工程：**要求 AI「只依據公司政策回答」只是一種建議，不是約束。模型在某些條件下可以、而且確實會忽略它。提示指令不是可強制執行的護欄。
**免責聲明與細則條款：**Air Canada 在其靜態網頁上放了正確的資訊。審裁處裁定這並不足以使它免責。叫客戶「向官方來源查證」，也無法撤銷您的 AI 已經做出的具拘束力承諾。
**未經驗證的樸素 RAG：**只是把文件塞進向量資料庫、指望 AI 正確閱讀的做法，恰恰在建立這個判例的那起案件中宣告失敗。語意相似度搜尋可能檢索到錯誤的文件——問題問的是「退款資格」，撈出來的卻是「退款處理時間」。
真正有效的，是確定性動作層（Deterministic Action Layer，DAL）——一套將對話與合規決策分離的系統。以下是它在實務上的運作方式：
**輸入分類：**當客戶傳送訊息時，語意路由器——一種解讀字詞背後意圖的系統——會判斷問題是否觸及退款、定價、法律條款或保固等受限主題。此路由器位於 AI 模型之外，因此設計來欺騙 AI 的提示注入攻擊無法繞過它。
**確定性處理：**若查詢命中受限主題，AI 模型便不得生成答案。取而代之的是，系統會執行硬編碼邏輯——實際檢查您資料庫的軟體程式碼。以退款問題為例，它會執行類似這樣的邏輯：「若機票狀態等於『已旅行』，則回傳『不予退款』。」決策來自您的規則，而非機率。
**受控輸出：**程式碼回傳經過驗證的結果。AI 唯一的任務，是把這個結果包裝成一句禮貌的話。接著輸出驗證會確認最終回應與程式碼回傳的資料一致。如果系統遇到沒有任何規則可循的問題，它不會即興發揮，而是說：「我無法直接回答這個問題。讓我為您轉接專員。」
這種做法——稱為 神經符號架構（neuro-symbolic architecture），結合了 AI 的語言能力與嚴格的規則式邏輯 ——能給您任何純 AI 包殼方案都給不了的東西：完整的稽核軌跡。每一個決策都能追溯到某條特定規則、某次特定的資料庫查詢，以及某條特定的程式碼路徑。當監管機關或法院問起「您的系統為什麼這麼說」時，您可以確切展示發生了什麼、又為什麼。
這項稽核能力直接回應 GDPR 第 22 條——當自動化系統做出影響當事人的決定時，該條文賦予個人要求解釋的權利。它同時也符合歐盟 AI 法案第 14 條對人類監督的要求，以及 ISO 42001 所要求的文件化標準 （該標準正是為 AI 管理系統而制定）。
至於 政府與公部門組織 而言，凡是處理面向公民的服務，這套架構都不是可選項。當您的 AI 談論福利資格、納稅義務或許可證照要求時，每一句回答都承載著政府的權威。政府聊天機器人捏造出的政策，不只是製造法律責任——它還會侵蝕民眾對數位服務的信任。
核心原則很簡單：讓 AI 處理語言，絕不要讓 AI 做決策。您的政策應該寫進程式碼，而不是交給機率。您可以閱讀 完整技術分析 以取得詳細的工程藍圖，或 探索互動式版本 以獲得這套架構的引導導覽。
您的 AI 應該是翻譯者，而不是決策者。它把客戶的問題翻譯成資料庫查詢，再把資料庫的答案翻譯成人類的語言。決策發生在您可控、可稽核、可更新的程式碼之中——而不是在您無法窺探的神經網路裡。
關鍵要點
- 法院現在把 AI 聊天機器人的話視為對公司具有法律拘束力的承諾——「那只是一部機器人」的抗辯已在 Moffatt v. Air Canada 一案中被駁回。
- 2024 年全球 AI 幻覺損失達 674 億美元，而企業光是驗證 AI 輸出，平均每人每年就要花掉約 14,200 美元。
- 把正確文件餵給 AI（RAG）並不夠——Air Canada 的聊天機器人明明能存取正確政策，卻仍然捏造出錯誤的內容。
- 確定性動作層把敏感問題導向硬編碼規則，而不是 AI 生成的答案，藉此將對話與合規分離。
- 每一項合規決策都應留下可稽核的邏輯軌跡，而不是機率性的猜測——這正是監管機關與法院將會要求的。
總結
您的 AI 聊天機器人早已代表您的公司做出承諾，而法院會要求您兌現——即使那個承諾是 AI 自己編出來的。解方在架構層面：把 AI 說的話與企業的決策分開，凡涉及金錢、政策或法律條款的事項，一律交給硬編碼規則處理。請問您的 AI 供應商：當聊天機器人告訴客戶他符合退款資格時，您能不能向我展示產生那個答案的確切規則與資料庫查詢？