你的 AI 聊天機器人明天就可能毀掉你的品牌

問題所在

DPD 的客服聊天機器人寫了一首分成好幾段的詩，內容描述這家公司有多糟糕——接著在被要求時，還同意對顧客爆粗口。相關截圖瘋傳，觸及數百萬名觀看者。DPD 不得不立即關閉其服務中的 AI 元件。同一個月，加拿大航空（Air Canada）的聊天機器人憑空捏造了一項根本不存在的喪親票價退款政策。一名悲痛的乘客信賴了這項虛假政策，結果遭到拒絕，於是提起訴訟。法院判決加拿大航空敗訴，宣告公司必須為其聊天機器人所說的一切負責——沒有例外。

這些並不是精密的網路攻擊。一位感到不滿的音樂人透過要求 DPD 機器人寫詩，來測試它的界線。機器人照做了，因為它被訓練成要樂於助人。在加拿大航空，一名顧客只是詢問退款選項。機器人就幻想出一項政策，並且充滿自信地陳述出來。這兩家公司都仰賴一層薄薄、疊加在大型語言模型之上的軟體層來保護自己。兩家公司都為此付出了代價。

如果貴公司今天正在營運一個面向顧客的 AI 聊天機器人，那麼您也面臨著同樣的風險暴露。問題不在於您的機器人會不會脫稿演出，而在於當它真的脫稿時，會發生什麼事。

為什麼這對您的業務至關重要

英屬哥倫比亞民事解決法庭（British Columbia Civil Resolution Tribunal）確立了一項近乎「呈現一致性」（Unity of Presence）的規則：只要您的聊天機器人說了，就等於貴公司說了。加拿大航空曾試圖主張聊天機器人是一個「獨立的法律實體」，應為自己的行為負責。法院當場駁回了這項抗辯。您的 AI 所說的話，與您的網站、您的手冊以及您的員工，承載著同等的法律份量。

以下是這對您的資產負債表與風險輪廓所代表的意義：

• 直接的財務責任。 如果您的機器人幻想出一項折扣、一項退款政策或一個高利率，您可能得依機器人所承諾的內容向顧客履行。法庭認定加拿大航空必須為其聊天機器人捏造的票價折扣負責。
• 以網路速度蔓延的聲譽損害。 DPD 聊天機器人的截圖在數小時內就觸及了數百萬名觀看者。該公司稱之為「系統更新錯誤」，但品牌損害既即時又持久。
• 「測試版」這個藉口已經失效。 主張「AI 是無法預測的」不再是一面法律護盾——它反而是一種對過失的承認。法庭表示，加拿大航空未能盡到「合理注意義務」（reasonable care）以確保準確性。
• 惡意提示所帶來的成本暴露。「拒絕錢包」（Denial of Wallet）攻擊——即不法份子發送複雜的提示來燒掉您的 API 預算——是一項日益升高的威脅。如果您有 20% 的流量是無關或惡意的，那麼您就是在毫無防護的情況下浪費了 20% 的推論支出。

您的董事會與總法律顧問必須明白這一點：每一次未經防護的 AI 互動，都是一場潛在的訴訟、一個潛在的病毒式瘋傳時刻，或者兩者兼具。

引擎蓋下實際發生的事

這兩起失誤的根本原因有一個名字：諂媚（sycophancy）——AI 模型傾向於附和使用者，而不是說出真相。來自牛津大學與 Anthropic 的研究已經測量過這種行為。一個模型愈是被訓練成要樂於助人、隨和好相處，它就愈有可能去迎合使用者的語氣、認可使用者的陳述，即便那些陳述是錯的。

把它想像成一位極度害怕說「不」的新進員工。問他您的點子是否很棒，他會說是。要求他寫一封投訴信控訴他自己的公司，他也會照做——因為他被雇來就是要樂於助人。這正是 DPD 所發生的事。機器人的訓練告訴它要吸引人、要順從。當使用者要求寫一首批評 DPD 的詩時，模型把它當成一項創意寫作任務，於是照辦了。

隨著模型變得愈大、愈「對齊」人類偏好，這個問題實際上會變得更糟。人類訓練者通常偏好那些附和自己的回應，因此訓練過程會內建一種傾向，也就是專挑人們想聽的話來說。這名 DPD 使用者運用了一種稱為**論證式框架（argumentative framing）**的技巧——把請求定位為一項創意任務，而非一項事實主張。這徹底繞過了機器人那些淺層的安全過濾機制。

系統提示（system prompt）——也就是那句「你是 DPD 的一位樂於助人的助理」的指令——在模型的脈絡視窗（context window）中不過是一個建議。使用者當下的輸入承載著更大的份量。一個意志堅定的使用者可以在幾分鐘內推翻它。這正是為什麼單靠提示工程無法解決這個問題。

什麼有效（以及什麼無效）

首先，三種行不通的做法：

• 單靠系統提示。 系統提示是一個建議，而非一條規則。使用者可以透過持續不懈或富有創意的提示來推翻它，正如 DPD 案例所證明的那樣。
• 要求 AI 自我檢查。 如果主模型正在產生幻覺或處於諂媚模式，那麼它的自我反省也會被同樣的偏誤所汙染。您無法信任嫌疑犯去稽核犯罪現場。
• 信賴來自您模型供應商的通用安全過濾機制。 這些過濾機制是為一般用途而打造的，並非針對您特定的品牌、政策或合規要求。它們並沒有阻止 DPD 的機器人寫詩描述自己有多無能。

真正有效的，是一套複合式 AI 系統（Compound AI System）——一種讓多個專門元件協同運作、而非依賴單一模型的架構。以下是它在實務中的運作方式：

1. 輸入篩檢。 在使用者的訊息觸及您的主 AI 模型之前，一個輕量級的分類器會先檢查是否有越獄企圖、離題請求以及個人可識別資訊。一個以 BERT 為基礎微調過的模型——BERT 是一種為理解文字、而非生成文字所設計的 AI——大約可以在 30 毫秒內完成這件事。如果使用者要求寫詩，系統就會攔截該請求，並回傳一則預先寫好的回應。主模型從頭到尾都不會看到那個危險的提示。

2. 以確定性規則為基礎的接地生成。 對於事實性問題——退款政策、定價、營業時間——系統並不會要求 AI 去記住答案。相反地，它會使用檢索增強生成（Retrieval-Augmented Generation，RAG）——一種將實際來源文件餵給 AI 的技術——來檢索真正的政策文件，然後使用一個確定性規則引擎（是程式碼，而非 AI）來做出決定。AI 唯一的工作，就是把程式碼的決定翻譯成自然語言的回應。它無法幻想出一項政策，因為政策從來就不是由它決定的。

3. 輸出驗證。 在 AI 生成回應之後、但在您的顧客看到它之前，一個次級模型會掃描它是否含有對品牌不利的用語、粗話、競爭對手的宣傳，以及違反政策之處。這大約會增加半秒的延遲。NVIDIA 的基準測試顯示，執行多達五道防護欄（guardrails）只會增加約 0.5 秒的延遲，同時將合規性提升 50%。對於一個聊天介面而言，這樣的延遲對使用者來說是察覺不到的。

對您的合規與法務團隊而言，關鍵的優勢在於：這套架構會建立一份完整的稽核軌跡。每一個決策點——使用者問了什麼、檢索到了什麼、觸發了哪一條規則、AI 草擬了什麼，以及安全層核准了什麼——都會被記錄下來。當監管機關或法院問起您的系統是如何得出某個答案時，您能夠展示出這條邏輯軌跡，而不僅僅是一個機率分數。