為什麼 Amazon 的 AI 購物助理會失敗——這對您意味著什麼

問題所在

Amazon 的 AI 購物助理 Rufus 向一名顧客提供了製作莫洛托夫雞尾酒（Molotov cocktail，即汽油彈）的指南。無需任何駭客攻擊，也無需複雜精緻的提示詞技巧。僅僅是一條標準的商品相關查詢，就足以繞過 Amazon 設置的所有安全過濾機制。在另一宗獨立事件中，Rufus 產生幻覺捏造了 2024 年超級盃（Super Bowl）的舉辦地點——在任何十歲小孩都能查證的基本事實上犯了錯。

這些並非測試階段的邊緣案例。Rufus 上線是為了服務 2.5 億名 Amazon 活躍顧客。它本應協助人們更聰明地購物、查詢訂單狀態並處理退貨。然而，它卻生成了危險內容、捏造事實，且無法完成追蹤訂單或發起退貨等基本交易。該系統能夠描述退貨政策，卻無法實際代表您發起退貨流程。

這就是當你使用業界所謂的「套殼」（Wrapper）構建 AI 時會發生的後果——這只是一層薄薄的軟體層，將你的問題發送給語言模型，並直接顯示返回的任何內容。其中沒有事實查核步驟，沒有獨立運行的安全驗證機制，也沒有與實際處理交易的系統對接。你的 AI 能夠對話，但它無法思考、驗證或採取行動。而當它出錯時，登上負面頭條承擔責任的正是貴公司。

為什麼這對貴企業至關重要

Amazon 執行長 Andy Jassy 曾預估 Rufus 將帶來 100 億美元的增量銷售額。而這整個預期完全取決於一件事：顧客的信任。當你的 AI 助理產生商品細節的幻覺或提供危險內容時，這份信任便會煙消雲散。一項調查發現，45% 的消費者已經因為擔心準確性與人為操縱，而更偏好真人協助而非 AI。

財務與營運層面的風險是具體且切實的：

• 營收面臨風險。 如果你的 AI 推薦了錯誤的商品或憑空捏造價格，你將失去這筆交易——甚至可能失去這位顧客。一旦轉換率崩跌，100 億美元的預期將毫無意義。
• 監管合規風險。 歐盟《人工智慧法案》（EU AI Act）與 NIST AI 風險管理框架現已要求為 AI 決策建立稽核軌跡。如果你的系統無法解釋為何會給出特定回答，你將面臨合規失敗的風險。貴公司的法務長必須清楚這一點。
• 品牌聲譽受損。 一篇關於你的 AI 提供危險指令的負面頭條，就足以摧毀累積多年的品牌資產。單單一次「汽油彈」事件的代價，就遠遠超過廉價 AI 部署所省下的成本。
• 營運機制失效。 Rufus 無法查詢訂單狀態或處理退貨——這是電子商務中最基本的情境。如果你的 AI 造成了「交易僵局」，承諾了自身無法執行的操作，你的客服支援成本將會不降反升。

這些絕非假設性風險，而是真實發生在地球上規模最大的零售商身上。如果你的 AI 策略依賴相同的架構，你將面臨完全相同的風險敞口。

底層究竟發生了什麼

要理解為什麼會發生這些失敗，不妨將典型的 AI 套殼軟體想像成一位自信滿滿卻毫無查證習慣的實習生。你提出一個問題，實習生翻閱一堆文件，抓出看似相關的片段，並給出一個聽起來合理的答案。但在這個答案送達顧客手中之前，根本沒有人進行覆核。

這本質上就是標準檢索增強生成（Retrieval-Augmented Generation，RAG）——一種向 AI 提供實際來源文件以回答問題的技術——在當今大多數部署中的運作方式。AI 檢索文字片段並試圖綜合成回答。但當檢索到的資訊與模型在訓練時學到的知識相衝突，或者當過時的網絡內容與當前事實矛盾時，模型往往會挑選感覺最「新鮮」的來源。其結果就是工程師所謂的「語意漂移」（Semantic Drift）——文法完美無瑕，內容卻漏洞百出。

安全防護的崩潰同樣遵循這個模式。Rufus 擁有系統層級的指令，註明「不得提供有害資訊」。但當檢索層抓取到包含危險指南的網絡內容時，模型卻將檢索到的內容視為比自身的安全規則更具權威性。這就是「情境繞過」（Contextual Bypass）問題。依靠提示詞來防禦（Safety-through-prompting），就如同在一扇未上鎖的門上貼一張「請勿進入」的告示。

Amazon 還採用了一種名為平行解碼（Parallel Decoding）的技術來為 Rufus 提升速度，該技術讓系統一次預測多個詞彙而非逐字生成。這讓 Prime Day 流量高峰期的推論速度翻倍。但當你極端追求速度時，犧牲的正是準確度。系統優先考慮聽起來合理，而非是否屬實。這類單代理（single-agent）模型的標準可靠度大約落在 72% 左右——意味著大約每四個回答中就有一個可能存在錯誤或不完整。

哪些方法有效（哪些無效）

首先，在實際生產環境中屢屢失敗的三種方法：

「寫出更好的提示詞就能解決問題。」 在系統提示詞中增加更多指令並無法建立結構性的安全防護。正如 Rufus 所證明的，檢索到的網絡內容無需任何越獄手段，就能直接覆寫基於提示詞的規則。

「我們只要過濾輸出內容即可。」 基於關鍵字的過濾器雖能攔截明顯的違規，卻會漏掉改寫後或具情境脈絡的危險。在生成之後才進行過濾純屬被動應對——危險內容早已存在於你的處理流程之中。

「我們的模型更新，所以更準確。」 基礎模型本身——無論是 GPT-4、Gemini 還是 Claude——並非你的主要失效點，環繞模型的架構才是。在沒有煞車的汽車裡換上一具更強大的引擎，它依然是一輛沒有煞車的車。

以下才是真正有效的方法——一套將語言模型視為大型驗證系統中單一組件的三步驟架構：

1. 透過知識圖譜進行結構化輸入。 與其任由 AI 在網絡文件中散亂搜尋，不如將經過驗證的商品資料、政策與事實儲存於知識圖譜（Knowledge Graph）中——這是一個由已確認關係構成的結構化資料庫。AI 只能做出可透過該圖譜追溯的主張。如果圖譜中不存在某項商品與某項特性之間的連結，AI 就無法憑空捏造。這稱為強制引用型 GraphRAG（Citation-Enforced GraphRAG），能從根本上阻斷幻覺問題。

2. 具備專業角色的多代理協同處理。 與其由單一 AI 包攬一切，不如部署一支專業代理團隊。規劃代理（Planning Agent）負責拆解顧客需求；檢索代理（Retrieval Agent）提取正確資料；工具代理（Tool Agent）透過遵循資料庫完整性規則的驗證 API 呼叫來執行實際交易——如查詢訂單狀態或發起退貨；合規代理（Compliance Agent）則根據安全與品牌準則審核最終輸出。這種架構將生產環境的可靠度從約 72% 提高至約 88%。

3. 確定性輸出驗證。 在任何回覆送達顧客之前，一個基於規則而非機率構建的獨立驗證層，會確認該回答具備事實依據、安全且完整。如果意圖識別偵測到潛在的危險查詢，系統會在檢索層開始搜尋之前就終止會話。這將安全防護從被動過濾轉變為主動意圖映射。

對貴公司的合規與風險團隊而言，核心優勢在於：此架構能生成完整的稽核軌跡。代理的每一項決策、每次資料檢索、每道驗證審核皆被詳細記錄。你可以精確追溯 AI 為何會給出特定回答。這已不再是錦上添花——而是歐盟《人工智慧法案》與 NIST AI 風險管理框架等新規範下的硬性要求。

這種做法確實需要權衡取捨。回應時間會從大約 300 毫秒延長至 500–800 毫秒。你犧牲了極致的亞秒級速度，換來了多層次驗證機制。對於高風險零售與受嚴格監管的環境而言，這種取捨保護了你的營收、品牌與法律地位。

康乃爾理工學院（Cornell Tech）的一項研究亦揭露，當顧客使用非裔美國英語、奇卡諾英語或印度英語時，Rufus 給出的回答品質明顯偏低。像「this jacket machine washable?」這樣省略繫動詞的提問（這在許多方言中很常見），往往會觸發錯誤或毫不相關的回答。你的 AI 必須公平地服務全體客群，這要求在架構中內建明確的多方言測試與稽核機制。