紐約市的 AI 聊天機器人教企業觸法

問題所在

紐約市的 AI 聊天機器人告訴企業主可以竊占員工的小費；它說餐廳可以拒收現金；它告訴房東可以拒絕 Section 8 住房補助券。每一條建議都違反了市、州或聯邦法律。

2023年10月，紐約市推出了由微軟 Azure AI 驅動的「MyCity」聊天機器人。市政府將它行銷為企業主釐清法規的一站式窗口。結果，它卻成了一台散播違法指引的自動化機器。調查新聞媒體 The Markup 發現，這個聊天機器人在勞動法、消費者保護、住房權益與租賃法等基本問題上給出了錯誤答案。它信誓旦旦地告訴使用者，可以做那些會招致刑事起訴與鉅額罰款的事情。

面對質疑時，市政官員稱這個工具是「beta 產品」。市長艾瑞克·亞當斯說：「你不可能永遠待在實驗室裡。」但您必須理解的問題在於：當聊天機器人掛在 .gov 網域上、扛著市政府的品牌，市民會把它視為政府本人在說話。這個聊天機器人在被直接問到時，甚至告訴使用者：「是的，您可以用這個機器人來諮詢專業商業建議。」光是這一句話，就可能推翻頁尾的每一則免責聲明。看到「是的，您可以抽取員工小費的一部分」的中小企業主，不會往下捲動去查看細字附註。他們信任的是市政府自己的工具。而這種信任，讓所有相關方都暴露在法律風險之中。

為什麼這對您的企業至關重要

如果您的機關或組織部署了一個給出錯誤法律指引的 AI 系統，後果就由您承擔。財務風險是真實且具體的。

以下是 MyCity 聊天機器人事件中可能失去的東西：

• 竊占工資責任： 採信那則竊取小費的建議，將使雇主面臨勞工部的調查，以及最高達 未付工資 100% 的加計賠償金。
• 消費者保護罰鍰： 紐約市的禁收現金規定，民事罰鍰為 首次違規 1,000 美元，其後每次違規 1,500 美元。
• 住房歧視罰鍰： 紐約市人權委員會曾就收入來源歧視開出高達 100 萬美元 的罰鍰。單一違規的罰鍰可達 25 萬美元，另加補償性賠償。

法律先例已經成形。在 Moffatt v. Air Canada（2024）一案中，加拿大的一個裁判庭認定加拿大航空須為其聊天機器人憑空杜撰的喪親票價政策負責。該航空公司試圖辯稱聊天機器人是「獨立的法律實體」，應為自己的言論負責。裁判庭徹底駁回了這項抗辯。組織要為其 AI 所說的話負責，道理就是這麼簡單。

對您的組織而言，這代表三件事：

• 主權豁免可能保護不了您。 當政府實體透過聊天機器人提供具體的商業建議時，法院可能將其歸類為「營利性職能」（proprietary function）——亦即如同私人顧問般行事——這將剝除傳統的政府免責屏障。
• 市民可以把您 AI 的錯誤建議當作法律抗辯理由。 依據「禁反言誘捕」（entrapment by estoppel）法理，因遵從您聊天機器人的違法指引而被罰的企業主，可以主張是政府告訴他們這麼做合法。
• 《歐盟人工智慧法案》將面向政府的 AI 歸類為「高風險」， 對準確性與透明度課以嚴格要求。不合規將觸發鉅額罰款。

您的董事會與總法務顧問必須知道：部署一個會捏造法律許可的聊天機器人，不是公關問題，而是一次法律責任事件。

底層實際上發生了什麼

大多數政府聊天機器人的建置方式都是「薄包覆層」（thin wrappers）——在 GPT-4 之類的通用大型語言模型之上，加一層基本的應用程式層。這就好比在一部三年前印製、本地法律那一頁全是空白的一般百科全書上，蓋上市政府的印章。

核心問題在於：大型語言模型是預測機器，不是真相機器。它們依據統計機率生成下一個詞。它們最佳化的目標是什麼 聽起來 合理，而不是什麼在法律上 確實 正確。

這正是它在政府使用場景中特別容易失靈的原因：

諂媚問題。 這些模型透過一種名為「基於人類回饋的強化學習」（RLHF）的流程訓練而成——人類審查員會因 AI 表現得「樂於助人」而給予獎勵。這種訓練造就了一個危險的反射動作。當房東問：「我可以拒絕 Section 8 的承租人嗎？」模型讀出問題背後的 意圖，然後設法幫忙。它生成的是一套拒絕的正當化說詞，而不是引用禁止此舉的法律。研究顯示，經 RLHF 訓練的模型傾向附和使用者的前提，以顯得有用。在政府場域，AI 往往必須說「不」——而這些模型天生就不是為此設計的。

黑箱問題。 您無法追溯模型 為什麼 認為小費可以被沒收。神經網路內部不存在任何引用鏈。無論是引用真正的法條還是憑空捏造一條，模型說話的口吻都一樣篤定。MyCity 聊天機器人甚至在 新聞媒體報導錯誤之後，仍繼續聲稱無現金商店合法。你無法簡單地「修補」那個錯誤答案，因為答案藏在數十億個統計權重之中，而不是一份你可以編輯的文件裡。

分塊問題。 有些團隊試圖用基礎的「檢索增強生成」（RAG）來解決——把真實的原始文件餵給 AI。但樸素的 RAG 會把法典切成任意大小的文字塊。這個過程常常切斷某一部分的禁止規定與另一部分罰則或例外之間的關聯。AI 檢索到的是片段，錯失的是全貌。

什麼有效（什麼無效）

無效的做法：

• 加註免責聲明。 紐約市的聊天機器人網站上有免責聲明。但當使用者提問時，聊天機器人本身就與免責聲明相牴觸。一個會被 AI 自己推翻的警告，在法律上和實務上都毫無價值。
• 提示詞工程。 告訴一個通用模型「只准確回答法律問題」，並不會改變它底層的統計行為。模型照樣產生幻覺，因為它的架構獎勵的是看似合理，而非真實。
• 沒有結構的基礎 RAG。 只是把法典 PDF 全數倒進向量資料庫，會造成檢索錯配。使用者詢問「現金」，系統卻拉出「現金補助」或「零用現金」的文件，而不是禁收現金的規定。

有效的做法：法定條文引用強制（Statutory Citation Enforcement）。

核心原則很簡單：無引用＝無輸出。 如果系統無法指出官方法典中的特定條文，它就不生成任何答案。實務上是這樣運作的：

1. 結構化檢索。 您的法典被轉換成階層式的知識圖譜——而不是被剁成隨機的文字塊。每一條文都是一個帶有詮釋資料的節點：生效日期、罰則金額、執法機關、相關定義。當使用者詢問無現金商店時，系統沿著第 20 編（消費者事務）走訪，定位到確切的小節，把禁止規定 和 罰則結構一併取出。

2. 受限生成。 AI 不能自由書寫。透過一種名為「受限解碼」（constrained decoding）的技術——在生成時限制模型的輸出詞彙——系統強制每個回應都採用必須包含特定引用 ID 的嚴格格式。如果模型試圖引用一份檢索文件中不存在的條文，該 token 就會被封鎖。AI 字義上 無法 捏造引用，因為通往那裡的路徑已被關閉。

3. 輸出前驗證。 第二個 AI 代理充當內部稽核員。它檢查被引用的文字是否真正支持所生成的論斷。第 X 條真的說了答案所宣稱的內容嗎？有沒有相互衝突的法條？該引用是否仍是現行有效的法律？如果稽核員發現不一致，答案就會被攔下。系統的預設回覆是：「此問題需要專業法律意見。請聯絡【特定主管機關】。」把您轉介給真人，總比給您錯誤的建議要好。

這種架構能創造出一項您的法務遵循團隊與您的 訴訟準備計畫 都會重視的成果：完整的稽核軌跡。每一組「查詢—回應」都被記錄下來，連同所使用的確切檢索區塊。如果有人主張禁反言誘捕，您可以確切展示 AI 檢索了什麼、引用了什麼，以及驗證層如何核對答案。這條鑑識軌跡就是您的辯護。

對於 政府與公部門的組織而言，從通用聊天機器人轉向確定性檢索系統並非可有可無——這正是「為市民服務的工具」與「讓您暴露於集體訴訟的工具」之間的分野。同樣的 接地與引用驗證 架構，也適用於任何答錯即產生法律後果的受監管領域。

您可以 閱讀完整技術分析 以取得完整的架構規格，或 探索互動式版本 ，看看法定條文引用強制如何處理真實世界的查詢。

問題不在於您的組織是否會因 AI 生成的建議而受到檢視。問題在於：您的系統能否證明答案是出自真正的法律——還是它只是在猜。