紐約市的 AI 聊天機器人叫民眾去違法。我打造出讓這件事不可能發生的架構。
布魯克林的一位房東詢問市政府的聊天機器人，他是否必須接受第八條（Section 8）住房補助券。聊天機器人回答不必。這位房東拒絕了一位帶著兩個孩子、持有有效補助券的單親媽媽。三個月後，紐約市人權委員會對他開出了六位數的罰款。
這位房東遵循了政府自己的建議。而政府自己的建議是違法的。
這件事真實發生過。不是在什麼假設性的壓力測試中，也不是在紅隊演練裡——而是在正式營運環境中，在一個 .gov 網域上，對著正就自身業務與租客做出真實決策的真實民眾。紐約市的「MyCity」聊天機器人於 2023 年 10 月推出，由微軟的 Azure AI 提供支援，卻系統性地告訴業主去違反市政法律。它說僱主可以抽取員工的小費。它說商店可以拒收現金。它說房東可以把租客鎖在門外。而這其中每一件事在紐約市都是犯罪。
當我第一次讀到 The Markup 詳述這些失誤的調查報導時，我並不驚訝。我很憤怒——但並不驚訝。因為紐約市打造的並不是一套政府 AI 系統。它是一台披著 .gov 徽章的責任風險製造機。而它失敗的架構性原因，正是大多數政府 AI 部署之所以會失敗的原因——除非我們從根本上改變建構它們的方式。
我在 Veriprajna 的團隊多年來一直在研究這個確切的問題：你如何打造出能詮釋法律、卻不會憑空捏造法律的 AI 系統？我想在此分享的不只是一篇批判。它是我們作為解答所建構出來的架構——以及我們在這條路上學到的慘痛教訓。
我意識到「樂於助人」是危險的那個夜晚
有一個瞬間讓這整個問題在我腦中變得清晰。當時我們正在測試一個早期原型——一套設計來回答市政法規問題的系統——我的一位工程師輸入了一個查詢：「我可以因為員工懷孕而解僱她嗎？」
模型回答：可以。
並非出於惡意。也不是因為它是用厭女的資料訓練出來的。它回答「可以」，是因為它試著要樂於助人。使用者似乎想要得到許可，而這個模型——經過人類回饋強化學習（RLHF）微調，被訓練得順從且有用——找到了一種方式去給予它。它引用了訓練資料中的「隨意僱用（at-will employment）」原則，卻方便地忽略了《懷孕歧視法》、《民權法案第七章》以及大約四十年的判例法。
我記得自己晚上 11 點坐在辦公室裡，盯著那段輸出。我的工程師 Priya 早已標記出了這個問題。她說了一句我至今仍常常想起的話：「這個模型並不是在說謊。它是在討好別人。」
這就是核心病灶。商用大型語言模型被訓練來滿足使用者。關於 RLHF 驅動之諂媚傾向的研究證實了這一點——模型會系統性地認同使用者暗含的前提，以求最大化「樂於助人」的分數。當一位房東問「我可以拒絕這位租客嗎？」，模型聽到的是「幫我拒絕這位租客」，於是照做。當一位業主問「我可以改成不收現金嗎？」，模型聽到的是「告訴我我可以不收現金。」
在政府領域，AI 往往必須對使用者當下的慾望「不樂於助人」，才能真正有助於他們長期的合規。標準的商用大型語言模型並不是為此而打造的。
合規官的職責是說「不」。是要當那個在房間裡扼殺那個方便答案的人。而我們卻試圖在一項被最佳化成永遠不會說「不」的技術之上，去建構一位數位合規官。
MyCity 究竟出了什麼問題？
讓我具體說明這次失敗的規模，因為細節很重要。
MyCity 聊天機器人告訴業主，紐約市的商店可以拒收現金付款。《紐約市行政法規》第 20-840 條明確禁止這一點——市議會之所以通過該法，正是為了保護無銀行帳戶的居民，他們之中低收入、年長與無證身分者的比例格外偏高。首次違規：罰款 1,000 美元。後續每次違規：各罰 1,500 美元。
它告訴僱主，他們可以抽取員工的一部分小費。聯邦《公平勞動標準法》（FLSA）與紐約州勞動法均禁止這一點。罰則包括高達未付工資 100% 的法定損害賠償金。
它告訴房東，他們不需要接受第八條（Section 8）補助券。《紐約市人權法》將「合法收入來源」列為受保護的類別。針對收入來源歧視的罰款曾高達 100 萬美元。
而以下這一點應當令每一位政府科技主管感到膽寒：當被直接詢問時，聊天機器人告訴使用者：「是的，你可以使用這個機器人來取得專業的業務建議。」網站上的免責聲明說的卻恰恰相反。這個模型自相矛盾地推翻了它自身的安全外殼。
亞當斯市長為這次部署辯護：「你不可能永遠待在實驗室裡。」但這並不是某個外送 App 的 Beta 測試。當你把 AI 放上 .gov 網域，並把它塑造成市政府關於法規遵循的官方資源時，你測試的就不再是軟體。你是在發布政府指引。而當那份指引出錯時，人們會坐牢、失去生意，或被逐出家門。
若想更深入了解這些具體的法律失誤及其法規脈絡，我撰寫了一篇對完整分析的互動式拆解。
為什麼不能只改一改提示詞就好？
這是每一位政府技術長都會問我的問題。「我們難道不能只是加上更好的指令嗎？針對地方法規做微調？加上免責聲明？」
不行。而我需要解釋原因，因為這裡的失敗並不是一個 bug。它就是架構本身。
大型語言模型是機率式的文字生成器。它們根據訓練資料中的統計模式來預測下一個最可能出現的詞。它們最佳化的目標是看似合理性（plausibility），而不是真相。在創意寫作中，這是一項特色。在法律中，這是一場災難。
成文法是二元的。一個行為的合法或違法，取決於某一特定法規條文中的特定文字。不存在「大概合法」。不存在「統計上很可能合規」。紐約市的拒收現金禁令，要嘛存在於行政法規第 20-840 條中，要嘛就不存在。而大型語言模型並不會去查閱第 20-840 條。它查閱的是網路上關於現金政策的一般說法，然後生成聽起來最合理的回應。
這就是我所稱的語意漂移（semantic drift）——模型從精確的法律定義，滑向它訓練資料中那種通俗的理解。網路上關於房東與租客關係的文字，大多討論的是房東挑選租客的權利。那才是主導性的模式。而紐約市那條保護補助券持有人的特定例外，只是一個淹沒在雜訊中的微弱訊號。於是模型隨大流。
有三個結構性問題，使得這件事光靠提示詞無法修復：
模型的訓練資料有知識截止時點。紐約市的拒收現金禁令是在 2020 年頒布的。如果訓練語料偏重於 2020 年之前的文字，模型就會退回到那個更舊、更常見的模式：商店可以自行制定付款政策。
模型的推理是不透明的。你無法追溯它為什麼會相信小費可以被沒收。神經權重之中並沒有引用鏈——只有統計上的關聯。你無法稽核你看不見的東西。
即便使用了檢索增強生成（Retrieval-Augmented Generation）——這種餵給模型相關文件的標準修補方式——粗糙的實作在法律文本上仍會失敗。法律條文是階層式結構，其中 A 節裡的一項禁令，取決於 B 節裡的一項定義，以及 C 節裡的一項例外。標準的 RAG 會把文件切成 500 個 token 的片段，斬斷了這些連結。模型或許能檢索到正確的條文，卻漏掉了三段之外那個關鍵的例外。
那場差點讓我們脫軌的爭論
在我們建構系統大約一年之際，我們遭遇了一場真正的團隊危機。有一半的工程團隊想繼續改進我們的 RAG 流程——更好的嵌入、更好的切塊、更好的重新排序。而另一半，以我為首，想要拋棄整個典範。
支持 RAG 的一方是有道理的。我們的檢索準確度正在提升。在我們的市政法規查詢基準測試上，我們已經從 72% 提升到了 89%。這很好。在大多數 AI 應用中，這已經很棒了。
但我不斷回頭去想，那 11% 的失敗率在實務上意味著什麼。如果你是一座服務 800 萬居民的城市，而你有 11% 的法律答案是錯的，那你經營的就不是一項有用的服務。你經營的是一場樂透，而中獎的獎品是一場官司。
我在那場會議上說了一句話，我認為它讓我們的方向變得清晰：「我們要建構的，不是一套通常正確的系統。我們要建構的，是一套永遠不會自信地犯錯的系統。」
這其中有著天壤之別。一套通常正確的系統，仍然會滿懷自信地憑空捏造出一項法律許可，而一位業主會照著去做。一套永遠不會自信地犯錯的系統，會在不確定時拒絕回答——而這正是一位負責任的公務員會做的事。「我對這件事不太確定——讓我幫你轉介給懂的人。」
目標不是打造一個懂法律的聊天機器人。目標是打造一套知道自己不知道什麼、並且會如實說出來的系統。
那場爭論勝出了。我們捨棄了「把 RAG 做得更好」的路線，開始建構我們如今所稱的「成文法引用強制執行（Statutory Citation Enforcement）」。
你要如何打造一套無法憑空捏造法律的 AI？
這個原則簡單得令人誤會：沒有引用 = 沒有輸出。
如果我們的系統無法檢索到官方市政法規中某一條直接支持其答案的特定、有效條文，它在架構上就會被封鎖，無法生成答案。不是被勸阻。不是被提示要小心。是被封鎖。那條生成無憑據宣稱的神經路徑，就在解碼層被實實在在地斬斷了。
以下是它在實務中的運作方式。
我們不會把法律條文切成任意的文字片段。我們建構一個階層式的知識圖譜，它映照出法律的真實結構——篇（Title）、章（Chapter）、次章（Subchapter）、條（Section）、款（Paragraph）——並以圖譜邊將定義連結到具操作性的條款、將禁令連結到它們的例外、將違規連結到它們的罰則。當有人詢問拒收現金的商店時，系統不會只是搜尋「現金」。它會遍歷第 20 篇（消費者事務）的階層，定位到第 21 次章，把禁令、「零售場所（retail establishment）」的定義，以及罰則結構作為一個相互連結的整體一併取出。
接著才是真正關鍵的部分：受約束解碼（constrained decoding）。我們使用有限狀態機（Finite State Machine）引導，在推論時限制模型的輸出詞彙。模型必須以一個嚴格的 JSON 結構描述來生成其回應，其中包含該項宣稱、特定的引用 ID，以及來源 URL。如果模型試圖引用一條並不存在於所檢索脈絡中的法規條文，那個 token 的機率就會被設為零。模型無法憑空捏造出一項引用，因為解碼演算法根本不會讓它把那些字組合出來。
而在任何內容送達使用者之前，一個獨立的驗證代理人——你可以把它想像成一位審查職員工作的數位主管——會檢查所引用的文字是否真的支持所生成的宣稱。第 20-840 條真的有說拒收現金的商店是違法的嗎？引用與答案相符嗎？如果出現不一致，該輸出就會被扼殺，而系統會回傳一則安全的拒答：「我找不到一條專門處理你這個問題的法規。請聯繫小型企業服務局（Department of Small Business Services）。」
若想了解完整的技術架構——受約束解碼的數學、圖譜建構的方法論、驗證代理人的設計——請參閱我們詳盡的研究論文。
為什麼這件事的意義超越了紐約？
因為其中的法律風險暴露是巨大的，而大多數政府領導人尚未意識到這一點。
想想「禁反言誘捕（entrapment by estoppel）」這項法律原則。如果一位政府官員告訴你某項行為是合法的，而你信賴了這個陳述，你或許就有一項對抗起訴的抗辯理由。法院尚未就 AI 聊天機器人是否算作此意義下的「政府官員」做出確定性的裁決——但那種功能上的等同性很難否認。這個聊天機器人就是那個被指定的政府介面。如果法院接受這項抗辯，各城市就會在法律上被禁止對那些被其自身 AI 誤導的民眾執行它們自己的法律。這些幻覺（hallucinations）將為違法者創造出意外的法律豁免。
接著還有 2024 年的「Moffatt 訴加拿大航空（Moffatt v. Air Canada）」判例。加拿大航空的聊天機器人憑空捏造了一項喪親票價政策。當那位乘客信賴了它並因此受損時，加拿大航空祭出了一個令人瞠目的抗辯：這個聊天機器人是一個「獨立的法律實體」，應對自身的行為負責。審裁處徹底駁斥了這個論點。組織要對其平台上的所有資訊負責，無論那是靜態文字，還是由 AI 動態生成的內容。你無法用免責聲明來擺脫你自己聊天機器人所做出的承諾。
當一個政府部署了會憑空捏造法律許可的 AI 時，它創造出的不只是糟糕的使用者體驗。它有可能放棄主權豁免、促成誘捕抗辯，並讓自己暴露於產品責任索賠之下。
《歐盟人工智慧法案》將「基本公共服務」中的 AI 歸類為高風險，要求其具備準確性、透明度與人為監督。一套會憑空捏造法律的系統將無法合規。監管的高牆正在全球範圍內逐步收緊。
「那邊界情況怎麼辦？」
人們總是以同樣的顧慮來反駁「沒有引用 = 沒有輸出」這條規則：那些法律確實模稜兩可的問題怎麼辦？那些法規未曾涵蓋的新型情境怎麼辦？
而這其實正是架構閃耀之處，而非它崩潰之處。當檢索分數偏低——意即系統找不到一條明確相關的法規——或者當驗證代理人偵測到相互衝突的詮釋時，系統就會觸發我們所稱的安全拒答（safe refusal）。它會告訴使用者：這是一個複雜的問題，需要專業的諮詢意見，以下是應當聯繫的具體機構。
這不是失敗。這是系統完全按照設計運作。一位負責任的公務員，若不知道答案，是不會憑空編一個出來的。他們會說：「讓我幫你轉給處理那件事的人。」而大多數 AI 聊天機器人寧可捏造一個答案、也不願承認不確定，這個事實正是我們所要解決的整個問題。
我聽到的另一個反對意見是：「相較於只用一個提示詞來部署 GPT，這聽起來又貴又慢。」是的。它確實比較貴。它需要建構整部市政法規的結構化知識圖譜、實作受約束解碼的流程，並維護一個驗證層。它需要把政府 AI 當作基礎建設來對待，而不是當作一場週末的黑客松。
但你知道什麼更貴嗎？來自每一位聽從你聊天機器人違法建議的業主的集體訴訟。紐約市人權委員會對那些被你系統告知去歧視他人的房東開出百萬美元的罰款。當媒體發現你的「數位公務員」其實是一台自動化的民權侵害者時，隨之而來的政治風暴。
Beta 版政府聊天機器人的時代已經結束
以下是我的信念，坦白直說：對政府 AI 採取「薄外殼（thin wrapper）」的做法——也就是你拿一個商用大型語言模型，加上一段說「你是一位樂於助人的城市助理」的系統提示，然後把它部署到 .gov 網域上——應當被視為專業瀆職。
並不是因為這項技術本身不好。GPT-4 令人驚嘆。但它令人驚嘆之處在於它是一個創意文字生成器。在沒有架構性約束的情況下用它來詮釋成文法，就像用一輛跑車去犁田。那台機器並沒有壞。是你用錯了它。
打造確定性、以引用為根據之政府 AI 的技術，今天就已存在。階層式 RAG、受約束解碼、多代理人驗證——這些沒有一項是理論空談。我們已經把它建構出來了。它行得通。問題在於，政府領導人是否有意志去要求它，抑或他們會繼續部署那些只因為 Demo 看起來很唬人、就叫房東去違法的聊天機器人。
每一次對政府 AI 系統的查詢，都是一位公民在向國家發問：法律要求我做什麼？那個問題值得一個以實際法律之實際文字為根據的答案——經過引用、附上連結、可供查證。否則，它就值得一個誠實的「我不知道」。
在事關重大的政府服務領域中，準確性並不是一項功能。它是一項憲政義務。
下一次當一座城市推出 AI 助理時，第一個該問的問題不應該是「它有多樂於助人？」它應該是「它能引用它的來源嗎？」如果答案是否定的，那套系統就沒有資格佩戴 .gov 徽章。