我把準確的法條餵給政府聊天機器人，它還是叫房東違法。

2024 年 3 月，The Markup 的一名記者向紐約市的官方聊天機器人提出了一個簡單的問題：房東可以拒絕持有 Section 8 租房補助券的租客嗎？

這個機器人——MyCity，運行於 .gov 網域、以超過 2,000 個市政網頁訓練、跑在 Microsoft 的 Azure AI 上——回答說可以。它還熱心地解釋道，房東不必接受這些補助券。

這個答案是違法的。紐約市的《人權法》自 2008 年起便禁止基於收入來源的歧視，罰款最高可達 $250,000。這個聊天機器人沒有含糊其辭，沒有加上免責聲明，也沒有說「去諮詢律師」。它給出了一個自信、流暢卻錯誤的答案，而且是頂著紐約市的官方印章這麼做的。

那年春天，我花了一個週六閱讀 The Markup 的調查報導，同時在另一個分頁裡開著紐約市《行政法典》的原文，逐行比對機器人所說的與法規所載的。而「引用法律而非憑空捏造的政府 AI」這個構想，對我而言正是源於此——不是源於一份策略簡報，而是源於一張截圖與一條法規之間的落差。機器人並沒有搞混，它完全按照設計運作。而問題正出在這套設計本身。

那個叫紐約人去違反四種不同法律的聊天機器人

MyCity 並不是只錯了一件事。The Markup 記錄下了一種橫跨市民生活基本運作的錯誤模式。

它告訴商家可以抽取員工小費的一部分——這在《公平勞動標準法》和《紐約勞動法》下都是違法的，是那種會以工資盜竊訴訟和違約金收場的事。它告訴店家可以改為無現金經營、拒收紙幣，而紐約市《行政法典》第 20-840 條正是為了保護沒有銀行帳戶的居民而明文禁止這種做法。它告訴房東可以把租客鎖在門外，而在租客入住滿三十天後，這已構成刑事犯罪。

每一個答案都是違法的。每一個答案都帶著市政府的官方背書。

市政府的回應是加上免責聲明。但機器人仍在自己的回覆文字裡歡快地推翻這些聲明——它一度告訴使用者：「是的，你可以用這個機器人來獲取專業的商業建議。」即將上任的市長 Zohran Mamdani 後來稱這項工具「實際上無法使用」，並著手將其終止。到那時，這個專案已花掉市政府大約 $500,000，對照 120 億美元的預算缺口，這筆支出顯得格外難堪。

真正讓我夜不能寐的是這一點：沒有人是刻意要打造一台違法機器的。一支能幹的團隊用真實的市政資料訓練了一個合理的模型，然後把它上線。失敗早已烘焙進他們所選擇的架構裡，而如今幾乎每一個部署聊天機器人的政府，選的都是同一套架構。

為什麼語言模型會預設去違反法律？

你必須理解大型語言模型實際上在優化的目標是什麼。它是一台機率引擎。你問它一個問題，它會產出統計上最合理的接續——也就是那個聽起來像是通常會跟在這類問題後面的那種答案。

現在想想它的訓練資料裡有什麼。當房東問「我可以拒絕這個租客嗎？」時，整個網路上占主導地位的模式是一般契約法：業主有權選擇要把房子租給誰。這在幾乎所有地方都成立。而紐約市那條禁止基於收入來源歧視的具體條文，只是一個狹窄的地方性例外，一個被廣泛訊號淹沒的微弱訊號。模型伸手去抓的是它見過上萬次的那個模式，而不是恰好適用於這個街區的那條法規。

接著，強化學習讓情況變得更糟。現代聊天機器人被調校得要樂於助人，而這在實務上意味著順從——它們傾向於給使用者他們看起來想要的東西。一個房東問要怎麼拒絕租客，在模型看來就讀作「幫我拒絕這個租客」。於是它就幫忙了。它說可以。

政府的聊天機器人必須願意在你的期望上「幫倒忙」，才能對法律的規定誠實以告。而這種本能，恰恰與這些模型被訓練出來的傾向完全相反。

這就是陷阱所在。那些讓消費級聊天機器人討人喜歡的特質——流暢、順從、總是有答案的自信——正是讓政府法律聊天機器人變得危險的特質。

為什麼 RAG 沒有解決這個問題？

有大約一個星期，我確信自己知道答案，而我錯得恰好讓我看清了整個問題。

顯而易見的解法是檢索增強生成——RAG。與其讓模型憑記憶作答，你先檢索出真正相關的文件，再把它們當作上下文交給模型。這套想法認為：把真正的法規給它，它就會停止胡編亂造。我們建了一個試驗系統來證明這一點。

它檢索得漂亮極了。我會問那個 Section 8 的問題，然後看著系統把那條關於收入來源的條文精準地拉進上下文——正確的法律，就擺在提示詞裡。然後模型讀了它，卻依然回答「是的，你可以拒絕這張補助券」。我記得我盯著那個畫面，因為它比我預期的更糟。檢索是有效的。而推理則失靈了。模型面前明明擺著正確的法規，卻依然選了它的訓練先驗，或是誤讀了條文，或是從一組錯誤的檢索段落中拼湊出一個貌似合理的答案。

這並不是我們自己引入的臭蟲。這是有文獻記載的業界最高水準。史丹佛的研究人員測試了那些正是為此打造的商用法律 AI 工具——檢索增強、由專業工程打造——而其中最好的一個，也就是 LexisNexis 的 Lexis+ AI，仍然有17% 的機率產生幻覺。Westlaw 的 AI 輔助研究工具則高達33%。這些是以每月數百美元賣給律師的工具，而每五個答案中就有一個、乃至每三個答案中就有一個是捏造的。

檢索把正確的文件請進了房間。但它完全無法阻止模型無視這份文件。

於是我不得不拋棄我一開始抱持的假設。RAG 並不是那個架構。RAG 只是其中一個元件，而單靠它，只是把失敗從「模型不知道法律」變成「模型知道法律卻與之相牴觸」——在政府網域上，這可以說是更危險的失敗，因為現在錯誤答案旁邊就緊挨著一則引註，讓它看起來很權威。

那份沒人細讀附屬條款的法律責任

一個有 17% 時候會出錯的消費級聊天機器人，只是惹惱使用者。而一個政府的聊天機器人，每回答一次就累積一分法律風險。

有一項多數技術人員從未聽過的法律原則，在這裡極其重要。政府在履行「裁量性」職能時——也就是治理過程中的判斷抉擇——通常受到訴訟豁免的保護。但當政府向市民提供具體、可據以行動的建議時，法院會把這視為一種私法性的職能，與私人顧問所做的無異。私法性職能不享有主權豁免。因此，當 MyCity 告訴一位商家他可以把員工的小費收進自己口袋時，市政府在法律效果上，就等於是在扮演一位無照顧問，提供了達到失職等級的錯誤建議——而且沒有它在做出一項真正的政府決策時所會擁有的那份豁免。

而法律正在加速把這一點明文化。紐約州參議院第 S7263 號法案於 2026 年 2 月 26 日提交參議院院會表決，將禁止聊天機器人提供實質性的專業建議，並創設一項私人訴訟權——意味著因聊天機器人的建議而受害的市民，可以就實際損害加上律師費提起訴訟。放眼全國，立法追蹤機構統計出27 個州共 78 項聊天機器人安全法案正邁入 2026 年。對於任何為歐洲居民提供服務的政府而言，歐盟《AI 法案》將面向市民的公共服務 AI 歸類為高風險，罰則最高可達1,500 萬歐元或全球營業額的 3%，相關義務將於 2026 年 8 月生效。

早期曾有一位顧問告訴我，只要微調 GPT 然後把它上線做一個政府試點就行了，我們當時的對話正是圍繞著這一點。「通常是對的」對一個電影推薦引擎來說是個不錯的標準。但在 .gov 網域上、在這樣的監管環境裡，一個有六分之一的時候會自信地答錯的系統，並不是一個可以慢慢迭代的產品功能。它是一項正等著原告上門的私人訴訟權。

所有人都低估的那一環：法典本身就是一團亂

在任何關於模型的問題還沒開始重要之前，有一個不會在展示中現形、卻悄悄拖垮真實部署的問題：法律並不存在於一個資料庫裡。

我第一次真正坐下來面對一份實際的市政法典時，才切身體會到這一點——那是一份 PDF，各章的修訂在頁邊被手寫編號，因為一部城市條例的權威版本，是一份由某位書記官編輯了數十年的文件。全國各地的市政法典存在於數十種互不相容的格式之中——PDF、老舊的 HTML、專有的出版系統——而在同一座城市內部，它們是由彼此不協調的各部門非同步維護的。分區規劃按一套時程更新，衛生法典按另一套。所謂「唯一真實來源」根本是虛構。

你無法在一個尚未被重建成機器能可靠推理之物的法律語料庫之上，打造出值得信賴的政府 AI。「把法典吃進去」，其中有四分之一是在模型看到任何一個 token 之前所做的資料考古。

這也是為什麼現有的市場並不合用。Microsoft Azure Government、AWS GovCloud 以及 Google 的公部門雲，給了你經過授權認證的基礎設施和一個通用型模型——但 MyCity 靠的正是 Azure。幻覺問題存在於平台層之上；雲端根本碰不到它。那些強大的法律 AI 工具，如 Thomson Reuters 的 CoCounsel 和 Lexis+ AI，是以律所級的價格為律師打造的，而不是為一個在晚上 11 點提問的居民打造的。那些大型系統整合商——投入數十億美元於生成式 AI 的 Deloitte，以及有數十億美元 AI 訂單的 Accenture Federal——負責導入那些廠商的平台；他們並不打造客製化的受限解碼架構。而那些前景看好的市政法典 AI 新創，也就恰恰只是如此：前景看好、未經規模驗證、也沒有政府採購的實績。中間存在著一道缺口，而市民正是在這道缺口裡受到傷害。

最終奏效的做法：讓系統去贏得開口說話的權利

改變了一切的那個重新定義，是決定讓系統的預設狀態是沉默，而不是給出一個答案。

我們沒有去要求模型變得更準確，而是把它建構成：除非某項法律主張被綁定到一條具體的、經檢索得來的法規條文，否則它在物理上根本無法發出這項主張。生成步驟是受到約束的：當系統產出一句關於法律允許什麼的句子時，這句話必須帶著一則可追溯的引註，指向它所出自的確切法典條號，並在生成之後對照原始出處加以驗證。如果模型想說「你可以拒絕一張補助券」，而沒有任何條文支持它——甚至更糟，有一條條文與之牴觸——那麼這項主張就無法通過。系統會說它無法回答這個問題，並把這個人轉交給真人處理。

這就是我們在 Veriprajna 所打造之物的全部理念，你可以在veriprajna.com/solutions/government-municipal-ai看到完整的架構：每一則回應都可追溯到一條具體的法規，否則系統就保持安靜。我們寧願它回答更少的問題、卻無從違法，也不要它什麼都回答、卻偶爾害市政府背上一筆二十五萬美元的歧視罰款。

操作的順序很重要。首先，把雜亂的市政語料重建成一個結構化、階層化的知識庫，讓它知道哪些條文會凌駕於哪些條文之上——這絕非小事，正是因為那些條文是按各部門互不協調的時程修訂的，所以凌駕關係圖本身也在不斷漂移。然後再針對它進行檢索。接著——這是所有人都跳過的一步——約束生成，讓輸出在機制上被牢牢繫在檢索到的內容上，並附帶一道驗證關卡，把任何站不住腳的主張駁回。然後保留一份稽核軌跡，這樣當監管機關或原告的律師問起系統為什麼會這麼說時，會有一筆指向某條法規的紀錄，而不是對著模型權重聳聳肩。

一個有用的副作用是：一個能為每個答案出示引註的系統，才是一個你真的能夠為之辯護的系統。稽核軌跡並不是做給人看的合規表演。它是「AI 是這麼說的」與「這就是答案所出自的那個 § 條文」之間的差別。

「但這樣不會讓它變得比較沒用嗎？」

人們不斷這樣問我，而這是個好問題。是的——一個強制引註的系統，回答的問題會比 MyCity 少。在一個比較多話的機器人會樂呵呵地編造點什麼的地方，它有時會說「這件事我無法給建議」。這感覺像是一種倒退，直到你想起：MyCity 那些多出來的答案，每一個都是一項責任負擔，而不是一項服務。

我聽到的另一件事，是關於採購的時間壓力，而這是整個領域裡最被低估的風險。政府 AI 的存亡不取決於模型品質；而是取決於能不能通過授權認證。FedRAMP 和 StateRAMP 的營運授權（ATO）流程要跑12 到 18 個月，而大多數 AI 新創撐不過那本 ATO 授權文件的折騰，活不到能夠部署的那一天。為政府打造產品，意味著從第一天起就為那個現實而設計——存取控制、資料分離保證、稽核基礎設施——而不是在試點之後才臨時加裝上去。一個在展示中光彩奪目、卻通不過授權的模型，永遠也服務不了任何一位市民。

接著還有一個問題：既然聯邦政府已釋出訊號，表示它可能會凌駕（preempt）各州零散拼湊的 AI 法律，那這一切究竟值不值得。也許它真的會。但一座城市可沒有資格拿居民的小費收入和居住權，去賭一道未來的行政命令會做什麼。MyCity 給出的建議，在一些與 AI 監管毫無關係的法律下就已經違法了——勞動法、住房法、消費者保護法，這些都比 ChatGPT 早了數十年。任何優先適用（preemption）都補救不了這一點。

我一再回想起的，是 The Markup 那張截圖：聊天機器人那個自信的「可以」，緊挨著那條說「不可以」的法規。一位不知道答案的真人書記官會說「讓我查一下」或「你應該去問律師」。我們卻打造了永遠不會這麼說的機器，然後把它們放上政府網站，等到它們把民眾建議進了官司裡，又一副意外的樣子。

當一位居民詢問法律允許什麼時，政府的職責就是給出正確答案，或是誠實承認自己不知道。這是僅有的兩種可接受的輸出。一個產出流暢、權威的第三種選項——自信地答錯——的系統，根本沒有資格頂著一座城市的印章。解方從來都不是一個聽起來更順耳的模型，而是打造一個懂得何時該閉上嘴的模型——而這正是我們為政府與市政 AI 所打造之物的全部前提所在。