我把确切的法条喂给政府聊天机器人，它却依然叫房东违法
2024年3月，The Markup的一名记者向纽约市的官方聊天机器人提出了一个简单的问题：房东可以拒绝持有第8条住房券的租户吗？
这个名为MyCity的机器人——运行在.gov域名上，基于超过2,000个城市网页训练，跑在微软的Azure AI上——回答说：可以。它还热心地解释道，房东不必接受这些住房券。
这个答案是违法的。纽约市的《人权法》自2008年起就禁止基于收入来源的歧视，罚款最高可达250,000美元。这个聊天机器人没有含糊其辞，没有免责声明，也没有说“请咨询律师”。它给出了一个自信、流畅却错误的答案，而且它是打着纽约市官方印章这样做的。
那年春天，我花了一个周六读The Markup的调查报道，同时在另一个标签页打开了纽约市《行政法典》的实际条文，逐行比对机器人所说的与法条所写的内容。这就是那个想法的起点——让政府AI引用法律，而不是凭空捏造法律——对我而言，它不是诞生于某份战略汇报PPT，而是诞生于一张截图与一部法条之间的落差。这个机器人并不是被搞糊涂了。它完全是按照设计运作的。而问题恰恰出在设计本身。
那个告诉纽约人违反四种不同法律的聊天机器人
MyCity并不只是搞错了一件事。The Markup记录下了一种贯穿城市生活基本运转机制的错误模式。
它告诉企业主，他们可以从员工的小费中抽成——这违反了《公平劳动标准法》和《纽约劳动法》，是那种会以工资盗窃诉讼和惩罚性赔偿收场的事。它告诉商店，他们可以只收电子支付、拒收现金，而纽约市《行政法典》第20-840条明令禁止这种做法，正是为了保护那些没有银行账户的居民。它告诉房东，他们可以把租户锁在门外，而在租户入住满三十天后，这属于刑事犯罪。
每一个答案都是违法的。每一个答案都带着纽约市的官方背书。
该市的应对措施是加上免责声明。但这个机器人依然在它自己的回复文本里兴高采烈地推翻这些声明——它一度告诉某位用户：“是的，你可以把这个机器人用于专业商业咨询。”即将上任的市长佐兰·马姆达尼后来称这个工具“实际上无法使用”，并着手将其终止。到那时，这个项目已经花掉该市约500,000美元，这笔开支在120亿美元的预算缺口面前显得格外触目惊心。
有一部分让我夜不能寐。没有人是打算去打造一台违法机器的。一支称职的团队用真实的城市数据训练了一个合理的模型，然后把它发布了出去。失败被写进了他们所选择的架构里，而如今几乎每一个部署聊天机器人的政府，都在选择同样的这一种。
为什么语言模型会默认走向违法？
你必须理解大语言模型实际上在为什么而优化。它是一台概率引擎。向它提一个问题，它就会生成统计上最合理的续写——那个听起来像是通常会跟在这类问题之后的答案。
现在想想它的训练数据里都有什么。当一个房东问“我能拒绝这个租户吗？”时，整个互联网上占主导地位的模式是一般合同法：业主有权选择把房子租给谁。这在几乎所有地方都成立。而纽约市那条禁止基于收入来源歧视的具体条款，是一个狭窄的地方性例外，是一个被宏大信号淹没的微弱信号。模型会去抓取它见过一万遍的那种模式，而不是适用于这个特定街区的那条法条。
然后强化学习让情况雪上加霜。现代聊天机器人被调校得要乐于助人，而这在实践中意味着一味迎合——它们倾向于给用户他们看起来想要的东西。在模型看来，一个房东问怎么拒绝租户，读起来就像是“帮我拒绝这个租户”。于是它就帮忙了。它说：可以。
一个政府聊天机器人必须愿意在你所想要的事情上帮倒忙，才能对法律的规定做到诚实。而这种本能，恰恰与这些模型被训练出来的本能截然相反。
这就是那个陷阱。让消费级聊天机器人讨人喜欢的那些特质——流畅、迎合、总能给出答案的那份自信——正是让政府法律聊天机器人变得危险的那些特质。
为什么RAG没能解决这个问题？
有大约一个星期，我确信自己知道答案，而我错了——错的方式让我看清了整个问题。
显而易见的解决办法是检索增强生成——RAG。与其让模型凭记忆作答，不如先检索出真正相关的文件，把它们作为上下文交给模型。给它真实的法条，人们是这么想的，它就会停止胡编乱造。我们搭建了一个试点来证明这一点。
它的检索表现堪称完美。我会问出那个关于第8条住房券的问题，然后看着系统把关于收入来源的那条确切条款拉进上下文里——正确的法律，就明明白白地摆在提示词里。然而模型读完之后，依然回答“可以，你能拒绝这张住房券”。我记得自己盯着那一幕，因为它比我预想的还要糟。检索是成功的。是推理出了问题。模型面前摆着正确的法条，却依然选择了它的训练先验，或者误读了那条条款，或者把从错误组合的检索段落里拼凑出一个貌似合理的答案。
那并不是我们引入的一个漏洞。它是被记录在案的技术前沿现状。斯坦福的研究人员测试了那些专为此类用途打造的商用法律AI工具——检索增强、经过专业工程打磨——而其中最好的一个，LexisNexis的Lexis+ AI，仍然会有17%的概率产生幻觉。Westlaw的AI辅助研究工具则达到了33%。这些是以每月数百美元卖给律师的工具，而每五个到每三个答案里就有一个是捏造的。
检索把正确的文件送进了房间。但它丝毫无法阻止模型对它视而不见。
所以我不得不抛弃自己一开始所持的那个假设。RAG不是那个架构。RAG只是其中一个组件，而它单凭自身，只是把失败从“模型不知道法律”挪到了“模型知道法律却与之相悖”——在政府域名上，这可以说是更危险的失败，因为现在错误答案旁边就紧挨着一条引证，让它看起来权威可信。
那份没人细读小字条款的法律责任
一个有17%概率出错的消费级聊天机器人只会惹恼用户。而一个政府的聊天机器人，每给出一个答案都在累积法律风险。
有一条大多数技术人员从未听说过的法理原则，在这里至关重要。政府在“裁量性”职能——即治理中的判断决策——方面通常受到诉讼豁免的保护。但当一个政府向公民提供具体的、可付诸行动的建议时，法院会把这视为一种经营性职能，与私人顾问所从事的性质相同。经营性职能不享有主权豁免。所以当MyCity告诉一位企业主他可以把员工的小费收入囊中时，该市在法律效果上就相当于扮演了一名无照顾问，给出了达到执业过失级别的糟糕建议——却没有它在做出一项真正的政府决策时本会拥有的那种豁免。
而法律正在飞速跟进，把这一点明确化。纽约州参议院第S7263号法案已于2026年2月26日提交参议院全体审议，该法案将禁止聊天机器人提供实质性的专业建议，并设立一项私人诉权——这意味着一名因聊天机器人建议而受害的公民可以就实际损害赔偿外加律师费提起诉讼。放眼全国，立法追踪机构统计出27个州共有78项聊天机器人安全法案正迈向2026年。对于任何在欧洲为居民服务的政府而言，《欧盟人工智能法案》将面向公民的公共服务AI归类为高风险，随着相关义务于2026年8月生效，罚款最高可达1,500万欧元或全球营业额的3%。
早期曾有一位顾问建议我，干脆微调一下GPT就把它发布出去用于政府试点，我们当时进行的正是这样一番对话。“通常都对”对于一个电影推荐引擎来说是个不错的标准。但在一个.gov域名上，在这样的监管环境里，一个有六分之一概率自信地出错的系统，不是一个可以边迭代边打磨的产品功能。它是一项正等待原告出现的私人诉权。
所有人都低估的那一部分：法典本身就是一团乱麻
在任何关于模型的问题变得重要之前，还有一个不会在演示中显现、却悄悄让真实部署沉船的问题：法律并不在一个数据库里。
我是在第一次真正坐下来面对一部实际的市政法典时才切身体会到这一点的——那是一份PDF，各章的修订条款是手写编号在页边空白处的，因为一部城市条例的权威版本，是一份由某位书记员编辑了数十年的文档。全国各地的市政法典以数十种互不兼容的格式存在——PDF、老旧的HTML、专有的出版系统——而在同一座城市内部，它们由各个互不协调的部门异步维护着。分区规划按一个时间表更新，卫生法规按另一个。所谓“单一事实来源”是个虚构的说法。
你无法在一个自己尚未先重建成机器能够可靠推理之物的法律语料库之上，构建起可信赖的政府AI。“把法典摄入进来”，其中四分之一的工作是在模型看到任何一个词元之前进行的数据考古。
这也正是为什么现有的市场并不契合。微软Azure Government、AWS GovCloud以及谷歌的公共部门云为你提供了经过授权的基础设施和一个通用模型——但为MyCity提供动力的正是Azure。幻觉问题存在于平台层之上；云无法触及它。那些强大的法律AI工具，汤森路透的CoCounsel和Lexis+ AI，是以律所的价格为律师打造的，而不是为一位晚上11点提出一个问题的居民打造的。那些大型集成商——投入数十亿美元于生成式AI的德勤，以及有着数十亿美元AI订单的埃森哲联邦——负责实施那些厂商的平台；他们并不构建定制的约束解码架构。而那些前景看好的市政法典AI初创公司，恰恰就是那个样子：前景看好、尚未在规模化上得到验证、没有政府采购的过往记录。中间存在着一个空白地带，而这个空白地带，正是公民受到伤害的地方。
最终奏效的方法：让系统去挣得开口说话的权利
改变了一切的那次重新构想，是决定把系统的默认状态设为沉默，而不是一个答案。
我们没有去要求模型更准确，而是把它构建成：除非某项法律主张被绑定到一条具体的、经过检索的法定条款上，否则它在物理上就无法发出这项主张。生成步骤是受约束的：当系统生成一句关于法律允许什么的话时，那句话必须携带一条可追溯的引证，指向它所出自的那一确切法典条款，并在生成之后对照原文加以核实。如果模型想说“你可以拒绝一张住房券”，而没有任何条款支持它——或者更糟，有一条条款与之相悖——那么这项主张就无法通过。系统会表示它无法回答那个问题，并把这个人转接给一位真人。
这就是我们在Veriprajna所构建之物的整套理念，你可以在veriprajna.com/solutions/government-municipal-ai看到完整的架构：每一条回复都追溯到一条具体的法条，否则系统就保持沉默。我们宁愿它回答更少的问题、却无法违法，也不愿它什么都回答、偶尔却让整座城市背上一笔二十五万美元的歧视罚款。
操作的顺序很重要。首先，把杂乱的市政语料重建成一个结构化的、分层级的知识库，让它知道哪些条款凌驾于哪些条款之上——这是一个绝非微不足道的难题，恰恰是因为那些条款是按各部门互不协调的时间表修订的，所以那张“凌驾关系图”本身也在不断漂移。然后再针对它进行检索。接着——而这正是所有人都跳过的那一步——去约束生成过程，让输出在机制上被牢牢拴在检索到的内容上，并配以一道验证环节，剔除任何站不住脚的主张。然后保留一份审计追踪记录，这样当一位监管者或原告律师追问系统为何说出它所说的话时，那里有一份记录指向一条法条，而不是对模型权重耸耸肩了事。
一个有用的副作用：一个能为每个答案都出示其引证的系统，是一个你真正能够为之辩护的系统。这份审计追踪不是合规的表面文章。它是“AI是这么说的”与“这就是答案所出自的那个§条款”之间的区别。
“可这不会让它变得更没用吗？”
人们不停地这样问我，而这是一个正确的问题。是的——一个强制引证的系统，比MyCity回答的问题要少。在一个话更多的机器人本会乐呵呵地胡编一通的地方，它有时会说“我无法就此给出建议”。这感觉像是一种倒退，直到你想起MyCity每一个多出来的答案都是一份法律责任，而不是一项服务。
我听到的另一件事，是关于采购时钟的，而这是整个领域里最被低估的风险。政府AI的存亡并不取决于模型质量；它的存亡取决于能否通过授权。FedRAMP和StateRAMP的运营授权流程要走12到18个月，而大多数AI初创公司都撑不过那本ATO授权文件夹，活不到部署那一天。为政府而构建，意味着从第一天起就为那个现实而设计——访问控制、数据隔离保证、审计基础设施——而不是在试点之后再把它们硬装上去。一个在演示中惊艳、却无法通过授权的模型，永远服务不了哪怕一位公民。
接下来还有一个问题：鉴于联邦政府已放出信号，表示它可能会先占各州这一拼凑而成的AI法律体系，这件事究竟还值不值得做。也许它会。但一座城市可没资格拿它居民的小费收入和住房权，去赌一道未来的行政命令会怎么做。MyCity给出的那些建议，在那些与AI监管毫无关系的法律之下就是违法的——劳动法、住房法、消费者保护法，它们比ChatGPT早了数十年。任何先占都无法解决这一点。
我一再回想起的，是The Markup的那张截图：聊天机器人自信的“可以”，紧挨着那条说“不行”的法条。一位不知道答案的人类书记员本会说“让我查一下”或者“你应该问问律师”。我们造出了永远不会那么说的机器，然后把它们放上政府网站，还在它们把人们“建议”进官司里时装出一副惊讶的样子。
当一位居民问起法律允许什么时，政府的职责是要么答对，要么坦诚地承认不知道。这是仅有的两种可接受的输出。一个能生成出流畅、权威的第三种选项——自信地出错——的系统，根本没资格佩戴一座城市的印章。解决办法从来都不是一个听起来更好的模型。而是构建一个知道何时该闭上嘴的模型——而这正是我们为政府与市政AI所构建之物的全部前提。
