为何更好的模型仍无法让 AI 法律书状安全提交,以及我在打造以诚实弃权为最佳特性的核验层时学到了什么。
Legal TechArtificial IntelligenceAI Governance

案件是真的。我仍不能让 AI 为它们背书。

Ashutosh SinghalAshutosh Singhal2026年6月20日15 min

第一次看着自己的工具拒绝给三起真实的最高法院判例盖章认可时,我确信它坏了。

我在跑一份自己标注为「先例误用」的示例书状。它引用了Erie Railroad v. Tompkins,304 U.S. 64,来证明存在一套统一的联邦普通法,而这几乎正好与Erie实际所持的立场相反。它还倚仗Celotex Corp. v. Catrett,477 U.S. 317,以及Baker v. Carr,369 U.S. 186,来支撑判决意见本身并不支持的主张。这些案件每一个都是真实的。我本以为我的支持核查会把它们标红,盖上无依据,然后了结此事。结果三起都带回了更安静的裁定:需要复核。我的第一反应是:语言模型连最简单的部分都搞砸了。

我花了一整个令人尴尬的漫长夜晚才明白:出问题的是那个直觉,而它出在我身上,不在系统里。

CiteGuard 实时活动控制台显示确定性流水线各阶段亮起,Erie Railroad 引文被路由到「需要复核」,并注明模型提供建议,而由确定性门禁与人工裁定。
运行中的「先例误用」书状。控制台显示各阶段(抽取、对照判例库落地、支持核查、策略门禁、证书),并对 Erie 的支持核查路由到「需要复核」,附带一行字:「模型建议,确定性门禁加人工裁定。」它没有对一起自己无法从判决文本证伪的真实案件虚张声势地给出红色裁定。

在对Erie的微妙误读上盖一个自信的「无依据」印章,那会是在虚张声势。判决意见很长,误用属于法律判断问题,模型无法从片段文本以红色裁定所暗示的那种确定性去确立否定结论。诚实的做法——也是我无意中建好、又差点在沮丧中编码抹掉的做法——是把它连同相互矛盾的上下文一起路由给人工。弃权不是失败。弃权才是全部意义所在。如果你想亲眼看它如何裁定,它在这里:veriprajna.com/zh-Hans/demos/legal-ai-citation-verification.

这篇文章谈的是我一开始抱有的那个假设——眼下几乎每个在做法律 AI 的人都共享——以及搭建演示如何缓慢、具体地把它拆解。那个假设是:幻觉问题会由更好的模型来解决。我不再这么认为,并不是因为我怀疑模型会变好。

我试图让一个模型去监管另一个模型的那一周

我花了大约一周时间,试图让一个语言模型成为另一个语言模型的可信裁判,我想老实说:那没有奏效。

这个安排看起来合情合理。某个模型起草书状,不管是 Harvey、Lexis Protégé 还是开源模型,用哪个无所谓。然后第二个模型对照引文指向的判例去读每一处引用,并裁定判决意见是否支持该主张。两个模型,干净利落的核对,这种架构能过设计评审。我真心以为裁定这一步会是容易的部分。恰恰是这一步稳不住。

失败并不喧哗,正因如此才危险。我会把同一份书状跑过支持核查三次,得到两次「需要复核」和一次自信的放行,输入毫无变化。在Bell Atlantic Corp. v. Twombly引文上,550 U.S. 544,一起真实案件,模型有时裁定判决意见明确确立了所引主张,有时又裁定并不完全如此。两种读法都站得住。这正是问题所在。一个无法复现的裁定,就不是裁定。那是披着法袍的第二意见。

我在要求一个概率系统去充当另一个概率系统的确定性门禁,还把结果叫做核验。

那不是核验。那是两个模型达成一致,而这是一种更弱、也摇摆得多的东西。如果你之所以需要核对,是因为第一个模型的输出不能按表面价值信任,那么第二个模型的输出就不能成为你用来核验它的依据。我建了一座镜厅,还差点给它贴上合规标签。另一端的法院并不在乎两个模型各自有多自信。它在乎的是案件是否存在,以及它是否说了你所声称的内容。那是两个问题,而我一直把它们当成一个。

哪个更危险:伪造的案件,还是被用错的真实案件?

搭建过程中让我惊讶的是:这两种失败需要完全不同的机制,而业界大多只交付其中一种。

伪造的引文,说来奇怪,反而是比较友好的失败。Halstead v. Ferngate Holdings,823 U.S. 1199,出现在其中一份示例书状里,被极其流畅地引用,主张惩罚性赔偿被一概禁止。它并不存在。《美国判例汇编》没有第 823 卷。你可以确定地证明这一点,不是去问模型它怎么想,而是去查询真实判例库并得到零结果回查。那是对照权威做算术,不是判断。这种事本该由代码来裁定,而且每次都同样裁定。

CiteGuard 对「混合动议」书状的核验记分板,显示一处引文已验证、一处伪造、两处需复核,包括 Miranda 标绿已验证、伪造的 823 U.S. 1199 被标红捕获,以及 Brown v. Board 标为超出覆盖范围。
一份书状,四种诚实结果并列。Miranda v. Arizona,384 U.S. 436,因判决文本确立其判决要旨而标绿放行。Halstead,823 U.S. 1199,经实时零结果回查被标红捕获为伪造。Brown v. Board,347 U.S. 483,是一起真实案件但不在缓存子集中,因此标为「超出覆盖范围」而非虚假验证。门禁显示「请勿提交」。

危险的失败是把真实案件引用到错误的主张上。Erie是一起真实、著名、格式正确的引文。世上每一个伪造过滤器都会放行它,恰恰因为它不是伪造的。卷次存在,页码存在,判决意见存在。错的是所引案件与其前那句话之间的关系,而这种关系是法律阅读问题,不是存在性问题。来源匹配核查把「这个案件是真的」和「这个案件支持我的主张」当成同一事实。它们根本不是一回事。

于是人们引用的法律 AI 数字开始说得通了。即便是专用工具,幻觉率也应该让你冷静下来:斯坦福 RegLab 研究发表于Journal of Empirical Legal Studies,2025,其中 Westlaw Precision 为 33%,Lexis+ 为 17%。到 2026 年初,已有 1,222 起有记录的涉及 AI 幻觉引文的法院案件,法院已开始制裁,包括 2026 年 3 月第六巡回上诉法院开出的 30,000 美元罚金。伪造至少是你还能想象去抓住的失败。真实但被误用的引文,则看起来像尽职核查,直到法官读了你引用的判决意见,发现它说的恰恰相反。

伪造的案件是你可以证伪的谎言。为错误判决要旨引用的真实案件,则是能通过所有为抓第一种谎言而建的测试的谎言。

我为什么把引擎拆成两半

在我接受它们是不同工作的那个晚上,我不再试图让一个系统同时干两份活。

存在性核查与伪造捕获变成了对真实判例库运行的确定性 Python。没有提示词,没有温度,没有「作为一名 AI 语言模型」。拿到引文,在独立权威中查找,若案件确实不存在,那就是伪造,可证明,且永远无法通过门禁。最后那一句话,是我愿意直截了当陈述的唯一保证,因为它是单元测试过的不变量,而不是希望:零伪造引文可通过策略门禁。有一个测试正是以此命名,它属于已构建演示上全部通过的 8 项中的一项。

CiteGuard 真值语料面板列出从 CourtListener 精选的真实最高法院判决,包括 Ashcroft v. Iqbal、Terry v. Ohio、Whitman v. American Trucking 和 Chevron,并注明存在性与伪造核查也会实时查询 CourtListener。
整个系统所倚仗的独立权威。二十起从公开判例库 CourtListener 精选的真实判决,存在性与伪造核查也在请求时实时命中 CourtListener。核验器把每一项主张锚定在起草书状的模型之外的东西上。正是这种独立性,让伪造裁定成为事实而非意见。

支持核查仍保留为单步语言模型,因为判断一份真实判决意见是否支持某项主张,本质上就是阅读任务,而模型是不错的阅读者。但我给了它明确的弃权许可,并不再把弃权当成缺陷。当它无法在判决文本中锚定该主张时,它会路由给人工,而不是猜测。模型建议。确定性门禁与律师裁定。搭建过程中我不断重复两句话。一句是智能体建议,代码裁定。另一句是:我不会让一个 LLM 成为另一个 LLM 的最终裁判。

我想把这个拆分说清楚,因为诱惑在于把它糊成比实际更大的承诺。确定性部分——存在性、伪造、超出覆盖范围,以及门禁——是精确且可复现的。支持核查不是。它是非确定性的,而且按设计,只有当判决文本明确确立该判决要旨时,它才会把引文标绿放行,就像Miranda v. Arizona,384 U.S. 436,在羁押讯问警告上那样;否则就把引文送去复核。具体哪些真实引文标绿放行、哪些路由给人工,可能因每次运行而不同。这不是我在掩饰的毛边。这是问题的诚实形态,而假装不是,恰恰是我试图对抗的那种做法。

「8 项全过」实际被允许意味着什么

我在数字上对自己有一条规矩,因为我在建的公司叫 Veriprajna,意为真智慧,这样的名字本身就是对夸大其词的持续挑战。

演示里有证明数字,它们含义很窄。8 项离线单元测试全部通过,包括证明伪造引文无法通过门禁的那一项,以及证明不可达权威被当作未证成而非伪造的那一项。有20 起真实案件从 CourtListener 缓存下来,作为本地真值。它们描述的是已构建演示的范围。它们不是对你的书状或开放世界的宣称。伪造保证之所以权威,是因为它查询实时判例库,而缺失的案件是事实。支持核查裁决是在小规模真实案件上演示的,我不会把它吹成普遍准确率数字,因为它不是。

下面这句话我拒绝缩短,尽管更短的版本会更好卖。没有伪造引文的书状,并不自动就安全可提交。只要还有一处真实引文仍需人工确认使用正确,门禁就会把提交停在未达提交就绪,而且理应如此。我见过人们想要相反的结果,想让看起来干净的书状凭自身拿到绿灯。那正是让律师被制裁的那种直觉。

CiteGuard 对自定义书状的引文核验证书,显示 Terry v. Ohio 与 Strickland v. Washington 被路由到「需要复核」,引文 921 U.S. 77 标为伪造,并带有「未达提交就绪」横幅与「导出证书」按钮。
门禁生成的已签名审计证书。在这份自定义书状上,Terry v. Ohio,392 U.S. 1,与 Strickland v. Washington,466 U.S. 668,是被路由到「需要复核」的真实案件,921 U.S. 77 被捕获为伪造。横幅写着「未达提交就绪」,证书记录每项裁定、CourtListener 来源、模型或「deterministic」字样,以及 UTC 时间戳。这正是常设令所要求的证据。

那份证书对我来说比任何准确率百分比都重要,这也是为什么确定性与非确定性部分必须保持分离。可复现性让裁定可被认证。我可以把回执交给你。这处引文对照 CourtListener 核查过,该卷次不存在,裁定为伪造,门禁拦住。你可以重跑并得到完全相同的结果。LLM 裁判,即便是好的,也无法向你承诺这一点,而我亲历过那个晚上:三次运行、三个不同答案。我不会在抛硬币之上搭建合规记录。

我还要直说,因为我坚持的标准要求如此:这是核验层,不是研究工具。它不起草书状,也不查找案件。它不与 Harvey、Westlaw 或 Lexis 竞争。它环绕它们产出的任何内容,告诉律师什么可以安全提交,以及究竟什么需要人工。超出公开判决片段的全文落地需要免费的 CourtListener token,演示中的文档管理连接器是模拟的,PDF 证书等少数功能被延后。真实存在的是机制:核查、弃权、确定性门禁与审计轨迹,全部对着真实判例库运行。

弃权难道不就是模型在躲避艰难裁定吗?

几乎每次谈话我都会听到某种版本的这个问题,通常来自工程师,而我的回答随时间变得更短、也更确定。

不。弃权才是艰难裁定,而且是诚实地做出的;拒绝做出它,才是真正的躲避。诱人的替代方案是一个对每处引文总是返回干脆裁定——绿或红——的系统。演示效果极佳。那也是在说谎,因为有些引文确实无法从现有文本有把握地裁决,而一个从不承认这一点的系统,是在制造它并不拥有的确定性。高风险 AI 能做的最有价值的事,是告诉你它自身的判断力在哪里耗尽。在一个自信地出错会让客户被制裁的领域,一句校准过的「我不确定,需要人工来看」比流利的猜测更有价值。

这就是为什么我认为这项工作会比当前这一代模型活得更久。业界不断用下一代模型承诺幻觉问题会消失。就算全盘承认——更大的上下文、更干净的训练、更低的伪造率。一个从不编造案件的完美模型,仍会乐呵呵地为一则它并不支持的主张引用真实案件,因为在草稿内部,那句话读起来为真,也正是你所要求的。「这个案件存在」与「这个案件支持我的主张」之间的鸿沟,不是规模能弥合的。那是治理问题,而治理是你围绕模型所建系统的属性,不是你等着模型长出来的能力。

法院并不在乎你的模型有多自信。它在乎引文是否存在、是否说了你所声称的内容。那不是更大模型的问题。那是建对层的问题。

监管者已经这样看这件事,这值得好好琢磨。ABA Formal Opinion 512 以及超过 300 份司法常设令,现在要求律师在提交前核验 AI 输出,而只有不到 20% 的律所有任何 AI 使用政策。义务不是「用更聪明的工具」。义务是「证明你查过了」。证明、溯源与诚实弃权,不是更好的起草器能给你的。它们是核验层给你的,而且在任何模型质量下都成立——这正是我认为它们是耐久部分的原因。

提交前我一直自问的问题

我发现,这次构建在我身上改变的东西比论题更小,却持续得更久。

我不再问一份 AI 写出的主张是否为真,因为我往往能回答,而事实证明那还不够。Erie引文在狭义上指向一起真实案件。更难的问题——也是现在任何 AI 起草内容离手之前我会问的——是我能否在此刻证明,这个确切来源支持这个确切主张,以及这份证明能否经得住一个想让它在法官面前失败的人。

那是治理问题,不是模型问题。它不会随着模型变好而变得更容易,因为被问的不是「模型能不能写出更好的句子」,而是「你能不能为这一句站台」。而我自己的系统给我的最有用答案,不是绿色勾选。而是它把一起真实案件停在「需要复核」、逼我这个人去读判决意见的那一刻。如果你想看我落到了哪里,再一次,它在这里:veriprajna.com/zh-Hans/demos/legal-ai-citation-verification.

而如果你宁愿看它跑,也不愿读我描述它,这里是整套端到端运行,用我自己的声音。

所以我想留给你的问题,正是重组了整个构建的那个问题。当 AI 递给你自信又干净的东西时,你是否有一层愿意说「我不确定,需要人工来看」?因为自信很便宜,而在真正承载风险的工作里,可证明的弃权才是产品。

相关研究

同步发布于

满怀信心地构建您的 AI。

与一支在打造新一代企业级 AI 方面拥有深厚经验的团队携手合作。让我们助您设计、构建并部署一套值得信赖的 AI 战略。

Veriprajna 深度科技咨询公司 专注于为医疗健康、金融和监管等领域构建安全攸关的 AI 系统。我们的架构均依据成熟的规范进行验证,并配有完善的合规文档。