AI做法律研究可信吗？恐怕还不行。

问题所在

2023年6月，一名律师向纽约一家联邦法院提交了一份法律简报。简报中引用了多个判例——Varghese v. China Southern Airlines、Shaboon v. Egyptair、Petersen v. Iran Air——案卷号、日期和引文一应俱全。然而每一个判例都是伪造的，全部由ChatGPT凭空编造。

*Mata v. Avianca, Inc.*一案的法官发现这些引用纯属虚构。尽管这些AI生成的判决摘要格式颇具说服力，他仍称其中部分内容为“胡言乱语”。法院处以5,000美元罚款，并要求律师通知其客户。但经济处罚只是损害中最轻微的部分——由此引发的信誉危机登上了国际新闻头条。

更糟的还在后面。当对方律师质疑这些假判例时，这名律师回头去问ChatGPT它们是否真实存在。AI确认了自己编造的谎言，声称这些判例“确实存在”，并且可以在“权威法律数据库”中查到。这就形成了白皮书所称的“幻觉循环”——用于验证的工具与用于生成的工具存在着同样的缺陷。

法院没有采纳“律师不知道AI会编造信息”这一抗辩。法官们现已确立：律师是其技术准确性的最终担保人。如果贵所在法律工作中使用AI，责任就在您身上，而不在软件供应商身上。

为什么这对您的业务至关重要

Mata案并非孤立事件。它暴露了一个结构性问题，影响着每一个将AI用于法律研究、合规或监管工作的组织。

以下数字应当引起您的警惕：

• **58%至82%：**斯坦福大学的研究人员发现，通用型AI聊天机器人在复杂法律问题上的幻觉率正处于这一区间——即便是具备联网功能或基础检索功能的工具也不例外。
• 5,000美元： Mata v. Avianca案中的直接罚款。但真正的代价是名誉扫地，以及涉案律师可能面临的吊销执业资格风险。
• **高达30%-35%：**在多步法律推理任务上，先进的基于图谱的检索系统与标准的基于向量的系统之间的性能差距。

这些风险将从三个方面冲击您的业务：

• **执业过失责任。**贵所须为诉状中每一条AI生成的引用承担法律责任。对于无法证明自身拥有严格AI治理体系的律所而言，执业过失保险的费率很可能上涨。
• **监管风险。**各地法院正在发布常态命令，要求强制披露AI的使用情况。如果您的工具无法解释自己的推理过程，那么还没触及案件实体，您就已经面临合规失败。
• **客户信任。**客户将越来越多地问您：“你们用的是哪款AI？”回答“ChatGPT”——或者任何套在通用模型外面的浅层封装——都表明您没有认真思考过准确性问题。在企业级法律工作中，这样的回答正变得不可接受。

对您损益表的底线影响是：如果律师必须人工核验每一条AI生成的引用，那么当初证明这笔AI投资合理性的效率收益便不复存在。

底层究竟发生了什么

要理解Mata案为何发生，您需要了解大语言模型（LLM）工作方式的一个关键事实：它们预测序列中的下一个词。它们不搜索图书馆，不查询数据库。它们只是依据统计规律生成听起来正确的文本。

可以把它想象成手机上的自动补全——只不过扩展到了整个段落。当您键入“See you at the”，手机可能会建议接“meeting”。LLM做的事情一模一样，只是规模巨大得多。当被问及一起航空公司在途伤害案时，它并不会去检索真实判例，而是按照法律引用应有的样式拼装出一段回答。“Varghese”是一个统计上看似合理的原告姓名，“China Southern Airlines”是一个看似合理的被告。但两者之间的关系只是数学上的虚构，而非法律上的真实。

业界的第一个补救方案是所谓的检索增强生成（RAG）——一种在AI生成回答之前先向它投喂真实源文件的方法。标准RAG把法律文档存储为数值向量，并检索与您的问题在语义上相似的文本块。这有所帮助，但也带来了新问题。

基于向量的检索只要字面相似，就会把异议意见与多数意见一视同仁。它无法判断某个判例是否已被推翻。它孤立地检索单份文档，因此会遗漏制定法、解释该制定法的法规以及适用该法规的判例之间的关联。研究表明，当LLM收到长篇的检索文本列表时，它会关注开头和结尾的信息，而忽略中间的内容。而在法律工作中，关键的例外往往恰恰埋在第15个检索到的判例文本块里。

一个只有80%的概率检索到正确判例的系统，在其余20%的时间里就是一项执业过失风险。

什么有效（什么无效）

三种常见方法在高风险法律AI场景中都会失灵：

• **更好的提示词。**提示词工程可以改变AI输出的风格或格式，却无法注入模型本身不具备的知识，也无法强迫模型对照它访问不到的数据库核实事实。
• **封装类应用。**这类应用是架设在OpenAI等API之上的薄层界面。它们或许会加一条系统提示词，宣称“你是一名称职的律师”，但这既不能接入经过验证的判例法数据库，也无法阻止AI凭空捏造引用。
• **仅靠标准向量RAG。**它能减少纯粹的凭空编造，却捕捉不到法律的层级结构。它不知道一个判例推翻了另一个判例，也不理解管辖权。只要文本与查询匹配，它就会把已废止的制定法当成现行有效的制定法。

真正有效的是一种名为Citation-Enforced GraphRAG的方法——它把法律依据映射进一张经验证的知识图谱，并从物理上阻止AI生成虚假引用。它的工作原理分为三步：

1. **输入：构建地图。**每一部制定法、每一部法规和每一个判例都成为知识图谱中的一个具体节点——知识图谱是由法律实体及其关系构成的结构化网络。节点之间的边承载含义：“推翻”“解释”“维持”“区分”。这不是一堆文档，而是一张经验证的法律关联地图。

2. **处理：约束AI。**在文本生成过程中，约束机制会将AI试图产出的每一条引用与知识图谱比对。如果AI试图输出“Varghese v. China Southern”，系统会检查图谱；发现该判例并不存在后，便彻底阻断这一输出。对于不在经验证数据库中的判例，AI在物理上无法生成对应的词元序列。这使您的系统从概率性的准确升级为结构性的强制保障。

3. **输出：展示推理过程。**当系统确实引用了某个判例时，它会给出精确的遍历路径——从哪部制定法出发、哪些判例对它作了解释，以及这些判例是否仍是有效法律。如果某个判例已被推翻，图谱会在生成开始之前就给它打上“红旗”标记，并将其从AI的上下文中移除。

这正是您的合规团队应当重点关注的地方。每一条引用都附带审计轨迹。您的律师不仅能看到AI选择了某个判例，还能看到它为什么选择这个判例。系统能够证明自己已核查过负面援引情况——相当于数字版的Shepardizing——并确认相关法律依据仍然有效。这套提供 接地、引用与验证 能力的中间层让每一项输出都可追溯、有据可循。

对于身处 法律与专业服务行业的组织而言，这一架构还支持把内部政策映射到外部法规。图谱可以将合规手册中的具体段落与其所针对的法规条文精确关联起来，从而生成经得起审计的自动化、可验证合规矩阵。

混合方案——用向量搜索查找相关文本，再用基于图谱的验证确认法律效力——让您兼得广度与精度。您的 解决方案架构 既能获得AI的流畅表达，又不必沾染其凭空编造的倾向。

随着法律AI迈向能够规划并执行多步研究任务的自主智能体，基于图谱的结构将成为不可或缺的基础设施。智能体需要一张法律世界的地图来推演复杂问题。向量数据库给它们的只是一堆文档；知识图谱给它们的才是地图。

如需深入了解技术架构，请 阅读完整技术分析 ，或 探索交互式版本。