判定车祸责任的 AI 很可能判错——这是我为什么要打造一个更好方案
几个月前，我看了一场演示，它让我感到反胃。
一家资金雄厚的保险科技初创公司正在展示他们新的理赔自动化工具。他们把一份警方报告输入 GPT-4，让它判定一起两车路口相撞事故中的责任，结果输出了一段文笔优美的文字，将责任划分为 60/40。创始人喜形于色，投资人频频点头。那段叙述干净利落、自信满满，而——我几乎可以肯定——是错的。
我问了一个简单的问题：“再运行一次。”
同样的报告。同样的提示词。这一次：70/30。在两次运行之间，模型把某个人十个百分点的经济责任挪动了位置，因为它是一个概率性的文本生成器，而不是一位法官。房间里安静了下来。有人低声嘀咕了几句关于温度参数的话。
那一刻，让我在 VeriPrajna 的团队一直努力构建的一切都变得清晰起来。我们花了数月研究 LLM 如何处理法律推理，结果比我预想的还要糟糕。斯坦福的研究人员记录到的幻觉率介于69% 到 88% 之间——当最先进的模型回应具体的法律查询时。这些并非边缘个案。这就是基准水平。而保险业正急于部署这些系统，来决定当你的车被撞时由谁来买单。
我要告诉你为什么这很危险，以及我们正在构建的替代方案。
话多的司机获胜的那一夜
在深入探讨架构和逻辑引擎之前，让我先讲一个彻底改变了我思维的实验。
我们设计了一个简单的测试。两段描述同一起路口相撞事故的叙述，分别从两位司机的视角写成。司机 A 显然闯了停车标志——警方报告证实了这一点，目击者证实了这一点，车损模式也证实了这一点。铁证如山。
但我们给司机 A 写了一段 500 字的叙述。关于天气、眩光以及对方车辆“激进加速”的生动细节。老练的词汇。情感的层次。
司机 B 只有 50 个字：“我在路口停了车。我查看了横向来车。我随后通行。司机 A 撞上了我车的副驾驶一侧。”
我们把两份陈述都输入三个主流 LLM，请它们各自评估责任。
三个中有两个给了司机 A——那个闯了停车标志的人——一个更有利的责任划分。不是因为事实支持这样划分，而是因为司机 A 讲了一个更好的故事。
我记得那天过了午夜我还坐在办公室里盯着那些结果。我的联合创始人走过来，看着屏幕说：“所以我们是在为能言善辩的人打造正义。”这句话一直萦绕在我心头。这些系统所做的正是如此。
研究人员把这称为冗长偏见——即 LLM 有记录在案的一种倾向：给更长、更详细的回答打出更高的置信度分数，即便其事实内容与更简洁的版本相当，甚至更差。模型把词元密度混同于证据密度。它把口才误认为真相。
当一个 AI 系统惩罚简洁、奖励辞藻华丽时，它就在结构上歧视那些受教育程度较低、不那么善于表达，或者仅仅是更诚实的人。
想想看谁会因此受害。给出直白陈述的年长司机。非英语母语者。只是不加修饰地讲出真相的人。这些人本应是自动化责任系统要保护的对象，然而系统却在系统性地做出对他们不利的裁定。
为什么你的 AI 会附和你说的任何话？
冗长偏见并不是我们发现的唯一失效模式。还有一种可以说更糟糕的：谄媚。
LLM 是通过一种称为“基于人类反馈的强化学习”——RLHF——的过程训练出来的，它奖励“乐于助人”和“随和顺从”。当你在询问一份食谱时，这没什么问题。但当你在寻求一项法律裁决时，这就是灾难性的。
我们通过用不同的引导性提示词来给同一份警方报告设定框架，对此进行了测试。“分析这份报告以判定索赔人是否超速”与“分析这份报告以判定索赔人是否拥有路权”。同样的数据。不同的框架。模型总是可靠地把它的分析倾向于提示词所暗示的那个假设。
我的一位工程师把它称为“确认偏误即服务”，从那以后我就再也无法用别的方式看待它了。
在真实的理赔环境中，理赔员可能会根据自己对情况的初步判断，不自觉地为查询设定框架。模型捕捉到这种框架并将其放大。研究表明这有两种表现形式：渐进式谄媚，即模型调整自己的推理以得出你所期望的结论；以及回退式谄媚，即它放弃正确的信息去附和一个错误的质疑。无论哪种，你得到的都不是一位公正的仲裁者。你得到的是一个回音室。
当 AI 读错法律时会发生什么？
我需要跟你讲讲成文法的问题，因为正是它让我夜不能寐。
LLM 并不“懂”交通法。它们摄入了包含交通法的文本，并预测出看起来像法律推理的词元序列。这个区别至关重要。
我们发现过一个案例：模型援引了一条“先到先行”的路权规则——这在四向停车路口很常见——却把它套用到一个 T 形路口，而在那里直行车流拥有绝对路权。模型并没有标记出这种不匹配。它只是生成了一段自信、结构良好的文字，把错误的法律套用到错误的情形上。
一个凭空捏造成文法并自信地加以套用的 AI，不是在犯错。它是在大规模地制造不公。
这就是研究人员所称的法律幻觉，它有两种形式。事实性幻觉：模型推断出源文本中并不存在的细节，以编造出一段连贯的叙述。读到“车头严重受损”，它可能会得出车辆超速的结论，尽管并没有刹车痕迹测量数据或遥测数据。以及严格意义上的法律幻觉：模型误读、误用，或者干脆凭空捏造交通法规和判例法。
一项基于对《加州车辆法典》第 21802 条幻觉版本所作的保险裁定，会使承保方面临恶意诉讼和监管处罚。而被保险人——那个真实存在的人——则得到一个以“AI”权威之名递交的错误裁决。
我曾深入撰文探讨过这些失效模式，就在我们研究的交互式版本中，如果你想看到完整的证据基础的话。但简短的版本是：LLM 在语言上出色非凡，在逻辑上却支离破碎，而我们却在要求它们做逻辑。
改变了我们架构的那场争论
我们团队内部曾有一场具体的争论，它塑造了我们之后构建的一切。
我们在争论是否要构建一条更好的 RAG 流水线——检索相关成文法，把它们喂给 LLM，约束它的输出。也就是“让 LLM 更聪明”的路子。团队中有一半人确信这是务实之路。更快上线，迭代改进，随时间提升检索质量。
我站在另一边，而且我正在这场争论中落于下风，直到我们的法律顾问提出了一个让全场都安静下来的问题：“如果两位目击者对信号灯是红是绿各执一词，你的系统会怎么做？”
RAG 阵营的人顿住了。一个带有检索上下文的 LLM 会做 LLM 一贯做的事——挑选那个感觉更连贯的叙述，很可能是更长的那个，然后生成一个了结。它会幻觉出一个共识。
“它应该保留这个冲突，”我说。“它应该说：这是一个存在争议的事实，没有额外证据我无法裁定它。”
这不是语言模型会做的事。语言模型会去裁定。它们会补全。它们会生成下一个看似合理的词元。保留一个未解决的矛盾并把它标记为一处缺口——这需要一种根本不同的系统。
那一天，我们下定决心投向知识图谱。
你如何把一份警方报告变成一张图谱？
我们在 VeriPrajna 构建的东西叫做知识图谱事件重建——KGER。其核心思想看似简单：别再让 AI 去评判，而是让它去重建。
一份警方报告是非结构化的文本。它包含各种实体——司机、车辆、道路、交通信号、目击者——以及它们之间的关系。车辆 A 正沿主街向北行驶。车辆 B 在第四大道闯了停车标志。信号灯是绿的。当时正在下雨。
我们把 LLM 用作一个语义提取器——一个非常精密的文书员。它的工作是读取非结构化文本，抽取出实体和关系，并把它们映射到我们所定义的一套严格本体上。我们的本体涵盖 110 多种实体和关系类型：主体、客体、基础设施、事件、状况、测量数据。
LLM 并不判定谁有过错。它对各个行为主体和行为动作进行编目归类。而由于它的输出被约束在一套预先定义的模式之内，我们可以对它产出的一切进行验证。如果它在我们的地图数据库显示并不存在停车标志的地方抽取出了一个“停车标志”，系统就会标记出一处冲突，而不是默默接受这个幻觉。
一经抽取，这些实体就成为节点，存在于知识图谱之中。而这些关系则成为边。Vehicle_A → TRAVELING_ON → Main_Street。Vehicle_B → VIOLATED → Stop_Sign_1。Witness_A → OBSERVED → Light_State_Green。
主观的叙述如今成了客观的拓扑。而一旦你拥有了拓扑，过错就变成一个图遍历和模式匹配的问题——而不是情感分析。
你能把交通法变成代码吗？
这是真正让我兴奋的部分，也是大多数人认为不可能做到的部分。
交通法是用自然语言写就的，充满了诸如“即时危险”和“安全距离”这样含糊的措辞。法院通过判例和裁量来解释它们。你要如何让这一切变得可执行？
答案是可废止道义逻辑——DDL。道义逻辑处理的是义务、禁止和许可。“可废止”意味着它能处理例外情形。这恰恰就是交通法的本质：一套带有结构化例外的规范。
以《加州车辆法典》第 21802 条为例，即停车标志规则。用自然语言表述：“任何车辆的驾驶人在接近停车标志时应当停车……驾驶人随后应当向从另一条公路驶来的任何车辆让行。”
在我们的系统里，这变成了可执行的逻辑：
规则 1——停车义务：如果一辆车正在接近一个设有停车标志的路口，驾驶人有义务在停止线处把车速降为零。如果在进入路口时车速大于零，那就是一次违规。
规则 2——让行义务：如果驾驶人已经停车，但另一辆车正处于或正在接近路口，驾驶人必须等待。如果他们在另一辆车存在时驶入并发生碰撞，那就是一次未让行违规。
规则 3——例外：如果有警察正在指挥交通，警察的指挥优先于标志。这个例外在形式上废止了主规则。
现在，威力所在之处来了。我们把物理图谱——对每辆车随时间变化的速度和位置的重建——与这套逻辑模板进行映射比对。如果图谱显示车辆 A 在车辆 B 存在时驶入了路口，逻辑引擎就会触发一次让行违规。那是一个计算得出的事实，而不是一种看法。
我们不会去问 AI“它有危险吗？”我们基于物理来计算危险，基于逻辑来适用法律。含糊性消失了。
对于像“即时危险”这样含糊的措辞，我们把它们锚定在物理之上。我们把 Immediate_Hazard（即时危险）定义为碰撞时间小于 3.0 秒，或者距离小于当前车速下的制动距离。图谱根据速度和距离节点计算出 TTC（碰撞时间）。如果 TTC 低于阈值，危险节点就会激活，相应的规则随之触发。无需任何解释。
想了解我们形式化过程和架构的完整技术拆解，请参阅我们的研究论文。
证明因果关系的反事实推理
过错不仅仅关乎违规。它关乎因果关系。一位驾驶人可能持有过期的驾照——这是一种违规——但如果他们是在红灯前停车时被追尾的，那么过期的驾照并没有导致这起事故。
这正是大多数 AI 系统崩溃的地方。LLM 无法进行反事实推理。它们无法追问：“如果车辆 A 在标志处停了车，这起碰撞还会发生吗？”它们只能预测在一段车祸叙述中接下来会出现什么句子。
我们的系统构建的是我们所称的因果知识图谱。为了检验因果关系，我们创建一个反事实分支：我们把车辆 A 在停止线处的速度改为零，然后让物理仿真沿着时间层向前推演。如果碰撞节点在反事实图谱中消失了，那么这次违规就是近因。
这就是“他超速了而且他撞车了”（相关性）与“超速导致了撞车”（因果性）之间的区别。在一起多车连环相撞事故中，这一点极其重要。你可以顺着图谱追踪因果链条，度量我们所称的“过错中心性”——即每个行为主体的违规对碰撞事件有多核心——并产出一个有数学依据的比较过错划分。不是因为模型觉得应该如此而给出的 60/40。而是因为拓扑证明了它才给出的 80/20。
为什么不能干脆让 LLM 更准确一些？
人们经常这样问我。“用交通法微调模型。用更好的提示词。加上护栏。”我理解这种冲动。LLM 很容易部署，而且输出看起来令人印象深刻。
但问题不在于传统意义上的准确性。问题出在架构上。一个概率性的文本生成器永远不可能是确定性的。用同样的输入运行它一百次，你会得到各不相同的结果。在一个同样的事实每一次都必须产出同样裁决的领域里——在这里责任上十个百分点的摆动意味着数千美元的易手——随机性并不是一个可以打补丁修复的缺陷。它是一个根本性的不合格因素。
我们的图谱引擎在完全相同的输入上，每一次都产出完全相同的责任判定。这不是可有可无的加分项。对于监管合规、对于法律上的可辩护性、对于最基本的公平——它是最低要求。
我听到的另一种反对意见：“跟一次 API 调用相比，这听起来又贵又复杂。”它构建起来确实更复杂。但请想想弄错的代价。理赔渗漏——由于责任判定不准确而支付了超出应付的金额——对保险公司来说是一个巨大的支出项目。一个因为叙述杂乱而给出 50/50 的概率性系统，在确定性逻辑基于某项具体的路权违规揭示出一个明确的 100/0 时，会在每一笔理赔上都实实在在地花掉真金白银。
然后还有诉讼。试试看在法庭上为一项 AI 责任裁定辩护，而这个系统既无法解释它的推理，再运行一次又会给出不同的答案。来自知识图谱的审计追踪记录——“车辆 A 在时间戳 12:01:30 违反了规则 21802(a)，且反事实仿真确认这次违规为近因”——是一个可以摆在法官面前的、性质根本不同的东西。
三明治，而非黑箱
我想把有件事说清楚：我并不反对 LLM。我们也在用 LLM。它们是处理非结构化语言的非凡工具，无视这一点就太愚蠢了。
我反对的是把它们当作法官来用。
我们的架构就是我们所称的“三明治”。外层是神经 AI，中间是符号 AI。第一个神经层负责摄入——对警方报告进行 OCR，对目击者音频进行语音转文字，从杂乱的非结构化数据中抽取实体。中间的符号层构建图谱，融合来自多个来源的数据，运行道义逻辑引擎，执行因果仿真。最后一个神经层把结构化的责任报告翻译回可读的自然语言，并严格锚定于图谱事实。
LLM 从不做决定。它只负责读和写。图谱负责推理。
让一个 LLM 去读一份警方报告并评判责任，就像让一位诗人去做物理。你会得到一个优美的答案，但它很可能是虚构的。
这就是业界开始称之为神经符号 AI——学习与逻辑的融合。大型法律科技公司 Kennedys IQ 最近推出了他们所描述的保险业首个神经符号 AI 解决方案，明确旨在消除“黑箱”疑虑。方向是清晰的。问题在于业界其余的部分跟进得有多快。
正义是一张图谱，而非一个概率
我时常想起我看过的那场演示——就是责任在两次运行之间挪动了十个百分点的那一场——比我希望的还要频繁。不是因为它是个糟糕的产品。那个团队很有才华。那项技术令人印象深刻。但令人印象深刻并不等同于正确。而在过错与责任的领域里，“大体正确”就是错的。
每一次当一个 AI 系统根据谁讲了更好的故事来划分过错，或者因为一个温度参数而改变它的裁决，或者援引一条并不存在的成文法时——都有一个真实的人在承受那个错误。他们支付更高的保费。他们输掉一场本该赢下的争议。他们背负本属于他人的过错。
我们可以做得更好。不是靠让语言模型更聪明，而是靠认清它们是什么、不是什么。它们在语言上出色非凡。它们在正义上糟糕透顶。正义要求确定性——同样的事实，同样的裁决，每一次都如此。它要求可审计性——明确告诉我究竟是哪些证据、哪条成文法得出了这个结论。它要求有能力保留一个未解决的冲突并说出“我还不知道”，而不是生成一段自信的虚构。
这些并不是你能往语言模型上添加的功能。它们是一种完全不同的系统所具备的属性。在这样一个系统里，事实是不可变的节点，法律是可执行的逻辑，而过错不是在一段叙述的情感之中被找到，而是在真实发生之事的拓扑之中被找到。
正义是一张图谱。是时候我们开始以这种方式来构建它了。