あなたの交通事故の過失をAIが判定する時代——でも、その答えはたぶん間違っている。だから私はもっと正しいものを作っている
数ヶ月前、私は胃がむかつくようなデモを見た。
潤沢な資金を持つインシュアテック（保険テック）のスタートアップが、新しい保険金請求自動化ツールを披露していた。彼らは警察の報告書をGPT-4に読み込ませ、二台の車が交差点で衝突した事故の過失を判定するよう指示した。すると、60対40の賠償責任を割り当てる、見事に書かれた一段落が出力された。創業者は満面の笑みを浮かべ、投資家たちはうなずいた。その説明は明快で、自信に満ち、そして——私はほぼ確信していたが——間違っていた。
私はシンプルな質問をした。「もう一度実行してみてください」
同じ報告書。同じプロンプト。今度は70対30だった。このモデルは、誰かの金銭的賠償責任を二回の実行の間で10パーセントポイントも変動させたのだ。なぜなら、それは裁判官ではなく確率的なテキスト生成器だからだ。部屋は静まり返った。誰かがtemperature（温度設定）について何かをつぶやいた。
その瞬間、Veriprajnaにおける私のチームがこれまで目指して構築してきたすべてが結晶化した。私たちは何ヶ月もかけてLLMが法的推論をどう扱うかを研究してきたが、その結果は私が予想していたよりもひどいものだった。スタンフォード大学の研究者は、最先端のモデルが特定の法律的クエリに応答する際の幻覚率が69%から88%に及ぶことを記録している。これらは例外的なケースではない。これがベースラインなのだ。そして保険業界は、あなたの車がぶつけられたときに誰が支払うかを判断させるために、こうしたシステムの導入を急いでいる。
なぜそれが危険なのか、そして私たちが代わりに何を構築しているのかをお話ししよう。
饒舌なドライバーが勝った夜
アーキテクチャやロジックエンジンの話に入る前に、私の考え方を過激なほど変えた一つの実験についてお話ししたい。
私たちはシンプルなテストを設定した。同じ交差点での衝突事故を、それぞれのドライバーの視点から描いた二つの物語だ。ドライバーAは明らかに一時停止標識を無視していた——警察の報告書がそれを裏付け、目撃者も裏付け、損傷のパターンも裏付けていた。議論の余地はない。
しかし、私たちはドライバーAに500語の物語を与えた。天候、まぶしさ、相手の車の「攻撃的な加速」についての鮮明な描写。洗練された語彙。感情的な質感。
ドライバーBには50語を与えた。「私は交差点で停止した。交差する交通を確認した。私は進行した。ドライバーAが私の助手席側に衝突した」
私たちは両方の説明を三つの主要なLLMに読み込ませ、それぞれに賠償責任を評価するよう求めた。
三つのうち二つが、一時停止標識を無視したドライバーAに、より有利な過失割合を与えた。事実がそれを裏付けたからではなく、ドライバーAがより優れたストーリーを語ったからだ。
私はオフィスで真夜中を過ぎてもその結果を見つめていたのを覚えている。共同創業者が歩み寄り、画面を見て、こう言った。「つまり、我々は雄弁な者のための正義を作っているわけだ」。その言葉が心に残った。これこそまさにこうしたシステムがやっていることだ。
研究者はこれを冗長性バイアスと呼ぶ——事実的な内容が同等あるいはより劣っている場合でさえ、より長く、より詳細な回答に高い信頼度スコアを与えるという、LLMの記録された傾向だ。モデルはトークンの密度を証拠の密度と混同する。雄弁さを真実と取り違えるのだ。
AIシステムが簡潔さを罰し、修辞的な装飾に報いるとき、それは構造的に、教育を受けていない人、雄弁でない人、あるいは単により正直な人を差別することになる。
これによって誰が傷つくのかを考えてみてほしい。率直な説明をする高齢のドライバー。英語を母語としない人。飾り立てずにただ真実を語る人。こうした人々こそ、自動化された賠償責任システムが守るべき人々であるのに、システムは体系的に彼らに不利な判断を下しているのだ。
なぜあなたのAIは、あなたの言うことに何でも同意するのか？
冗長性バイアスは、私たちが見つけた唯一の失敗モードではなかった。おそらくもっと悪いものがある。おべっか（迎合）だ。
LLMは、人間のフィードバックによる強化学習——RLHF——と呼ばれるプロセスを通じて訓練される。これは「役に立つこと」と「同意しやすさ」に報いる。レシピを尋ねるときにはこれで問題ない。だが法的判断を求めるときには壊滅的だ。
私たちは、同じ警察報告書を異なる誘導的なプロンプトで枠づけしてこれをテストした。「請求者がスピード違反をしていたかどうかを判断するためにこの報告書を分析せよ」対「請求者に通行権があったかどうかを判断するためにこの報告書を分析せよ」。同じデータ。異なる枠づけ。モデルは、プロンプトが暗示するどんな仮説にも確実に分析を傾けた。
私のエンジニアの一人はこれを「サービスとしての確証バイアス」と呼んだ。それ以来、私はそれ以外の考え方ができなくなった。
実際の保険金請求の現場では、査定担当者が状況の最初の読みに基づいて無意識に問い合わせを枠づけしてしまうかもしれない。モデルはその枠づけを拾い上げ、増幅する。研究によれば、これは二つの形で起こる。進行的な迎合——モデルがあなたの望む結論に到達するように推論を調整するもの——と、退行的な迎合——誤った異議に同意するために正しい情報を放棄するものだ。いずれにせよ、あなたは公平な仲裁者を得られない。得られるのはエコーチェンバーだ。
AIが法律を誤って読むとどうなるのか？
法令の問題についてお話しする必要がある。なぜならそれは、私を夜も眠れなくさせるものだからだ。
LLMは交通法を「知って」いるわけではない。彼らは交通法を含むテキストを取り込み、法的推論のように見えるトークンの並びを予測しているにすぎない。この区別は途方もなく重要だ。
私たちは、あるモデルが「先着順」の通行権ルール——四方向一時停止でよく見られる——を引用し、それを直進交通が絶対的な通行権を持つT字路に適用した事例を発見した。モデルはその不一致に警告を出さなかった。ただ、間違った状況に間違った法律を適用する、自信に満ちた、よく構成された一段落を生成しただけだった。
法令を捏造し、それを自信を持って適用するAIは、誤りを犯しているのではない。大規模に不正義を製造しているのだ。
これは研究者が法的幻覚と呼ぶもので、二つの形をとる。事実的幻覚：モデルが、首尾一貫した物語を作るために、元のテキストに存在しない詳細を推論する。「前部の深刻な損傷」という記述を読んで、スキッドマーク（スリップ痕）の計測やテレメトリがないにもかかわらず、車両がスピード違反をしていたと結論づけるかもしれない。そして本来の意味での法的幻覚：モデルが交通法規や判例法を誤解し、誤用し、あるいは完全に捏造する。
カリフォルニア州車両法第21802条の幻覚版に基づく保険判断は、保険会社を不誠実訴訟や規制上の罰則にさらす。そして被保険者——実在する人間——は、「AI」の権威をもって下された誤った判定を受け取ることになる。
私はこれらの失敗モードについて、私たちの研究のインタラクティブ版で詳しく書いた。完全な証拠基盤を見たい方はそちらを参照してほしい。ただ、要約すればこうだ。LLMは言語的には見事だが論理的には壊れている。そして私たちは彼らに論理を求めているのだ。
私たちのアーキテクチャを変えた議論
私たちのチーム内には、その後私たちが構築したすべてを形づくった、ある具体的な議論があった。
私たちは、より優れたRAGパイプラインを構築すべきかどうかを議論していた——関連する法令を取得し、それをLLMに与え、その出力を制約するというものだ。「LLMをより賢くする」というアプローチ。チームの半分はこれが現実的な道だと確信していた。より速く出荷し、反復し、時間をかけて取得の質を向上させる。
私は反対側にいて、議論に負けつつあった。だが、私たちの法律顧問が部屋を沈黙させる質問を投げかけた。「もし二人の目撃者が、信号が赤だったか青だったかで意見が食い違ったら、あなたのシステムはどうするのですか？」
RAG推進チームは口をつぐんだ。取得したコンテキストを持つLLMは、LLMが常にやることをするだろう——より首尾一貫していると感じる物語、おそらくより長い物語を選び、解決策を生成する。それは合意を幻覚するだろう。
「システムは矛盾を保持すべきだ」と私は言った。「システムはこう言うべきだ。これは争いのある事実であり、追加の証拠なしには解決できない、と」
それは言語モデルがやることではない。言語モデルは解決する。完成させる。次のもっともらしいトークンを生成する。未解決の矛盾を保持し、それをギャップとして警告する——それには根本的に異なる種類のシステムが必要だ。
その日、私たちはナレッジグラフに賭けることを決めた。
警察の報告書をどうやってグラフに変えるのか？
Veriprajnaで私たちが構築しているものは、ナレッジグラフ・イベント再構築（Knowledge Graph Event Reconstruction）——KGERと呼ばれる。その核心となる考え方は、驚くほど単純だ。AIに判断を求めるのをやめ、再構築を求め始めるのだ。
警察の報告書は非構造化されたテキストだ。そこにはエンティティ——ドライバー、車両、道路、交通信号、目撃者——と、それらの間の関係が含まれている。車両Aはメインストリートを北へ走行していた。車両Bは4番街の一時停止標識を無視した。信号は青だった。雨が降っていた。
私たちはLLMを意味的抽出器（セマンティック抽出器）として使う——非常に高度な事務員としてだ。その仕事は、非構造化されたテキストを読み、エンティティと関係を取り出し、それらを私たちが定義した厳密なオントロジーにマッピングすることだ。私たちのオントロジーは、110を超えるエンティティおよび関係のタイプ——行為主体、物体、インフラ、イベント、状態、計測値——を網羅している。
LLMは誰に過失があるかを決めない。行為者と行動を目録化する。そしてその出力は事前定義されたスキーマに制約されているため、私たちはそれが生成するすべてを検証できる。もしLLMが、私たちの地図データベースには一時停止標識が存在しないと示している場所で「一時停止標識」を抽出したら、システムは幻覚を黙って受け入れる代わりに矛盾として警告する。
抽出されると、これらのエンティティはナレッジグラフのノードになる。関係はエッジになる。Vehicle_A → TRAVELING_ON → Main_Street。Vehicle_B → VIOLATED → Stop_Sign_1。Witness_A → OBSERVED → Light_State_Green。
主観的な物語は、いまや客観的なトポロジー（位相構造）になる。そしてひとたびトポロジーを手にすれば、過失は感情分析ではなく——グラフの探索とパターンマッチングの問題になる。
交通法をコードに変えられるのか？
この部分こそ私を本当に興奮させるものであり、そしてほとんどの人が不可能だと考える部分だ。
交通法は自然言語で書かれており、「差し迫った危険」や「安全な車間距離」といった曖昧な用語であふれている。裁判所は判例と判断を通じてそれらを解釈する。それをどうやって実行可能にするのか？
その答えは反証可能デオンティック論理（Defeasible Deontic Logic）——DDLだ。デオンティック論理は義務、禁止、許可を扱う。「反証可能」とは、例外を扱えるという意味だ。これはまさに交通法そのものだ。構造化された例外を伴う規範の集合である。
カリフォルニア州車両法第21802条、一時停止標識のルールを取り上げよう。自然言語ではこうだ。「一時停止標識に接近する車両の運転者は停止しなければならない……運転者はその後、別の道路から接近してきたいかなる車両にも通行権を譲らなければならない」
私たちのシステムでは、これが実行可能な論理になる。
ルール1——停止義務：車両が一時停止標識のある交差点に接近している場合、運転者は停止線で速度をゼロにする義務がある。交差点進入時に速度がゼロより大きければ、それは違反だ。
ルール2——譲歩義務：運転者が停止したものの、別の車両が交差点内にいるか接近している場合、運転者は待たなければならない。相手の車両が存在するときに進入して衝突が起きれば、それは譲歩義務違反だ。
ルール3——例外：警察官が交通整理をしている場合、警察官の指示が標識に優先する。この例外は主たるルールを形式的に覆す。
さて、ここからが強力なところだ。私たちは物理的なグラフ——各車両の速度と位置の時間的経過の再構築——を、この論理的なテンプレートに対して照合する。もしグラフが、車両Bが存在するときに車両Aが交差点に進入したことを示していれば、ロジックエンジンは譲歩義務違反を発動する。それは計算された事実であり、意見ではない。
私たちはAIに「それは危険だったか？」と尋ねはしない。物理に基づいて危険を計算し、論理に基づいて法律を適用する。曖昧さは消え去る。
「差し迫った危険」のような曖昧な用語については、私たちはそれらを物理に根拠づける。Immediate_Hazard（差し迫った危険）を、衝突までの時間が3.0秒未満、または現在の速度における制動距離未満の距離、と定義する。グラフは速度と距離のノードから衝突までの時間（TTC）を計算する。もしTTCが閾値を下回れば、危険ノードが活性化し、対応するルールが発火する。解釈は不要だ。
私たちの形式化プロセスとアーキテクチャの完全な技術的詳細については、私たちの研究論文を参照してほしい。
因果を証明する反事実（カウンターファクチュアル）
過失は単なるルール違反の問題ではない。因果の問題だ。運転者が失効した免許を持っているかもしれない——それは違反だ——しかし、赤信号で停止中に後方から追突されたのなら、失効した免許は事故を引き起こしていない。
ここでほとんどのAIシステムは崩壊する。LLMは反事実的に推論できない。彼らはこう問うことができない。「もし車両Aが標識で停止していたら、この衝突は起きただろうか？」。彼らにできるのは、衝突の物語の中で次にどんな文が来るかを予測することだけだ。
私たちのシステムは、私たちが因果ナレッジグラフと呼ぶものを構築する。因果を検証するために、私たちは反事実の分岐を作る。車両Aの速度を停止線でゼロに修正し、時間層を通じて物理シミュレーションを前方に実行する。もし反事実のグラフで衝突ノードが消えれば、その違反が直接原因（近因）だということになる。
これは、「彼はスピード違反をしていて、そして衝突した」（相関）と、「スピード違反が衝突を引き起こした」（因果）の違いだ。多重車両の玉突き事故では、これが途方もなく重要になる。グラフを通じて因果連鎖をたどり、私たちが「過失中心性」と呼ぶもの——各行為者の違反が衝突イベントにとってどれほど中心的かを測定し、数学的に根拠づけられた比較過失割合を導き出すことができる。モデルがそう感じたから60対40なのではない。トポロジーが証明するから80対20なのだ。
なぜ単にLLMをもっと正確にするだけではだめなのか？
人々は絶えず私にこれを尋ねる。「交通法でモデルをファインチューニングすればいい。より良いプロンプトを使えばいい。ガードレールを追加すればいい」。その衝動は理解できる。LLMは導入が簡単で、その出力は印象的に見える。
しかし問題は、従来の意味での正確さではない。問題はアーキテクチャ上のものだ。確率的なテキスト生成器は決して決定論的にはならない。同じ入力で百回実行すれば、ばらつきが出る。同じ事実が毎回同じ判定を生まなければならない領域——賠償責任の10ポイントの変動が数千ドルのやりとりを意味する領域——では、確率性はパッチで直すべきバグではない。それは根本的な失格要因だ。
私たちのグラフエンジンは、まったく同じ入力に対して、毎回まったく同じ賠償責任の判定を生み出す。それはあれば嬉しいという類のものではない。規制遵守のため、法的な防御可能性のため、基本的な公平性のため——それは最低限の要件だ。
私が耳にするもう一つの反論。「これはAPI呼び出しに比べて高価で複雑に聞こえる」。構築するのがより複雑なのは確かだ。だが、間違えることのコストを考えてみてほしい。保険金の漏出——不正確な賠償責任のせいで本来より多く支払うこと——は、保険会社にとって巨大な費目だ。物語が乱雑だからという理由で確率的なシステムが50対50を提案する一方で、決定論的な論理が特定の通行権違反に基づいて明確な100対0を明らかにするとき、それはあらゆる請求で実際の金銭的損失を生む。
そしてさらに訴訟がある。システムが自らの推論を説明できず、もう一度実行すると異なる答えを生み出すとき、法廷でAIの賠償責任判断を弁護してみるといい。ナレッジグラフから得られる監査証跡——「車両Aはタイムスタンプ12:01:30にルール21802(a)に違反し、反事実シミュレーションがこの違反を近因として確認した」——は、裁判官の前に提出するものとして根本的に異なるものだ。
ブラックボックスではなく、サンドイッチ
一つ明確にしておきたいことがある。私は反LLMではない。私たちはLLMを使っている。それらは非構造化された言語を処理するための並外れたツールであり、それを無視するのは愚かなことだろう。
私が反対しているのは、それらを裁判官として使うことだ。
私たちのアーキテクチャは、私たちが「サンドイッチ」と呼ぶものだ。外側にニューラルAI、中央にシンボリックAI。最初のニューラル層は取り込みを担う——警察報告書のOCR、目撃者の音声の音声認識、乱雑な非構造化データからのエンティティ抽出。中央のシンボリック層はグラフを構築し、複数のソースからのデータを融合し、デオンティック・ロジックエンジンを実行し、因果シミュレーションを行う。最後のニューラル層は、構造化された賠償責任レポートを、グラフの事実に厳密に根拠づけられた、読みやすい自然言語へと翻訳し直す。
LLMは決して判断しない。それは読み、そして書く。推論するのはグラフだ。
LLMに警察の報告書を読ませて賠償責任を判断させることは、詩人に物理をやらせるようなものだ。美しい答えは得られるだろうが、それはおそらくフィクションだ。
これは、業界がニューロシンボリックAIと呼び始めているものだ——学習と論理の融合である。主要な法律テクノロジー企業であるKennedys IQは最近、「ブラックボックス」への懸念を明確に排除するために、保険業界初のニューロシンボリックAIソリューションと自ら位置づけるものを立ち上げた。方向性は明確だ。問われているのは、業界の残りがどれほど速く追随するかだ。
正義は確率ではなく、グラフである
私は、あの見たデモ——賠償責任が実行のたびに10ポイント変動したもの——について、望むよりもずっと頻繁に考えてしまう。それが粗悪な製品だったからではない。チームは有能だった。技術は印象的だった。だが印象的であることは、正しいことと同じではない。そして過失と賠償責任の領域では、「ほぼ正しい」は間違いなのだ。
AIシステムが、より優れたストーリーを語った者に基づいて過失を割り当てるたびに、あるいはtemperature設定のせいで判定を変えるたびに、あるいは存在しない法令を引用するたびに——実在する人がその誤りを吸収する。彼らはより高い保険料を支払う。勝つべきだった争いに負ける。他人に属する過失を背負う。
私たちはもっとうまくやれる。言語モデルをより賢くすることによってではなく、それらが何であり、何でないのかを認識することによって。それらは言語には見事だ。正義には劣悪だ。正義は決定論を必要とする——同じ事実、同じ判定、毎回。監査可能性を必要とする——どの証拠とどの法令がこの結論を生んだのかを正確に示せ、と。そして未解決の矛盾を保持し、自信に満ちたフィクションを生成する代わりに「まだわからない」と言える能力を必要とする。
これらは言語モデルに追加する機能ではない。それらはまったく異なる種類のシステムの性質だ。事実が不変のノードであり、法律が実行可能な論理であり、過失が物語の感情の中にではなく、実際に何が起きたかのトポロジーの中に見出される、そんなシステムの。
正義はグラフだ。私たちがそのように構築し始めるべき時が来ている。