判例は実在していた。それでもAIにそれらを保証させることはできなかった。

自分のツールが、実在する最高裁判例を3件とも承認することを拒むのを初めて見たとき、私はそれが壊れていると確信した。

私が「誤用された先例（Misapplied Precedent）」とラベルしたサンプル準備書面を走らせていた。そこでは、Erie Railroad v. Tompkins、304 U.S. 64を、統一的な連邦コモン・ローの存在の根拠として引いていたが、それはErieが実際に判示したこととほぼ正反対である。さらに依拠していたのはCelotex Corp. v. Catrett、477 U.S. 317、およびBaker v. Carr、369 U.S. 186を、判決意見が支持していない命題のために引いていた。これらの判例はいずれも実在する。私は支持チェックがそれらを赤く点灯させ、未支持のスタンプを押して決着するものと思っていた。ところが3件すべてが返してきたのは、より静かな判定だった——要確認。私の最初の直感は、言語モデルが簡単な部分で失敗した、というものだった。

恥ずかしいほど長い夜をかけてようやく分かったのは、その直感こそがバグであり、それはシステムの中ではなく、私の中にあった、ということだった。

自信満々の「未支持」スタンプを、微妙な誤読に対して押すこと——その対象がErieであれば、それははったりだっただろう。判決意見は長く、誤用は法的判断の問題であり、モデルはスニペットから、赤の判定が含意する確度で否定を確立することはできない。正直な一手——私が偶然にも組み上げ、いらだちのあまりほぼコードから消そうとしていた一手——は、矛盾する文脈を添えて人間へルーティングすることだった。棄権は失敗ではなかった。棄権こそが全体の要点だった。自分の目でその判断を見たいなら、ここにある：veriprajna.com/ja/demos/legal-ai-citation-verification。

これは、私が最初に抱いていた前提——いまリーガルAIを作っているほぼ全員が共有している前提——と、デモを作る過程でそれがゆっくりと、具体的に崩れていった経緯についてのエッセイである。その前提とは、ハルシネーション問題はより良いモデルで解決される、というものだ。私はもうそうは信じない。モデルが改善されないと疑っているからではない。

一方のモデルにもう一方を監視させようとした一週間

私はおよそ一週間、ある言語モデルを別の言語モデルの信頼できる判定者にしようと試み、正直に言えば、それはうまくいかなかった。

セットアップはもっともらしく見えた。HarveyであれLexis Protégéであれオープンソースのモデルであれ、どれでも構わない——あるモデルが準備書面を起草する。次に第二のモデルが、各引用をそれが指す判例と突き合わせて読み、判決意見がその主張を支持するかどうかを裁定する。二つのモデル、きれいなチェック、設計レビューを生き延びる類いのアーキテクチャだ。私は本気で、裁定のステップが簡単な部分だと思っていた。じっとしていなかったのは、まさにその部分だった。

失敗は騒がしくなかった。だからこそ危険だった。同じ準備書面を支持チェックに3回通すと、「要確認」が2回と自信ありげなクリアが1回返り、入力は何も変わっていない。Bell Atlantic Corp. v. Twomblyの引用、550 U.S. 544——実在する判例——について、モデルは時に判決意見が引用された命題をまさに確立していると判断し、時にそうではないと判断した。どちらの読みも弁護可能だった。それこそがまさに問題だった。再現できない裁定は、裁定ではない。法衣をまとった第二の意見だ。

私は確率的システムに、別の確率的システムの決定論的ゲートであれと求め、その結果を検証と呼んでいた。

それは検証ではない。二つのモデルが同意しているだけであり、それはより弱く、はるかに不安定なものだ。チェックが必要な理由が、第一のモデルの出力を額面どおりに信頼できないからであるなら、それをチェックするために信頼する対象を第二のモデルの出力にしてはならない。私は鏡の回廊を作り、その上にコンプライアンスのシールを貼ろうとしていた。向こう側の裁判所は、どちらのモデルがどれほど自信を持っていたかなど気にしない。気にするのは、判例が存在するか、そしてそれがあなたが主張したことを述べているか、だ。それは二つの問いであり、私はそれを一つとして扱っていた。

どちらがより危険か——捏造された判例か、誤って使われた実在の判例か？

これを作りながら驚いたのは、二つの失敗にはまったく異なる仕組みが必要であり、業界は大半がどちらか一方しか出荷していない、と気づいたことだ。

捏造された引用は、奇妙なことに、まだましな失敗である。Halstead v. Ferngate Holdings、823 U.S. 1199はサンプル準備書面の一つに現れ、懲罰的損害賠償はカテゴリカルに禁じられる、という命題のために、まったく流暢に引用されている。それは存在しない。United States Reportsに巻823はない。それを証明できるのは確度をもってであり、モデルにどう思うかと尋ねるのではなく、実在の判例法を照会してゼロ件のルックアップ結果を得ることでだ。それは権威に対する算術であって、判断ではない。コードが決めるべき種類のことであり、毎回同じように決めるべきことだ。

危険な失敗は、誤った事柄のために引用された実在の判例だ。Erieは実在し、有名で、正しくフォーマットされた引用である。世界中のあらゆる捏造フィルタがそれを通す——まさに捏造ではないからこそだ。巻は存在し、ページは存在し、判決意見は存在する。誤っているのは、引用された判例とその前の文との関係であり、その関係は存在の問題ではなく、法的読解の問題だ。出典照合チェックは、「この判例は実在する」と「この判例は私の主張を支持する」を同じ事実として扱う。それらはまったく近いものではない。

だから、人々がリーガルAIについて引用する数字が意味を持ち始める。目的特化型のツールですら、凍りつくべき率でハルシネーションを起こす——Westlaw Precisionが33パーセント、Lexis+が17パーセントという数字は、スタンフォードRegLabの研究がJournal of Empirical Legal Studies誌で2025年に発表したものだ。2026年初頭までに、AIハルシネーション引用が関与した文書化された裁判例は1,222件あり、裁判所は制裁を始めている——2026年3月の第6巡回区による3万ドルの罰金を含む。捏造は、少なくとも捕捉を想像できる失敗だ。実在するが誤用された引用は、裁判官があなたが引用した判決意見を読み、それが正反対のことを述べていると見つけるまで、勤勉さのように見えるものだ。

捏造された判例は、反証できる嘘だ。誤った判旨のために引用された実在の判例は、第一の種類を捕まえるために作られたあらゆるテストをすり抜ける嘘だ。

エンジンを二つに分けた理由

それらが別々の仕事だと認めた夜、私は一つのシステムに両方をやらせようとするのをやめた。

存在チェックと捏造捕捉は、実在の判例法に対して動く決定論的なPythonになった。プロンプトも、温度も、「AI言語モデルとして」もない。引用を取り、独立した権威で照合し、判例が本当に存在しなければ、それは捏造であり、証明可能であり、ゲートを決して通れない。最後の条項こそ、私がきっぱり述べる用意のある唯一の保証だ——それが希望ではなく、ユニットテストされた不変条件だからだ：捏造された引用はポリシーゲートを一つも通れない。まさにそれを名に持つテストがあり、構築済みデモで通る8件中8件の一部だ。

支持チェックは単一の言語モデル・ステップのまま残した。実在の判決意見が命題を支持するかどうかを判断するのは、本当に読解のタスクであり、モデルは良い読者だからだ。だが私は棄権を明示的に許可し、棄権をバグとして扱うのをやめた。判決意見の本文に主張をグラウンディングできないとき、推測する代わりに人間へルーティングする。モデルは助言する。決定論的ゲートと弁護士が決定する。これを作りながら、私は二つのことを絶えず口にしていた。一つはエージェントは助言し、コードが決定する。もう一つは、LLMをLLMの最終判定者にはさせない、ということだ。

この分割について正確でありたい。なぜなら、それを実際以上の大きな約束へとぼかす誘惑があるからだ。決定論的な部分——存在、捏造、対象外、そしてゲート——は正確で再現可能だ。支持チェックはそうではない。それは非決定論的であり、設計上、判決意見の本文が判旨を明白に確立するときだけ——Miranda v. Arizona、384 U.S. 436が身体拘束下の尋問に関する警告についてそうであるように——引用を緑でクリアし、そうでなければレビューへ送る。どの特定の実在引用が緑でクリアされ、どれが人間へルーティングされるかは、実行ごとに変わりうる。それは私が隠している粗さではない。問題の正直な形であり、そうでないふりをすることこそ、私が対抗して作ろうとしている一手そのものだ。

「8件中8件」が実際に意味してよいこと

私は数字について自分にルールを課している。なぜなら、私が作っている会社の名はVeriprajna——真の智慧を意味する——であり、そのような名は過大主張への絶えざる挑発だからだ。

デモには証明の数字があり、それらは狭い意味を持つ。オフラインのユニットテスト8件中8件が通る——捏造された引用がゲートをクリアできないことを証明するものと、到達不能な権威は捏造ではなく未証明として扱われることを証明するものを含む。20件の実在判例がCourtListenerからキャッシュされ、ローカルのグランドトゥルースとなっている。それらは構築済みデモのスコープを記述する。あなたの準備書面や開かれた世界についての主張ではない。捏造の保証が権威あるのは、ライブの判例法を照会し、欠落した判例が事実だからだ。支持チェックの裁定は、実在判例上の小規模で実証されており、私はそれを普遍的な精度の数字へと膨らませない——それはそうではないからだ。

ここにあるのは、短縮すればもっと売れるにもかかわらず、私が短縮を拒む一文だ。捏造された引用のない準備書面は、自動的に安全に提出できるわけではない。実在の引用が一つでも、正しく使われているかを確認するために人間をなお必要とするとき、ゲートは提出を提出準備未完了で留め、それは正しい。私は人々が逆を欲しがるのを見てきた——きれいに見える準備書面が、それ自体で青信号を得ることを。それこそが、弁護士が制裁を受けるまさにその直感だ。

その証明書は、どんな精度パーセンテージよりも私にとって重要であり、だからこそ決定論的な部分と非決定論的な部分は分離されたままでなければならない。再現可能性こそが、決定を証明可能にする。検証の記録を渡せる。この引用はCourtListenerに対してチェックされ、巻は存在せず、判定は捏造、ゲートは留める。再実行すれば同一の結果が得られる。LLMの判定者——たとえ良いものでも——それを約束できず、私は3回の実行と3つの異なる答えの夜を生き延びた。コイントスの上にコンプライアンス記録を築くつもりはない。

はっきり言っておく——自分が課す基準がそれを求めるからだ——これは検証レイヤーであって、リサーチツールではない。準備書面を起草したり判例を見つけたりはしない。HarveyやWestlawやLexisと競合しない。それらが何を生み出そうともその周囲に座り、弁護士に何が安全に提出でき、何が正確に人間を必要とするかを伝える。公開の判決意見スニペットを超える全文グラウンディングには無料のCourtListenerトークンが必要で、デモの文書管理コネクタはモックであり、PDF証明書のようないくつかの機能は後回しだ。本物なのは仕組み——チェック、棄権、決定論的ゲート、監査証跡——がすべて実在の判例法に対して動いていることだ。

棄権は、モデルが難しい判断から逃げているだけではないのか？

ほぼすべての会話で、たいていはエンジニアから、この種の質問を受ける。私の答えは、時間とともに短く、確かなものになってきた。

違う。棄権こそが、正直に下された難しい判断であり、それを拒むことこそが本当の逃げだ。魅惑的な代替案は、あらゆる引用に対して常に緑か赤かのはっきりした判定を返すシステムだ。デモでは美しい。だがそれは嘘でもある——一部の引用は、利用可能な本文から自信をもって裁定できないのが本当であり、決してそう言わないシステムは、持っていない確度を製造しているからだ。高リスクなAIができる最も価値あることは、自らの判断が尽きるところをあなたに告げることだ。自信満々に間違えることが依頼者に制裁をもたらす領域では、較正された「確信が持てない、人間が見る必要がある」は、流暢な推測より価値がある。

だから私は、この仕事はいまのモデル世代を超えて生き残ると考える。業界は次のモデルでハルシネーション問題を約束して消し続けている。すべてを認めるとしよう——より大きなコンテキスト、よりきれいな学習、より低い捏造率。判例を決して発明しない完璧なモデルでさえ、支持しない命題のために実在の判例を陽気に引用するだろう——草稿の内側からは、その文は真実に読め、あなたが求めたまさにそのものだからだ。「この判例は存在する」と「この判例は私の主張を支持する」のギャップは、スケールが閉じるギャップではない。それはガバナンスの問いであり、ガバナンスはモデルの周囲に構築するシステムの性質であって、モデルが成長するのを待つ能力ではない。

裁判所は、あなたのモデルがどれほど自信を持っていたかなど気にしない。気にするのは、引用が存在し、あなたが主張したことを述べているかどうかだ。それはより大きなモデルの問題ではない。正しいレイヤーを構築する問題だ。

規制当局はすでにこう見ている——腰を据えて考える価値がある。ABA Formal Opinion 512と300を超える司法の常設命令が、いまや弁護士に提出前のAI出力の検証を求めており、AI利用ポリシーを持つ事務所は20パーセント未満だ。義務は「より賢いツールを使え」ではない。義務は「チェックしたことを証明せよ」だ。証明、来歴、正直な棄権は、より良い起草者が与えてくれるものではない。検証レイヤーが与えてくれるものであり、それらはどのモデル品質でも成り立つ——まさにだからこそ、私はそれらが耐久する部分だと考える。

提出前に私が自らに問うこと

この構築が私の中で変えたものは、テーゼより小さく、より長く続いていると分かった。

私は、AIが書いた主張が真かどうかと問うのをやめた——しばしば答えられるし、それでは足りないことが分かったからだ。Erieの引用は、狭い意味では、実在の判例を指していた。より難しい問い——いま、AIが起草した何かが私の手を離れる前に私が問う問い——は、この正確な出典がこの正確な主張を支持することを、いま証明できるか、そしてその証明が、裁判官の前でそれを失敗させようとする誰かに耐えうるか、だ。

それはガバナンスの問いであり、モデルの問いではない。モデルが良くなっても易しくならない。問われているのは「モデルはより良い文を書けるか」ではなく「この一文の後ろに立てるか」だからだ。そして、私自身のシステムが私に与える最も有用な答えは、緑のチェックではない。実在の判例を「要確認」で留め、私——一人の人間——に判決意見を読ませる瞬間だ。どこにたどり着いたかを見たいなら、もう一度ここにある：veriprajna.com/ja/demos/legal-ai-citation-verification。

そして、私が説明するのを読むより見たいなら、エンドツーエンドで動く全体が、私の声でここにある。

だからあなたに残したい問いは、構築全体を組み直した問いだ。AIが自信ありげできれいなものを手渡してきたとき、あなたには「確信が持てない、人間が見る必要がある」と言えるレイヤーがあるか？ なぜなら自信は安く、実際にリスクを伴う仕事では、証明可能な棄権こそがプロダクトだからだ。