法令は本物だった。答えはなおも違法だった。
政府のチャットボットが自信満々に、しかも間違って答えるのを初めて見たのは、セクション8バウチャーについてのものだった。
家主が、平易な言葉で、住宅バウチャーで家賃を払う入居者を拒否できるかと尋ねる。正しい答えは「いいえ」だ。拒否はNYC Admin. Code § 8-107(5)の下での収入源差別にあたり、市の人権委員会は故意の違反に対して最大25万ドルの民事罰を課すことができる。これはひっかけ問題ではない。確定した法である。ところが2023年10月、ニューヨーク市自身のMyCityボットは、Azure AI上で動きながら、事業主と家主にその逆を告げた。The Markupが2024年3月に記録したとおり：ボットは家主がバウチャー保有者を追い返してよい、店舗はキャッシュレス化してよい、雇用主は労働者のチップの一部を着服してよい、と述べた。それらの答えはすべて違法であり、その一つひとつに市の印が付いた.govドメインが載っていた。
私がCivicCiteを作ったのは、モデルがハルシネーションしたからではない。ほぼ正しい答えのせいで作り、問題全体の見方を変えたその一件について話したい。実物を見たいなら、ここにある： veriprajna.com/ja/demos/government-municipal-ai。コーパスは合成だが忠実なデモ用グラフであり、法的助言ではない。だが仕組みは本物であり、議論する価値があるのはその仕組みの部分だ。
心に残った瞬間は、ボットが法律をでっち上げたことではなかった。自分のパイプラインが正しい法令を引き出しながら、なおも誤った答えを起草するのを見たことだった。
検索が届かない問題に、検索を足すことに費やした一週間
私はGovTechではほとんど誰もが始めるのと同じやり方で始めた。嘘をつくチャットボットの修正は、より良い検索だと確信していた。モデルに実際の自治体法典を与えよ。すべての答えを本物の条項に根づかせよ。検索拡張生成——モデルがでっち上げるという標準的な恐怖への標準的な答えだ。きれいな物語で、デモは見事に映え、私は本来より長くそれを信じていた。
それからスタンフォードの数字を読んで、その物語は壊れた。Mageshらは、JELS経由で発表された2025年の研究で、まさにこれを行う二つの専用法律調査ツールを測定した。Lexis+ AIはクエリの17%でハルシネーションした。WestlawのAI-Assisted Researchは33%でハルシネーションした。おもちゃのチャットボットではない。まず法令を検索し、次に生成するシステムで、法律について正しいことが事業のすべてである企業が作ったものだ。二番目のツールでは、答えのおよそ三分の一がなおも誤っていた。 検索は草案を改善した。答えを公開してよい安全なものにはしなかった。
その感覚を正直に言いたい。私はちょうど一週間、同じアーキテクチャを組み、賢くなった気でいたからだ。私のパイプラインは市民の質問を原子的な法的サブ質問に分解し、自治体法典グラフから候補条項を検索し、検索したものだけから起草するようモデルを制約した。セクション8の質問では、最後の一歩まですべて正しかった。§ 8-107(5)を見つけた。正しい法令だ。合法的な収入源についての正確な条文を引き出した。そして起草した文は、要するに「はい、バウチャーを拒否できます」と読めた。
正しい法。誤った答え。同じ草案の上に重なっていた。
検索はモデルに正しい法令を渡す。その法令を逆向きに読むのを止めることは何もしない。
問題の形が私にとって変わったのはその週だった。私はハルシネーションを敵として扱っていた。ハルシネーションは本物だが、それは捕まえられると想像できる失敗だ。実際にMyCityの答えを出荷した失敗は、より微妙でより悪い：正しい条項が引用され、誤った結論が述べられる。文のどこにも捏造はない。「でっち上げたか」フィルターが捕まえるものは何もない。何もでっち上げられていないからだ。そこにある法律を、自信を持って誤読しただけだ。 その失敗モードは検索には見えない。なぜなら検索は法令が存在するかどうかだけを確認し、文が正しい向きに読んだかは決して確認しないからだ。
でっち上げた法と、本物の法を誤読すること——どちらが悪いのか？
私はその問いに何度も立ち返り、答えはますます確かなものになっていった。でっち上げた法の方が、より安全な失敗だ。
市民がそれぞれにどう対処するかを考えてほしい。明らかに捏造された法令は妙に読め、解決しない条項を引用し、違和感がある。逆向きに読まれた本物の法令は完璧に読める。本物の引用がある。条項は存在する。家主は「はい、バウチャーを拒否できます」と読み、付いた本物の条番号を見て、それに従って行動する。いまや違法な拒否があり、差別を主張する入居者がおり、政府の答えに遡る紙の記録がある。引用の正しさこそが、誤った結論を危険にする。 それは、悪い助言が乗ってくる資格証明そのものだ。
だから私が最も気にかけたチェックは、決して「この引用は本物か」ではなかった。「この引用は実際にこの文を支持するか」だった。パイプラインではそのチェックは含意である：起草された主張と、引用された条項の正確な条文が与えられたとき、条文は主張を含意するか、矛盾するか、どちらでもないか。セクション8の草案では、モデルの「はい」は§ 8-107(5)によって矛盾として捕捉される。条項がはっきりと逆を述べているからだ。草案はそこで死ぬ。生き残り、ゲートが最終的に公開するのは、修正された主張——家主は拒否してはならず、それを述べる法令はここにある——である。
私がこだわったこと、そしてその画面が存在する理由は、含意が信じなければならないブラックボックスではないということだ。Verifyステージを開き、生の入力と出力を読める：起草された主張、照合された法令テキスト、ラベル、そして条項自身の言葉による理由。 検査できない評決は検証ではない。演出が良いだけの第二意見だ。 私はすでに高い代償を払って学んでいた。あるモデルに別のモデルの審判をさせても、二つのモデルが合意するだけであり、それは見た目ほど強いものではない。
最終的にうまくいった一手は、モデルを信頼できるものにしようとすることをやめたことだった
正確な捉え直しを覚えている。諦めたように感じ、結果として設計のすべてになったからだ。私はモデルを信頼できるものにしようとすることをやめ、その信頼性を無関係にし始めた。
転換はこうだ。CivicCiteの言語モデルはアドバイザーだ。質問を分解し、候補の答えを起草し、含意の意見を出す。何かを公開する権限は決してない。エージェントの枠組みの外に、平易で決定論的なPythonで、私がStatutory Decision Gateと呼ぶものがあり、次の四条件が同時に成り立つときだけサブ答えを公開する：引用が存在する、条項が効力を有する、引用テキストが主張を含意する、それと衝突するものがない。どれか一つでも欠けば答えは出荷されない。そのチェックのうち二つは純粋な算術と論理だ。効力ありは日付比較：条項に廃止日がなく、施行日が基準日以前である。衝突はグラフ読み取りだ。プロンプトも温度も、説得もない。
いま私は絶えず二つの文を口にする。ひとつは エージェントは助言し、ゲートが決める。 もうひとつは、LLMはどれほど自信のある草案でも、自分でゲートを通過投票することはできない、ということだ。これは聞こえる以上に重要だ。この分野全体の魅惑的な失敗は、モデルに自分の仕事を採点させ、その採点を「検証」と呼ぶことだからだ。答えを起草するモデルは、その答えが安全だと認証する側にはなれない。ゲートは意図的にモデルより愚かで、意図的にその外にあり、それこそが全体の要点だ。 知性が提案する。コードが決する。
モデルは良い書き手であり、悪い審判だ。だから私は書かせ、決して審判させない。
デモはその境界について正直であり、私もそうする。コーパスは自治体法典の合成だが忠実なグラフで、本物の条項を言い換えたものであり、公式記録のソースではない。311エスカレーションのルーティングは計算されて表示されるが、本物の案件システムへのコネクタはスタブだ。制約付き起草は、本番のトークンレベルのデコーディングではなく、許可リスト検証器と一度の再質問を使う。本物なのは決定ロジックであり、決定ロジックこそが製品だ。
良い答えより沈黙を信じる理由
デモが答えることを拒むのを誇りに思うとは思っていなかったが、いまやそれが最も気に入っている動作だ。最もはっきりした例はフードトラックだ。
業者が、一般ベンダー駐車規則の下で、メーター付きスペースに一日中トラックを置いてよいかと尋ねる。平易なアシスタントは陽気に、しかも誤って答え、規則があたかも現行であるかのように引用する。CivicCiteも候補を起草し、候補は廃止された駐車条項を引用する。それから現行性チェックが走る。条項には廃止日がある。効力ありが失敗する。そして隣接する何らかの規則に落ちてはったりする代わりに、ゲートは答えを保留し、質問を検証済みカバレッジの外と印し、部分的な所見を添えて実際の部署へルーティングする。
政府ドメイン上の誤った答えは、恥ではない。市の名前が付いた法的責任だ。
その画面が拒むことを見てほしい。死んだ法令からもっともらしい答えを合成しない。平易な言葉で、これを扱う唯一の条項は廃止されており、現在効力のあるものはこの質問を規律していない、と言い、推測する代わりに市民を引き継ぐ。 正直な棄権は、自信満々の誤答に勝る。特に政府では。 そして政府では、賭け金は評判ではない。政府の法的助言は私経済的機能の領域にあり、答えが誤っていたときに隠れる主権免責の盾はない、ということだ。
これはもはや仮説的な心配ではない。だからこそ後ではなく今これを作った理由の一部だ。2026年には27州でチャットボット関連法案が78件あった。ニューヨークのS7263は2026年2月26日に上院本会議に達した。EU AI ActのAnnex III高リスク義務は2026年8月2日に執行可能となり、罰則は最大1,500万ユーロまたは世界売上高の3%だ。規制の問いは「あなたのAIは役立つか」から「あなたのAIがそれを言うことを許されていたと証明できるか」へ移っている。 弁護できる沈黙。弁護できない自信満々の誤答。
規制当局が実際に依拠できる数字
以前は、こうしたシステムの見出し指標はハルシネーション率だと考えていた。いまではその直感はまさに逆だと考える。規制当局に渡すべきものは、パーセンテージではない。
答えが誤ったときの責任を負う市の法務局だと想像してほしい。「当社のチャットボットがハルシネーションするのはわずか4%のときだけです」は安心材料ではない。それは、百人中四人が市の権威を後ろ盾にした答えを受け取り、その答えの後ろには何もない、という自白だ。意味のある数字は、モデルがどれだけ頻繁に誤るかではない。検証されていないものがドアの外に出ることを一度でも許したか、である。だから私がベンチマークを組み上げた指標はこうだ：固定のラベル付き12クエリのゴールデンセットを、本物のパイプラインで走らせ、検証済み・効力ありの法令根拠なしに公開された答えの件数。 目標は十二件中ゼロだ。
ハルシネーション率は、規制当局にどれだけ失敗したかを伝える。捕まえたことは伝えられない。
その数字が何であり何でないかを正確にしたい。過大主張は前提全体を裏切るからだ。それは固定のラベル付きセット上の結果であり、オープンワールドの保証でも「ゼロ・ハルシネーション」でもない——正直な者が売るべきでない言い回しだと私は思う。モデルはなおも不完全な主張を起草する。要点は、検証されていないものが保留されることであって、起草されないことではない。その数字の横にさらに二つある：監査記録カバレッジ100%——出荷しても拒否してもクエリごとに提出可能な記録一つ——と、ラベル付きグランドトゥルースとの処分一致。ゲートなしのMyCityアーキテクチャである平易なRAGベースラインは、同じセットで記録された違法な答えを出荷していただろう。その比較は文脈であり、見出しではない。
記録こそが、私が最も強く弁護する部分だ。
公開でも拒否でも、すべてのクエリがStatutory Decision Recordを生む：処分、引用、四つのチェック結果すべて、決定——提出でき再実行できる構造化データとして。構築の指針としている標準としてNIST AI RMFのロギングとFedRAMPおよびStateRAMPの継続的モニタリングを名指す。私はその文に慎重だ。「構築の指針とする」は方向であり、認証ではない。CivicCiteがそれらのいずれかに対して認証されているとは主張しない。だが監査人はモデルが賢いという約束を欲しがらない。監査人が欲しがるのは、相互作用ごとに、答えが存在するのを許された正確な理由を、誰かが壊そうとしても生き残る形で示す記録だ。 再現性こそが決定を証拠に変えるものだ。そして証拠こそが、規制当局が依拠できるものだ。
そして私の説明を読むより見たいなら、デモ全体がエンドツーエンドで動いている。
残された問い
自分自身の反応に驚いたことに、何度も立ち返る。CivicCiteが質問を拒み部署へルーティングするのを初めて見たとき、私の一部はそれをシステムの失敗だと読んだ。
失敗ではなかった。それは、自信満々のボットにはできない一事——証明できるものの端を知り、そこで止まること——をしていた。私はあまりに長く良い答えのために最適化し、良い答えが目標だと静かに思い込んでいた。そうではない。 政府においては、目標は防御可能な回答である。そしてその二つの言葉のあいだの距離こそが、この製品が存在するすべての理由である。防御可能な回答は、ときに公開された引用のように見える。同じくらいしばしば、ルーティングされた質問と提出された記録のように見える。
だから政府向けAIを作る誰か、あるいは買う誰かに残したい問いは、「モデルはどれだけ正確か」ではない。より良いモデルは、流暢で文脈上誤った答えを書くのがますます上手くなる。流暢さは欠けていたピースではなかったからだ。ゲートを出る前に私が問うのは、より狭くより難しい。いま、この正確な答えが、存在し現在効力のある法令に遡ることを証明できるか。その証明は、失敗させたい裁判所でも生き残るか。答えがいいえなら、モデルがどれほど良くても関係ない。 システムは沈黙すべきだ。 どちらにせよ、それが決める様子はここで見られる： veriprajna.com/ja/demos/government-municipal-ai。
信頼は、信じなければならないモデルには属さない。監査できるコードに属する。
