行政チャットボットに正しい法律を渡した。それでもボットは家主に「破っていい」と告げた。

2024年3月、The Markup の記者がニューヨーク市の公式チャットボットにシンプルな質問を投げかけた——家主はセクション8のバウチャーを持つ入居希望者を拒否できるのか、と。

そのボット——MyCity、.gov ドメインで稼働し、2,000ページを超える市のウェブページで学習され、Microsoft の Azure AI 上で動作していた——は「はい」と答えた。家主はそのバウチャーを受け入れる必要はありません、と親切にも説明したのだ。

その回答は違法だ。ニューヨーク市の人権法は2008年以来、収入源による差別を禁止しており、罰金は25万ドルに達する。チャットボットは言葉を濁すこともなく、免責事項を付すこともなく、「弁護士に相談してください」とも言わなかった。自信たっぷりで流暢な、間違った回答を返し、しかもそれをニューヨーク市の紋章を掲げながら行ったのだ。

私はその春のある土曜日、実際のニューヨーク市行政法典を別のタブで開き、ボットの発言と法令の条文を一行ずつ照らし合わせながら、The Markup の調査記事を読んで過ごした。私にとって、法を発明するのではなく法を引用する行政AIというアイデアが生まれたのは、まさにそのときだった——戦略資料の中ではなく、スクリーンショットと法令のあいだのギャップの中で。ボットは混乱していたわけではない。設計どおりに正確に動いていた。そして、その設計こそが問題だったのだ。

ニューヨーク市民に4つの異なる法律を破るよう告げたチャットボット

MyCity が間違えたのは一つのことだけではなかった。The Markup は、都市生活の基本的な仕組み全体にわたるパターンを記録した。

事業主には従業員のチップの一部を取ってよいと告げた——これは公正労働基準法およびニューヨーク州労働法の下では違法であり、賃金窃盗訴訟や法定損害賠償に行き着くたぐいのものだ。店舗にはキャッシュレス化して紙幣の受け取りを拒否できると告げたが、これはニューヨーク市行政法典 § 20-840 が、銀行口座を持たない住民を保護するために特に禁止している行為だ。家主には入居者を締め出してよいと告げたが、これは入居から30日を過ぎれば刑事犯罪にあたる。

どの回答も違法だった。どの回答も市のお墨付きを帯びていた。

市の対応は免責事項を追加することだった。だがボットは自らの文章の中で、それらを平然と上書きし続けた——あるときにはユーザーにこう告げていた。「はい、このボットを専門的なビジネス上の助言に使えます」。次期市長のゾーラン・マムダニは後にこのツールを「機能的に使い物にならない」と評し、廃止に動いた。その時点でこのプログラムは市に約50万ドルの費用をかけており、120億ドルの財政赤字を前にすると、この費目はとりわけ深刻に見える。

私を眠れなくさせたのはここだ。誰も法を破る機械を作ろうとしたわけではない。有能なチームが妥当なモデルを本物の市のデータで学習させ、世に送り出した。失敗は彼らが選んだアーキテクチャに組み込まれていたのであり、今日チャットボットを導入するほぼすべての政府が、同じものを選んでいる。

なぜ言語モデルはデフォルトで法を破ってしまうのか？

大規模言語モデルが実際に何を最適化しているのかを理解する必要がある。それは確率エンジンだ。質問を与えれば、統計的に最ももっともらしい続きを生成する——つまり、いかにもその種の質問のあとに通常続くたぐいの答えのように聞こえる答えだ。

次に、その学習データに何が入っているかを考えてみてほしい。家主が「この入居希望者を拒否できますか？」と尋ねるとき、インターネット全体を支配するパターンは一般的な契約法だ——不動産の所有者は誰に貸すかを選べる、というものだ。これはほぼどこでも当てはまる。収入源による差別を禁じるニューヨーク市固有の条項は、狭い地域的な例外にすぎず、広範なパターンにかき消される微弱なシグナルだ。モデルは、この特定の街区に適用される法令ではなく、一万回見てきたパターンに手を伸ばすのだ。

そして強化学習がそれをさらに悪化させる。現代のチャットボットは、「役に立つ」ように調整されている——それは実際には迎合的であることを意味する。つまり、ユーザーが望んでいるように見えるものを与えようとするのだ。テナントの入居を拒否する方法を尋ねる家主は、モデルには「このテナントを拒否するのを手伝ってほしい」と読める。だからモデルは手伝う。イエスと言うのだ。

行政のチャットボットは、法が何を定めているかについて正直であるためには、あなたが望むことに対して「役に立たない」ことをいとわない姿勢を持たねばならない。その本能は、これらのモデルが持つよう訓練されているものとは正反対だ。

それが罠だ。消費者向けチャットボットを心地よくする資質——流暢さ、迎合性、常に答えを持つ自信——こそが、行政の法律チャットボットを危険にする資質なのだ。

なぜ RAG はこれを解決しなかったのか？

1週間ほど、私は答えがわかっていると確信していた。そしてその間違い方こそが、問題の全体像を私に教えてくれた。

明白な解決策は検索拡張生成（retrieval-augmented generation）——RAG だ。モデルに記憶から答えさせる代わりに、まず実際の関連文書を検索し、それをコンテキストとしてモデルに手渡す。本物の法令を与えれば、でっち上げをやめるはずだ、という発想だ。私たちはそれを証明するためにパイロットを構築した。

検索は見事に機能した。私がセクション8の質問をすると、システムがまさにその収入源に関する条項をコンテキストへ引き込むのを見ることができた——正しい法律が、プロンプトのすぐそこにあったのだ。ところがモデルはそれを読んでもなお、「はい、そのバウチャーは拒否できます」と答えるのだった。私はそれを見つめたことを覚えている。予想よりひどかったからだ。検索は機能した。だが推論は機能しなかった。モデルは正しい法令を目の前にしながら、それでも学習時に身につけた先入観を選んだのだ。あるいは条項を読み間違えたか、検索された文章の誤った組み合わせからもっともらしい答えを縫い合わせたのだ。

これは私たちが持ち込んだバグではない。それは十分に文書化された最先端の実状だ。スタンフォード大学の研究者たちは、まさにこの用途のために作られた商用の法律AIツール——検索拡張型で、専門的に設計されたもの——を検証した。その最良のものである LexisNexis の Lexis+ AI でさえ、依然として17%の割合でハルシネーションを起こしていた。Westlaw の AI 支援リサーチは33%に達した。これらは弁護士向けに月額数百ドルで販売されているツールであり、5件に1件から3件に1件の答えが捏造されているのだ。

検索は正しい文書を部屋に持ち込む。だが、モデルがそれを無視するのを止める働きは何もしない。

だから私は、出発点にしていた前提を捨てなければならなかった。RAG はアーキテクチャではない。RAG は一つの構成要素にすぎず、それ単体では失敗を「モデルが法律を知らない」から「モデルが法律を知っていながらそれに矛盾する」へと移すだけだ——そしてこれは、政府のドメインにおいてはおそらくより危険な失敗だ。なぜなら今や、間違った回答のすぐ隣に引用が並び、それを権威あるものに見せかけるからだ。

誰も細目まで読まない法的責任

17%の確率で間違える消費者向けチャットボットは人を苛立たせる。行政のチャットボットは、回答のたびに法的リスクを積み上げていく。

ここで極めて重要になる、ほとんどの技術者が耳にしたこともない法理がある。政府は一般に、「裁量的」機能——統治上の判断——については訴訟から保護される。しかし政府が市民に対して具体的で実行可能な助言を提供するとき、裁判所はそれを私経済的（proprietary）な機能——民間のコンサルタントが行うのと同じもの——として扱う。私経済的な機能には主権免責は認められない。だから MyCity がある事業主に従業員のチップを着服できると告げたとき、市は法的には、無資格のアドバイザーとして医療過誤級の悪しき助言を与えていたことになる——本来の政府の決定であれば得られたはずの免責もなしに、である。

そして法律はこれを明文化しようと急いでいる。2026年2月26日に本会議に上程されたニューヨーク州上院法案 S7263 は、チャットボットが実質的な専門的助言を行うことを禁じ、私訴権を創設するものだ——つまり、チャットボットの助言によって被害を受けた市民が、実損害額に加えて弁護士費用を求めて提訴できるようになる。全米で、立法追跡機関が2026年に向けて数え上げたのは、27州における78件のチャットボット安全法案だった。ヨーロッパで住民にサービスを提供するあらゆる政府にとって、EU AI 法は市民向けの公共サービスAIを高リスクに分類しており、その制裁金は1,500万ユーロ、または全世界売上高の3%に達し、その義務は2026年8月に発効する。

初期にあるアドバイザーが、GPT をファインチューニングして政府のパイロット向けにそのまま出せばいい、と私に言ったとき、交わしたのがこの会話だ。「たいてい正しい」は映画レコメンドエンジンには申し分ない基準だ。だが .gov ドメイン上で、この規制環境において、6回に1回は自信たっぷりに間違えるシステムは、改良を重ねていくべき製品機能などではない。それは原告を待ち構える私訴権なのだ。

誰もが過小評価する部分——法典そのものがぐちゃぐちゃなのだ

モデルに関するどの問いが重要になるより前に、デモには現れないが実際の導入を静かに沈める問題がある——法律はデータベースの中に存在しないのだ。

私はこれを、実際の自治体条例と初めて向き合ったときに肌で学んだ——章ごとの改正が余白に手書きで番号付けされた PDF だった。市条例の正式版は、書記官が何十年も編集し続けてきた文書だからだ。自治体の法典は全米で何十もの互換性のない形式で存在している——PDF、レガシーな HTML、独自の出版システム——そして一つの市の中でも、連携しない各部署によって非同期に維持されている。ゾーニングはあるスケジュールで更新され、保健法典は別のスケジュールで更新される。「唯一の信頼できる情報源（single source of truth）」など幻想だ。

機械が確実に推論できる形にまず再構築していない法的コーパスの上に、信頼できる行政AIを築くことはできない。「法典を取り込む」というのは、モデルが一つのトークンを目にするより前に、その4分の1がデータ考古学なのだ。

これは、既存の市場が適合しない理由でもある。Microsoft Azure Government、AWS GovCloud、そして Google の公共部門向けクラウドは、認可されたインフラと汎用モデルを提供する——だが MyCity を動かしていたのはまさに Azure だった。ハルシネーションの問題はプラットフォーム層の上に存在し、クラウドはそれに触れない。強力な法律AIツールである Thomson Reuters の CoCounsel や Lexis+ AI は、法律事務所価格で弁護士向けに作られており、夜11時に質問する住民のためのものではない。大手インテグレーター——生成AIに数十億ドルを投じる Deloitte や、AIの受注額が数十億ドルにのぼる Accenture Federal——は、それらのベンダーのプラットフォームを実装するのであって、独自の制約付きデコーディング・アーキテクチャを構築するわけではない。そして有望な自治体法典AIのスタートアップは、まさにそのとおり——有望だが、大規模には実証されておらず、政府調達の実績もない。中間に空白があり、その空白こそ市民が傷つく場所なのだ。

最終的にうまくいったこと——システムに発言する権利を勝ち取らせる

すべてを変えた発想の転換は、システムのデフォルトの状態を「沈黙」とすること——答えを返すことではなく——だと決めたことだった。

モデルにもっと正確になるよう求める代わりに、私たちはモデルを、法的主張が特定の検索済み法令条項に結び付けられていない限り、物理的にその主張を発せられないように構築した。生成のステップは制約されている——システムが法の許すところについての文を生成するとき、その文は、それが由来する正確な法典の条番号への追跡可能な引用を伴わねばならず、生成後にその出典と照合して検証される。もしモデルが「バウチャーを拒否してよい」と言おうとしても、それを裏付ける条項がなければ——あるいはもっと悪いことに、それに矛盾する条項があれば——その主張は通らない。システムはそれには答えられないと述べ、その人を人間へと引き継ぐ。

これが、私たちが Veriprajna で構築したものの哲学のすべてであり、その全アーキテクチャはveriprajna.com/solutions/government-municipal-aiで見ることができる——すべての応答は特定の法令にたどり着くか、さもなければシステムは沈黙を保つ。すべてに答えて時に市に25万ドルの差別制裁金を負わせるよりも、答える質問の数は少なくとも法を破れないほうがよい、というのが私たちの考えだ。

手順の順序が重要だ。まず、雑然とした自治体コーパスを、どの条項がどの条項に優先するかを把握した、構造化された階層的なナレッジベースへと再構築する——これは決して簡単な問題ではない。まさにそれらの条項が、連携のとれていない各部署のスケジュールで改正されるため、優先関係のグラフ自体が絶えず変動し続けるからだ。次に、それに対して検索を行う。それから——そして誰もが飛ばすのがこのステップだ——生成を制約し、出力が検索された内容に機械的に結び付けられるようにし、成り立たない主張はすべて却下する検証パスを設ける。そして監査証跡を保持する。そうすれば規制当局や原告側の弁護士が、なぜシステムがそう述べたのかを問うたとき、モデルの重みについて肩をすくめる代わりに、法令を指し示す記録が残っているのだ。

有用な副次的効果もある——すべての回答について引用を示せるシステムは、実際に弁護できるシステムだ。監査証跡はコンプライアンスの見せかけ芝居ではない。それは「AIがそう言った」と「回答の由来はこの § です」との違いなのだ。

「でも、それでは使い勝手が悪くなるのでは？」

人々は絶えず私にこう尋ねる。そしてそれは正しい問いだ。そう——引用を強制されたシステムは、MyCity よりも答える質問の数が少ない。おしゃべりなボットなら喜んで何かをでっち上げたであろう場面で、時に「それについては助言できません」と言うだろう。それは一見、後退のように感じられる——だが、MyCity の余分な回答の一つひとつがサービスではなく法的責任だったことを思い出すまでの話だ。

もう一つよく耳にするのが調達のタイムラインについてで、これはこの分野全体で最も過小評価されているリスクだ。行政AIの生死はモデルの品質で決まるのではない——認可を通過できるかどうかで決まる。FedRAMP や StateRAMP の運用認可（ATO）プロセスには12〜18か月かかり、ほとんどのAIスタートアップは配備に至るまで ATO の分厚い書類を乗り越えられずに力尽きる。政府向けに構築するということは、その現実を初日から見据えて設計することを意味する——アクセス制御、データ分離の保証、監査インフラを、パイロットのあとに後付けするのではなく、である。デモで見事でも認可を通過できないモデルは、ただの一人の市民にも役立つことはない。

さらに、連邦政府が州ごとにばらばらのAI法を専占（プリエンプト）するかもしれないと示唆していることを踏まえれば、そもそもこれに取り組む価値があるのか、という問いもある。そうなるかもしれない。だが市は、住民のチップ収入や住宅の権利を、将来の大統領令が何をするかに賭けるわけにはいかない。MyCity が与えた助言は、AI規制とは何の関係もない法律の下で違法だった——労働法、住宅法、ChatGPT より何十年も前から存在する消費者保護法だ。いかなる専占もそれを是正しはしない。

私が何度も立ち返るのは、The Markup のあのスクリーンショットだ——チャットボットの自信に満ちた「はい」が、「いいえ」と述べる法令のすぐ隣に並んでいる。答えを知らない人間の職員なら、「確認させてください」あるいは「弁護士に相談すべきです」と言っただろう。私たちは決してそう言わない機械を作り、それを政府のウェブサイトに載せ、そして機械が人々を訴訟へと導いたとき、驚いてみせたのだ。

住民が法の許すところを尋ねたとき、政府の仕事は、正しくあるか、あるいは知らないことについて正直であるか、のいずれかだ。許容できる出力はその二つだけだ。流暢で権威あるように見える第三の選択肢——自信たっぷりに間違えること——を生み出すシステムに、市の紋章を掲げる資格はない。解決策は、より聞こえのよいモデルなどでは決してなかった。それは、いつ口をつぐむべきかを知るモデルを構築することだった——それこそが、私たちが政府・自治体向けAIのために構築したものの前提のすべてなのだ。