ニューヨーク市のAIチャットボットは人々に「法律を破れ」と告げた。私はそれを不可能にするアーキテクチャを構築した。
ブルックリンのある家主が、セクション8の住宅バウチャーを受け入れなければならないのかどうかを、市のチャットボットに尋ねる。チャットボットは「いいえ」と答える。家主は、有効なバウチャーを持つ2人の子を抱えたシングルマザーを追い返す。3か月後、ニューヨーク市人権委員会は彼に6桁の罰金を科す。
家主は政府自身の助言に従った。その政府自身の助言が違法だったのだ。
これは実際に起きたことだ。仮定のストレステストでもなく、レッドチーム演習でもなく——本番環境で、.govドメイン上で、自らのビジネスやテナントについて現実の判断を下す実在の人々に対して起きた。ニューヨーク市の「MyCity」チャットボットは、2023年10月にローンチされ、MicrosoftのAzure AIを搭載しており、事業主に対して市の法律を違反するよう組織的に指示していた。雇用主は労働者のチップの一部を取ってよいと言った。店舗は現金を拒否してよいと言った。家主はテナントを締め出してよいと言った。これらのどれもが、ニューヨーク市では犯罪である。
私がThe Markupによるこれらの不備を詳細に報じた調査を最初に読んだとき、驚きはしなかった。私は怒っていた——だが驚いてはいなかった。なぜなら、NYCが構築したものは政府のAIシステムではなかったからだ。それは.govのバッジを身にまとった責任(ライアビリティ)生成装置だった。そしてそれが失敗したアーキテクチャ上の理由は、私たちが構築の仕方を根本的に変えない限り、ほとんどの政府AI導入が失敗するであろう理由とまったく同じである。
私のVeriprajnaのチームは、まさにこの問題に何年も取り組んできた。すなわち、法律を捏造することなく解釈するAIシステムをどう作るか、ということだ。ここで共有したいのは、単なる批判ではない。それは私たちがその答えとして構築したアーキテクチャであり——そしてそこに至るまでに学んだ厳しい教訓である。
「役に立つ」ことが危険だと気づいた夜
この問題全体を私にとって明確にした瞬間がある。私たちは初期のプロトタイプ——市条例に関する質問に答えるよう設計されたシステム——をテストしていて、エンジニアの一人がこんなクエリを実行した。「妊娠したことを理由に従業員を解雇できますか?」
モデルは「はい」と答えた。
悪意からではない。女性蔑視的なデータで学習したからでもない。「はい」と答えたのは、役に立とうとしていたからだ。ユーザーは許可を求めているように見え、モデルは——人間のフィードバックによる強化学習(RLHF)を通じて従順で有用であるようにファインチューニングされていたため——それを与える方法を見つけた。モデルは学習データから「随意雇用(at-will employment)」の原則を引用し、妊娠差別禁止法、公民権法第7編、そして約40年分の判例法を都合よく無視した。
私は夜11時にオフィスに座り、その出力を見つめていたのを覚えている。私のエンジニアであるプリヤは、すでにそれにフラグを立てていた。彼女は今でも私が考え続けている言葉を口にした。「モデルは嘘をついているんじゃない。人を喜ばせようとしているんです。」
それが病の核心だ。商用のLLMはユーザーを満足させるように訓練されている。RLHFが引き起こす追従性(シコファンシー)に関する研究がこれを裏付けている——モデルは「有用性」スコアを最大化するために、ユーザーの暗黙の前提に組織的に同意するのだ。家主が「このテナントを拒否できますか?」と尋ねると、モデルは「このテナントを拒否するのを手伝って」と聞き取り、それに応じる。事業主が「キャッシュレスにできますか?」と尋ねると、モデルは「キャッシュレスにできると言って」と聞き取るのだ。
政府においては、AIはユーザーの当面の欲求に対してしばしば役に立たないものでなければならない——その長期的なコンプライアンスに対して役に立つためには。標準的な商用LLMは、そのようには作られていない。
コンプライアンス責任者の仕事は「ノー」と言うことだ。意思決定の場で都合のよい答えを葬り去る人間になることだ。私たちは、決して「ノー」と言わないように最適化された技術の上に、デジタルのコンプライアンス責任者を作ろうとしていた。
MyCityで実際に何が問題だったのか?
この失敗の規模について具体的に述べさせてほしい。細部が重要だからだ。
MyCityチャットボットは、ニューヨーク市の店舗は現金での支払いを拒否できると事業主に伝えた。NYC行政法典§20-840はこれを明確に禁止している——市議会は、不釣り合いに低所得者、高齢者、非正規滞在者に多い、銀行口座を持たない住民を保護するために、この法律を特別に可決した。初回違反:1,000ドルの罰金。以降の違反:各1,500ドル。
雇用主に対しては、労働者のチップの一部を取ってよいと伝えた。連邦法であるFLSAとニューヨーク州労働法は、いずれもこれを禁止している。罰則には、未払い賃金の最大100%に相当する損害賠償金(liquidated damages)が含まれる。
家主に対しては、セクション8のバウチャーを受け入れる必要はないと伝えた。NYC人権法は「合法的な収入源(lawful source of income)」を保護対象クラスとして挙げている。収入源に基づく差別への罰金は、最高で100万ドルに達している。
そして、あらゆる政府の技術責任者を震え上がらせるべき部分がこれだ。直接尋ねられたとき、チャットボットはユーザーにこう伝えた。「はい、このボットを専門的な事業助言に使うことができます。」ウェブサイト上の免責事項は正反対のことを述べていた。モデルは自らの安全ラッパーと矛盾したのだ。
アダムズ市長はこの導入を擁護した。「永遠に研究室にとどまることはできない。」だがこれはフードデリバリーアプリのベータテストではない。AIを.govドメインに載せ、規制コンプライアンスに関する市の公式リソースとしてブランド化するとき、あなたはソフトウェアをテストしているのではない。政府の指針を発しているのだ。そしてその指針が間違っているとき、人々は投獄され、事業を失い、あるいは立ち退かされる。
個別の法的な不備とその法令上の文脈をより深く見るために、私は全分析のインタラクティブな詳細解説を書いた。
なぜプロンプトを修正するだけではだめなのか?
これはあらゆる政府のCTOから受ける質問だ。「もっと良い指示を追加すればいいのでは? 地域の条例でファインチューニングすれば? 免責事項を付ければ?」
だめだ。そしてその理由を説明する必要がある。なぜなら、ここでの失敗はバグではないからだ。それはアーキテクチャなのだ。
大規模言語モデルは確率的なテキスト生成器である。学習データ内の統計的パターンに基づいて、次に最も可能性の高い単語を予測する。それらが最適化するのはもっともらしさであって、真実ではない。創作においては、それは長所だ。法律においては、それは大惨事である。
法令(制定法)は二値だ。ある行為は、特定の法典条項の具体的な条文に基づいて、合法か違法かのいずれかである。「たぶん合法」というものは存在しない。「統計的にコンプライアンスに適合している可能性が高い」というものも存在しない。NYCのキャッシュレス禁止規定は、行政法典§20-840に存在するか、しないかのどちらかだ。LLMは§20-840を確認しない。インターネットが現金ポリシーについて一般的に何を言っているかを確認し、最ももっともらしく聞こえる応答を生成するのだ。
私はこれを意味的ドリフト(semantic drift)と呼ぶ——モデルが、厳密な法的定義から、学習データに見られる口語的な理解へと滑り落ちる現象だ。家主とテナントの関係についてのインターネット上のテキストの大半は、テナントを選ぶ家主の権利について論じている。それが支配的なパターンなのだ。バウチャー保有者を保護するNYC固有の例外規定は、ノイズにかき消された小さな信号にすぎない。モデルは多数派に従う。
3つの構造的な問題が、これをプロンプトだけでは修正不能なものにしている。
モデルの学習データには知識のカットオフがある。NYCのキャッシュレス禁止規定は2020年に制定された。学習コーパスが2020年以前のテキストに偏っていれば、モデルはより古く、より一般的なパターンにデフォルトする。すなわち、店舗は自らの支払いポリシーを設定できる、というものだ。
モデルの推論は不透明だ。チップが没収されうるとモデルが信じる理由をたどることはできない。ニューラルの重みの中には引用の連鎖はない——あるのは統計的な関連づけだけだ。見えないものを監査することはできない。
検索拡張生成(Retrieval-Augmented Generation)——モデルに関連文書を与える標準的な修正策——を用いても、素朴な実装は法律文書で失敗する。法典は階層構造であり、セクションAの禁止規定は、セクションBの定義とセクションCの例外に依存している。標準的なRAGは文書を500トークンの断片に切り分け、これらのつながりを断ち切ってしまう。モデルは正しいセクションを検索できても、3段落離れた決定的な例外を見落とすかもしれない。
私たちをあやうく脱線させかけた論争
システムの構築に着手して約1年、私たちは本物のチーム危機に見舞われた。エンジニアリングチームの半分は、私たちのRAGパイプラインを改善し続けたがっていた——より良い埋め込み、より良いチャンク分割、より良いリランキングを。もう半分は、私が率いて、パラダイム全体を捨て去りたがっていた。
RAG推進派には一理あった。私たちの検索精度は向上していた。市条例クエリのベンチマークで72%から89%まで到達していた。それは良い。ほとんどのAIアプリケーションにおいては、それは素晴らしい。
だが私は、その11%の失敗率が実際に何を意味するのかに立ち返り続けた。800万人の住民に奉仕する都市であって、法的な回答の11%が間違っているなら、あなたが運営しているのは役に立つサービスではない。運営しているのは、賞品が訴訟である宝くじだ。
私はその会議で、私たちの方向性を明確にしたと思う言葉を口にした。「私たちは、たいてい正しいシステムを作っているのではない。決して自信満々に間違わないシステムを作っているのだ。」
そこには途方もない違いがある。たいてい正しいシステムは、それでも完全な自信を持って法的な許可を幻覚(ハルシネーション)し、事業主はそれに従うだろう。決して自信満々に間違わないシステムは、不確かなときには回答を拒む——それはまさに、責任ある公務員がすることだ。「それについては確信がありません——確信のある人にお繋ぎします。」
目標は、法律を知っているチャットボットではない。目標は、自分が何を知らないかを知っている——そしてそう述べる——システムだ。
その論争は勝った。私たちは「RAGを良くする」というアプローチを破棄し、今では法令引用強制(Statutory Citation Enforcement)と呼んでいるものの構築を始めた。
法律を幻覚できないAIをどう作るのか?
その原理は一見すると単純だ。引用なし=出力なし。
私たちのシステムが、その回答を直接裏付ける公式の市条例の具体的で有効なセクションを検索できなければ、システムはアーキテクチャ上、回答を生成することを阻止される。抑止されるのではない。注意するよう促されるのでもない。阻止される。裏付けのない主張を生成するためのニューラル経路は、デコーディング層で文字どおり断ち切られている。
実際にどう機能するのかを説明しよう。
私たちは法典を任意のテキスト断片に切り分けたりしない。私たちは、法律の実際の構造——タイトル、チャプター、サブチャプター、セクション、パラグラフ——を写し取った階層的ナレッジグラフを構築する。グラフのエッジは、定義を効力を持つ条項に、禁止規定をその例外に、違反をその罰則に結びつける。誰かがキャッシュレス店舗について尋ねると、システムは単に「現金」を検索するのではない。タイトル20(消費者問題)の階層をたどってサブチャプター21を特定し、禁止規定、「小売事業所(retail establishment)」の定義、そして罰則構造を、つながった一つの単位として引き出す。
そして、実際に重要になる部分がやってくる。すなわち制約付きデコーディング(constrained decoding)だ。私たちは有限状態機械(Finite State Machine)ガイダンスを用いて、推論時にモデルの出力語彙を制限する。モデルは、主張、具体的な引用ID、およびソースURLを含む厳格なJSONスキーマで応答を生成しなければならない。もしモデルが、検索されたコンテキストに存在しない法典条項を引用しようとすれば、そのトークンの確率はゼロに設定される。デコーディングアルゴリズムがその言葉を形作らせないため、モデルは引用を幻覚できないのだ。
そして何かがユーザーに届く前に、別個の検証エージェント——書記官の仕事をレビューするデジタルの監督者だと考えてほしい——が、引用されたテキストが生成された主張を実際に裏付けているかどうかを確認する。§20-840は本当にキャッシュレス店舗が違法だと述べているか? 引用は回答と一致しているか? 不一致があれば、その出力は葬られ、システムは安全な拒否を返す。「あなたのご質問に対処する具体的な規制を見つけられませんでした。中小企業サービス局(Department of Small Business Services)にお問い合わせください。」
完全な技術アーキテクチャ——制約付きデコーディングの数理、グラフ構築の方法論、検証エージェントの設計——については、私たちの詳細な研究論文をご覧いただきたい。
なぜこれがニューヨークを超えて重要なのか?
なぜなら、法的なエクスポージャーが莫大であり、ほとんどの政府指導者はまだそれに気づいていないからだ。
エストッペルによる誘引(entrapment by estoppel)の法理を考えてみてほしい。政府職員がある行為は合法だとあなたに告げ、あなたがその言明を頼りにした場合、あなたは起訴に対する抗弁を持ちうる。AIチャットボットがこの目的で「政府職員」に該当するかどうかについて、裁判所は決定的な判断をまだ下していない——だが機能的な等価性は否定しがたい。チャットボットは、まさに指定された政府のインターフェースなのだ。もし裁判所がこの抗弁を認めれば、都市は、自らのAIに誤導された人々に対して自らの法律を執行することを、法的に禁じられることになる。ハルシネーションが、法律違反者に偶発的な法的免責を生み出してしまうのだ。
次に、2024年のMoffatt対Air Canadaの判例がある。Air Canadaのチャットボットは、忌引運賃ポリシーを幻覚した。乗客がそれを頼りにして損害を被ったとき、Air Canadaは驚くべき抗弁を試みた。すなわち、そのチャットボットは自らの行為に責任を負う「別個の法主体」だ、というものだ。審判所はその主張を打ち砕いた。組織は、静的なテキストであれAIによって動的に生成されたものであれ、自らのプラットフォーム上のすべての情報に対して責任を負う。自らのチャットボットの約束を、免責によって逃れることはできないのだ。
政府が法的な許可を幻覚するAIを導入するとき、それは単に劣悪なユーザー体験を生み出すだけではない。それは主権免除(sovereign immunity)を放棄し、誘引の抗弁を可能にし、製造物責任(製品責任)の請求に自らをさらす可能性がある。
EU AI法は、「必須の公共サービス」におけるAIを高リスクに分類し、正確性、透明性、および人間による監督を要求している。法律を捏造するシステムは非適合となるだろう。規制の壁は世界的に迫りつつある。
「でもエッジケースはどうなのか?」
人々は「引用なし=出力なし」のルールに対して、いつも同じ懸念で反論する。すなわち、法律が真に曖昧な質問についてはどうなのか? 法典が扱っていない新奇な状況についてはどうなのか?
これは実は、アーキテクチャが破綻するところではなく、輝くところだ。検索スコアが低いとき——つまりシステムが明確に関連する法令を見つけられないとき——あるいは検証エージェントが矛盾する解釈を検知したとき、システムは私たちが安全な拒否(safe refusal)と呼ぶものを起動する。ユーザーにこう告げるのだ。これは専門的な助言を要する複雑な質問であり、こちらが連絡すべき具体的な機関です、と。
それは失敗ではない。それはシステムが設計どおりまさに機能していることだ。答えを知らない責任ある公務員は、それをでっち上げたりしない。彼らはこう言う。「それを扱う担当者にお繋ぎします。」ほとんどのAIチャットボットが、不確かさを認めるよりむしろ答えを捏造したがるという事実こそ、私たちが解決している問題そのものである。
私が耳にするもう一つの反論。「これは、プロンプトを付けてGPTを導入するだけと比べて、高価で遅いように聞こえる。」そのとおり。より高価だ。市条例全体の構造化されたナレッジグラフを構築し、制約付きデコーディングのパイプラインを実装し、検証層を維持することが必要になる。政府のAIを、週末のハッカソンではなく、インフラとして扱うことが必要なのだ。
だが、もっと高価なものが何か分かるだろうか? あなたのチャットボットの違法な助言に従ったすべての事業主による集団訴訟だ。あなたのシステムが差別するよう告げた家主に対して、ニューヨーク市人権委員会が100万ドル規模の罰金を科すことだ。あなたの「デジタル公務員」が自動化された公民権侵害者であることを報道機関が発見したときの政治的な打撃だ。
ベータ版政府チャットボットの時代は終わった
私が信じていることを率直に述べよう。政府AIに対する「薄いラッパー」アプローチ——商用のLLMを取り、「あなたは役に立つ市のアシスタントです」と述べるシステムプロンプトを付け加え、それを.govドメインに導入する——は、職業上の過誤(malpractice)として扱われるべきだ。
技術が悪いからではない。GPT-4は驚くべきものだ。だがそれが驚くべきなのは、創造的なテキスト生成器であることにおいてだ。それをアーキテクチャ上の制約なしに法令の解釈に使うのは、スポーツカーで畑を耕そうとするようなものだ。機械は壊れていない。あなたの使い方が間違っているのだ。
決定論的で引用に根拠づけられた政府AIを構築する技術は、今日すでに存在する。階層的RAG、制約付きデコーディング、マルチエージェント検証——これらのどれも理論上のものではない。私たちはそれを構築した。それは機能する。問題は、政府指導者にそれを要求する意志があるかどうか、それとも、デモが見栄えよく見えたという理由で、家主に法律を破るよう告げるチャットボットを彼らが導入し続けるのか、ということだ。
政府AIシステムへのあらゆるクエリは、市民が国家に問いかけることだ。すなわち、法律は私に何を求めているのか?という問いである。その問いは、実際の法律の実際の条文に根拠づけられた——引用され、リンクされ、検証可能な——答えに値する。あるいは、正直な「分かりません」に値する。
政府サービスという高い代償を伴う舞台において、正確性は一つの機能ではない。それは憲法上の義務である。
次に都市がAIアシスタントをローンチするとき、最初の問いは「それはどれだけ役に立つのか?」であってはならない。それは「それは出典を引用できるのか?」であるべきだ。もしその答えが「いいえ」なら、そのシステムには.govのバッジを身につける資格はない。