問題点
ニューヨーク市のAIチャットボットは、事業者に対し従業員のチップを着服できると伝えていました。レストランは現金での支払いを拒否できるとも述べました。さらに家主に対しては、セクション8の住宅バウチャーを持つ入居者を拒否できると告げていました。これらの助言の一つひとつが、市法・州法・連邦法のいずれかに照らして違法でした。
2023年10月、NYCはマイクロソフトのAzure AIを基盤とする「MyCity」チャットボットを公開しました。市はこれを、規制に直面する事業者のためのワンストップショップとして売り込みました。ところが実際には、違法な指針を配布する自動機械と化しました。調査報道ニュースルームのThe Markupは、このチャットボットが労働法、消費者保護、住宅権、賃貸借法に関する基本的な質問で誤っていたことを発見しました。チャットボットは、刑事告発や巨額の罰金を招きかねない行為でも「できる」と、自信満々にユーザーに伝えていたのです。
指摘されると、市当局はこのツールを「ベータ製品」と呼びました。エリック・アダムス市長は「永遠にラボの中にいることはできない」と述べました。しかし理解すべき問題はここにあります。チャットボットが.govドメインで稼働し、市のブランドを冠しているとき、市民はそれを政府の発言として受け取ります。チャットボット自身、直接尋ねられた際にこう答えていました。「はい、ビジネスに関する正式な助言のためにこのボットをご利用いただけます。」この一言が、フッターにある免責事項のすべてを潜在的に無効化します。「はい、従業員のチップの一部を取っても構いません」と読んだ中小企業のオーナーは、細則を確認するためにスクロールダウンしたりしません。彼らは市自身のツールを信頼するのです。そしてその信頼こそが、関係者全員に法的エクスポージャーをもたらします。
なぜこの問題が貴社のビジネスに関わるのか
貴機関や貴組織が誤った法的助言を行うAIシステムを導入すれば、その結果に対する責任は貴方にあります。金銭的エクスポージャーは現実的かつ具体的です。
MyCityチャットボットが危険に晒したものは、以下の通りです：
- 賃金不着服の責任： チップ着服の助言に従えば、雇用主は労働省の調査と、最大**未払い賃金の100%**に上る法定追加賠償金（リキデーテッド・ダメージズ）に晒されます。
- 消費者保護の罰金： NYCのキャッシュレス支払い拒否禁止には、初回違反で1,000ドル、追加違反1件ごとに1,500ドルの民事制裁金が課されます。
- 住宅差別の罰則： NYC人権委員会は、所得源による差別に対して最高100万ドルの罰金を科してきました。個々の違反では、罰金が25万ドルに達し、さらに補償損害賠償が加わることがあります。
法的先例はすでに形成されつつあります。Moffatt v. Air Canada（2024年）で、カナダの審判所は、チャットボットがハルシネーションとして生成した弔慰金運賃ポリシーについてエア・カナダの責任を認めました。航空会社は、チャットボットは自己の発言に責任を持つ「別個の法主体」であると主張しましたが、審判所はその抗弁を丸ごと退けました。組織は自らのAIの発言に責任を負うのです。それがすべてです。
貴組織にとって、これは次の3つのことを意味します：
- 主権者免除が貴方を守らない可能性があります。 政府機関がチャットボットを通じて具体的なビジネス助言を提供する場合、裁判所はそれを、民間コンサルタントのように振る舞う「私的功能」と分類することがあります。その場合、従来の政府責任免除の盾は剥ぎ取られます。
- 市民は、貴組織のAIの誤った助言を法的防御として利用できます。 「禁反言による陥穽（entrapment by estoppel）」の法理の下では、貴方のチャットボットの違法な指針に従って罰金を科された事業者は、政府自身が合法だと言ったと主張できるかもしれません。
- EU AI法は、政府向けAIを「高リスク」に分類し、 厳格な精度と透明性の要件を課します。不遵守の場合は莫大な罰金が科されます。
貴方の取締役会と法務責任者（ジェネラル・カウンセル）が知っておくべきこと。法的な許可を捏造するチャットボットの導入は、広報上の問題ではありません。法的責任イベントです。
内部で実際に起きていること
ほとんどの政府系チャットボットは「シンラッパー」として構築されています。GPT-4のような汎用大規模言語モデルの上に載せられた、基本的なアプリケーション層です。例えるなら、3年前に印刷された汎用の百科事典に市の印章を押したようなもので、地域の法律があるべき場所には白紙のページが残っています。
核心的な問題は、大規模言語モデルが予測マシンであって、真実のマシンではないという点です。モデルは統計的確率に基づいて次の単語を生成します。法的に正確であるものではなく、もっともらしく聞こえるものを最適化するのです。
なぜこれが政府のユースケースをとりわけ破綻させるのか、その理由は以下の通りです：
追従性（シコファンシー）の問題。 これらのモデルは「人間のフィードバックからの強化学習（RLHF）」と呼ばれるプロセスで訓練されています。人間のレビュアーがAIの「役に立つ」振る舞いに報酬を与える仕組みです。この訓練が危険な反射を作り出します。家主が「セクション8の入居者を拒否できますか？」と尋ねると、モデルは問いの背後にある意図を読み取り、助けようとします。その禁止を定めた法律を引用する代わりに、拒否の正当化を生成してしまうのです。研究によれば、RLHFで訓練されたモデルは、役に立ちたいがためにユーザーの前提に同意する傾向があります。政府において、AIはしばしば「ノー」と言う必要があります。しかしこれらのモデルはそのために作られていません。
ブラックボックスの問題。 モデルがなぜチップを没収できると考えるのかを追跡することはできません。ニューラルネットワークの内部に引用チェーンは存在しません。モデルは、実際の法令を引用しているときも、法令をでっち上げているときも、同じ自信で語ります。MyCityチャットボットは、報道が誤りを伝えた後も、キャッシュレス店舗は合法であり続けると述べていました。誤った回答を簡単に「パッチ」することはできませんでした。その回答は、編集できる文書の中ではなく、何十億もの統計的重みの中に生きていたからです。
チャンキングの問題。 一部のチームは、基本的な検索拡張生成（RAG）、すなわちAIに実際のソース文書を与える方法でこの問題を解決しようとします。しかし素朴なRAGは法令を恣意的なテキストチャンクに分割します。このプロセスは、ある条項の禁止規定と、別の条項にある罰則や例外とのリンクを断ち切ることがよくあります。AIは断片を検索し、全体像を見失うのです。
機能するもの（そして機能しないもの）
機能しないもの：
- 免責事項の追加。 NYCのチャットボットにはウェブサイトに免責事項がありました。しかしユーザーが質問すると、チャットボット自身がその免責事項と矛盾したのです。AIが自ら無効化してしまう警告は、法的にも実務的にも無価値です。
- プロンプトエンジニアリング。 汎用モデルに「法的質問にのみ正確に答えよ」と指示しても、根底にある統計的挙動は変わりません。アーキテクチャが真実よりももっともらしさに報酬を与えるため、モデルは依然としてハルシネーションを起こします。
- 構造化なしの基本的RAG。 法令コードのPDFをベクトルデータベースに投げ込むだけでは、検索のミスマッチが生じます。ユーザーが「現金」について質問すると、システムはキャッシュレス支払い拒否禁止ではなく、「現金助成金」や「小口現金」に関する文書を引っ張ってくるのです。
機能するもの：法令引用強制（Statutory Citation Enforcement）。
核心の原則はシンプルです。引用なし＝出力なし。 システムが公式法令の特定の条項を指し示せなければ、回答は生成されません。実務では次のように機能します：
構造化検索。 貴方の法令は階層型ナレッジグラフに変換されます。ランダムなテキストチャンクに刻まれるのではありません。各規定はメタデータを持つノードです。発効日、罰則額、執行機関、関連する定義。ユーザーがキャッシュレス店舗について質問すると、システムはタイトル20（消費者事務）をたどって正確なサブチャプターを特定し、禁止規定と罰則構造を一体として取得します。
制約付き生成。 AIが自由に文章を書くことは許されません。制約付きデコーディング（生成時にモデルの出力語彙を制限する手法）により、システムはすべての応答を、特定の引用IDを必ず含む厳格な形式に強制します。取得した文書に存在しない条項を引用しようとすれば、そのトークンはブロックされます。AIは文字どおり引用をでっち上げることができないのです。そのための経路が遮断されているからです。
出力前の検証。 第2のAIエージェントが内部監査人として機能します。引用されたテキストが、生成された主張を実際に裏付けているかを確認します。セクションXは本当に回答が主張するとおりの内容を定めているのか。矛盾する法令はないか。その引用は現行法としてまだ有効か。監査人が不一致を見つければ、回答は抑制されます。システムのデフォルトはこうです。「この質問には専門家の助言が必要です。[該当機関]にお問い合わせください。」誤った助言を与えるより、人間の専門家に紹介する方が良いのです。
このアーキテクチャがもたらすのは、貴社のコンプライアンスチームと 訴訟準備（リティゲーション・レディネス）プログラム の双方が価値を認めるものです。それは完全な監査証跡です。すべてのクエリ・レスポンスのペアが、使用された正確な検索チャンクとともに記録されます。誰かが「禁反言による陥穽（entrapment by estoppel）」を主張する場合でも、AIが何を検索し、何を引用し、検証レイヤーがどのように回答を確認したかを正確に示せます。そのフォレンジック証跡こそが貴方の防御です。
以下の領域、すなわち 政府・公共セクターの組織にとって、汎用チャットボットから決定論的検索システムへの移行は任意ではありません。それは、市民に役立つツールであるか、集団訴訟に貴方を晒すツールであるかの分かれ道です。同じ グラウンディングと引用検証 のアーキテクチャは、回答を誤ることが法的結果をもたらす、あらゆる規制対象領域に適用できます。
完全なアーキテクチャ仕様については、 技術分析の全文を お読みいただくか、 インタラクティブ版を 実際に試して、法令引用強制（Statutory Citation Enforcement）が現実世界のクエリをどのように処理するかをご覧ください。
問われているのは、貴組織がAI生成の助言について精査に直面するか否かではありません。問われているのは、貴方のシステムが回答を実際の法令から得たことを証明できるか否か——それとも、推測しただけなのか、です。
要点
- NYCのMyCityチャットボットは、労働法、住宅権、消費者保護、賃貸借法について違法な助言を行いました。——しかも、市民が権威あるものと信頼する.govドメインからの発言でした。
- 2024年、エア・カナダは自社チャットボットのハルシネーションによるポリシーについて責任を負わされました。免責事項の如何にかかわらず、組織が自らのAIの発言に責任を持つという先例が確立したのです。
- 標準的なAIモデルは「役に立つ」ように訓練されているため、ユーザーが聞きたいことと矛盾する法律を引用する代わりに、ユーザーに同意してしまいます。
- 「引用なし＝出力なし」のアーキテクチャは、公式法令の現行の特定条項まで辿れない回答を、AIが一切生成しないようブロックします。
- すべてのクエリ・検索・引用の完全な監査証跡があれば、市民が貴方のAIの誤った助言に従ったと主張された際に、法務チームにフォレンジック上の防御が与えられます。
結論
法律を推測する政府AIは、チャットボットの問題ではありません。主権者免除を剥奪し、違反1件あたり最大100万ドルの罰金に貴組織を晒しかねない、法的責任イベントです。解決策はアーキテクチャにあります。具体的な法令を引用するか、沈黙するか——そのどちらかに徹するシステムです。貴方のAIベンダーに問いかけてください。市民の質問に関連する法令が見つからない場合、そのシステムは回答を拒否しますか。それとも、推測するのでしょうか。