都市を呑み込んだアルゴリズム——予測的ポリシングの崩壊が教えてくれた、信頼に足るAIの築き方
2023年後半、私はある会議室に座り、見込み客が自社の内製AIツールをデモするのを見ていた——金融文書のリスクをコンプライアンスチームが検出するのを支援するために組み上げた、チャットボットだ。インターフェースは洗練されていた。応答は速かった。そして、およそ4回に1回の答えは、自信たっぷりに、そして危険なほど間違っていた。
私がハルシネーション——モデルが存在しない規制上の引用をでっち上げていた——を指摘すると、エンジニアリング担当VPは肩をすくめた。「ええ、それは承知しています。次のモデルアップデートで直ることを期待しているんです」
その瞬間、私が何か月も考え続けてきたことが結晶化した。エンタープライズの世界は、アメリカ全土でAIを用いた警察活動への市民の信頼をすでに破壊していたのとまったく同じ罠へと、夢遊病者のように歩み込みつつあった。技術そのものが本質的に悪だったからではなく、それを導入する人々が、AIシステムを「保有」していることと、それを「統治」することとを混同していたのだ。
Veriprajnaでは、私たちは高リスクなエンタープライズ環境のために深いAIソリューションを構築している。だが、なぜ私たちがそれをこのようなやり方で——ガバナンスを初日から組み込み、説明可能性を譲れない要件とし、数学的な公平性の制約を訓練プロセスに織り込んで——構築するのかを説明するには、まずあなたを居心地の悪い場所へ連れて行かなければならない。あなたをシカゴへ連れて行く必要がある。
ある都市の若い黒人男性の56%が、機械によってフラグを立てられた
シカゴの「戦略的対象者リスト（Strategic Subject List）」——内部では「ヒートリスト」と呼ばれていた——は、スマートな警察活動の未来になるはずだった。地域一帯に警官を張り巡らせる代わりに、このアルゴリズムは、加害者としてであれ被害者としてであれ、銃暴力に関与する可能性が最も高い特定の個人を特定するというものだった。力任せではなく精密さを。直感ではなくデータを。
リストは40万人超へと膨れ上がった。
その数字を少しのあいだ噛みしめてほしい。人口270万人の都市で、このアルゴリズムは40万人の個人がフラグを立てる価値があると判断したのだ。そしてその人口構成は驚くべきものだった——シカゴの20歳から29歳までの黒人男性の56%が、そのリストに載ることになった。ウェスト・ガーフィールド・パークでは、10歳から29歳までの黒人男性の73%がフラグを立てられた。システムが「ギャングのメンバーと疑われる者」と分類した個人の96%が、黒人またはラテン系だった。
私が監査データを初めて掘り下げたとき、頭が壊れそうになったのはこの点だ——アルゴリズムが優先ターゲットとした人々の57%は、暴力犯罪で一度も逮捕されたことがなかった。システムは、軽微な薬物所持や治安紊乱行為といった低レベルの軽犯罪を取り込み、それらを将来の銃暴力を予測するシグナルとして扱っていた。過剰な取り締まりという装置を、さらなる取り締まりを正当化する証拠として利用していたのだ。
アルゴリズムがバイアスの結果を、バイアスが正当だという証拠として扱うとき、あなたが手にしているのは予測エンジンではない。自動操縦で動く差別マシンだ。
シカゴ監察官事務所は最終的に、多くのコミュニティ団体が何年も声を上げて訴えてきたことを記録に残した——SSLは人種によってバイアスがかかっており、殺人発生率の低減にはおおむね無効だった、と。それは2019年後半に廃止されたが、その前に、アルゴリズムが危険だと判断した地域に住んでいたという「罪」しか持たない数千人のもとへ、警官を予告なしの訪問に送り込んでいた。
なぜ地震モデルは犯罪予測に失敗したのか？
3,000マイル西では、LAPDが独自の実験を進めていた。Geolitica——旧称PredPol——は、もともと地震の余震を予測するために設計されたモデルを使っていた。その論理は魅惑的だった——揺れが空間的・時間的に集中するのとまったく同じように、特定の種類の犯罪も予測可能な時空間パターンに従う、というものだ。アルゴリズムに過去の事件データ——場所、時刻、犯罪の種類——を与えると、警官にどこをパトロールすべきかを告げる、500フィート四方の「ホットスポット・ボックス」を生成する。
私は技術文書を読みながら、こう考えていたのを覚えている——これは実にエレガントだ。数学的には明快だった。インターフェースは直感的だった。そして結果は破滅的だった。
LAPD監察官による2019年の監査は、データ入力に「重大な不整合」があることを突き止めた。警官たちは、現場ではなく警察施設でパトロール時間を記録しており、ホットスポットのデータを汚染していた。システムは、自らの影響をより広範な警察活動の傾向から切り分けることができなかった。そしてニュージャージー州プレインフィールドのような同等の管轄区域では、予測の成功率は1%未満と記録されていた。
1パーセント未満。コインを投げたほうが、まだ役に立っただろう。
だが、より根深い問題は精度ではなかった——それはフィードバックループだった。アルゴリズムが、黒人やラテン系が大多数を占める地域をホットスポットとしてフラグを立てると、より多くの警官がそこへ向かった。警官が増えれば、職務質問も増える。職務質問が増えれば、より裕福で白人の多い地域では取り締まられなかったであろう軽微な違反での逮捕も増える。そうした新たな逮捕は、犯罪多発の「証拠」として訓練データへと還流し、アルゴリズムは同じ地域に対する予測を忠実に強めていった。
カリフォルニア州の人種・アイデンティティ・プロファイリング法（RIPA）のデータは、反論の難しい数字でこれを白日の下にさらした——黒人は、人口比から予想される頻度よりも126%多く職務質問を受けていた。警官は2023年に、車両および歩行者への職務質問を470万件実施した。そして、ここが肝心な点だ——警官が黒人やラテン系の人々をより高い割合で捜索したとき、禁制品が見つかる可能性は一貫して低かった——白人に対する捜索と比べて。
データは、平明な統計の言葉で、システムが間違っていると私たちに告げていた。それでもなお、システムは動き続けた。
LAPDは2024年初頭、ついにGeoliticaとの関係を打ち切った。私は、こうした失敗のより広範な意味——そしてそれがエンタープライズAIアーキテクチャにとって何を意味するのか——を、私たちの研究のインタラクティブ版に記した。
誰もブラックボックスを開けられないとき、何が起こるのか？
科学哲学には、私のリサーチのなかで繰り返し登場した用語がある——「認識論的不透明性（epistemic opacity）」だ。それは、システムがあまりに複雑なため、それを運用している当人たちでさえ、システムがどのように結論に到達するのかを完全には理解できない、ということを意味する。
ほとんどの予測的ポリシング・システムは、独自仕様のブラックボックスだった。具体的なデータ入力、重み付けされる要因、予測のロジック——そのすべてが企業秘密として隠されていた。これらのツールを使う警察は、しばしば説明できなかった——なぜ特定の人物や地域がフラグを立てられたのかを、市民的自由を擁護する団体が答えを要求したときでさえ。
これは警察活動だけの問題ではない。それは、ほとんどの企業が今まさにAIを導入しているそのやり方における、決定的な脆弱性なのだ。
私は、デモを見たあのコンプライアンス・チャットボットのことを考える。エンジニアリング担当VPは、モデルが答えを生成するために実際にどの文書を取得したのか、私に説明できなかった。なぜ規制上の引用をハルシネーションしたのかも説明できなかった。同じ質問を明日尋ねたら、システムが違う答えを返すのかどうかも、私に告げられなかった。そして彼の計画は、OpenAIがより優れたモデルをリリースするのを待つことだった。
それはAI戦略ではない。祈りだ。
暴走するフィードバックループは、警察活動だけの問題ではない
ここで私は、エンタープライズAIに携わるほとんどの人々が見落としていると私が考える、ある結びつきを示さなければならない。
予測的ポリシングを破壊したフィードバックループ——バイアスのかかった出力がバイアスのかかった訓練データを生み、それがさらにバイアスのかかった出力を生む——は、法執行に固有のものではない。それは、独立した検証なしに自らの運用環境から学習する、あらゆるAIシステムに備わった構造的な性質なのだ。
履歴書を選別する、AIを用いた採用ツールを考えてみてほしい。エンジニアリング職に主として男性を採用してきた企業の過去の採用データで訓練されれば、そのツールは、男性を連想させる言葉づかいを「優れた候補者」と結びつけることを学習する。女性の評価を下げる。企業が採用する女性は減る。その採用データが次の訓練サイクルへと還流し、バイアスはさらに深まる。
あるいは、過去の融資承認データで訓練された金融の審査モデルを考えてみてほしい。かつての融資担当者が特定の郵便番号地域——数十年にわたるレッドライニングのために、たまたま人種と相関する郵便番号地域——からの申請を承認しやすかったとすれば、モデルはそうしたパターンを学習する。その地域の適格な申請者に対して融資を拒否する。そうした拒否が訓練データになる。そしてサイクルは続く。
最も危険なAIシステムとは、明らかに壊れているものではない。それは、精査を免れる程度にはちょうどうまく機能しながら、訓練データのバイアスを、大規模な自動化された意思決定のなかへとひそかに埋め込んでいくものだ。
だからこそ私は、エンタープライズのリーダーたちがAIガバナンスを「あればうれしいもの」や「フェーズ2の取り組み」として語るのを聞くと、いら立ちを覚える。ガバナンスは、ローンチ後に後付けする機能ではない。それはアーキテクチャそのものなのだ。
なぜLLMラッパーは高リスク環境で失敗しているのか？
一つ、率直に言わせてほしい——単純なLLMラッパーの時代は終わりつつあり、そしてほとんどの企業はまだそのことに気づいていない。
LLMラッパー——GPT-4やClaudeのような基盤モデルの上に、薄いプロンプトエンジニアリングの層と見栄えの良いUIを載せたもの——は、メールの下書きや会議メモの要約には申し分なく機能する。だが、法務レビュー、金融コンプライアンス、医療トリアージ、あるいは誤った答えが重大な結果をもたらすあらゆる領域では、機能しない。
私たちはVeriprajnaでこれを厳密に検証した。セキュリティ脆弱性のトリアージ——軽微なバグと重大なエクスプロイトとを見分ける必要がある領域——では、素朴なLLMラッパーの精度はおよそ51%だった。これはランダムとほとんど変わらない。モデルには、意味のある区別をつけるための専門的なツールとドメイン知識が欠けていた。そしてそれには、私が「日和見（フェンス・シッティング）」現象と呼ぶようになったもう一つの問題があった——基盤モデルに組み込まれた安全性のアライメントが、曖昧なケースについて確固たる立場を取ることをためらわせたのだ。トリアージの文脈では、曖昧さこそが仕事のすべてである。あらゆるエッジケースで態度を保留するAIは、チームを強化しているのではない——より多くの仕事を生み出しているのだ。
対照的に、私たちのマルチエージェント・アーキテクチャ——構成可能なエージェント、構造化されたワークフロー、そしてドメイン特化型のナレッジベースを備えたもの——は、同じベンチマークで89%の精度を叩き出した。それは私たちが「より優れた」モデルを使ったからではなく、私たちが構築したのが、「システム」であって、ラッパーではなかったからだ。
その差——51%対89%——は、もっともらしいテキストを生成するAIと、ある領域について実際に推論するAIとの差なのだ。
数学的な公平性とは、実際にはどのようなものか？
Veriprajnaを築くなかで私が学んだことの一つは、AIにおける「公平性」は雰囲気であってはならない、ということだ。それは数字でなければならない。
高リスク環境向けのシステムを構築するとき、私たちは公平性を数学的に定義し、それを継続的に監視する。最も重要な指標は二つある——
「人口統計学的パリティ（Demographic Parity）」はこう問う——好ましい結果が得られる確率は、人種や性別といった保護属性から独立しているか？ もしあなたの採用AIが男性応募者の60%を承認し、女性応募者は35%しか承認しないなら、あなたはこのテストに不合格である。
「均等化オッズ（Equalized Odds）」はさらに踏み込む——真陽性率と偽陽性率は、各グループ間で等しいか？ これが重要なのは、システムが、過小に代表されているグループからの申請をランダムに多く承認することで——実際に適格な候補者を見分ける能力を高めることなく——人口統計学的パリティを達成できてしまうからだ。
両方の指標を同時に監視する必要があり、どちらか一方だけでは十分ではない。だからこそ私たちのバイアス緩和戦略は、AIのライフサイクル全体にわたって機能する——モデルが目にする前に訓練データを再重み付けし、敵対的デバイアシングのような技術を通じて公平性の制約を訓練プロセスに直接組み込み、そして訓練後には決定のしきい値を調整して、人口統計グループ間で公平な結果を確保するのだ。
専門的に聞こえることはわかっている。だが、平易な言葉で言えばこうだ——もし自分の公平性の基準を数式として表現できないのなら、あなたに公平性の基準などありはしない。あるのはプレスリリースだけだ。
ほとんどの企業が備えていない、規制の波
企業がチャットボットの実験に忙しくしているあいだに、規制当局は法律を書くことに忙しくしてきた。
米国の40を超える都市が、予測的ポリシングや、顔認識のような関連するAI技術を禁止、または厳しく制限する方向へ動いた。2019年にサンフランシスコが最初だった。ボストン、ポートランド、サンタクルーズが続いた。2024年3月、ホワイトハウスは画期的な政策を発表し、権利に影響を及ぼすあらゆるAIシステムについて、連邦機関に独立した検証と義務的な影響評価の実施を求めた。
これは政府だけの問題ではない。EU AI法、NISTのAIリスクマネジメントフレームワーク、ISO 42001——これらのフレームワークは、たった一つのメッセージへと収束しつつある——高リスクな意思決定にAIを導入するなら、あなたはそれが公平であることを証明し、どのように機能するかを説明し、そしてそれを継続的に監視していることを実証するよう求められることになる。
ガバナンスのインフラを整えている企業は適応するだろう。LLMラッパーを構築し、それを「AI戦略」と呼んだ企業は、慌てて対応に追われることになる。
私はこのパターンを以前にも、サイバーセキュリティで目にしてきた。セキュリティを後回しの問題として扱った企業は、規制が到来したとき、何年もかけて後れを取り戻すはめになった。最初からセキュリティをアーキテクチャに組み込んでいた企業は、ほとんど気にも留めなかった。AIガバナンスは同じ軌道をたどっている——ただし、より速く。
私たちがガバナンスフレームワークをNIST、ISO 42001、そしてEU AI法とどのように整合させているかについての完全な技術的解説については、私たちの研究論文をご覧いただきたい。
「GPTを使えばいい」、そのほかの高くつく誤り
なぜ企業は、多少のプロンプトエンジニアリングを施した基盤モデルをただ使って、それで済ませてしまってはいけないのか——人々はいつも私にそう尋ねる。その答えは、LAPDが犯罪予測に地震モデルを使うべきではなかったのと、同じ理由だ。
問題はツールではない。前提のほうだ。
その前提とは、汎用的なシステム——それが地震学のアルゴリズムであれ、インターネットで訓練された大規模言語モデルであれ——を、根本的なアーキテクチャの変更なしに、専門的で高リスクな領域へと放り込めるというものだ。ドメイン特化型の推論レイヤーなしに。説明可能性なしに。継続的なバイアス監視なしに。ガバナンスなしに。
その前提は、すでに試された。警察活動においては、それは市民の信頼を破壊し、数十万人もの人々を傷つけ、全国規模の規制の反発を引き起こした。エンタープライズAIにおいては、その結末はより静かに展開している——ハルシネーションによる法的引用のなかで、バイアスのかかった採用判断のなかで、そして監査や訴訟が白日の下に引きずり出すまで表面化しないコンプライアンスの失敗のなかで。
問うべきは、あなたのAIが間違いを犯すかどうかではない。問うべきは、間違いを犯したときにあなたがそれに気づけるのか——そして、それが雪だるま式に膨らむ前に捉えるためのアーキテクチャを、あなたが築いてきたのか、である。
Veriprajnaでは、私たちはモデルから始めることはしない。私たちはデータから始める。ただ一つのパラメータが訓練される前に、データの品質、アクセシビリティ、そして歴史的なバイアスを監査する。私たちはマルチエージェント・アーキテクチャを構築し、そこでは専門的な推論レイヤーが、汎用モデルへのゼロショット呼び出しに頼るのではなく、深いリサーチを実行できる。私たちは説明可能なAIの検証を実装し、あらゆる意思決定が追跡され、問いただされ、そして擁護されうるようにする。そして私たちは継続的に監視する——精度だけでなく、公平性のドリフトについても。なぜなら、基盤となるデータ分布が変化していれば、半年前には公平だったものが、今日もなお公平だとは限らないからだ。
これはラッパー方式よりも高くつくわけではない。むしろ安くつく——なぜなら、ガバナンスの効いていないAIシステムを高リスク環境に導入するコストは、エンジニアリングの工数で測られるものではないからだ。それは、訴訟、規制上の制裁金、評判の損害、そして誰も説明も擁護もできない自動化された意思決定がもたらす人的コストで測られるのだ。
それが起きる部屋
今も私の心に残る、ある瞬間で締めくくりたい。
私たちは、金融サービス業のあるクライアントのために、新しい推論レイヤーの構築に深く入り込んでいた。チームは、ある特定のモジュールにおいて精度と説明可能性のどちらを優先すべきかをめぐって、二日間にわたり議論を続けていた——誰もが技術的には正しく、本当の問いはエンジニアリングではなく価値観に関わる、あの種の議論だ。
私のリードエンジニアがついに、部屋を静まり返らせる一言を口にした。「このモデルがなぜある人に融資を拒否したのかを説明できないのなら、私たちはAIシステムを構築したことにはならない。私たちが構築したのは、解決するために雇われたはずの問題の、より効率的な版だ」
彼女は正しかった。そしてその一言は、私たちが構築するすべてのものにとって、設計原則にも近いものになった。
予測的ポリシングの失敗——シカゴのヒートリストに載った40万人、プレインフィールドにおける1%未満の精度、歴史的な人種差別を数学的な確実性へと変えてしまったフィードバックループ——これらは、別の業界からの教訓めいた作り話などではない。それらは、信頼を勝ち取るためのアーキテクチャなしにAIを導入したとき何が起こるのかを示す、可能な限り最も明確な予告編なのだ。
進むべき道は、AIを放棄することではない。それは、ガバナンスを間接コストとして扱うのをやめ、それを製品そのものとして扱い始めることだ。これを理解している企業は、精査に耐えるシステムを構築するだろう。理解していない企業は、LAPDが学び、シカゴ市警が学んだ教訓を——そしてあのコンプライアンス・チャットボットもいずれ学ぶことになる教訓を——学ぶことになる——誠実さを欠いたAIシステムは、ツールではない。見栄えの良いインターフェースを備えた、一つの負債だ。
