アルゴリズムが「有罪」と告げただけで、祖父は10日間投獄された

私は、ある見込み客——中規模の小売チェーン——との通話中に、そこの損失防止担当VPが口にした一言に、思わず胃が締めつけられた。

「顔認識のベンダーを検討しているんです。システムの精度は98%だと言っています。あとは誰かに導入してもらうだけでいい」

私は一つだけ質問した。「98%の精度というのは、誰の顔に対してですか?」

沈黙。

その会話があったのは、私がRite Aidに対するFTCの訴状——全54ページ——と、ハーヴェイ・ユージーン・マーフィー・ジュニアが起こした1,000万ドルの訴訟に目を通していた数週間後のことだった。彼は61歳の祖父で、カリフォルニア州サクラメントの自宅にいた間に起きた強盗事件のために、ヒューストンの拘置所で10日間を過ごした。彼は顔認識システムによって特定された。システムは間違っていた。誰かがようやく確認しようとする頃には、マーフィーは塀の中で暴行を受け、性的暴行を加えられていた。

あの夜、私はオフィスに座ってマーフィーの事件の詳細を読み返しながら、技術的な失敗報告を読むときには普段感じない感情を覚えたのを記憶している——怒りだ。アルゴリズムに対してではない——アルゴリズムに意図はない。それをバーコードスキャナーのように導入した人間たちに対してだ。これを不可避にしたアーキテクチャに対してだ。

私はVeriPrajnaを経営している。私たちが構築しているのは、私が「ディープAI」と呼ぶもの——不確実性の定量化、マルチエージェント・ガバナンス、そしてその基盤にある厳密なエンジニアリングを備えたシステムだ。Rite Aidを禁止させ、ハーヴェイ・マーフィーを逮捕させたものとは正反対のものだ。そしてなぜその違いが、この業界の多くの人が認めたがる以上に重要なのかを、あなたに伝えなければならない。

Rite Aidで起きたことは不具合ではなかった——それは設計上の選択だった

2023年12月、FTCは前例のないことを行った——Rite Aidに対し、顔認識技術の使用を5年間禁止したのだ。罰金ではない。警告でもない。禁止だ。

2012年から2020年にかけて、Rite AidはAIベースの顔認識監視を数百の店舗に導入していた。狙いは単純だった——既知の万引き犯を特定し、警備員に警告し、盗難を減らす。だが、その実行は大惨事だった。

Rite Aidは顔認識技術を2社のサードパーティ・ベンダーから購入した。両社の契約はいずれも、精度に関するいかなる保証も明示的に否認していた。もう一度読んでほしい。その技術を販売する企業が、それが機能するとすら約束しなかったのだ。それでもRite Aidはそれを導入した——現実の人々であふれる店舗に、誤って特定されることに現実の結果が伴うにもかかわらず。

Rite Aidの誰一人として、そのシステムの精度を検証しなかった。ベンダーが検証したかどうかを確認する者もいなかった。画質管理を実装する者もいなかった。店舗の従業員は、粗い防犯カメラの静止画や携帯電話の写真を登録データベースに投入し、システムはそれら劣化した画像を、ドアを通るすべての顔と律儀に「照合」していた。

その結果は、生体認証工学を理解している者には予測可能であり、理解していない者には壊滅的なものだった。何千件もの誤検出。無実の客が通路を追跡され、身体検査を受け、公然と窃盗を非難された。そして、すべての企業リーダーが立ち止まって考えるべき点がここにある——誤った警告は、女性と有色人種を不釣り合いに標的にしていた。黒人やアジア系が多数を占める地域の店舗では、白人が多数を占める地域の店舗よりも、著しく多くの誤照合が発生した。

これはバグではなかった。それは、代表性のないデータセットで訓練され、較正もされず、監視もなく、劣化した画像に対して、名ばかりの人間によるレビュープロセスもないまま導入された、モデルの必然的な出力だった。

なぜ61歳の祖父が投獄されたのか?

ハーヴェイ・マーフィーの事件はさらにひどい。失敗の連鎖がより長く、その人的代償がより生々しいからだ。

2022年1月、何者かがヒューストンのサングラス・ハットで強盗を働いた。親会社であるエシロールルックスオティカは、メイシーズと協力して、その店舗の監視映像に顔認識を実行した。システムは、粗い強盗の映像を、どうやらマーフィーの非暴力犯罪での顔写真が含まれていたデータベースと照合した。その写真が撮られたのは、数十年も前のことだった。

二つの事実を同時に頭に留めておいてほしい。第一に、強盗があった日、マーフィーはカリフォルニア州サクラメントにいた。第二に、システムは現在の監視映像を、数年——おそらく数十年——前に撮影された写真と照合した。研究によれば、現在の画像を古い写真と照合すると、誤検出率が90%にも達することがある。これは「年齢差(エイジギャップ)」問題と呼ばれ、法執行の文脈で顔認識を導入する者は誰もが知っておくべきものだ。

しかし、この事件で私を苦しめるのはこの点だ。訴状によれば、サングラス・ハットとメイシーズは、自動照合の結果を法執行機関に、検証済みの事実として提示した。手がかりとしてではない。確率としてではない。身元の特定として、だ。警察は捜査をやめた。犯人は捕まえたと思ったのだ。

機械の出力が、人間のアリバイよりも大きな権威をもって扱われるとき、私たちは、どれほど精度を改善しても修復できない一線を越えてしまっている。

マーフィーは逮捕された。自分はテキサスにいなかったと彼は訴えた。それは意味をなさなかった。地方検事局が彼のアリバイを確認するまで、彼は10日間を拘置所で過ごした。その頃には、被害はすでに生じていた——身体的にも、心理的にも、そして永久に。

私のチームと私は、ある晩をかけてこの事件の技術的な詳細を調べ、システムのアーキテクチャがおそらくどのようなものだったかを再構築しようとした。低解像度の入力画像。古いギャラリー写真。ほぼ間違いなく、クローズドセットの識別モデル——実際の人物がデータベースに存在しなくても、常に「最良の一致」を見つけ出すよう最適化された類のものだ。不確実性の定量化はない。信頼度のしきい値設定もない。アルゴリズムの出力と、一人の男が自由を失うこととの間に、意味のある人間のレビューもない。

それらの失敗はどれもこれも、防ぐことができたものだった。より優れたAIによってではない。より優れたアーキテクチャによってだ。

「ラッパー」問題とは何か、そしてなぜあなたが気にかけるべきなのか?

ここで少しだけ技術的な話をする必要がある。というのも、これら二つの惨事の背後にあるパターンは、私が企業から企業へと次々に目にしているのと同じパターンだからだ。

今日AIを導入している企業の大半は、業界が「ラッパー」と呼ぶものを使っている。ラッパーとは、他社のAIモデルの上に乗った、ブランド化されたインターフェース——ダッシュボード、アプリ、ワークフローツール——のことだ。あなたはデータをサードパーティのAPIに送り、APIが結果を返し、あなたはそれを自分のユーザーに表示する。ラッパー企業は、そのモデルを構築しない。訓練もしない。その故障モードを理解していない。そのアップデートも制御していない。

Rite Aidが動かしていたのはラッパーだった。ベンダーのブラックボックス化された顔認識APIの上に乗った、小売セキュリティ・ワークフローの薄い層だ。それらのAPIがゴミを吐き出したとき、Rite Aidにはそれを知る術も、介入する術も、そして——FTCが明確にしたように——責任から逃れる術もなかった。

これこそが、企業を破滅させる非対称性だ——あなたは、可視性が0%のシステムに対して、100%の責任を負うことになる。

このアーキテクチャ上の分断については、私たちの研究のインタラクティブ版で詳しく書いているが、その核心にある論点は単純だ。ラッパーは、リスクの低い用途には問題ない。会議メモの要約。マーケティングコピーの生成。誤った答えが、破滅的ではなく、煩わしい程度で済むようなものだ。

しかし、あなたのAIシステムが、誰かを逮捕させ、融資を拒否させ、解雇させ、あるいは公然と辱めることができるようになった瞬間——そして小売業における顔認識は、そのすべてを引き起こしうる——ラッパーは、カウントダウンタイマー付きの責任爆弾となる。

自分が「わからない」ときを自覚するAIは、どう構築するのか?

何度も思い返す瞬間がある。私たちはある顧客のために識別パイプラインを構築していて、私のエンジニアの一人が、一連のテスト画像をシステムに通した。精度の数値は素晴らしく見えた——95%超だ。皆が満足していた。そこで私は彼女に、信頼度の分布を可視化した状態で同じバッチを実行するよう頼んだ。

部屋は静まり返った。

それら「正しい」識別のかなりの部分は、不確実性の分布が非常に広く、本質的には、たまたま当たったコイン投げに過ぎなかった。モデルは、確実に識別していたのではなく、自信をもって当て推量をしていたのだ。もし私たちがそのシステムを精度スコアだけで出荷していたら、Rite Aidにソフトウェアを売ったベンダーと何ら変わらなかっただろう。

これこそが、ほとんどのAIの導入のされ方における核心的な問題だ——すべての出力が、実際には確率的な推定値であるのに、二値の真実として扱われている。 モデルは「これはジョン・スミスだ」とは言わない。それが言うのは「私が見たものからすると、これがジョン・スミスである確率はX%、プラスマイナスYだ」ということだ。しかしほとんどのシステムは、その「プラスマイナスY」の部分を捨て去り、ただXだけをあなたに見せる。

VeriPrajnaでは、私たちはすべての重大なシステムに、不確実性定量化(UQ)と呼ばれるものを組み込んでいる。重要な不確実性には二種類ある——

偶然的不確実性(アレアトリック不確実性)は、データそのものに含まれるノイズ——悪い照明、動きによるブレ、傷ついたカメラレンズ——から生じる。これは訓練で取り除くことはできない。画像に情報が欠けていれば、世界中のどのモデルも、それを確実に幻覚として復元することはできない。

認識論的不確実性(エピステミック不確実性)は、モデル自身の限界——特定の人口層の例を十分に見ていない、あるいはこの特定の照明条件に一度も遭遇したことがない——から生じる。これはできる——より優れた訓練データによって減らすことが。

脆弱なシステム——ラッパー——は、これらを区別しない。あるシステムが、照合について85%の信頼度を報告したとして、それは確かなものに聞こえる。しかし、私たちのUQ層は、その85%を取り巻く不確実性の分布が途方もなく大きいことを明らかにするかもしれず、それはつまり、入力の品質を考えればその数値が統計的に無意味であることを意味する。

自分がどれほど不確かであるかを伝えられないAIシステムは、道具ではない——罠だ。

私たちは、システムの不確実性の推定値が数学的に証明可能な範囲に収まることを保証するために、共形予測(コンフォーマル予測)のような手法を用いている。技術的な詳細は私たちの研究論文の全文にあるが、実務上の要点はこうだ——システムが何らかの行動を起こす前に、その答えが信頼できるかどうかを伝えることができる。そしてもし信頼できなければ、それは人間へとエスカレーションされる。

誰も語らないオープンセット問題

企業の購買担当者と話すとき、いまだに私を驚かせることがある——彼らのほとんどが、クローズドセット認識とオープンセット認識の違いを知らないのだ。

クローズドセットのシステムは、スキャンされている人物が確実にデータベースの中にいると想定している。スマートフォンのロック解除を考えてみてほしい——スマートフォンは、あなたの顔が登録済みであることを知っている。あとは、それが本人であることを確認するだけでいい。

小売業のセキュリティシステムは、その正反対だ。店舗に入ってくる人々の圧倒的多数は、存在しない——どんな犯罪データベースにも。これはオープンセット問題だ。そして、ここに壊滅的なミスマッチがある——市販の顔認識ソフトウェアのほとんどは、クローズドセットの性能に最適化されている。ベンチマークが印象的に見えるのが、まさにそこだからだ。

オープンセット環境にクローズドセットのモデルを導入すると、何が起きるのか? それは、「最良の一致」を見つけ出そうとする——一つひとつすべての顔について、一致が必ず存在するはずだと想定しているからだ。これがほぼ間違いなく、Rite Aidで何千件もの誤検出を生み出したものだ。システムは故障していたのではない。それは、設計されたとおりのことを正確に行っていた——決して設計されることのなかった環境の中で。

オープンセット向けに構築するとは、モデルを、単に一致を特定するためだけでなく、正確に棄却するよう訓練することを意味する——非一致を、だ。「この人物を認識する」と言うのと同じだけの精度で、「この人物を知らない」と言えるように。これには、異なる損失関数、異なる評価指標、そして根本的に異なる設計思想が必要となる。

NIST——米国国立標準技術研究所——は、これらのシステムを評価するための世界的なゴールドスタンダードである顔認識ベンダーテスト(FRVT)を運営している。NISTは、誤合致率(FMR)を固定した上で、誤非合致率(FNMR)を測定する。高セキュリティの用途では、その誤合致のしきい値は100万分の1に設定されている。実に、100万分の1だ。

Rite Aidは、NISTの基準に照らしてベンチマークを取ることは一度もなかった。どうやら、ハーヴェイ・マーフィーを特定したシステムもまた、そうではなかったようだ。

モデルの吐き出し(ディスゴージメント)——核オプション

FTCのRite Aid和解には、疑わしいデータの上にAIを構築しているすべての企業を震え上がらせるはずの、ある詳細が含まれている。

Rite Aidは、単に顔認識の使用をやめるよう命じられただけではなかった。収集したすべての生体データを削除し、さらにそのデータから派生したいかなるAIモデルやアルゴリズムも破壊するよう命じられたのだ。FTCはこれを「モデルの吐き出し(ディスゴージメント)」と呼んだ——企業に対し、そのモデルが非準拠のデータから吸収したすべてを、本質的に「学習し直させる(学んだことを忘れさせる)」よう強制するものだ。

それが運用上何を意味するのかを考えてみてほしい。何年もかけたデータ収集。時間をかけて訓練され、改良されてきたモデル。ニューラルネットワークの重みに埋め込まれた組織的な知見。そのすべてが——消え去る。モデルが機能しなくなったからではなく、それらが構築された土台となったデータが、適切な安全策なしに取得されたものだったからだ。

これが、新たな規制の現実だ。もしあなたの訓練データが汚染されている——同意なしに収集され、その構成に偏りがあり、あるいはプライバシー法に違反して取得されている——なら、そのデータの上に構築されたモデルもまた汚染されている。そして規制当局は今や、あなたにそれらを破壊させるための手段を手にしている。

ほとんどのラッパー・アーキテクチャは、外科的なデータ除去を行うことすらできない。どのデータがどのモデルの重みに影響を与えたかを知るための、来歴追跡の仕組みを持っていないのだ。データの系譜を念頭に置いて構築されたディープAIシステムなら、それができる。それは、FTCが扉を叩きに来るまでは、そのありがたみがわからない機能だ。

「ヒューマン・イン・ザ・ループ」が単なるチェックボックスではない理由

人々はいつも私に、解決策とは単に、すべてのAIの判断の前に人間のレビュー担当者を置くことなのか、と尋ねる。答えはイエスだ——ただし、極めて大きな但し書き付きで。設計の悪い人間によるレビュープロセスは、レビューがまったくないよりも悪い。なぜなら、それは監督が行われているという錯覚を生み出すからだ。

Rite Aidには、確かにいた——ループの中に、人間が。店舗の従業員は自動化された警告を受け取り、それに基づいて行動するよう指示されていた。しかし彼らは、誤検出率について何の訓練も受けていなかった。元の画質を見せてくれるインターフェースもなかった。システムの出力に疑問を投げかけるための手順もなかった。彼らは機能的には、アルゴリズムのためのゴム印(形式的な承認者)に過ぎなかった。

私たちは、判断を適切に振り分ける信頼度のしきい値を備えた、ヒューマン・イン・ザ・ループ(HITL)システムを設計している。信頼度が70%未満か? 自動棄却だ——明白なノイズに人間の時間を無駄遣いさせない。70%から95%の間か? 人間によるレビューのためにフラグを立て、照合結果とともに元の入力画像を並べて表示する。そうすることで、レビュー担当者は十分な情報に基づいた判断を下せる。影響の小さいタスクで95%超か? 自動承認する。ただし、すべてを記録する。

鍵となるのは、人間のレビュー担当者が、機械を実際に覆すのに十分な文脈を持っていなければならない、ということだ。もし彼らが目にするものが「一致——信頼度87%」だけなら、彼らは毎回その数字に従ってしまうだろう。もし彼らが、ギャラリー写真の隣に粗い防犯カメラのフレームを見て、明白な違い——耳の形の違い、顎のラインの違い、20年の年齢差——を見抜くことができれば、彼らは飾りではなく、本物の安全網となる。

この件で、私はある顧客のCTOと議論になった。彼はコストを抑えるために、人間によるレビューを最小限にしたがっていた。私は彼に、ハーヴェイ・マーフィーのような訴訟が一件起これば、その費用は、人間のレビュー担当者の10年分の給与を上回るだろうと伝えた。彼はそれを聞いて快く思わなかった。だが彼は、訴えられることもなかった。

規制の壁が、じわじわと迫っている

EU AI法(AI Act)は、生体識別システムを、デフォルトで高リスクに分類している。適合性評価は義務。詳細な技術文書も義務。実効的な人間による監督——Rite Aid流のものではなく、本物のものだ。訓練データのためにインターネットから顔画像を収集(スクレイピング)するといった特定の用途は、完全に禁止されている。

米国では、NISTのAIリスク管理フレームワークが、四つの機能——統治(Govern)、把握(Map)、測定(Measure)、管理(Manage)——を定めており、それらが一体となって、責任あるAI導入のための青写真を形づくっている。FTCのRite Aidに対する措置は、本質的に、これらの原則が正式な法律になる前にそれらを執行したものだった。メッセージは明確だ——もしあなたが、自社のAIがどう機能するかを説明できず、その偏りを測定できず、その失敗を管理できないのであれば、あなたは責任を問われることになる。

私は、助言するすべての取締役会に、同じことを伝えている——たとえ米国内でしか事業を行っていなくても、今すぐEU AI法の基準に足並みをそろえよ、と。 国内の規制は間近に迫っており、コンプライアンスを将来の問題として扱ってきた企業は、自分たちがRite Aidと同じ立場に置かれていることに気づくことになる——同意判決の下で、あわててモデルを破壊し、一から再構築するはめになるのだ。

偏りはアルゴリズムの中にあるのではない——怠慢の中にあるのだ

AIの偏りをめぐる世間の議論について私を苛立たせることの一つは、偏りとは、人工知能が持つ何か神秘的で、手に負えない性質であるかのような含みだ。そうではない。それは、特定可能で具体的な、エンジニアリング上の手抜きの結果なのだ。

80%が明るい肌色の顔で構成されたデータセットでモデルを訓練する? そのモデルは、暗い肌色の顔に対して、より劣った性能を示すだろう。敵対的デバイアス——あなたのモデルが人種や性別を隠れた特徴として利用しているかどうかを検出するために、競合するネットワークを訓練するという手法——を省く? あなたのモデルは、それらの偏りを目に見えない形で埋め込むだろう。NISTのベンチマークデータを使って人口層をまたいだテストを行わずに導入する? 誰かが傷つくまで、あなたはその偏りが存在することにすら気づかないだろう。

アルゴリズムの偏りは、謎ではない。それは、エンジニアが公平性ではなく速度を最適化し、組織が安全性ではなくコストを最適化したときに起きることなのだ。

これらの問題のどれもが、既知の技術的な解決策を持っている。敵対的デバイアス。損失関数における公平性の制約。多様な肌の色や照明条件に対応するためのマルチスケール特徴融合。なりすましの試みを捉えるための提示攻撃検出(PAD)。これらは理論上のものではない——今日、本番システムに導入されている。私たちのものも含めて。

ほとんどの企業がそれらを実装しない理由は、Rite Aidがベンダーの精度を検証しなかったのと同じ理由だ——費用がかさみ、時間がかかり、そして誰もあなたにそれをやらせようとはしないからだ。誰かがやらせるようになるまでは。そしてそうなったとき、それはすべてを奪っていく。

エンタープライズAIの未来について、私が実際に考えていること

私は何年もかけて、行動する前に自分自身を疑うように設計されたシステムを構築してきた。AI企業の創業者が口にするには、奇妙なことに聞こえるかもしれない。私は、確信を売るべきなのではないか?

いや。私が売っているのは、較正された確信だ。そこには違いがある。

今後10年のAI規制と責任を生き延びる企業とは、「確信がある」と言うのと同じ精度で「わからない」と言えるシステムを構築する企業だ。すべての自動化された出力を、執行されるべき判決としてではなく、検証されるべき仮説として扱う企業だ。デモのケースではなく、最悪のケース——ハーヴェイ・マーフィーのケース——を想定して設計する企業だ。

Rite Aidは、5年間にわたって生体認証の能力を失い、自社のモデルを破壊しなければならなかった。メイシーズとサングラス・ハットは、1,000万ドルの訴訟と、どんなPR会社にも取り消せない類の評判の毀損に直面している。これらは、リスクの高い技術の黎明期からの教訓話ではない。それらは今、まさに起きているのだ——企業が既製品として購入し、理解しないまま導入したシステムによって。

エンタープライズAIのラッパー時代は、終わりつつある。ラッパーが機能しないからではない——リスクの低いタスクには、問題なく機能する。しかし、賭け金は上がり続け、規制は厳しくなり続け、そして自信に満ちた誤答の代償が、増大し続けているからだ。

ハーヴェイ・マーフィーは、サクラメントにいた。アルゴリズムは、彼がヒューストンにいると言った。そして10日間、アルゴリズムが勝ったのだ。

それはAIの問題ではない。それはアーキテクチャの問題だ。そしてアーキテクチャは、選択なのだ。