黒人女性たちの入居を拒んだアルゴリズム——「隠れられないAI」を作ることが私に教えたこと
ある火曜日の夜、私は自宅のオフィスに座り、ある訴訟——Louis et al. v. SafeRent Solutions, LLC——の最終和解文書に目を通していた。そのとき、たった一つの詳細が私を凍りつかせた。
メアリー・ルイスとモニカ・ダグラス——連邦政府が資金を提供する住宅バウチャーを持つ二人の黒人女性——は、アパートへの入居を拒否された。彼女たちの目を見て「ノー」と言った大家によってではない。一つのスコアによってだ。「Registry ScorePLUS」と呼ばれるアルゴリズムが生成した、200から800までの数字が、彼女たちは入居させるにはリスクが高すぎると判断したのだ。そのアルゴリズムは、彼女たちが黒人であることを知らなかった。知る必要もなかった。それはただ、彼女たちの信用履歴が、何世代にもわたって金融システムから組織的に排除されてきた人々の信用履歴に似ていることを知っていただけだ——そしてそれを「リスク」と呼んだのだ。
和解金は$2.275 millionだった。差止命令は5年間続く。そして判決には、私が三度読み返した一文が含まれていた。連邦裁判所が本当にそう述べたとは信じられなかったからだ。すなわち、大家が住宅の決定を下すにあたり主として第三者のAIスコアに依存する場合、そのスコアを構築した企業は公正住宅法（Fair Housing Act）の下で責任を分担する、というものだ。
私はノートパソコンを閉じ、しばらく暗闇の中に座っていた。なぜなら、あの判決はテナント審査業界を変えただけではなかったからだ。それは、規制市場向けのAIを構築するとはどういうことかという計算全体を変えたのだ。そしてそれは、私のVeriPrajnaのチームが何年もの間——ときに懐疑的な投資家に対して、ときに自分たち自身の疲弊の中で——主張してきたあることを裏づけた。それは、ほとんどの企業が高リスクの決定においてAIを展開するやり方は、倫理的に疑わしいだけではない、ということだ。それはアーキテクチャ的に破綻している。
SafeRentのアルゴリズムの内部で実際に何が問題だったのか？
その技術的な失敗は、説明するのは意外なほど単純だが、モデル設計への取り組み方全体を考え直すことなしに修正するのは、いらだたしいほど難しい。
SafeRentのスコアリングシステムは、従来の信用履歴と、借家以外の債務——医療費、古いクレジットカードの残高、何年も貧困の中をやりくりして生きてきたときに蓄積する類の金銭的な傷跡——に大きく依存していた。それが考慮しなかったのは、対象者に関する唯一最も重要な事実だった。すなわち——住宅選択バウチャーの保有者は、連邦政府から保証された収入源を得ている、という事実だ。 彼らの家賃は補助されている。彼らが支払いを滞納する可能性は、統計的に見て、生のクレジットスコアが示唆するものとはかなり異なる。
しかしモデルはそれを知らなかった。より正確に言えば、それを気にかけるようにと誰も指示しなかったのだ。
アルゴリズムは意図的に差別したのではない。設計によって差別したのだ——歴史的に偏ったデータを中立的な真実として扱うことによって。
ここで、数字が決定的な証拠となる。2021年10月時点で、白人消費者の信用スコアの中央値は725だった。ヒスパニック系消費者では661。黒人消費者では612。信用スコアを「賃貸契約の履行リスク」の主要な予測因子として扱うモデルを構築するとき、あなたは中立的な数学的選択をしているのではない。あなたは、一世紀にわたるレッドライニング、略奪的融資、そして富の不平等を、たった一つの特徴量の重みへと符号化しているのだ。SafeRentのアルゴリズムはメアリー・ルイスの信用履歴を見て、リスクを見た。それが見るべきだったのは、保証された家賃資金を持つ一人の女性と、彼女に信用を築く公正な機会を一度も与えなかったシステムだった。
なぜ裁判所は、ソフトウェアのベンダーに責任があると述べたのか？
これは、すべてのAI企業の創業者を夜も眠れなくさせるべき部分だ。
SafeRentは、明白な抗弁を試みた。我々は技術提供者であって、大家ではない。我々は住宅の決定を下さない。我々はただ情報を提供するだけだ、と。裁判所はこの主張をきっぱりと退けた。司法省（Department of Justice）は利害関係表明書（Statement of Interest）を提出し、大家がその意思決定をアルゴリズムに外部委託するとき、そのアルゴリズムの開発者は機能的に意思決定の連鎖の一部である、と論じた。
それが何を意味するのか、少し考えてみてほしい。規制市場でAIを活用したスコアリング、審査、引受査定、あるいはリスク評価を販売しているすべての企業は、「我々はツールを作っただけだ」と言う能力を今まさに失ったのだ。
判決が下された翌週の、共同創業者との会話を覚えている。我々は電話中で、表向きはクライアントの成果物をレビューしているはずだったが、代わりに45分間、この判例が適用されうるあらゆる業界を洗い出すことに費やした。信用スコアリング。保険の引受査定。雇用審査。医療のトリアージ。リストはどんどん増えていった。ある時点で、どちらかが言った。「これは住宅の事件じゃない。これはAI製造物責任法の始まりだ」と。我々は祝っていたわけではなかった——まさにこのシナリオについて警告してきたのだから——が、法制度が、技術が野放しにやってきたことにようやく追いつくのを見て、暗い満足感があった。
和解はSafeRentに$2.275 millionを負担させただけではなかった。それは、実効性のある5年間の差止命令を科した。
SafeRentは、バウチャー保有者に対して、自動化された承認または却下の推奨をもはや発行できない——独立した公民権の専門家によってモデルの公平性が検証されない限りは。その検証がなければ、システムは生の背景情報しか提供できず、予測スコアリングは剥奪される。同社はまた、補助を受ける層に対するスコアリングモデルの限界について、顧客を教育しなければならない。そしてこれらの条項は、マサチューセッツ州だけでなく全米に適用される。
和解の構造とその規制上の含意についてより深く知りたい方のために、私は全事例分析のインタラクティブな詳細解説を書いた。
LLMラッパーの罠
SafeRentの和解が最終的に成立するおよそ一年前、私はある見込み客と面談した——南東部一帯で約12,000戸を運営する中規模の不動産管理会社だ。彼らは、大規模言語モデルの上に構築された「AIを活用したテナント審査ソリューション」を提供するベンダーから接触を受けていた。その売り込みは洗練されていた。自然言語処理、瞬時のリスク要約、美しいダッシュボード。そのベンダーはシリーズAで資金調達をしていた。ウェブサイトにはロゴが並んでいた。
私は一つの質問をした。「システムは、特定の申請者について、公正信用報告法（Fair Credit Reporting Act）の不利益措置通知の要件を満たす形で、どの特徴量が却下の決定を左右したのかを説明できますか？」
沈黙。それから、「決定についての自然言語による説明を生成することはできます」。
「LLMによって生成される、と？」
「はい」
「つまり、その説明とは、もっともらしい物語、すなわちなぜその人物が却下されたのかについての語りであって、検証された因果的トレース——実際のモデル計算そのものの——ではない、ということですね？」
さらなる沈黙。
これが、私が「LLMラッパー」と呼ぶものの核心的な問題だ——そしてそれは、SafeRentの事件が残酷かつ高くつく形で詳細に照らし出した問題でもある。大規模言語モデルは、賃貸契約書を要約できる。手紙を起草できる。申請者がなぜ却下されたのかについて、説得力のある説明を生み出すことさえできる。しかしそれは、保証することができない——その推論が実際の決定経路に因果的に結びついていることを。それは、保護された属性が結果に影響を与えなかったことを証明できない。より差別の少ない代替案を探すこともできない。それは、他のあらゆるものを幻覚するのと同じやり方で説明を幻覚する——統計的に最も可能性の高い次のトークンを予測することによって。
高リスクの決定において、もっともらしい答えを生成する能力には、何の価値もない。公正な答えを証明する能力にこそ、すべての価値がある。
投資家たちからこう言われたことがある。「GPTを使って、その上にコンプライアンスの層を加えればいい」と。ある投資家は、ピッチイベントで私の面と向かってそう言った。まるでそれが当然であるかのように、まるで我々が物事を複雑にしすぎているかのように。私は彼にSafeRentの和解文書を手渡して、どのコンプライアンスの層なら、バウチャー収入を組織的に無視するモデルを捕まえられたのかと問いたかった。答えは、どの層でもない、だ。なぜなら、バイアスは出力の書式やユーザーインターフェースにあったのではないからだ。それは特徴量の重みの中にあった。訓練データの中にあった。そのモデルが予測するよう最適化された、その根本的なアーキテクチャの中にあったのだ。
HUDの2024年ガイダンスは、状況をどう変えるのか？
2024年5月、HUDはガイダンスを発表し、SafeRent事件の教訓を、住宅業界全体に対する規制上の期待へと事実上成文化した。その基準は「差別的影響（disparate impact）」だ——つまり、誰も差別する意図がなかったとしても、正当で非差別的な利益によって正当化できない、保護対象集団への不均衡な悪影響を生み出す限り、システムは違法となりうる、という意味だ。
三つの要件が際立っている。
特徴量の関連性は、単なる相関ではなく、因果的でなければならない。 審査モデル内のすべてのデータ点は、実際の賃貸契約の履行と、弁護可能な形で結びついている必要がある。信用スコアが人種の代理変数であり、バウチャー調整後の収入の方がより優れた予測因子かどうかを検証していないのであれば、「信用スコアはデフォルトを予測する」というだけでは十分ではない。
申請者は、AIの結果に異議を申し立てる実質的な手段を持たなければならない。 これは、人間が関与するレビュー（human-in-the-loop）が任意ではない——必須である、ということを意味する。救済の仕組みなしにスコアを生み出すシステムは、訴えられるのを待っているシステムだ。
開発者は、より差別の少ない代替案（Less Discriminatory Alternatives）を探さなければならない。 これが、すべてを変える条項だ。機能するモデルを構築するだけでは不十分だ。あなたは、より差別の少ない影響で同等にうまく機能するモデルを探したことを証明し、それらを採用したか、あるいは存在しないことを証明できなければならない。
その最後の要件——より差別の少ない代替案、すなわちLDA——こそ、私が見てきたほとんどのAI企業が崩れ落ちるところだ。数学が不可能なほど難しいからではなく、彼らが一度もそれをやるよう強いられたことがないからだ。彼らは精度を最適化する。出荷する。次へ進む。性能を維持しつつ、人口統計上のグループ間で公平性を最大化するモデルを見つけるために、何千もの代替モデル構成を探索する必要があるかもしれない、という発想——それは、ほとんどのプロダクトマネージャーが受け取ったことのない機能要求だ。
我々が代わりに実際に構築するもの
正直に言っておかなければならないことがある。VeriPrajnaで公平性を意識したシステムを最初に構築し始めたとき、我々はそれを間違えた。
我々の当初のアプローチは、事後監査だった。モデルを構築し、バイアスがないか検証し、何かおかしければ閾値を調整する。それは責任ある行為に感じられた。それで十分だと感じられた。そうではなかった。
後処理の問題は、原因を理解しないまま結果にパッチを当てようとしている点にある。承認率がグループ間で同じように見えるよう、決定の閾値を調整することはできる——「均等化オッズ（Equalized Odds）」と呼ばれる手法だ——が、根底にあるモデルがリスクの偏った表現を学習してしまっているのなら、それは構造的な問題に化粧を施しているにすぎない。モデルは依然として、特定の人々の方がリスクが高いと考えている。あなたはただ、最後の一歩でそれを上書きしているだけだ。そして誰かが特徴量の重要度を監査したまさにその最初のとき、バイアスはそこに、あなたを見つめ返しているのだ。
その突破口は——そしてこの言葉は慎重に使うが、それはエウレカの瞬間というより、遅々として、いらだたしい失敗の蓄積のように感じられた——公平性を、デプロイ後の監査ではなく、最適化の制約として扱い始めたときに訪れた。
それが実際に何を意味するのかを説明しよう。モデルの訓練中、我々は予測誤差を最小化するだけではない。同時に、二次的な「敵対的」ネットワークが、主モデルの出力から保護属性（人種や性別など）を予測できてしまう場合には、モデルにペナルティを課す。もし敵対者が成功すれば——モデルの予測を見て、誰が黒人で誰が白人かを言い当てられてしまえば——主モデルはペナルティを受け、再訓練される。その結果、生まれるのは、強制されたモデルだ——すなわち、保護された特性から真に独立した特徴を学習するよう仕向けられたモデルである。
我々はこれを、研究者が「反事実テスト（counterfactual testing）」と呼ぶものと組み合わせる。モデルが評価するすべての申請者について、我々はこう問う。もしこの人物の人種が違っていて、他のすべてが同じままだったら、決定は変わるだろうか？と。もし答えが「はい」なら、そのモデルは不合格だ。「レビュー対象としてフラグを立てる」のではない。不合格なのだ。
反事実的公平性は、あらゆる公民権弁護士がいずれ問うことになる問いを投げかける。すなわち、この人物が白人であったなら、承認されていただろうか？と。あなたのモデルは、同じ答えを出せた方がいい。
ある夜——確か午前2時ごろだったと思う——我々は、公営住宅の公開データセットを使って構築した審査モデルの試作品に対して、初めての完全な反事実監査を実行した。我々はせいぜい3〜4%の食い違いを予想していた。実際の数字は11%に近かった。人口統計上のグループ以外は何も変えなくても、決定の11%が反転していたのだ。私のエンジニアが、ただ一言「問題がある」とだけ書かれたSlackメッセージを送ってきた。我々はその後の三週間、特徴量パイプラインを一から再構築し、信用スコアを、バウチャー収入・直接の家賃支払い履歴・雇用の安定性を重みづけした複合指標に置き換えた。反事実のギャップは1%未満にまで下がった。
それが、私が「ディープAI」と呼ぶものと、LLMラッパーとの違いだ。より優れたプロンプトや、より見栄えの良いインターフェースを持つことの話ではない。公平性が、システムのアーキテクチャの一つの特性なのか、それとも箱に貼るシールにすぎないのか、ということなのだ。
我々の公平性エンジニアリングのアプローチについての完全な技術的解説——敵対的バイアス除去の手法や、我々が用いる指標の数学的な定式化を含む——については、アルゴリズムの完全性とエンタープライズリスクに関する我々の研究論文を参照してほしい。
なぜデプロイ後に監査するだけではだめなのか？
人々は絶えず私にこう尋ねるし、その魅力は理解できる。監査の方が安上がりに感じられる。混乱も少なく感じられる。速く構築し、速く出荷し、後で監査し、壊れたものを直せばいい、と。
問題は、規制市場では、「壊れるもの」が人々の人生だということだ。
SafeRentのアルゴリズムが法廷で争われるまでに、それは何年も稼働していた。訴訟を一度も起こさなかったメアリー・ルイスが、いったい何人いたのだろうか？信用スコアの先を見ることのできないアルゴリズムによって住宅を拒否された、バウチャーを持つ家族が、いったい何組いたのだろうか？そうした拒否は、和解によって覆されはしない。それらのアパートは、別の誰かのものになった。それらの家族は、より劣悪な住まいを見つけたか、あるいはどこにも見つけられなかったのだ。
静的な監査はまた、決定的に重要なあるものを見落とす。すなわち、データドリフトだ。 モデルが訓練中に学習した社会経済的パターンは、時間とともに変化する。バウチャーの利用率は変わる。信用スコアリングの手法は進化する。賃貸市場は引き締まったり緩んだりする。2022年に「十分に公平」だったモデルが、2024年までには差別的になっているかもしれない——誰かがコードを変更したからではなく、その周りの世界が変わったからだ。
だからこそ我々は、自動再訓練のトリガーを備えた継続的なモニタリングへと移行してきた。モデルは、年に一度だけ監査されるのではない。それは、決定を下すたびに、一連の公平性指標——統計的パリティ差（Statistical Parity Difference）、差別的影響比（Disparate Impact Ratio）、均等化オッズ（Equalized Odds）——に照らして、リアルタイムで監査される。いずれかの指標が閾値を超えて逸脱したとき、システムは、人間が出力を目にするより前に、それにフラグを立てる。
私はこう考えている。橋を建設して、一度だけ点検し、その後は二度と確認しない、などということはしないだろう。応力、疲労、環境の変化がないか、継続的にモニタリングするはずだ。人々の住宅、信用、雇用に関する決定を下すAIシステムは、少なくとも、我々がコンクリートや鋼鉄に与えるのと同じ工学的な厳密さに値する。
EU AI法は、アメリカ企業にとって何を意味するのか？
SafeRentの和解とHUDのガイダンスが現在の規制の下限を表しているとすれば、2025〜2026年に段階的な施行が始まるEU AI法（EU AI Act）は、その上限が向かう先を表している。
同法は、信用スコアリング、テナント審査、雇用の決定に用いられるAIシステムを「高リスク（High Risk）」に分類し、それらに義務的な適合性評価、透明性の要件、そして人間による監督の義務を課している。欧州市場に対応するアメリカ企業、あるいは欧州の規制当局が関心を持つと決めるような形でアメリカ市場に対応する企業は、これに準拠する必要が出てくるだろう。
しかし、具体的な要件よりも私が興味深いと思うのは、こういうことだ。EU法は、NISTのAIリスクマネジメントフレームワークの四つの柱——統治（Govern）、マッピング（Map）、測定（Measure）、管理（Manage）——を、法的拘束力のある義務へと実装している。任意のガイダンスだったものが、義務的な実践となる。早い段階でこれらの原則に沿って自社のアーキテクチャを整えた企業は、準拠が容易だと気づくだろう。公平性をマーケティング上の主張として扱ってきた企業は、それが高くつくと気づくだろう。
私はこのパターンが、データプライバシー（GDPR）、財務報告（SOX）、そして今やAIガバナンスにおいて展開されるのを見てきた。規制の軌跡は、一つの方向にしか進まない。明日の要件のために今日から構築することは、理想主義ではない。それはリスクマネジメントだ。
誰も語らない「モデルの多重性」問題
機械学習研究には「モデルの多重性（model multiplicity）」と呼ばれる概念がある——任意のデータセットに対して、ほぼ同一の精度を達成しながらも、大きく異なる公平性のプロファイルを持つモデルが、潜在的に何百万も存在するという観察だ。それらのモデルの一部は、深く偏っている。一部は、驚くほど公平だ。そして、公平なモデルを明示的かつ体系的に探索しなければ、開発者はほとんど常に、オプティマイザーが最初に見つけたものに行き着いてしまう。
これが、より差別の少ない代替案という要件の技術的な基盤であり、そして私が、LDA探索が今後十年間の規制対象AI開発において、唯一最も重要な能力になると考える理由だ。
我々がLDA探索を行うとき、我々はただ一つのモデルを訓練しているのではない。特徴量セット、アーキテクチャ、ハイパーパラメータ、そして公平性の制約を変えながら、何百ものモデルを訓練し、精度と公平性のトレードオフの地形全体をマッピングする。目標は、事業目的——賃貸契約の履行を予測する、信用リスクを評価する、そのタスクが何であれ——を、可能な限り最小の差別的影響で達成するモデルを見つけることだ。
時にその探索は、居心地の悪い何かを明らかにする。「最も精度の高い」モデルが、同時に最も偏ってもいる、というものだ。なぜなら、精度と歴史的なバイアスは、訓練データの中で相関しているからだ。二番目に精度の高いモデルは、予測力を0.5パーセントポイント犠牲にする代わりに、差別的影響比のギャップを40%削減するかもしれない。そのトレードオフは、それだけの価値があるだろうか？
もしあなたのモデルが0.5%精度が低い代わりに、40%差別が少なく、それでもあなたが精度を選んだのなら——それを裁判官に説明する幸運を祈る。
SafeRentの事件における根本的な問いは、バウチャー保有者にペナルティを課すことなく、モデルが賃貸契約の履行を同等にうまく予測できたかどうかだった。データについて我々が知るすべてに基づけば、その答えは、ほぼ確実に「はい」だ。SafeRentはただ、一度も探そうとしなかったのだ。
私がラッパーを作ることにあやうく同意しかけた夜
これまで公に語ったことのないある話で、締めくくりたい。
およそ十八か月前、我々はある企業——名前は伏せる——から接触を受けた。彼らは、大手金融サービスのクライアント向けに、コンプライアンス審査ツールを構築してほしいと望んでいた。予算はかなりのものだった。スケジュールは強気だった。そして彼らが手渡してきた仕様は、本質的にLLMラッパーだった。基盤モデルを取り、規制文書でファインチューニングし、スコアリングの層を加え、出荷する、というものだ。
私のチームは割れた。半分は収益を見ていた。もう半分は、SafeRentの事件をスローモーションで見ていた。我々は三時間近く続く電話会議をした。深く信頼している私のエンジニアの一人が、私の心に残る言葉を口にした。「彼らが求めているものは、八週間で作れます。彼らが必要としているものは、八か月かかります。もし彼らが求めているものを作れば、我々は、なぜこのアプローチが失敗するのかを示す次のケーススタディになるでしょう」
我々はその取引から手を引いた。それは、創業者として私が下した中で最も高くついた決断だった。私は何週間もそれを思い悩んだ。
もう思い悩むことはない。
SafeRentの和解は、規制産業におけるAI市場が、最速で出荷する競争ではないことを証明した。それは、最も安全に出荷する競争なのだ——ここで「安全」とは、アーキテクチャ的に公平で、法的に弁護可能で、連邦裁判所がいずれ適用するような法医学的な精査に耐えるよう設計されていることを意味する。これを理解する企業は、長く続くシステムを構築するだろう。理解しない企業は、次の$2.275 millionの教訓的な事例を築くことになる。
ブラックボックスの時代は終わった。規制当局がそれを葬ったからではなく、それが現実との接触に耐えるようには決して作られていなかったからだ。問題は、あなたのAIが決定を下せるかどうかではない。問題は、あなたのAIがその決定を弁護できるかどうかだ。
