AI入居者審査のバイアスに220万ドルの代償——貴社のシステムは安全ですか？

課題

連邦政府助成の住宅バウチャーを所持する2人の黒人女性、メアリー・ルイス（Mary Louis）氏とモニカ・ダグラス（Monica Douglas）氏は、アパートへの入居を申し込んだものの拒絶されました。家主によってではなく、アルゴリズムによってです。SafeRent Solutions社は、入居希望者を200〜800のスケールで評価する「Registry ScorePLUS」と呼ばれるスコアリングシステムを構築していました。このシステムは信用履歴と賃貸借以外の負債に過度に依存していました。しかし、システムは決定的な事実を完全に無視していました。すなわち、住宅バウチャーは安定した収入源を保証するということです。政府が家賃の一部を直接支給するため、バウチャー受給者の入居者は統計的に家賃を期日通りに支払い続ける可能性が高いのです。

アルゴリズムは、これらの申請者が実際には低リスクであるにもかかわらず、高リスクとして扱いました。悪質な入居者だったからではなく、その信用プロファイルが高所得層の賃借人と異なって見えたという理由で低スコアを付けたのです。2022年5月、ルイス氏とダグラス氏は、このシステムが黒人およびヒスパニック系の申請者に格差的影響（disparate impact）をもたらしているとして集団訴訟を提起しました。2024年11月までに、裁判所は227万5,000ドルの和解案を承認しました。

貴社は入居者審査を行っていないかもしれません。しかし、人物に関するスコアリング、ランキング、あるいは意思決定の推奨を行う何らかのAIシステムを使用しているなら、本件の背後にある論理は貴社にも直接当てはまります。裁判所は、家主だけでなくソフトウェアベンダーもまた、差別的な結果に対する法的責任を分担すると判示しました。この判決一つが、すべてを変えたのです。

これが貴社のビジネスに重要な理由

ここでの財務上のエクスポージャーは、入居者審査をはるかに超えて広がっています。SafeRent社の和解には、影響を受けた申請者への直接補償金117万5,000ドルと弁護士費用110万ドルが含まれていました。指名原告はそれぞれ1万ドルを受け取り、個人が将来同様の訴訟を起こす明確な金銭的インセンティブが生まれました。裁判所はさらに、裁判所の監視下で継続的な行動改善を義務付ける5年間の差止命令を課しました。

しかし、金銭的数字は始まりにすぎません。貴社の経営陣が夜も眠れなくなるほど警戒すべき点は次のとおりです。

• 貴社のAIベンダーも法的責任を問われ得ます。 裁判所は、自社が「中立的」な技術プロバイダーであるとするSafeRent社の主張を退けました。家主が第三者のスコアに主として依存している場合、そのスコアの提供者は意思決定チェーンの一環であり、法的責任を共有することになります。
• 差別の意図は問われません。 HUD（米国住宅都市開発省）の2024年5月のガイダンスは、判断基準が「格差的影響（disparate impact）」であることを確認しました。誰も差別する意図を持っていなかったとしても、貴社のシステムは公正住宅法（Fair Housing Act）に違反する可能性があります——重要なのは結果です。
• 信用スコアには隠れたバイアスが存在します。 2021年10月時点で、白人消費者の信用スコア中央値は725でした。ヒスパニック系消費者は661、黒人消費者は612でした。貴社のAIが信用履歴を中立なものとして扱うとき、人種間格差が貴社の意思決定に直接組み込まれることになります。
• 規制当局が注視しています。 HUDとDOJ（司法省）は、公正住宅法をアルゴリズム開発者に積極的に適用しています。間もなく施行されるEU AI法（EU AI Act）は、住宅および信用スコアリングシステムを「ハイリスク（High Risk）」に分類し、2025〜2026年までに正式なコンプライアンス遵守を義務付けます。

貴社のAIシステムが、同じビジネス目標を達成するためのよりバイアスの少ない代替手段を探索したことを証明できなければ、貴社はリスクに晒されることになります。

内部で実際に起きていること

従来のAIスクリーニングモデルを、ある特定の大学の履歴書しか読まない採用担当者のように考えてみてください。その担当者は不公正になろうとしているわけではありません。しかし、その大学が歴史的に特定の人口動態層ばかりを入学させてきたため、結果として差別的なものになってしまいます。AIが過去の歴史的バイアスを内包するデータ特徴量（モデルが予測を行うために使用する個々のデータポイント）に依存する場合にも、まったく同じことが起こります。

SafeRent社のモデルは、信用履歴を主要な特徴量として使用していました。信用スコアは、銀行取引、融資、資産形成へのアクセスの不平等が何十年にもわたって蓄積した結果を反映しています。アルゴリズムが信用情報を過大に重み付けする一方で、バウチャーによる収入の重み付けをゼロとしたとき、規制当局が「代理変数（proxy variable）」問題と呼ぶ事態が生じました。その特徴量は書類上は人種中立に見えますが、実際には人種とほぼ直接的に結びついています。

これこそまさに、今日多くのAIシステムが陥る落とし穴です。大規模言語モデル（LLM）——ChatGPTのようなツールの背後にある技術——は、異なる形でこの問題に直面します。LLMは多くの場合、法的開示要件を満たす形式でその推論プロセスを説明することができません。公正信用報告法（Fair Credit Reporting Act）は、申請が否決された際に具体的な「理由コード（Reason Codes）」を提示することを義務付けています。LLMは一見もっともらしい説明を生成するかもしれませんが、それは実際には捏造されたものである可能性があります。規制対象の意思決定において、自信ありげな誤った回答は、回答が全くないことよりも有害です。

真の危険は、研究者が「データドリフト（data drift）」と呼ぶ現象です——現実の世界が変化しているにもかかわらず、モデルが更新されない状態を指します。バウチャーの利用率は変動し、人口動態も進化します。2019年のデータに基づいて構築されたモデルは、基礎となる母集団が変化したというだけの理由で、2025年までに差別的な結果を生み出す可能性があります。継続的なモニタリングがなければ、訴訟を起こされて初めてこの事実に気づくことになるでしょう。

何が有効で、何が有効でないか

まず、規制環境下で失敗する3つの一般的なアプローチから見ていきましょう。

「年に1回監査を実施している」 静的な年次公平性監査では、リアルタイムのバイアスを見逃してしまいます。社会経済データは絶えず変化しており、1月に問題がなかった監査結果も、7月には何の意味もなさなくなります。

「当社のAIは意思決定を説明できる」 多くのLLMベースのツールは、もっともらしく聞こえる説明を生成しますが、それはハルシネーション（幻覚）である可能性があります——つまり、意思決定が実際どのように下されたかを反映していない、もっともらしい文章をシステムが生成しているにすぎないということです。これは機能ではなく、負債（リスク要因）です。

「入力データから人種を削除した」 保護対象属性を削除しても、信用スコア、郵便番号（zip code）、負債履歴といった代理変数を排除することはできません。これらの特徴量は、高い精度で人種パターンを再構築できてしまいます。

実際に有効なのは次のようなアプローチです——後から付け足すのではなく、システム内部に公平性を組み込む3段階のアーキテクチャです。

1. 前処理：訓練前にデータを修正する。 これは、過小評価されているグループを再サンプリングし、歴史的に不利な立場にあった人口層が公正に反映されるようデータを再重み付けすることを意味します。SafeRent社の文脈で言えば、何十年にも及ぶ信用のバイアスを是正するために、家賃支払いに成功しているバウチャー受給者をオーバーサンプリングすることなどが該当します。

2. 処理中：訓練中にモデルへ制約を課す。 精度のみを最適化するのではなく、モデルの学習プロセスに「公平性ペナルティ（fairness penalty）」を追加します。一例として敵対的デバイアス（adversarial debiasing）という手法があり、これは二次モデルが主モデルの出力から個人の人種を予測しようとするものです。二次モデルが人種の予測に成功した場合、主モデルにペナルティが課され、人種に依存せず真に賃貸借の履行実績を予測する特徴量を学習せざるを得なくなります。

3. 後処理：出力を公平な基準に適合させる。 訓練後、等化オッズ（Equalized Odds）と呼ばれる手法を用いて判定しきい値を調整し、すべての人口動態グループ間で偽陽性率と偽陰性率が同一になるようにします。これにより、資格を満たす少数派の申請者が、同等の資格を持つ多数派の申請者よりも高い頻度で拒絶される事態を防ぎます。

監査証跡の優位性こそが、貴社のコンプライアンス部門および法務部門にとって最も重要な要素です。格差的影響比率（Disparate Impact Ratio：規制当局は0.8未満を警戒基準とします）などの公平性指標をモニタリングダッシュボードに直接組み込むことで、「公平性ドリフト（fairness drift）」をリアルタイムで検知できます。訴訟を起こされるのを待つ必要はありません。問題を検知し、文書化し、修正するのです。その文書化された記録は、規制当局が調査に入った際に貴社の最強の防御策となります。貴社のシステムは、どの特徴量が重要視されたか、それぞれがどれだけ重み付けされたか、そしてなぜその結果が利用可能な選択肢の中で最も差別の少ないものであったかを示す、明確な論理証跡をすべての意思決定において生成すべきです。

SafeRent社の和解により、今や同社には公民権の専門家によるモデルの検証が義務付けられています——これは実質的に、よりバイアスの少ない代替手段の探索を強制するものです。この探索をプロアクティブ（先制的）に実施すれば、規制当局や原告の先手を打つことができます。対応を先送りにすれば、貴社が次の教訓的事例（ケーススタディ）になってしまうでしょう。