公平性監査とバイアス・ミティゲーション

スコープが他のどの要因よりも費用を左右します。標準的な4/5ルール分析による単一の採用ツールを対象とした、LL144準拠に絞った監査は2週間で完了できます。それはチェックボックスです。因果的な代理分析、交差的サブグループテスト、反事実的公平性評価、文書化されたミティゲーション勧告を含む包括的な監査は、システムの複雑さ、データの可用性、適用される規制枠組みの数に応じて6～10週間かかります。ほとんどの購入者が実際に問うべき費用の問いは、非遵守にかかる費用です。ニューヨーク市LL144の罰則は違反1件あたり1日500～1,500ドルに上ります。コロラド州SB 205は違反1件あたり最大20,000ドルを認めています。マサチューセッツ州は先ごろAI融資差別事件を250万ドルで和解したばかりです。監査への投資は、単一の執行措置のごく一部にすぎません。

すべてを満たすことはできません。Chouldechova（2017年）は、グループ間で基礎比率が異なる場合、不完全な分類器がキャリブレーションと等しい偽陽性率・偽陰性率を同時に達成することはできないことを証明しました。Kleinberg、Mullainathan、Raghavanはより広範な不可能性を証明しました。指標の選択はドメインと法的枠組みに依存します。融資では、価格設定が機能するにはリスクスコアが実際のデフォルト確率を反映する必要があるため、キャリブレーションが重要です。誤り率の格差がECOAの下で差別的影響の法的責任を生み出すため、等化オッズが重要です。採用では、4/5ルールがそれを運用化するため選択率パリティ（人口統計学的パリティ）が出発点となりますが、統一ガイドラインの下でのテスト検証には等化オッズと予測パリティが重要です。私たちは、誰かが最適化を始める前に、各クライアントの特定のシステムと規制上のコンテキストについて不可能性のトレードオフを一つひとつ検討します。

他の特徴量が同じ情報を持っているからです。郵便番号は居住区分の分離をコード化します。卒業年とテクノロジースタックの世代は年齢を再構築します。就業の空白は障害や介護と相関します。学歴機関は人種や社会経済的地位と相関します。通勤距離は近隣の構成と相関します。ラベルを削除しても、シグナルは削除されません。私たちは因果グラフ分析を用いて、保護属性から特徴空間を通じてモデルの出力に至るすべての経路を追跡します。それらの経路の一部は、正当なビジネス要因（信用履歴は返済を真に予測する）を通じて流れます。他の経路は、過去の差別をコード化する代理を通じて流れます。監査はどの経路がどちらであるかを特定し、ミティゲーションは正当な経路を乱すことなく代理経路を標的とします。

あります。雇用主は、第VII編、FCRA、州の雇用法の下で、ベンダーのAIツールによる差別的結果について引き続き責任を負います。Mobley対Workday（2025年5月）では、AIベンダーが雇用主の代理人として雇用差別について直接責任を負う可能性があると裁判所が判断しました。Eightfold AI集団訴訟（2026年1月）では、プラットフォームとそれを使用する雇用主の両方がリスクにさらされています。コロラド州SB 205は、誰がシステムを構築したかにかかわらず、デプロイヤーに個別の義務を課しています。ベンダーツールの使用は法的リスクを移転しません。それは技術的な複雑さを移転します。なぜなら、自分が構築していないシステムを監査する必要があるからです。私たちは、ベンダーのソースコードやモデル内部へのアクセスを必要としない出力ベースのテスト手法を用いて、ベンダーのAIツールを監査します。

LL144は、人種／民族および性別／ジェンダーのカテゴリーごとの選択率を検討し、結果を公開掲示する独立バイアス監査を要求します。それは天井ではなく床です。2025年12月のニューヨーク州会計監査官による監査では、DCWPの執行が表層的であることがわかりました。苦情の75%が誤ってルーティングされ、監査人が17件の潜在的違反を特定したのに対しDCWPが発見したのはわずか1件でした。包括的な監査はさらに踏み込みます。すなわち、組み合わされた保護属性にまたがる交差的分析、保護情報を間接的にコード化する特徴量に対する因果的代理検出、反事実的公平性テスト、測定されていない交絡因子に対して公平性の主張がどれほど頑健かを定量化する感度分析、そして不可能性定理の含意を明示した文書化された精度・公平性トレードオフ分析です。包括的なバージョンこそが、執行が本格化したときに精査を生き延びるものです。

これは公平性監査における最も難しい実務上の問題の一つです。すべての主要なツールキット（AIF360、Fairlearn）は保護属性を入力として必要とします。実際には、多くの組織は、特に雇用のコンテキスト以外では、個人レベルの人種、性別、障害のデータを収集できません。選択肢には、名前と地理から人種を推論するベイズ改良姓ジオコーディング（BISG、CFPBが公正融資分析に使用）、集計データからグループレベルの格差を推定する生態学的推論手法、保護属性の代理のみを変化させた反事実的入力を構築して判断の変化を測定する出力摂動テストが含まれます。各手法には限界があります。BISGは多人種の個人や特定の民族グループについて独自のバイアスを導入します。私たちは、特定の集団と規制上のコンテキストに対して代理手法を選択・検証し、推定された属性を真の値として扱うのではなく、代入によって導入される不確実性を文書化します。

年次監査は規制当局が最低限として要求するものです。それはあなたを安全に保つものではありません。フィードバックループと相互作用するモデルは、監査と監査の間にバイアスを発生させます。特定の背景を持つ候補者を拒否する採用ツールは、自らの排除に基づいて学習し、パターンを強化します。承認パターンが信用調査機関のデータに影響を与える融資モデルは、自己成就的予言を生み出します。顧客の人口構成や応募者プールが変化するにつれて、入力分布は変化します。私たちは、生じつつある公平性の劣化をリアルタイムで検出し、指標がしきい値を超えたときにアラートをトリガーする、逐次仮説検定による継続的モニタリングを構築します。このモニタリングは、集計とサブグループ交差の性能の両方を個別に追跡します。実務上の違いは、年次監査はモデルが何ヶ月もバイアスを抱えていたことを教えるのに対し、継続的モニタリングは数週間以内に教えてくれることです。

従来の公平性指標（等化オッズ、人口統計学的パリティ）は、定義された保護グループと測定可能な結果を持つ二値分類器のために設計されました。生成AIは自由形式のテキスト、画像、または推奨を生成し、そこではバイアスがステレオタイプ的な連想、品質の差異、あるいは人口統計的コンテキストにまたがる拒否パターンとして現れます。私たちは、シナリオベースのプロービング（プロンプト内の人口統計的シグナルを体系的に変化させて出力の差異を測定する）、特定のデプロイメント・コンテキストに適応させたベンチマークスイート（BBQ、StereoSet、CrowS-Pairs）、そして本番出力をサンプリングして差別的取り扱いのパターンを評価する出力監査を通じて、LLMのバイアスを評価します。課題は、LLMが曖昧なコンテキストで最大77%の確率でステレオタイプに沿った誤りを示すこと（BBQベンチマーク研究）、そしてこれらのバイアスが少数の特徴量に集中するのではなく数十億のパラメータにわたって分散しているため、分類器のバイアスよりも緩和が難しいことです。

罰則は各法域で急速にエスカレートしています。ニューヨーク市LL144：違反1件あたり1日500～1,500ドルに、影響を受けた各申請者を乗じます。コロラド州SB 205（2026年6月施行）：消費者保護法の下で違反1件あたり最大20,000ドル。EU AI法（2026年8月執行）：禁止行為については最大3,500万ユーロまたは全世界売上高の7%、高リスクの非遵守については1,500万ユーロまたは3%。法定罰則を超えて、訴訟リスクは現実のものです。マサチューセッツ州司法長官は2025年7月に単一のAI融資差別和解から250万ドルを引き出しました。SafeRentは住宅スクリーニング・アルゴリズムの差別について227.5万ドルを支払いました。Mobley対Workdayは初めて認証された全国規模のAIバイアス集団訴訟です。包括的な監査の費用は、これらの結果のいずれと比べても端数程度のものです。

コロラド州SB 21-169が最も規定的です。それは、保険会社が外部の消費者データ、アルゴリズム、予測モデルを、保護特性に基づいて不公平に差別的な結果を生み出す方法で使用することを禁止しています。自動車保険会社と健康保険会社は、2026年7月1日までに年次コンプライアンス報告書を提出しなければなりません。コロラド州保険局は、差別的な特徴量を特定するために、推定された人種変数のあるモデルとないモデルを比較する定量的テストを提案しています。別途、24の州がNAICモデル・ブレティンを採用し、保険会社がAIガバナンス・プログラムに透明性と公平性を含めることを要求しています。保険数理上の公平性の問題は統計的公平性とは別物です。保険数理的に正当化されるリスクの区別は、保険法の下では法的に許容されるが雇用法や融資法の下では差別的となる統計的格差を生み出す可能性があります。私たちは、保険固有の規制コンテキスト向けに構築されたテストフレームワークで、保険チームがこの区別を乗りこなすのを支援します。