AI採用ツールは障害のある候補者を差別しうる

問題点

Aonが開発したAI採用ツールは、自閉症の候補者の「活発さ（liveliness）」を低く評価しました。2024年5月、ACLU（アメリカ自由人権協会）はAon Consultingに対する正式な申し立てを連邦取引委員会（FTC）に提出しました。ACLUは、Aonが自社のAI搭載採用アセスメントを「バイアスなし（bias free）」と謳い、「悪影響なし（no adverse impact）」で「多様性を向上させる（improve diversity）」と主張していたと申し立てました。実際には、これらのツールは人種や障害に基づいて有資格の候補者を選別・排除している可能性が高いのです。

何が起きたのかを説明します。Aonは、「積極性（positivity）」「感情認識（emotional awareness）」「活発さ（liveliness）」を含む15の特性を測定するADEPT-15という性格検査を構築しました。ACLUは、これらの特性が自閉症やメンタルヘルス疾患の臨床診断基準と密接に一致することを発見しました。あなたが「社交的（outgoing）」ではなく「控えめ（reserved）」と評価されると、アルゴリズムはあなたを減点します。障害について尋ねることはありません。尋ねる必要がないのです。数式が自動的に差別を行うのです。

Aonはさらに、vidAssess-AIというビデオ面接ツールも展開しました。これは自然言語処理（話された言葉を解釈するソフトウェア）を用いて、候補者を同じ性格特性に照らして評価します。平坦な抑揚や非典型的な間（ま）を含む話し方をする自閉症の人にとって、AIはそうしたパターンを「自信の欠如（lack of confidence）」と解釈する可能性があります。このツールは、申し立てが「二重の危険（double jeopardy）」と表現するものを生み出しました。すなわち候補者は、自分の回答に基づいてだけでなく、バイアスのかかった言語モデルを通してフィルタリングされた機械解釈版の人格に基づいても判断されたのです。

この申し立ては、Autistic Self-Advocacy Network（自閉症者自己権利擁護ネットワーク）およびその他の公民権団体によって支持されました。これは周縁的な訴訟ではありません。無審査のアルゴリズム採用の時代が終わったことを示すシグナルなのです。もしあなたの会社が求職者の選別にAIを使っているなら、ここで何が問題だったのかを理解する必要があります。

これがあなたのビジネスに重要な理由

バイアスのあるAI採用ツールによる財務的・法的なエクスポージャーは大きく、増大し続けています。この数字を考えてみてください。

• EEOC（雇用機会均等委員会）は、2024会計年度に差別被害者のために数億ドルの金銭的救済を確保しました。アルゴリズムのバイアスは今や最優先の執行課題となっています。
• FTCは、AI能力に関する根拠のない主張を理由に、DoNotPayに193,000ドルの罰金を科しました。同当局には、高リスクなソフトウェアの販売から企業を恒久的に締め出す権限があります。
• 2027年までに、世界の人材経済は300億ドルの価値を持つと見込まれています。自社の採用ツールが公正であることを証明できない企業は、優秀な候補者へのアクセスを失うことになります。
• AonのADEPT-15検査は、性格を評価するために350,000件の固有項目からなるデータベースを活用しています。このシステムの規模は、専門ツールなしで監査することをほぼ不可能にしています。

あなたの法的エクスポージャーは、ベンダーで止まりません。EEOCは、第三者から購入したAIツールが引き起こす差別について、雇用主が法的責任を負うことを明確にしています。「バイアスなし（bias-free）」のツールを購入しても、あなたの責任は移転されません。むしろ責任を増大させるのです。

これがあなたの組織にとって意味することは、次のとおりです。

• 訴訟リスク：ベンダーの製品だけでなく、あなたの採用プロセスそのものを標的とする集団訴訟やEEOCへの申し立て。
• 規制上の罰金：FTCの「Operation AI Comply」イニシアチブは、AIに関する主張の実証要件を積極的に執行しています。
• 評判の毀損：あなたの会社を障害差別に結びつける公の申し立ては、一夜にして雇用主ブランドを損なう可能性があります。
• 人材の喪失：ニューロダイバージェント（神経学的に多様）な人々は、しばしばパターン認識、細部への注意、創造的な問題解決に秀でています。バイアスのある選別は、まさにイノベーションを牽引する人材をふるい落としてしまうのです。

もしあなたのAIベンダーが、そのツールが差別しないという実証的な証拠を提供できないなら、あなたは貸借対照表に定量化されていないリスクを抱えていることになります。

内部で実際に何が起きているのか

ほとんどのAI採用ツールは、遊園地の歪んだ鏡のようなものだと考えてください。それは何か現実のもの——あなたの資質——を映し出しますが、その映像は鏡の形によって歪められています。この場合の「形」とは訓練データであり、それは圧倒的に定型発達（ニューロティピカル）の行動パターンを反映しています。

中核的な失敗は、「再帰的バイアスループ（recursive bias loop）」と呼ばれるものです。機械学習モデルは過去の採用データで訓練されます。そのデータは、定型発達のコミュニケーションスタイルに対する数十年にわたる選好を反映しています。AIが展開されると、その判断は将来の訓練データセットにフィードバックされます。過去の成功した採用者に「似ている」候補者はアルゴリズム内で優遇されます。それ以外の全員はふるい落とされます。バイアスは時間とともに複利的に増大していくのです。

デューク大学の研究では、大規模言語モデル——多くの採用ツールの背後にあるAIエンジン——が、ニューロダイバージェントに関する用語を体系的に否定的な意味と結びつけることが判明しました。「私は自閉症です（I have autism）」というフレーズは、これらのモデルによって「私は銀行強盗です（I am a bank robber）」よりも否定的だと見なされます。これらの同じ言語モデルがAPI接続を通じて採用ツールを動かすとき、差別的な結びつきをあなたの採用プロセスに埋め込むのです。開発者はこれを意図したことは一度もありません。データが自動的にそうしたのです。

AonのADEPT-15は、これを正確に例証しています。それは15の性格構成概念を、「控えめ 対 社交的（Reserved vs. Outgoing）」や「ストイック 対 思いやり（Stoic vs. Compassionate）」といった両極に沿ってマッピングします。ACLUは、これらの構成概念を、標準的な50項目の臨床スクリーニングツールである自閉症スペクトラム指数（AQ）と照合しました。その重なりは否定しようがありません。採用アルゴリズムが臨床基準を反映する質問——「私は細部に強く集中する」や「私は一人で働くことを好む」——を尋ねるとき、それは障害の有無と採用結果の間に隠れた経路を作り出します。アルゴリズムは診断について決して尋ねません。尋ねる必要がないのです。

単純な「ラッパー（wrapper）」——あなたのデータをGPT-4のような基盤モデルに通して出力を提示するツール——では、これを修正できません。ラッパーは、その基盤となるモデルのバイアスを受け継ぎます。ラッパーには、真の職務資質と、保護特性に相関するノイズとを区別する能力が欠けているのです。

何が有効で、何が有効でないか

失敗に終わる、よくある3つのアプローチ：

• 「私たちはビッグデータで訓練したので、公正です。」 データが多いことは、バイアスが少ないことを意味しません。もしあなたの訓練データが30年分の定型発達に対する採用選好を反映しているなら、あなたのモデルはその選好を大規模に再現するでしょう。
• 「私たちのベンダーがモデルカードを提供してくれました。」 ベンダー提供の文書は、独立した監査ではありません。Aonの事例は、「悪影響なし（no adverse impact）」というマーケティング上の主張が、ツールの実際の性能と真っ向から矛盾しうることを示しています。
• 「私たちは入力から保護対象フィールドを除去しました。」 データから障害の有無を除去しても、「活発さ（liveliness）」や「感情認識（emotional awareness）」のような特性が代理変数（プロキシ）として機能する場合には役立ちません。アルゴリズムは裏口を見つけ出すのです。

実際に有効なのは、保護特性と採用判断の間の結びつきを断ち切る、3段階のアプローチです。

1. 隠れた経路をマッピングする（入力）。 構造的因果モデリング（Structural Causal Modeling）——さまざまなデータポイントが互いにどう影響し合うかを図式化する手法——を用いて、障害の有無が採用結果に影響を及ぼしうるあらゆる経路を特定します。これは統計的なチェックではありません。それはあなたのアセスメント・パイプライン全体の因果マップです。あなたの目標は、規制当局が代理変数を見つける前に、自ら見つけ出すことです。

2. モデルのロジックから保護情報を取り除く（処理）。 敵対的デバイアス（adversarial debiasing）——第2のAIモデルが、主モデルの内部データから候補者の保護特性を推測しようとする手法——を展開します。もし第2のモデルが成功すれば、主モデルは依然として保護情報を漏らしていることになります。システムは主モデルにペナルティを課し、バイアスのかかったパターンを強制的に学習し直させ、除去します。これはビデオや 行動シグナルが障害の代理として機能する性格アセスメントにおいて特に効果的です。

3. すべての判断を反実仮想シミュレーションでテストする（出力）。 実際の候補者のデータの合成バリエーションを生成します。他のすべての変数を一定に保ちながら、機微な属性だけを——たとえば定型発達からニューロダイバージェントな話し方パターンへ切り替えるように——変更します。もしAIの推奨が変われば、そこには公正性の失敗があります。これは、あなたの コンプライアンスチームに具体的な監査証跡を すべての採用判断について提供します。

監査証跡こそ、あなたの法務・コンプライアンスチームにとって最も重要なものです。グループレベルの統計——「私たちの採用者の10%は障害者です」——では不十分です。あなたには、各候補者が平等な扱いを受けたという個人レベルの証拠が必要です。反実仮想シミュレーションはこれを提供します。EEOCやFTCが、あなたのシステムがなぜ特定の候補者を不採用にしたのかを尋ねたとき、あなたはその数式を示すことができるのです。

NIST AIリスクマネジメントフレームワークのもとでは、 HRおよび人材テクノロジー分野の組織は 「Adaptive（適応的）」の成熟度を目指すべきです。これは、差別ドリフト——AIモデルが実世界のデータと相互作用するにつれて時間とともにバイアスを強めていく現象——を追跡する文書化されたプロセスを意味します。ベンダーの自己報告ではなく、年次の独立したバイアス監査が不可欠です。すべての自動アセスメントには、候補者がペナルティなしで人間による代替を求めることができる明確な選択肢を含めるべきです。

あなたは、 完全な技術分析を読む ことで、因果モデリングと敵対的デバイアスの手法をより深く見ることができます。 インタラクティブなウォークスルー もあなたのチーム向けにご利用いただけます。