AIがろう者の女性に「アクティブ・リスニングを実践しなさい」と告げた——私がこの業界の破綻を確信した瞬間
火曜日の夜遅く、私は自宅のオフィスに座り、ACLU(米国自由人権協会)がIntuitとHireVueを相手取って提出した申立書に目を通していた。そのとき、ある一文に行き当たり、私はノートパソコンを置いて、ただ壁を見つめてしまった。
申立書の中でD.K.と特定されている、ろう者の先住民女性が、昇進のために自動化された動画面接を受けるよう求められていた。彼女はすでに肯定的な評価や年次ボーナスを得ており、昇進が当然と言えるような実績を積んでいた。しかし、彼女の面接を処理したAIシステムは、この業界を何年も悩ませることになる一片のフィードバックを生成した。それは彼女にこう告げたのだ——「アクティブ・リスニングを実践しなさい」と。
彼女はろう者である。
システムはそれを知らなかった。システムは気にも留めなかった。システムは、あらゆる大規模言語モデルがすることをしただけだ——圧倒的に、健聴者で、定型発達で、標準的なアメリカ英語を話す人間から構築された訓練データセットに対してパターンマッチングを行い、そのデータセットのように聞こえない者は誰であれ「欠陥がある」と判断したのだ。「異なる」のではない。「欠陥がある」と。
私はVeriprajnaで何年もかけて、人に関する重大な判断を下すよう設計されたAIシステムを構築してきた。そして、絶対的な確信を持って言える。これはバグではなかった。これは、アーキテクチャが設計どおりにきっちり機能した結果だった。それこそが問題なのだ。
D.K.に実際に何が起きたのか?
この事実は、じっくり向き合う価値がある。なぜなら、それは単一のソフトウェア障害よりもはるかに深い何かを浮き彫りにするからだ。
D.K.は、合理的配慮を求めていた——具体的には、動画面接を進める助けとなる、人間によるリアルタイム文字通訳(CART:Communication Access Realtime Translation)の通訳者だ。ところが彼女に与えられたのは、自動生成の字幕だった。軽い地方訛りのある話者を自動字幕が台無しにするのを見たことがあるなら、言語学者が「ろう者の訛り」と呼ぶもの——聴覚的フィードバックなしにコミュニケーションを続けてきた人生によって形づくられた話し方——を持つ話者の場合に何が起こるか、想像してみてほしい。
自動音声認識(ASR)システムは、彼女の発話を解析できなかった。それが生成した書き起こしは、機能的に言えばゴミだった。そして第2のAIレイヤーが、そのゴミのような書き起こしを「リーダーシップの資質」や「コミュニケーション能力」について分析し、彼女はまだ管理職の準備ができていないと結論づけたのだ。
これは、私がカスケード障害(cascading failure)とチームとの会話の中で呼び始めたものだ——あるAIレイヤーのエラーが、単に持続するだけでなく、後続のレイヤーを通過する際に増幅していくときのことを指す。ひどい書き起こしがひどい分析を生み、それがひどい推奨を生む。人間がその出力を目にするころには、見た目はすっきりしている。スコア。ランキング。不合格。その下に潜む78%という単語誤り率(Word Error Rate)を、誰も目にしない。
基盤となる書き起こしに78%の誤り率があるとき、その上に構築されたあらゆるモデルは、候補者を分析しているのではない——ノイズを分析しているのだ。
この数字は仮定の話ではない。平均から低程度の発話明瞭度を持つろう者の話者を処理するASRシステムに関する研究は、一貫して77%から78%の単語誤り率を示している。比較すると、標準的なアメリカ英語の話者では10〜18%だ。このシステムがD.K.に対して機能することは、そもそもあり得なかった。それは根本から、彼女を排除するように設計されていたのだ。
なぜ、あらゆるAI採用ツールがこの問題を抱えているのか?
ここで、私が身を置く業界について正直に語らなければならない。
現在市場に出回っている「AI採用ソリューション」の大半は、私たちがラッパー製品と呼ぶものだ。汎用の大規模言語モデル——GPT-4、Claude、Gemini——の上に構築された、薄いインターフェースにすぎない。企業は、洗練されたUIや、人事向けのプロンプト、場合によってはグラフ付きのダッシュボードを付け加え、それを「AIを活用したタレント・インテリジェンス」として売り込む。
私は、ラッパーと専用に構築されたシステムの違いを本当に見分けられない企業の購買担当者たちと、テーブルを挟んで向き合ってきた。それも無理はない。マーケティングは見分けがつかないほど似ている。デモは洗練されている。ラッパー企業は「当社は高度なAIを使っている」と言い、ディープAI企業も「当社は高度なAIを使っている」と言う。そして調達チームは、価格の低いほうを選ぶのだ。
その違いが表面化するのは、D.K.のような人物がドアをくぐって現れたときだけだ。
汎用の大規模言語モデルは、訓練に用いられたインターネット規模のデータセットに刻み込まれた、あらゆるバイアスを受け継ぐ。何十年分もの採用データが、特定の話し方をし、特定の見た目をし、特定の振る舞いをする候補者への選好を反映しているなら、モデルはそのパターンを疑うことはしない——それを最適化するのだ。これはモデルの推論の欠陥ではない。パターンを見つけ出し、それを再現すること——それこそが、まさにモデルが作られた目的なのだ。
私は、あるエンジニア——ここではラヴィと呼ぼう——と、敵対的デバイアスが計算上のオーバーヘッドに見合うかどうかをめぐって、激しく議論したことを覚えている。彼の立場は現実的だった。「ほとんどの候補者は、そのエッジケースを引き起こしません。私たちは、せいぜい面接の2%ほどにしか影響しないシナリオのために、レイテンシを増やそうとしているのです」。私の返答はそっけなかった。「もし君のシステムが98%の人には完璧に機能して、残りの2%を体系的に差別するのなら、それはエッジケースを抱えた優れた製品を作ったことにはならない。高い精度を備えた公民権侵害を作ったということだ」。
ラヴィは考えを改めた。しかし私は、あの会話をよく思い返す。なぜなら、まさに今、あらゆるAI企業で同じことが起きていると知っているからだ。そしてそのほとんどでは、ラヴィたちのほうが勝っている。
差別しないAIを、実際にどう構築するのか?
技術的な答えは重要だが、私はそれを、仕様書に書くようなやり方ではなく、友人に説明するように語りたい。
Veriprajnaで私たちが構築するものの核心にあるのは、敵対的デバイアス(adversarial debiasing)と呼ばれるものだ。2つのAIモデルを同時に訓練していると想像してほしい。1つ目のモデル——あなたが本当に気にかけているモデル——は、候補者がその職務で成功するかどうかを予測しようとする。2つ目のモデルは、敵対者だ。その唯一の仕事は、1つ目のモデルの内部表現を覗き込み、候補者の人種、性別、障害の有無、あるいはその他の保護対象属性を推測しようとすることだ。
そして、敵対者が成功するたびに、あなたは1つ目のモデルに罰を与える。
数千回に及ぶ訓練サイクルを通じて、主モデルは、保護対象の属性に対して本当に盲目な予測を下すことを学習する——それは、入力からそうしたデータ点を取り除いたから(それは素朴なアプローチであり、代理変数が残るために機能しない)ではなく、モデルの内部的な推論が、属性情報を経由せずに結論へと至る経路を見つけ出すよう強いられたからだ。
反事実的公平性(counterfactual fairness)とは、候補者の保護対象属性——人種、性別、障害——が異なっていたとしても、そのスコアが同一のままであることを証明することを意味する。それは理想ではない。数学的なテストなのだ。
これは、ラッパーにできることとは根本的に異なる。GPTのAPI呼び出しに、敵対的デバイアスを後付けで取り付けることはできない。自分が制御していないモデルの内部表現を、事後的に監査することはできない。あなたはただ、ブラックボックスにテキストを送り込み、その出力が差別的でないことを願っているだけだ。願うことは、コンプライアンス戦略ではない。
完全な技術アーキテクチャについては——マルチモーダル融合のアプローチや、形式的な公平性指標も含めて——私たちのインタラクティブ・ホワイトペーパーに書いてある。より深く知りたい方は、ぜひご覧いただきたい。
D.K.を沈めた「モダリティ崩壊」
HireVueのケースには、ほとんどの報道が見落としていると私が考える、ある特定の技術的な障害がある。そしてそれは、私を夜も眠れなくさせるものだ。
このシステムは、研究者がモダリティ崩壊(modality collapse)と呼ぶ現象に見舞われた。マルチモーダルAIシステム——動画、音声、テキストを同時に処理するもの——では、それぞれのチャネル(すなわち「モダリティ」)が最終的な評価に寄与する。理論上、これは単一チャネルのシステムよりも頑健だ。音声にノイズが多ければ、動画がそれを補える。書き起こしが乱れていれば、視覚的な手がかりが穴を埋められる。
しかし実際には、HireVueのシステムは音声チャネルに過度に依存していたようだ。D.K.の発話がモデルの想定するパターンと一致しなかったとき、音声信号は単に低いスコアを寄与しただけではなかった——評価全体を支配してしまったのだ。彼女の熱意や、自信、表現力を捉えていたかもしれない視覚チャネルは、かき消されてしまった。
私たちはこれを、モダリティ融合協調的デバイアス(Modality Fusion Collaborative Debiasing)と呼ぶ手法で解決している。私たちのシステムは、あるモダリティが低信頼度の出力を生成していること——たとえばASRが標準的でない訛りに手こずっていること——を検知すると、単にその問題にフラグを立てるだけではない。自動的に、他のモダリティの重みを増やすのだ。記述式の回答が、より大きな影響力を持つようになる。視覚的な行動の手がかりが、より大きな影響力を持つようになる。劣化した音声チャネルの影響力は、小さくなる。
しかし、私が最も重要だと考える部分はここにある。そしてそれは、まったく技術的なものではない。私たちのシステムは、その信頼度が閾値を下回ると、人間へと処理を回す。後付けとしてではない。設定メニューの奥に埋もれた「エスカレーション経路」としてでもない。アーキテクチャの中核をなす決定として、である。
D.K.は、人間の字幕通訳者を求めた。彼女は断られた。私たちのシステムであれば、彼女が求める必要すらなかっただろう。システムは自らの限界を認識し、自動的に人間を介在させたはずだ。
AIは、自らが失敗しているときを知るべきだ。HireVueのシステムが、78%の誤り率を持つ書き起こしに自信満々でスコアを付けたという事実は、こうしたツールがどのように作られているか——そして誰のために作られているか——のすべてを物語っている。
法律が追いついたとき、何が起こるのか?
何年もの間、AI採用業界は規制の空白の中で活動してきた。企業は好きなものを何でも導入でき、何も監査せず、利用規約で責任を否認することができた。その時代は、急速に終わりを迎えようとしている。
コロラド人工知能法(SB 24–205)は、2026年初頭に施行され、前例のないものを打ち立てる。すなわち、高リスクのAIシステムを開発または導入する者すべてに課される、法的な「合理的注意義務」だ。採用と昇進の判断は、明示的に高リスクに分類される。この法律は、アルゴリズムによる差別を選別するための年次影響評価を義務づけている。任意ではない。「ベストプラクティス」でもない。義務である。
ニューヨーク市の地方法第144号(Local Law 144)は、すでに自動化された雇用判断ツールに対して独立したバイアス監査を義務づけている。同様の法制化が、カリフォルニア州やイリノイ州でも進んでいる。EUのAI法(EU AI Act)は、採用AIを高リスクに分類し、収益に基づく罰金に裏打ちされた、透明性と人間による監督の要件を課している。
そして、Mobley対Workday裁判がある。これはおそらく、ほとんどの人が耳にしたことのない中で、最も重大な影響を持つ訴訟だ。連邦裁判所は集団訴訟を認可し、AIベンダーのソフトウェアが従来は人間の採用担当者が担ってきた機能を果たす場合、そのベンダーは「代理人」または「間接的な雇用者」として扱われうる、との判断を下した。このたった1つの判決が、あらゆるラッパー企業が依存している責任のファイアウォール——ベンダーはツールを提供するが、リスクはすべて雇用者が負う、という考え方——を打ち砕いたのだ。
1年ほど前、ある投資家候補が私にこう言った。コンプライアンス優先のAIは「ニッチな試み」だ、と。市場が求めているのは、監査可能性ではなく、スピードとスケールなのだ、と。私は彼に、市場は間もなく訴えられて、監査可能性を求めるようになるだろうと告げた。ACLUの申立ては、その論点を証明したと私は思う。
詳細な規制の分析と、企業がどのように備えるべきかについての完全なフレームワークについては、こちらの技術的な詳細解説をご覧いただきたい。
「でも、うちのシステムはバイアス監査を通過しました」
人々は、私に絶えずこう尋ねる——システムが年次のバイアス監査を通過するなら、それで十分ではないのか、と。
いや、十分ではない。その理由を説明しよう。
ほとんどのバイアス監査は、差別的インパクト(disparate impact)を、五分の四ルール(Four-Fifths Rule)を用いて検証する。すなわち、ある保護対象グループの選抜率が、最も多く選抜されたグループの選抜率の80%を下回れば、問題があるとみなす。これは有用な最低ラインではあるが、上限としてはひどい代物だ。システムは、全体としては五分の四ルールを通過しながら、特定の交差的なグループ——たとえば、ろう者の先住民女性——を体系的に不合格にすることがありうる。サンプルサイズが小さすぎて、統計的な閾値を発動させないからだ。
D.K.を不合格にしたのは、女性全般に対して偏っていた、あるいは先住民全般に対して偏っていたシステムではなかった。彼女を不合格にしたのは、彼女に固有のアイデンティティとコミュニケーションスタイルの組み合わせを処理できなかったシステムだった。集計的な公平性指標では、それを決して捉えられなかっただろう。
だからこそ私たちは、SHAP(SHapley Additive exPlanations)分析を、年に一度のチェックボックスではなく、継続的な監視レイヤーとして用いている。SHAPを使えば、一つひとつの判断を、それに寄与した特徴量へと分解できる。ある候補者が低くスコアリングされた場合、どの特徴量がそのスコアを引き起こしたのかを、正確に確認できる。そしてもし、それらの特徴量が、職務に関連する能力ではなく保護対象属性と相関しているなら——「問題解決能力」や「専門領域の知見」ではなく、「韻律(プロソディ)」や「話す際のリズム」が主役を担っているなら——システムは、リアルタイムで自らに是正のためのフラグを立てる。
バイアス監査と、継続的な説明可能性のモニタリングとの違いは、年に一度の健康診断と、心臓モニターとの違いに等しい。一方は、すでに何が悪くなったかを教えてくれる。もう一方は、まだ手を打つ時間があるうちに問題を捉える。
これを誤ることの、本当の代償
最後に、技術でも規制でもない何かで締めくくりたい。
D.K.が昇進を拒まれたとき、その企業は単に彼女の権利を侵害しただけではない。ボーナスや肯定的な評価を得ていた、高い成果を上げる従業員——人間としてのあらゆる尺度において、その職務への準備ができていた人物——を失ったのだ。AIは、企業を悪い採用から守ったのではない。企業を、素晴らしい人材から遠ざけて守ったのだ。
偏ったシステムが、有資格の候補者をふるい落とすたびに——訛りや、障害、名前、あるいは訓練データと一致しない話し方のパターンを理由に——企業は単に法的リスクに直面するだけではない。その人物を失うのだ。どれほど「カルチャーフィット」を最適化しても再現できない、その視点、問題解決のアプローチ、そして実際に生きてきた経験を失うのだ。
私は、始めた頃よりも今のほうが強く抱いている一つの信念のうえに、Veriprajnaを築いてきた。すなわち、次の10年を支配する企業とは、AIを、才能をふるい落とすフィルターとしてではなく、さもなければ見逃していたはずの才能への架け橋としてどう使うかを見出した企業だ、ということだ。ラッパーの時代は、自らが招いた訴訟の重みの下で崩れ落ちつつある。ブラックボックスの時代は、法律によって存在を消されつつある。
それに取って代わるものは、程度においてではなく、種類において異なっていなければならない。より優れたラッパーではない。より慎重にプロンプトを与えられたGPTの呼び出しでもない。根本的に異なるアーキテクチャ——自らが誤っているときを知り、自らが正しい理由を説明し、そのどちらも確信できないときには人間を介在させるアーキテクチャなのだ。
AIは、才能への障壁ではなく、才能への架け橋であるべきだ。障害と欠陥の違いを見分けられないシステムに、人のキャリアに関する判断を下す資格などない。
「導入して、責任を否認する」時代は終わった。次に来るものは、より困難で、より遅く、構築により多くの費用がかかる。そしてそれこそが、実際に機能する唯一のものなのだ。
