250 万ドルの制裁金が暴いた、AI 融資の本当の欠陥——それはあなたが思っているものではない
2025 年 7 月のある木曜日の夜、私は自宅のホームオフィスで、Earnest Operations に関するマサチューセッツ州司法長官のプレスリリースをスクロールしていた。そのとき、予想もしていなかった感情が湧いてきた——安堵だ。
ある貸金業者が、黒人およびヒスパニックの借り手に対する AI 主導の差別で 250 万ドルの制裁金を科されたからではない。それには腹が立った。安堵は別のところから来ていた——告発の具体性だ。司法長官事務所は「あなたたちの AI にはバイアスがある」と言っただけではなかった。彼らは変数を正確に名指しした。メカニズムを正確に追跡した。そして、一見中立的なデータポイント——借り手が通った大学のコホート・デフォルト率——が、いかにしてコードに焼き付けられた人種差別のパイプラインとなったのかを、克明に示してみせたのだ。
何年もの間、Veriprajna の私のチームと私は、大半のフィンテック企業が融資に AI を導入するやり方はアーキテクチャ的に破綻していると主張してきた。単に倫理的に疑わしいというだけではない——構造的に不可能なのだ、公正さを実現することが。Earnest の和解は、規制当局が実際に使う言葉で私たちの主張の正しさを証明した、初の大規模な執行措置だった。
そして、これが最後にはならない。
無害に見えた変数
Earnest が何をしたのかを説明しよう。ぜひじっくり受け止めてほしい。これは「アルゴリズムが人種差別的だった」という話よりも、はるかに微妙だからだ。
Earnest は AI を活用した学生ローン借り換えモデルを構築した。その入力の一つがコホート・デフォルト率、すなわち CDR だった——特定の学校の卒業生が連邦ローンをどれくらいの頻度で債務不履行にするかを追跡する指標である。書類上は、これは妥当に見える。デフォルト率の高い学校は、返済に苦労する借り手を生み出すかもしれない。それを考慮に入れない理由があるだろうか？
なぜなら、CDR が測定しているのは個人の信用力ではないからだ。それが測定しているのは機関としての結果である。そしてその結果は、数十年に及ぶ構造的な資金不足、世代間の資産格差、そして高等教育における人種隔離によって形作られている。歴史的黒人大学（HBCU）の CDR が高いのは、その卒業生の能力が劣っているからではなく、制度がそれらの機関に——そしてその学生たちに——与えたものが少なかったからだ。
個人を、その所属機関の統計的な履歴によって不利に扱うとき、あなたはリスクを予測しているのではない。リスクを永続させているのだ。
マサチューセッツ州司法長官は、CDR の予測力が借り手に関する何らかのシグナルからではなく、人種および社会経済的階層との相関から来ていると主張した。完璧な信用履歴、安定した収入、支払い遅延ゼロを持つ HBCU 出身の黒人卒業生が、潤沢な資金を持つ州立大学出身の白人卒業生よりも低いスコアになる——卒業後に何をしたかではなく、どこの大学に通ったかを理由に。
和解文書を開いて、電話越しに共同創業者へ読み上げたのを覚えている。「ノックアウト・ルールもあったんだ」と私は言った。「グリーンカードすら持っていない人を自動的に否認する、ハードコードされたゲートだよ」。長い沈黙があった。「つまり、バイアスは最初からアーキテクチャの中にあったのね」と彼女は言った。そのとおりだ。決定木のいちばん最初の一行から。
なぜ誰もこれを見抜けなかったのか？
その夜、私を眠らせなかったのはこの部分だ。Earnest には社内ポリシーがあった。モデルの監督要件もあった。例外に対する上級レビューのプロセスもあった。
そのどれ一つとして機能しなかった。
調査により、引受担当者が日常的にモデルを迂回したり、文書化のないまま恣意的な基準を適用したりしていたことが明らかになった。ヒューマン・イン・ザ・ループという安全装置——規制当局が訪ねてきたときにあらゆる AI 企業が指し示すもの——は、単なる演出だった。一貫したログ記録は存在しなかった。独立したレビューもなかった。次のことを説明できる監査証跡も存在しなかった——なぜ特定のオーバーライドが行われたのか。
私はこのパターンを何度も目にしてきたので、社内で名前を付けた——ガバナンス・コスプレ。組織は書類上、適切なポリシーをすべて備えている。組織図にはコンプライアンスチームが載っている。取締役会資料には「責任ある AI」と書かれている。しかしボンネットを開けてみると、ポリシーとコードをつなぐメカニズムが存在しない。アルゴリズムはある宇宙で動き、ガバナンスのフレームワークは別の宇宙に存在している。
Earnest のケースはこれを露わにした。アルゴリズムのバイアスと監視されない人間のバイアスの両方が同一システム内に共存しており、その結果——本件に関する当社のインタラクティブ分析で書いたとおり——監査することも弁護することも根本的に不可能になっていた。
格差が 29 パーセントポイントあるとき、何が起きるのか？
Earnest がメスの事例——精密で、変数レベルで、追跡可能——だったとすれば、Navy Federal Credit Union は大ハンマーだ。
2022 年、米国最大のクレジットユニオンである Navy Federal は、白人の従来型住宅ローン申請者のおよそ 77% を承認した。黒人の申請者は？ 48.5% だ。これは 29 パーセントポイント近い格差であり——米国のトップ 50 住宅ローン貸付業者の中で最も広い開きだった。
Navy Federal の弁明は予想どおりだった。「公開されている HMDA データには信用スコアや手元資金は含まれていない。全体像なしに結論は導けない」。これはあらゆる機関が持ち出す、いつもの弁明だ。そして 10 年前なら通用したかもしれない。
今回は通用しなかった。独立した研究者たちが十数を超える変数——所得、債務対所得比率、物件価値、地域特性——を統制してもなお、黒人の申請者は、同一のプロフィールを持つ白人の申請者と比べて、依然として 2 倍以上の確率で否認されていた。
昨年、あるフィンテックカンファレンスでこれらの数字を発表したときのことを覚えている。聴衆の一人——中堅貸付業者のリスク担当 VP——が手を挙げてこう言った。「しかし、データの中に我々が見えていない何かがあるのかもしれない。何か正当な要因が」。私は彼に尋ねた。「あなたのモデルが、挙げられるかぎりのすべての変数を統制してもなお消えない 29 ポイントの人種格差を生んでいるとして、どの時点で無害な説明を探すのをやめ、モデルそのものを見始めるのですか？」
彼は答えを持っていなかった。業界の大半も持っていない。
2024 年 5 月、連邦判事は、Navy Federal に対する差別的インパクト（disparate impact）の請求がディスカバリー（証拠開示）に進むことを認める判断を下した。つまり原告は、このクレジットユニオンの引受アルゴリズムの内部ロジックを精査できるということだ。「我々のモデルは独自技術であり、複雑すぎて説明できない」という時代は終わった。
いまや統計的な格差だけで、却下申立てを乗り切るのに十分だ。立証責任は移った。自らのプロセスが公正であることを証明するか、さもなければディスカバリーに直面するかだ。
なぜ LLM ラッパーは公正性テストに落ち続けるのか？
ここからは、AI 業界の多くの人が聞きたくないであろうことについて、率直に述べる必要がある。
現在フィンテック AI で主流となっているアーキテクチャ——私が「ラッパー」モデルと呼ぶもの——は、2026 年に到来する規制基準どころか、すでに存在する規制基準を満たすことすら構造的に不可能だ。
ラッパーは、あなたのデータを受け取り、GPT-4 や Gemini のようなサードパーティの大規模言語モデルに渡し、出力を返す。構築は速い。デモは美しい。そして、それはコンプライアンスの時限爆弾だ。
LLM は系列の次のトークンを予測する。事実を検索するのではない。保険数理的な計算を行うのでもない。因果について推論するのでもない。LLM にローン申請の評価をさせると、それが生成するテキストはいかにも信用評価のように聞こえる。しかし、申請者の実際のファイルには何の根拠もない否認理由をでっち上げるかもしれない。業界はこれをハルシネーションと呼ぶ。規制当局はこれを違反と呼ぶ。
CFPB の立場は明確だ。債権者は不利益処分について「正確かつ具体的な理由」を提供しなければならない。実際の引き金がモデルの飛びついた非伝統的なデータポイントだったにもかかわらず、否認された申請者に「アルゴリズムが決めました」と告げたり、「購買履歴」といった曖昧なカテゴリーを挙げたりすることは許されない。「アルゴリズムが決めた」は法的に弁護可能な説明ではない——当局はそう明言している。
さらに根深い問題がある。LLM はインターネットで訓練されている。インターネットは歴史的なバイアス——人種、ジェンダー、社会経済——で飽和している。あなたのラッパーが LLM を使って借り手の職歴や記述内容を「評価」するとき、モデルは訓練データに埋め込まれたステレオタイプを適用するかもしれない。特定の国籍、特定の職業、特定の郵便番号が、モデルの潜在空間で目に見えない重みを帯びる。誰かがバイアスをプログラムしたからではない。なぜなら、訓練データがまさにバイアスそのものだからだ。
初期の頃、これについてある投資家と議論したことがある。彼はこう言った。「良いプロンプトで GPT を使えばいいだけだ。複雑にしすぎだよ」。私はデモを開いて見せた。同じローン申請を、2 つのバージョンでラッパーに通したものだ——一方は白人と読み取れる名前、もう一方は黒人と読み取れる名前。出力は同一ではなかった。トーンが変わった。リスクに関する言い回しが変わった。劇的にではない。微妙に、だ。その微妙さこそ、数百万件の判断へとスケールしたとき、29 ポイントの格差を生むたぐいのものだった。
彼は反論をやめた。
「Deep AI」とは実際のところ何を意味するのか？
私が「Deep AI」という言葉を使うのは、マーケティングのためではなく——懐疑的に受け取られるのは理解している——業界の大半が構築しているものとの技術的な区別のためだ。
融資向けの Deep AI システムは、単一のモデルを呼び出して答えを返すようなものではない。異なる種類の知能が異なる種類の判断を担当し、すべての層が監査可能な、多層アーキテクチャだ。
決定論的ルールエンジンは、100% 正確でなければならない事柄——居住要件、規制上の閾値、厳格なコンプライアンスチェック——を担う。これらは確率的ではない。ロジックである。ハルシネーションを起こさない。
勾配ブースティングモデル、たとえば XGBoost は、構造化された信用スコアリングを担う——言語的な流暢さよりも解釈可能性と安定性が重要となる、テーブル形式のデータだ。これらのモデルは退屈である。同時に、信頼でき、説明可能で、規制当局によく理解されている。
ファインチューニングされた LLMも使う——ただし、それらが実際に得意なことに限ってだ。非構造化文書からのエンティティ抽出、納税申告書のパース、銀行取引明細の読み取りである。さらに、それらは検索拡張生成（Retrieval-Augmented Generation）によってグラウンディングされている。つまりモデルは、訓練データの曖昧な連想ではなく、申請者の実際の文書しか参照できない。
これらすべての上に、モデルドリフト、バイアスドリフト、ハルシネーション率をリアルタイムで追跡する継続的モニタリング層が乗る。差別的インパクト比率（Disparate Impact Ratio）——保護対象グループと対照グループの承認率の比——が 0.8 の閾値（規制当局が危険信号として用いる五分の四ルール）を下回ると、システムは人間からの苦情が表面化するより前に警告を発する。
これは理想論ではない。私たちがこれを構築したのは、その代替——ラッパー、ブラックボックス、ガバナンス・コスプレ——が、Earnest のような和解や Navy Federal のような訴訟を生み続けているからだ。
モデルに公正さを実際にどう作り込むのか？
この質問は絶えず受ける。そして、答えが単純であることを期待されているのだと思う。単純ではない。しかし、神秘的でもない。
公正性エンジニアリングとは、モデルのライフサイクルのあらゆる段階で数学的制約を適用することを意味する。訓練の前には、データに代表性のギャップがないかを検査し、合成オーバーサンプリングのような技法で過少代表の属性グループのバランスを取る。訓練中には、敵対的デバイアシングを適用する——副次的なモデルが、主モデルの出力から申請者の人種を予測しようと試みる技法だ。もし予測できてしまうなら、主モデルは保護対象情報を漏らしているということであり、敵対モデルが失敗するまで再訓練する。
訓練の後には、equalized odds（均等化オッズ）を確保するために決定閾値をキャリブレーションする——つまり、モデルが属性グループをまたいで等しく正確であるようにするということだ。等しく寛容であることではない。等しく正確であることだ。全員を承認するモデルは公正ではない。全員に対して同じ割合で正しいモデルこそが公正なのだ。
そして説明可能性がある。私たちのシステムが生成するすべての不利益処分には SHAP 値が付随する——どの特徴量がどれだけその判断を動かしたのかを正確に示す、数学的に厳密な帰属手法だ。私たちは反実仮想の説明をリアルタイムで生成する。「もしあなたのクレジット利用率が 15% 低ければ、あるいは収入が $5,000 高ければ、このローンは承認されていたでしょう」。これは親切心ではない。現行の CFPB ガイダンスの下では、要件になりつつあるものだ。
公正な AI とは、不快なことを言わないように避けるモデルのことではない。あらゆる判断を分解し、異議を申し立て、数学によって弁護できるシステムのことだ。
私たちの公正性エンジニアリングのパイプラインとアーキテクチャに関する完全な技術的解説として、詳細な研究論文を公開している。ここで私が踏み込める以上に深く掘り下げた内容だ。
規制の壁は狭まりつつある
まだ時間があると思っている人のために、状況を素描しておこう。
不利益処分通知に関する CFPB の 2023 年および 2025 年のガイダンスには実効性がある。SR 11-7——連邦準備制度のモデルリスク管理基準——は現在、文書化された概念的健全性、開発と一切関係のないチームによる独立した検証、そして定期的な結果分析を要求している。2025 年に公開された NIST AI Risk Management Framework 2.0 は、「AI Bill of Materials」という概念を導入した——あらゆるデータソース、あらゆるモデル（サードパーティ API を含む）、そしてコンポーネント間のあらゆる相互作用の完全なインベントリだ。
これは無視できるガイダンスではない。連邦判事はつい先ごろ、Navy Federal のアルゴリズムへのディスカバリーを認めた。マサチューセッツ州司法長官は Earnest に制裁金を科しただけではない——同社に対し、モデルガバナンスの全面的な見直し、独立した検証の実装、そして継続的なモニタリングへの服従を求めたのだ。
メッセージは明快だ。自分のモデルを説明できないなら、それを弁護することはできない。そして弁護できないなら、代償を払うことになる——和解金で、訴訟費用で、評判の毀損で、そして自分たちが奉仕すると称するコミュニティからの信頼の侵食という形で。
「代替手段の探索」が、誰も準備できていない要件である理由
業界を他の何よりも作り変えることになると私が考えている規制上の概念が一つある。そして、それについてはほとんど誰も語っていない。
現行の公正貸付法の下では、モデルが正確であることを示すだけでは不十分だ。あなたは能動的に探索しなければならない——より差別的でない代替手段を。つまり、より小さな格差で同等の予測性能を達成するモデルのことだ。原告が、そうした代替手段が存在したにもかかわらずあなたがそれを使わなかったと立証できれば、あなたのモデルはその精度にかかわらず法的テストに不合格となる。
それが運用面で何を意味するのかを考えてみてほしい。モデルを一つ構築し、バイアスをテストして出荷する、というわけにはいかない。複数の構成——異なる特徴量セット、異なるアルゴリズム、異なる閾値キャリブレーション——を訓練し、なぜその一つを選んだのかを文書化しなければならない。より公正な選択肢を探し、それを見つけた（そして採用した）か、あるいは実質的により差別的でない代替手段は存在しなかったと証明したか、その証拠が必要なのだ。
私たちは LDA 探索パイプラインの構築に 3 か月を費やした。その 3 か月間、エンジニアリングチームは「考えすぎではないですか？」と問い続けた。そこへ Earnest の和解が飛び込んできて、司法長官事務所は同社が代替手段を探索しなかったことを名指しで指摘した。私たちは考えすぎてなどいなかった。業界のほうが考えなさすぎていたのだ。
ほとんどの人が見落としている Earnest の教訓
7 月からずっと私の頭に引っかかっていることで締めくくりたい。
Earnest の和解に関する論評のほとんどは、CDR という変数に焦点を当てた。確かに、それが見出しだった。しかし、より深刻な失敗は悪い変数ではなかった。その悪い変数が本番環境に到達する前に捕捉していたはずのアーキテクチャが、存在しなかったことだ。
Earnest には独立したモデル検証がなかった。体系的なプロキシ検定もなかった。監査可能な人間のオーバーライド記録もなかった。継続的なバイアスモニタリングもなかった。あったのはモデルと、ポリシー文書と、その二つの間にある、集団訴訟を通せるほど大きく開いたギャップだけだった。
この 250 万ドルは、バイアスのコストではなかった。バイアスが存在することを知るためのインフラを持たずに AI を構築したことの、コストだった。
これこそが、私が何度も立ち返る区別だ。問いは「あなたの AI にはバイアスがあるか？」ではない——過去のデータで訓練されたあらゆるモデルは、歴史的不平等の指紋を帯びている。問いはこうだ——規制当局が代わりにやってしまう前に、それを検知し、測定し、説明し、是正するためのアーキテクチャをあなたは持っているか？
大半の貸し手は、正直であれば、いいえと答えるだろう。
私たちが Veriprajna を築いたのは、その答えが「はい」でなければならないと信じているからだ——理想としてではなく、システムそのものの構造的性質として。公正さは、ローンチ後に後付けするフィーチャーではない。それは耐力壁だ。取り除けば、建物全体が崩れ落ちる。
融資における AI の第一波は、スピードとスケールによって定義された。第二波は、あなたのシステムが召喚状を生き延びられるかどうかによって定義される。私が、どちらのために構築しているかは分かっている。