AI 租客審查偏誤代價達 220 萬美元——下一個會是您的系統嗎？

問題所在

Mary Louis 與 Monica Douglas 這兩位持有聯邦政府資助住房補貼券的非裔女性在申請公寓時遭到拒絕。拒絕她們的並非房東——而是一套演算法。SafeRent Solutions 開發了一套名為「Registry ScorePLUS」的評分系統，以 200 至 800 分的量表為租客評分。該系統高度依賴信用紀錄與非租賃債務，卻完全忽視了一項關鍵事實：住房補貼券保證了穩定的收入來源。持有補貼券的租客在統計上更有可能持續按時繳納租金，因為政府會直接負擔其中一部分款項。

演算法將這些申請人視為高風險，但她們實際上屬於低風險群體。系統給予她們較差的評分，是因為她們的信用狀況與高收入租客有所不同——而非因為她們是不良租客。2022 年 5 月，Louis 與 Douglas 提起集體訴訟，指控該系統對非裔與拉丁裔申請人造成了差別衝擊（disparate impact）。截至 2024 年 11 月，法院批准了一項 227.5 萬美元的和解協議。

貴公司或許並未審查租客。但若您使用了任何針對個人進行評分、排名或提出決策建議的 AI 系統，此案背後的邏輯將直接適用於您。法院裁定，軟體供應商——而不僅僅是房東——亦須為歧視性結果共同承擔法律責任。僅此一項裁決就改變了一切。

為什麼這對貴企業至關重要

此處的財務風險暴露遠遠超出了租客審查的範疇。SafeRent 的和解方案包括向受影響申請人提供 117.5 萬美元的直接賠償金，以及 110 萬美元的律師費。具名原告每人獲得 10,000 美元，這為個人在未來提起訴訟創造了明確的財務誘因。法院還頒布了一項為期五年的禁制令，要求該公司進行由法院持續監督的行為改變。

但金額數字僅僅是個開始。以下是應當讓貴公司領導團隊夜不能寐的核心問題：

• 您的 AI 供應商可能承擔法律責任。 法院駁回了 SafeRent 聲稱自身為「中立」技術提供商的主張。如果房東主要依賴第三方評分，那麼該評分的提供者就是決策鏈的一部分，必須共同分擔法律風險暴露。
• 意圖並不重要。 美國住房與城市發展部（HUD）2024 年 5 月的指引確認，判斷標準為「差別衝擊（disparate impact）」。即使無人存有歧視意圖，您的系統仍可能違反《公平住房法》（Fair Housing Act）——結果才是關鍵。
• 信用評分隱含潛在偏誤。 截至 2021 年 10 月，白人消費者的信用評分中位數為 725 分，拉丁裔消費者為 661 分，非裔消費者為 612 分。當您的 AI 將信用紀錄視為中立時，它實質上是在將種族差距硬編碼至您的決策中。
• 監管機構正密切關注。 HUD 與美國司法部（DOJ）正積極將《公平住房法》適用於演算法開發商。即將施行的《歐盟人工智慧法案》（EU AI Act）將把住房與信用評分系統歸類為「高風險（High Risk）」，要求在 2025 至 2026 年前完成正式合規。

若您的 AI 系統無法證明其曾尋找過偏誤更少的方式來達成相同的商業目標，您就面臨法律風險暴露。

底層究竟發生了什麼

不妨將傳統的 AI 審查模型想像成一位只閱讀某一所大學履歷的招募經理。該經理並非試圖不公。但由於該大學在歷史上招收的學生主要屬於單一族群，其篩選結果便呈現出歧視性。當 AI 依賴帶有歷史偏誤的資料特徵（data features）——即模型用來做出預測的個別資料點——時，同樣的情況就會發生。

SafeRent 的模型將信用紀錄作為一項關鍵特徵。信用評分反映了數十年來在銀行服務、借貸與財富積累機會上的不平等。當演算法對信用給予極高權重，卻對補貼券收入給予零權重時，就造成了監管機構所稱的「代理變數（proxy variable）」問題。該特徵在書面上看似與種族無關，但在實務中卻幾乎直接對應到種族。

這正是當今眾多 AI 系統失靈之處。大型語言模型（LLMs）——即 ChatGPT 等工具背後的技術——則以另一種形式面臨此問題。它們通常無法以符合法律揭露要求的格式來解釋其推理過程。《公平信用報告法》（Fair Credit Reporting Act）規定在申請被拒絕時必須提供具體的「原因代碼（Reason Codes）」。LLM 可能會生成看似合理但實際上純屬捏造的解釋。在受監管的決策中，一個聽起來自信滿滿的錯誤答案，遠比沒有答案更糟。

真正的危險在於研究人員所稱的「資料漂移（data drift）」——當外部世界改變而您的模型卻未更新。補貼券使用率會變動，人口結構會演化。一個基於 2019 年資料建構的模型，到了 2025 年可能僅僅因為底層人口結構改變就產生歧視性結果。若缺乏持續監控，直到面臨訴訟之前，您都不會察覺此問題。

哪些方法有效（哪些無效）

首先，在受監管環境中宣告失敗的三種常見做法：

「我們每年稽核一次。」 靜態的年度公平性稽核會錯失即時偏誤。社會經濟資料持續變動，1 月份一份無瑕疵的稽核報告到了 7 月可能毫無意義。

「我們的 AI 能解釋其決策。」 許多基於 LLM 的工具產生的解釋聽起來合情合理，但可能純屬幻覺——這意味著系統生成了看似合理但實際上並未反映決策是如何做出的文字。這是一項法律責任隱患，而非一項功能特色。

「我們已從輸入資料中移除了種族。」 移除受保護屬性（protected attribute）並不能消除信用評分、郵遞區號或債務紀錄等代理變數。這些特徵能夠以極高的準確度重建種族模式。

以下是真正有效的方法——一套在系統內部建構公平性而非在事後硬套上去的三步驟架構：

1. 前處理（Pre-processing）：在訓練前修復資料。 這意味著對代表性不足的群體進行重新抽樣（re-sampling）並對資料重新加權（re-weighting），從而使歷史上的弱勢群體得到公平代表。在 SafeRent 的語境下，這將涉及對成功履約的補貼券持有者進行過度抽樣（over-sampling），以修正數十年來的信用偏誤。

2. 訓練中處理（In-processing）：在訓練期間約束模型。 與其僅針對準確度進行優化，您可以在模型的學習過程中加入「公平性懲罰（fairness penalty）」。其中一種技術是對抗性去偏誤（adversarial debiasing）——即由一個輔助模型嘗試從主模型的輸出中預測個人的種族。若輔助模型成功預測，主模型就會受到懲罰，並被迫學習真正獨立於種族之外、能有效預測租約履行表現的特徵。

3. 後處理（Post-processing）：將輸出對齊至公平標準。 在訓練完成後，您可以使用一種稱為均等化勝率（Equalized Odds）的方法來調整決策門檻，以確保所有人口統計群體的偽陽性率與偽陰性率完全相同。這可以防止您的系統在面對具備同等資格的少數族裔申請人時，其拒絕率高於具備同等資格的多數族裔申請人。

稽核軌跡優勢是您的合規與法律團隊最為看重的關鍵。當您將公平性指標——例如監管機構在低於 0.8 時會標記警告的差別衝擊比率（Disparate Impact Ratio）——直接嵌入監控儀表板時，您便能即時偵測到「公平性漂移（fairness drift）」。您不必等待訴訟來臨。您能捕捉它、記錄它並修復它。若監管機構前來調查，該文件紀錄將成為您最強大的抗辯依據。您的系統應為每一項決策產出清晰的邏輯軌跡，展示哪些特徵發揮了作用、各特徵的權重是多少，以及為何該結果是現有方案中歧視程度最低的選項。

SafeRent 和解協議如今要求民權專家驗證該公司的模型——這實質上是強制要求尋找偏誤更少的替代方案。若您能主動進行此類尋找，便能領先於監管機構與原告。若您選擇等待，您將成為下一個案例研究教材。