那個拒絕黑人女性租屋的演算法——以及它教會我如何打造無所遁形的 AI
某個星期二的傍晚，我坐在家中的書房裡，翻閱著這起案件的最終和解文件——Louis 等人訴 SafeRent Solutions, LLC 一案，這時，一個細節讓我頓時愣住。
Mary Louis 與 Monica Douglas——兩位持有聯邦補助住房券的黑人女性——被拒絕承租公寓。拒絕她們的，並不是某位當面看著她們、開口說「不」的房東，而是一個分數。一個介於 200 到 800 之間的數字，由一套名為「Registry ScorePLUS」的演算法生成，判定她們風險太高、不適合出租。這套演算法並不知道她們是黑人。它也不需要知道。它只知道，她們的信用紀錄看起來，就像那些世世代代被系統性地排除在金融體系之外的人的信用紀錄——而它把這叫做「風險」。
和解金額為 227.5 萬美元。禁制令效期五年。而這項裁決中有一句話，我讀了三遍，因為我簡直不敢相信一家聯邦法院竟然真的這麼說了：如果房東主要依賴第三方 AI 分數來做出住房決定，那麼打造這個分數的公司，就必須依《公平住房法》共同承擔法律責任。
我闔上筆電，在黑暗中坐了好一會兒。因為那項裁決改變的，不只是租客審核這個行業。它改變了整個關於「為受監管市場打造 AI」意味著什麼的算計。而且它印證了我在 Veriprajna 的團隊多年來一直主張的觀點——有時候是對著抱持懷疑的投資人說，有時候是在我們自己筋疲力盡之際說：大多數公司在高風險決策中部署 AI 的方式，不只是在道德上有疑問，更是在架構上根本就有缺陷。
SafeRent 的演算法內部究竟出了什麼問題？
這個技術上的失敗，描述起來出奇地簡單，但若不徹底重新思考你對模型設計的整套做法，修復起來卻令人抓狂地困難。
SafeRent 的評分系統嚴重倚賴傳統信用紀錄與非租賃債務——像是醫療帳單、陳年的信用卡欠款，這類在你耗費多年於貧困中掙扎後累積下來的財務傷疤。而它並未納入考量的，卻是關於評分對象最關鍵的那個事實：住房選擇券的持有人擁有來自聯邦政府的穩定收入來源。他們的房租有補貼。從統計上看，他們漏繳款項的可能性，與原始信用分數所暗示的相當不同。
但模型並不知道這一點。或者更精確地說，沒有人告訴它要在乎這件事。
這套演算法並非刻意歧視。它是靠著設計本身在歧視——透過把帶有歷史偏見的資料，當作中立的事實來對待。
接下來這些數字才真正令人震驚。截至 2021 年 10 月，白人消費者的信用分數中位數為 725。西班牙裔消費者為 661。黑人消費者為 612。當你打造一個把信用分數當作「租約履約風險」主要預測因子的模型時，你並不是在做一個中立的數學選擇。你是在把一個世紀的紅線區隔、掠奪性放貸與財富不平等，編碼進單一個特徵權重裡。SafeRent 的演算法看著 Mary Louis 的信用紀錄，看到的是風險。它本該看到的，是一位擁有穩定房租補助金的女性，以及一套從未給過她公平機會去建立信用的體系。
為什麼法院會說軟體供應商也要負責？
這正是應該讓每一位 AI 公司創辦人夜不能寐的部分。
SafeRent 嘗試了那套顯而易見的抗辯：我們是技術供應商，不是房東。我們不做住房決定。我們只是提供資訊。法院直截了當地駁回了這個論點。司法部提出了一份利益聲明書，主張當房東把決策外包給演算法時，那套演算法的開發者，在功能上就是決策鏈的一部分。
花點時間想想這意味著什麼。每一家在受監管市場中銷售 AI 驅動的評分、審核、核保或風險評估的公司，都剛剛失去了說「我們只是打造了工具」的能力。
我記得裁決下來後那一週，我和共同創辦人的一次對話。我們正在通話，名義上是要審查一份給客戶的交付成果，結果我們花了四十五分鐘，把每一個這項判例可能適用的產業都梳理了一遍。信用評分。保險核保。就業審核。醫療分診。這份清單不斷變長。某個時刻，我們其中一人說：「這不是一起住房案件。這是 AI 產品責任法的開端。」我們並沒有在慶祝——我們早就一直在警告會出現這一模一樣的情境——但看著法律體系終於追上科技一直以來在無人監管下所做的事，還是有一種冷峻的滿足感。
這起和解讓 SafeRent 付出的，不只是 227.5 萬美元。它施加了一道長著牙齒的五年禁制令：
SafeRent 不得再對持券人發出自動化的核准或婉拒建議，除非該模型經獨立的民權專家驗證其公平性。若沒有這項驗證，該系統就只能提供原始的背景資訊——剝除其預測性評分。該公司還必須培訓其客戶，讓他們了解評分模型對於受補助族群的侷限性。而且這些條款適用於全國，而不僅限於麻薩諸塞州。
若想更深入了解這起和解的結構及其監管意涵，我撰寫了一份針對整起案件分析的互動式解析。
LLM 包裝陷阱
在 SafeRent 和解案定案的大約一年前，我和一位潛在客戶開了一場會——一家中型的物業管理公司，在美國東南部經營著約 12,000 個住房單位。有家供應商向他們兜售一套建立在大型語言模型之上的「AI 驅動租客審核解決方案」。那套說詞很花俏：自然語言處理、即時風險摘要、精美的儀表板。這家供應商已經募到了 A 輪資金。他們的網站上掛著各家客戶的商標。
我問了一個問題：「對於某位特定的申請人，這套系統能不能解釋，是哪些特徵導致了婉拒決定，並且解釋的方式要能滿足《公平信用報告法》關於不利行動通知的要求？」
一陣沉默。然後：「我們可以生成一段關於該決定的自然語言解釋。」
「是由 LLM 生成的嗎？」
「是的。」
「所以這段解釋，是一段關於這個人為何被婉拒的貌似合理的敘述，而不是對實際模型運算的經過驗證的因果追溯，對吧？」
更長的沉默。
這正是我所稱的「LLM 包裝」的核心問題——也正是 SafeRent 這起案件以慘烈而昂貴的細節所揭示的問題。大型語言模型可以摘要一份租約。它可以草擬一封信。它甚至可以產出一段聽起來很有說服力、解釋某位申請人為何遭拒的說明。但它無法證明其推理與實際的決策路徑之間有因果連結。它無法證明某個受保護的特徵並未影響結果。它無法搜尋歧視性較低的替代方案。它會幻想出各種解釋，就像它幻想其他一切那樣——靠著預測統計上最可能出現的下一個 token。
在高風險決策中，生成一個貌似合理答案的能力，一文不值。而證明一個答案公平無誤的能力，價值連城。
曾有投資人告訴我：「直接用 GPT，然後在上面加一層合規層就好了。」有一次，某人在一場路演活動上當著我的面這麼說，說得彷彿理所當然，彷彿是我們把事情搞得太複雜了。我當時真想把 SafeRent 的和解文件塞給他，然後問他，哪一層合規層攔得住一個系統性地無視持券收入的模型。答案是：一層都攔不住。因為偏見不在輸出的格式，也不在使用者介面。它在特徵權重裡。它在訓練資料裡。它在模型被優化去預測什麼這件事的根本架構裡。
HUD 2024 年的指引如何改變了整個局面？
2024 年 5 月，HUD 發布了一份指引，實際上把 SafeRent 案的教訓，編纂成了對整個住房產業的監管期待。其標準是「差別性影響」——意思是，即使沒有任何人打算歧視，只要一套系統對受保護群體造成了不成比例的負面影響，且無法以正當、非歧視的利益來加以正當化，那麼這套系統就可能是違法的。
有三項要求格外突出：
特徵的相關性必須是因果性的，而不只是相關性的。審核模型中的每一個資料點，都需要與實際租約履約之間有一個站得住腳的關聯。如果信用分數是種族的代理變數，而你又沒有測試過經持券收入調整後的收入是否是更好的預測因子，那麼「信用分數能預測違約」這句話就不足以成立。
申請人必須擁有一條有意義的途徑來質疑 AI 的結果。這意味著人在迴路中的審查並非可有可無——它是強制性的。一套產出分數卻沒有任何申訴機制的系統，是一套等著被告的系統。
開發者必須搜尋歧視性較低的替代方案。這正是改變一切的條款。光是打造出一個能運作的模型還不夠。你必須證明，你曾去尋找那些同等有效、卻歧視性影響較低的模型——並且要嘛採用了它們，要嘛能證明根本不存在這樣的模型。
最後那項要求——歧視性較低的替代方案，也就是 LDA——正是我所見過的大多數 AI 公司分崩離析之處。並不是因為數學難到不可能，而是因為他們從來沒有被迫去做這件事。他們為準確度而優化。他們把產品出貨。然後就繼續往前。你可能需要在數以千計的替代模型組態中搜尋，只為找出一個能在各人口群體之間維持效能、同時最大化公平性的模型——這種念頭？那是大多數產品經理從來沒收到過的功能需求。
我們實際打造的，是另一種東西
有件事我得說得坦白：我們在 Veriprajna 剛開始打造具公平意識的系統時，其實做錯了。
我們最初的做法是事後稽核。先把模型建好，測試它是否有偏見，如果看起來哪裡不對勁，就調整閾值。這感覺很負責任。這感覺已經夠了。其實並沒有。
後處理的問題在於，你是在試圖修補結果，卻不去理解成因。你可以調整決策閾值，讓各群體之間的核准率看起來相近——這種技術叫做「均等賠率」——但如果底層模型已經學到了一種帶有偏見的風險表徵，那你只是在為一個結構性問題塗脂抹粉罷了。這個模型仍然認為某些人風險更高。你只是在最後一哩把它的判斷覆寫掉而已。而當有人第一次去稽核那些特徵重要性時，偏見就赫然在那裡，回瞪著你。
那個突破——我很謹慎地使用「突破」這個詞，因為它感覺起來，與其說是靈光乍現的頓悟，不如說是一連串失敗緩慢而令人沮喪的累積——出現在我們開始把公平性當作一種優化約束、而非部署後的稽核之時。
以下是這在實務上的意思。在模型訓練期間，我們不只是要把預測誤差降到最低。我們同時還會懲罰模型——如果有一個次級的「對抗式」網路，能夠從主模型的輸出中預測出某個受保護屬性（例如種族或性別）。如果這個對抗者成功了——如果它能看著模型的預測，就猜出誰是黑人、誰是白人——那麼主模型就會受到懲罰並被重新訓練。其結果，是一個被強迫去學習那些真正獨立於受保護特徵之外的特徵的模型。
我們把這套做法，和研究人員所稱的「反事實測試」搭配運用。對於模型評估的每一位申請人，我們都會問：如果這個人的種族不同，但其他一切都保持不變，決定會改變嗎？如果答案是「會」，那這個模型就算不及格。不是「標記待審」。是不及格。
反事實公平性所提出的，正是每一位民權律師最終都會提出的那個問題：如果這個人是白人，他會被核准嗎？你的模型最好能給出一模一樣的答案。
曾有一個夜晚——我想大概是凌晨兩點左右——我們對一個用公共住房資料集建立的審核模型原型，跑了第一次完整的反事實稽核。我們原本預期，落差大概會是 3% 到 4%。實際的數字卻接近 11%。有百分之十一的決定，只要我們除了人口群體之外什麼都不改變，就會翻轉。我的工程師傳了一則 Slack 訊息給我，上面只寫著：「我們有麻煩了。」接下來的三週，我們把整條特徵管線從頭重建，把信用分數換成了一個複合指標，這個指標對持券收入、直接繳付房租的紀錄，以及就業穩定性都賦予了權重。反事實落差降到了 1% 以下。
這就是我所稱的「深度 AI」與 LLM 包裝之間的差別。這無關乎擁有更好的提示詞或更漂亮的介面。這關乎的是：公平性究竟是這套系統架構的一種內在屬性，還是你貼在盒子上的一張貼紙。
若想了解我們公平性工程做法的完整技術剖析——包括對抗式去偏見的方法論，以及我們所使用指標的數學形式化——請參見我們關於演算法完整性與企業風險的研究論文。
為什麼你不能就在部署之後再稽核就好？
人們不斷地問我這個問題，我也理解它的吸引力。稽核感覺比較便宜。它感覺比較不會造成干擾。你快速地建、快速地出貨，之後再稽核，壞了什麼再修什麼。
問題在於，在受監管的市場裡，「壞掉的」，是人們的人生。
等到 SafeRent 的演算法在法庭上受到挑戰時，它已經運行了好幾年。有多少個 Mary Louis，是從來不曾提起訴訟的？有多少個持券的家庭，是被一個看不透其信用分數的演算法拒於住房之外的？那些拒絕，並不會因為一紙和解而被推翻。那些公寓，早就租給了別人。那些家庭，找到了更糟的地方住，或者根本哪裡都找不到。
靜態稽核還會遺漏一件關鍵的事：資料漂移。模型在訓練期間所學到的那些社會經濟模式，會隨時間而位移。持券使用率會變化。信用評分的方法論會演進。租賃市場會收緊或放鬆。一個在 2022 年「夠公平」的模型，到了 2024 年可能就變成歧視性的了——不是因為有誰改動了程式碼，而是因為它周遭的世界變了。
這正是為什麼我們已轉向搭配自動化重新訓練觸發機制的持續監測。這個模型不再只是一年被稽核一次。它每做出一個決定，就會被稽核一次，接受一整套公平性指標的檢驗——統計均等差異、差別性影響比率、均等賠率——全部即時運行。當任何一項指標漂移超過某個閾值時，系統就會在任何人看到輸出之前先把它標記出來。
我是這樣想的：你不會蓋好一座橋，只檢查它一次，然後就再也不去檢查了。你會持續監測它的應力、疲勞、環境變化。那些會對人們的住房、信用與就業做出決定的 AI 系統，至少值得我們投注和對待混凝土與鋼鐵時同等的工程嚴謹。
《歐盟 AI 法案》對美國公司意味著什麼？
如果說 SafeRent 和解案與 HUD 指引代表的是當前監管的地板，那麼《歐盟 AI 法案》——它於 2025 至 2026 年開始分階段執法——代表的則是天花板正朝哪個方向移動。
該法案把用於信用評分、租客審核與就業決定的 AI 系統歸類為「高風險」，使其必須接受強制性的符合性評估、透明度要求，以及人工監督義務。那些服務於歐洲市場，或者以歐洲監管機構決定要在意的方式服務於美國市場的美國公司，都將需要遵循這些規定。
但比起這些具體要求，我覺得更有意思的是這一點：《歐盟法案》把 NIST AI 風險管理框架的四大支柱——治理、映射、量測、管理——落實成了具有法律約束力的義務。原本自願性的指引，變成了強制性的實務。那些早早就把自家架構與這些原則對齊的公司，會發現合規變得很直接了當。而那些把公平性當作行銷話術的公司，則會發現這代價昂貴。
我曾看著這套模式，在資料隱私（GDPR）、財務報告（SOX），以及如今的 AI 治理領域一再上演。監管的軌跡只會朝一個方向移動。今天就為明天的要求而打造，並不是理想主義。這是風險管理。
沒人談論的模型多重性問題
機器學習研究中有一個概念，叫做「模型多重性」——這個觀察指的是，對於任何給定的資料集，都可能存在著數以百萬計的模型，它們達到的準確度幾乎完全相同，但公平性樣貌卻天差地遠。這些模型當中，有些帶有深刻的偏見。有些則出奇地公平。而如果沒有一場明確、系統性的搜尋去尋找那些公平的模型，開發者幾乎總是會落在優化器最先找到的那個上頭。
這正是「歧視性較低的替代方案」這項要求的技術基礎，也正是為什麼我相信，在未來十年間，LDA 搜尋將成為受監管 AI 開發中最重要的單一項能力。
當我們進行一場 LDA 搜尋時，我們並不只是在訓練一個模型。我們是在訓練數以百計的模型，變動特徵集、架構、超參數與公平性約束，然後把整片準確度與公平性權衡的地貌繪製出來。目標，是找到那個能達成商業目標——預測租約履約、評估信用風險，或無論任務是什麼——同時歧視性影響降到最低的模型。
有時候，那場搜尋會揭露出某種令人不安的事實：那個「最準確」的模型，同時也是偏見最深的，因為在訓練資料中，準確度與歷史偏見是相關的。第二準確的模型，或許會犧牲半個百分點的預測能力，卻換來差別性影響比率的落差縮小 40%。這樣的取捨值得嗎？
如果你的模型準確度低了 0.5%，但歧視性低了 40%，而你卻選了準確度——那祝你好運，去向法官解釋這件事吧。
在 SafeRent 這起案件裡，最根本的問題是：一個模型能否在不懲罰持券人的情況下，同樣準確地預測租約履約。而根據我們對這份資料所知的一切，答案幾乎可以肯定是：能。SafeRent 只是從來沒去看過而已。
我差點就答應打造一個包裝的那一夜
我想以一個我先前從未公開講過的故事作結。
大約十八個月前，有一家公司找上了我們——我就不點名了——他們想要我們為一家大型金融服務客戶打造一套合規審核工具。預算相當可觀。時程相當緊迫。而他們交給我們的規格，本質上就是一個 LLM 包裝：拿一個基礎模型，用監管文件對它做微調，加上一層評分層，然後出貨。
我的團隊意見分歧。他們有一半人看到的是營收。另一半人看到的則是 SafeRent 案的慢動作重演。我們開了一場將近三小時的會。我的一位工程師——一個我深深信任的人——說了一句一直縈繞在我心頭的話：「他們要的東西，我們八週就能做出來。他們需要的東西，我們八個月才能做出來。如果我們做出他們所要的那個，我們就會成為下一個案例研究，用來說明這種做法為什麼會失敗。」
我們放棄了這筆交易。那是我身為創辦人所做過最昂貴的決定。我為此反覆自我懷疑了好幾週。
如今我不再自我懷疑了。
SafeRent 這起和解案證明了，受監管產業中的 AI 市場，並不是一場比誰出貨最快的競賽。它是一場比誰出貨最安全的競賽——這裡的「安全」意味著在架構上是公平的、在法律上是站得住腳的，而且是被打造來承受一家聯邦法院終將施加的那種鑑識級檢視的。那些懂得這一點的公司，將會打造出能夠長久留存的系統。而那些不懂的公司，則會打造出下一個 227.5 萬美元的警世案例。
黑箱的時代已經結束了。不是因為監管機構把它扼殺了，而是因為它從一開始就不是被打造來承受與現實接觸的。問題不在於你的 AI 能不能做出一個決定。而在於你的 AI 能不能捍衛一個決定。
