政府領域的 AI 偏見：當演算法產生歧視

問題所在

芝加哥的預測性警務演算法將 20 至 29 歲的黑人男性中 56% 列入了警方監視名單。在西加菲爾德公園（West Garfield Park）社區，10 至 29 歲的黑人男性中有 73% 出現在該名單上。該演算法在預測槍枝暴力方面的實際成功率如何？不到百分之一。

這絕非個別失控的實驗。芝加哥警察局的「戰略主體名單」（Strategic Subject List，俗稱「熱門名單」或 heat list）運行了近十年。它根據逮捕紀錄與社交網絡，對超過 40 萬人進行潛在威脅評分。然而問題在於：被標記為優先目標的人員中，有 57% 從未因暴力犯罪被捕。該演算法將擅闖馬路等輕微違規行為與嚴重罪行等同視之。它將低層級的警方接觸轉化為永久性的嫌疑評分。

在全美各地，洛杉磯也運行了名為 Geolitica（原名 PredPol）的類似系統。洛杉磯警察局監察長（LAPD Inspector General）於 2019 年進行的一項審計發現，資料輸入存在「重大不一致」，且完全未能衡量該計畫是否切實有效。在新澤西州普蘭菲爾德（Plainfield），同一技術顯示的成功率甚至低於 0.5%。最終，這兩個機構都放棄了這些工具。

如果貴組織所部署的 AI 系統會影響人們的生活——無論是在招聘、借貸、福利發放還是公共安全領域——這些失敗案例都是對您的警示。AI 並沒有發生故障。它的運作完全符合設計初衷。問題恰恰出在設計本身。

為什麼這對貴企業至關重要

監管環境已發生劇烈轉變。已有超過 40 個城市採取行動，禁止或限制預測性警務及人臉辨識等相關 AI 工具。2024 年 3 月，白宮與行政管理和預算局（OMB）發布了一項具里程碑意義的政策，要求聯邦機構對任何影響民眾權利的 AI 系統進行獨立測試與強制性影響評估。

加州的《種族與身份特徵剖析法》（Racial and Identity Profiling Act）現已要求對所有警方攔檢強制收集資料。2025 年新通過的州法律增設了 AI 透明度要求。而歐盟《人工智慧法案》（EU AI Act）則為所有從事跨國業務的組織帶來了額外的法定義務。

以下是這對貴企業獲利底線的具體意涵：

• **合規成本正在攀升。**如果您的 AI 系統無法展現公平性與透明度，您將面臨新聯邦與州法規下的強制審計、影響評估以及潛在的執法制裁。
• **訴訟風險切實存在。**芝加哥的演算法將 96% 的疑似幫派成員標記為黑人或拉丁裔。這種人口統計學上的懸殊差距極易引發民權訴訟。如果您的 AI 系統產生不平等的結果，同樣會面臨如此嚴格的審查。
• **聲譽風險日益加劇。**洛杉磯警察局花費了十年時間捍衛一個「驗證現有模式」而非產生新見解的系統。在解決 AI 偏見問題上每拖延一年，您的風險曝險就會進一步擴大。
• **董事會層級的問責機制已經到來。**美國國家標準與技術研究院（NIST）的《AI 風險管理框架》（AI Risk Management Framework）現已確立了 AI 治理的基準預期。您的董事會將被質詢如何管理演算法風險。

在 2020 年至 2023 年間，AI 驅動的網路攻擊激增了 300%。將這種安全風險與偏見帶來的法律責任相結合，這項治理挑戰理應列入每位風險長的議程之中。

底層究竟發生了什麼

這些系統的核心失敗機制有一個專有名詞：失控的反饋迴路（runaway feedback loop）。以下用通俗易懂的語言說明其運作原理。

想像一下，您只對一家餐廳進行衛生違規檢查。每次檢查您都會在那裡發現違規。而您從不檢查街對面的另一家餐廳。此時您的資料「證明」了第一家餐廳是唯一不安全的餐廳。但您並未掌握任何真實情況——您只不過是驗證了自己設定的檢查模式。

這正是預測性警務所發生的情況。演算法向歷史逮捕數量較高的社區派遣更多警員。更多警員意味著更多攔檢。更多攔檢意味著更多針對輕微違規的逮捕。而這些新增的逮捕紀錄又作為新鮮「證據」反饋至系統中，證明該社區十分危險。惡性循環就此不斷重複。

在加州，資料清晰地說明了這一事實。黑人被攔檢的頻率比其人口比例預期的頻率高出 126%。美洲原住民與黑人接受搜查的比例分別為 22% 和 19%，而白人僅為 12%。然而，警員在對這些群體進行搜查時查獲違禁品的頻率，卻低於搜查白人時的比例。

AI 並非憑空產生偏見。它繼承了帶有偏見的資料——即研究人員所謂的「髒資料」（dirty data）——並將其放大。演算法將人類的主觀決策轉化為表面上客觀的數學計算。倡議團體記錄了這種「技術洗白」（tech-washing）如何讓歧視變得更難察覺、更難質疑，尤其是在邏輯被視為專有商業機密而隱藏的「黑盒子」系統中。

大多數商業 AI 系統都以這種方式運作。甚至連使用這些系統的部門自身可能都不了解模型是如何得出結論的。這造成了白皮書中所稱的問責真空（accountability vacuum）——錯誤持續存在多年卻無人察覺。

哪些方法有效（哪些無效）

我們先來看看哪些方法行不通。

**簡易 LLM 包裝器。**這些是將使用者介面直接套在 GPT-4 或 Claude 等通用 AI 模型之上的基礎整合。它們繼承了導致預測性警務走向失敗的相同問題：缺乏領域專屬知識、缺乏透明度，並且容易反映訓練資料中的偏見。在安全測試中，一個單純的包裝器代理在特定領域任務上的準確率僅達到 51%。

**一次性審計。**芝加哥的「熱門名單」運行了近十年，官方審計才記錄下其失敗之處。單次審計絕非長久之策。您的 AI 系統會隨著資料的變化而改變。六個月前通過公平性檢查的系統，今天可能就無法通過。

**僅靠安全對齊。**標準 AI 模型通常內建安全防護欄，防止它們在複雜問題上表達明確立場——這種傾向被形容為「騎牆觀望」（sitting on the fence）。在法律審查或金融核保等高風險決策中，無法為您提供明確、具證據基礎之答案的 AI 是一項負債，而非資產。

以下是切實有效的方法——您可以評估的三步法：

1. **乾淨的輸入端。**在構建或部署任何 AI 模型之前，請審計您的資料品質、存取權限與歷史偏見。識別您的訓練資料是否過度代表了特定群體或結果。如果說預測性警務給了我們什麼教訓，那就是有偏見的輸入必然導致有偏見的輸出。您還必須揪出「影子 AI」（Shadow AI）——即員工已在使用的未經授權之 AI 工具。微軟在 2024 年發現，高達 78% 的 AI 使用者存在此情況。

2. **結構化推理。**以多層次系統取代單一模型的盲目猜測。這些系統採用可組合代理（composable agents）——即處理問題不同環節的專門 AI 組件——並結合結構化工作流程與特定領域知識庫。與其要求單一通用模型包攬一切，不如構建一個各層相互校驗的系統。在基準測試中，這種方法的分類準確率達到了 89%，而簡易包裝器僅為 51%。

3. **持續監控與審計追蹤。**部署影子模型（shadow modeling），即時比對新模型輸出與已確立的基準。運行模擬最壞情況的紅隊演練（red teaming）。追蹤模型漂移（model drift）——即隨著現實世界條件變化而導致的 AI 效能逐漸下降。您的 AI 所做出的每一項決策都應產生記錄在案的追蹤軌跡，供合規團隊審查及監管機構檢驗。

審計追蹤是徹底改變貴組織合規與法務團隊現狀的關鍵所在。當監管機構詢問您的 AI 如何做出某項特定決策時，您需要出示它使用了哪些資料、權衡了哪些因素，以及為何選擇某一結果而非另一結果。可解釋 AI（Explainable AI）——讓您能夠洞悉是收入、地理位置還是歷史模式等特徵驅動了預測——能為您提供此類證據。如果沒有它，您所運行的將是與芝加哥和洛杉磯最終不得不關閉的同一類黑盒子。

公平性審計與偏見緩解 必須從第一天起就融入您的 AI 生命週期，而非事後附加。而對於 政府與公共部門的組織而言，賭注更是無比巨大——憲法層級的審查適用於影響人民權利的每一項演算法決策。

您的 AI 策略還應包含 持續監控與具備文件紀錄的審計追蹤 ，以便您能在任何時間點證明合規性，而非僅在系統上線時。

若欲了解這些建議背後的完整技術分析， 請閱讀完整技術分析 或 探索互動版本。