吞噬一座城市的演算法：預測性警務的崩潰，教會了我如何打造值得信賴的 AI
2023 年底，我坐在一間會議室裡，看著一位潛在客戶展示他們的內部 AI 工具——一個他們搭建起來、用以協助合規團隊在財務文件中標記風險的聊天機器人。介面很精美。回應很迅速。而大約每四個答案中就有一個是自信滿滿、卻危險地錯誤。
當我指出一處幻覺——模型憑空捏造了一條根本不存在的法規引用——工程副總裁聳了聳肩。「是啊，我們知道這件事。我們希望下一次模型更新能修好它。」
那一刻，讓我思考了好幾個月的某件事終於變得清晰。整個企業界正夢遊般地踏入一個一模一樣的陷阱——這個陷阱早已在全美摧毀了公眾對 AI 驅動警務的信任。不是因為這項技術本質上是邪惡的，而是因為部署它的人混淆了擁有一套 AI 系統，與治理一套系統這兩件事。
在 Veriprajna，我們為高風險的企業環境打造深度 AI 解決方案。但要解釋我們為何以這樣的方式打造它們——從第一天起就將治理內建其中、把可解釋性視為不可妥協的原則、將數學上的公平性約束編織進訓練過程——我得先帶你去一個令人不安的地方。我得帶你去芝加哥。
一座城市中 56% 的年輕黑人男性，被一台機器標記
芝加哥的「策略對象名單」（Strategic Subject List）——內部稱之為「熱名單」（heat list）——原本應該是智慧警務的未來。演算法不再讓警力遍佈整個社區，而是要辨識出最有可能捲入槍枝暴力的特定個人，無論其身分是加害者還是受害者。以精準取代蠻力。以資料取代直覺。
這份名單膨脹到超過 40 萬人。
讓這個數字沉澱一下。在一座 270 萬人口的城市裡，演算法認定有 40 萬人值得被標記。而其人口結構令人震驚：芝加哥 20 至 29 歲的黑人男性中，有 56% 最終被列入了這份名單。 在西加菲爾德公園（West Garfield Park），10 至 29 歲的黑人男性中有 73% 遭到標記。被系統歸類為「涉嫌幫派成員」的個人中，有 96% 是黑人或拉丁裔。
當我第一次深入研究稽核資料時，有一件事讓我震撼不已：在演算法的優先目標中，有 57% 從未因暴力犯罪而被逮捕。 系統把輕微的輕罪——諸如少量持有毒品或妨害秩序之類的行為——也納入其中，並把它們當作未來槍枝暴力的預測訊號。它正在把過度警務這套機器當作證據，來為更多警務行為辯護。
當一套演算法把偏見的後果當作偏見有理的證明時，你擁有的就不是一台預測引擎。你擁有的是一台自動運轉的歧視機器。
芝加哥監察長辦公室最終記錄下許多社區組織多年來一直在聲嘶力竭指控的事實：SSL 沿著種族界線存在偏見，且在降低謀殺率方面大體上毫無成效。它在 2019 年底被停用，但在那之前，它已派警員上門突擊拜訪了數以千計的人——這些人唯一的「罪行」，就是住在一個被演算法判定為危險的社區裡。
為什麼那套地震模型在預測犯罪時失敗了？
在往西三千英里處，洛杉磯警局（LAPD）正進行著自己的實驗。Geolitica——前身為 PredPol——採用了一套原本設計來預測地震餘震的模型。這套邏輯很誘人：正如地震會在空間與時間上聚集，某些類型的犯罪也遵循可預測的時空模式。把歷史事件資料——地點、時間、犯罪類型——餵給演算法，它就會生成 500 乘 500 平方英尺的「熱點方格」，告訴警員該去哪裡巡邏。
我記得讀著那份技術文件時，心裡想著，這真優雅。 數學很簡潔。介面很直覺。而結果卻是災難性的。
洛杉磯警局監察長於 2019 年的一次稽核發現，資料輸入中存在「重大的不一致」。警員把巡邏時間登記在警察設施裡，而不是在實地現場，從而汙染了熱點資料。系統無法把自身的影響從更廣泛的警務趨勢中分離出來。而在諸如紐澤西州普蘭菲爾德（Plainfield）這類可比較的轄區中，預測成功率被記錄為不到 1%。
不到百分之一。 擲一枚硬幣都會比它更有用。
但更深層的問題不在於準確度——而在於回饋迴路。當演算法把一個以黑人或拉丁裔為主的社區標記為熱點時，就會有更多警員前往那裡。更多警員意味著更多的攔查。更多的攔查意味著更多因輕微違規而被逮捕的案例——這些違規在更富裕、更白的地區根本不會被取締。那些新增的逮捕記錄又回流到訓練資料中，成為高犯罪率的「證據」，於是演算法盡職盡責地強化了對同一個社區的預測。
加州《種族與身分定性法》（RIPA）的資料，用難以反駁的數字把這一切攤在陽光下：黑人被攔查的頻率，比根據其人口佔比所預期的高出 126%。警員在 2023 年進行了 470 萬次車輛與行人攔查。而最諷刺的是——當警員以更高的比例搜查黑人和拉丁裔個人時，他們找到違禁品的機率反而始終更低 ，相較於搜查白人的情況而言。
這些資料正以樸素的統計語言告訴我們，這套系統是錯的。而這套系統卻依然照跑不誤。
洛杉磯警局最終於 2024 年初終止了與 Geolitica 的合作關係。我曾撰文探討這些失敗更廣泛的影響——以及它們對企業 AI 架構的意義——詳見我們研究的互動版本。
當沒有人能打開那個黑箱時，會發生什麼事？
科學哲學中有一個術語，在我的研究裡不斷出現：知識論上的不透明性。 它的意思是，系統如此複雜，以至於連操作它的人都無法完全理解它是如何得出結論的。
大多數預測性警務系統都是專有的黑箱。具體的資料輸入、被權衡的因素、預測的邏輯——全都被當作商業機密隱藏起來。使用這些工具的警察部門往往無法解釋為何 某個特定的人或社區會被標記，即使公民自由組織要求給出答案時也是如此。
這不僅僅是一個警務問題。它是當今大多數企業部署 AI 的方式中最具決定性的脆弱之處。
我想起我看過的那個合規聊天機器人的展示。那位工程副總裁無法告訴我，模型究竟檢索了哪些文件來生成它的答案。他無法解釋它為何會捏造出一條法規引用。他也無法告訴我，如果明天再問同樣的問題，系統會不會給出不同的答案。而他的計畫，就是等待 OpenAI 推出一個更好的模型。
那不是一套 AI 策略。那是一種祈禱。
失控的回饋迴路不只是警務界的問題
就在這裡，我需要點出一個我認為大多數企業 AI 從業者都忽略了的關聯。
摧毀了預測性警務的那個回饋迴路——有偏見的輸出產生有偏見的訓練資料，而後者又產生更多有偏見的輸出——並非執法領域所獨有。它是任何一套在缺乏獨立驗證的情況下、從自身運作環境中學習的 AI 系統所具備的結構性特質。
想像一個用來篩選履歷的 AI 招募工具。如果它是用一家過去主要為工程職位聘用男性的公司的歷史招募資料訓練出來的，它就會學會把帶有男性色彩的措辭與「優秀候選人」聯繫起來。它會調降女性的排名。這家公司會聘用更少的女性。那些招募資料又會回饋到下一個訓練週期中，於是偏見會愈發加深。
又或者想想一個以歷史貸款核准紀錄訓練出來的金融核保模型。如果過去的信貸員更傾向於核准來自某些郵遞區號的申請——而這些郵遞區號恰好由於數十年的「紅線」歧視政策而與種族相關——那麼模型就會學到這些模式。它會拒絕那些地區合格申請者的貸款。而這些拒絕又會成為訓練資料。這個循環於是延續下去。
最危險的 AI 系統，並不是那些明顯故障的。而是那些運作得剛好足以躲過審視的——它們一邊悄悄地把訓練資料中的偏見，大規模地編碼進自動化決策之中。
這正是為什麼，每當我聽到企業領導者把 AI 治理談論成一件「有了更好」或「第二階段」的舉措時，我就會感到氣餒。治理不是你在上線之後才拴上去的一項功能。它本身就是架構。
為什麼 LLM 包裝器在高風險環境中節節敗退？
讓我直截了當地說一件事：簡單 LLM 包裝器的時代正在結束，而大多數企業還沒意識到這一點。
所謂 LLM 包裝器——在 GPT-4 或 Claude 這類基礎模型之上，套一層薄薄的提示工程加一個漂亮的使用者介面——用來草擬電子郵件、彙整會議記錄還行。但它無法勝任法律審查、財務合規、醫療分診，或任何一個「錯誤答案會帶來實質後果」的領域。
我們在 Veriprajna 對此進行了嚴謹的測試。在資安漏洞分診——一個你必須區分小瑕疵與嚴重可利用漏洞的領域——一個天真的 LLM 包裝器只達到了大約 51% 的準確率。這幾乎不比隨機猜測好多少。這個模型缺乏做出有意義區分所需的專門工具與領域知識。而它還有另一個問題，我開始稱之為「騎牆」現象：內建於基礎模型中的安全對齊機制，使它們不願在模稜兩可的案例上表明堅定立場。但在分診情境中，模稜兩可正是全部的工作所在。一個對每個邊緣案例都含糊其辭的 AI，並不是在增強你的團隊——它是在製造更多工作。
相比之下，我們的多代理架構——具備可組合的代理、結構化的工作流程，以及特定領域的知識庫——在相同的基準測試上達到了 89% 的準確率。這不是因為我們用了『更好的』模型，而是因為我們打造的是一套系統 ，而不是一個包裝器。
這個差異——51% 對 89%——就是一個「生成看似合理文字的 AI」與一個「真正對某個領域進行推理的 AI」之間的差異。
數學上的公平，實際上究竟長什麼樣子？
打造 Veriprajna 讓我學到的其中一件事是：AI 中的「公平」不能只是一種感覺。它必須是一個數字。
當我們為高風險環境打造系統時，我們會用數學方式定義公平，並持續加以監控。其中有兩項指標最為重要：
人口統計均等（Demographic Parity） 會問：正面結果的機率，是否獨立於種族或性別這類受保護屬性？如果你的招募 AI 核准了 60% 的男性申請者，卻只核准 35% 的女性申請者，那你就沒通過這項檢驗。
均等勝算（Equalized Odds） 則更進一步：真陽性率與假陽性率在各群體之間是否相等？這一點很重要，因為一套系統有可能藉由隨機地核准更多來自弱勢群體的申請，來達成人口統計均等——卻並未真正提升它辨識合格候選人的能力。
這兩項指標需要同時監控，而任何一項單獨都不足夠。這正是為什麼我們的偏見緩解策略橫跨整個 AI 生命週期：在模型看到訓練資料之前就先重新加權，透過對抗性去偏見等技術把公平性約束直接納入訓練過程，並在訓練之後校準決策閾值，以確保跨人口群體都能得到公平的結果。
我知道這聽起來很技術性。但用大白話來說就是：如果你無法把你的公平標準表達為一條數學方程式，那你根本就沒有公平標準。你有的只是一份新聞稿。
大多數公司尚未準備好迎接的那波監管浪潮
當企業忙著實驗聊天機器人時，監管機構一直忙著制定法律。
已有超過 40 座美國城市著手禁止或嚴格限制預測性警務，以及臉部辨識等相關 AI 技術。舊金山在 2019 年率先行動。波士頓、波特蘭和聖塔克魯茲隨後跟進。2024 年 3 月，白宮發布了一項里程碑式的政策，要求聯邦機構針對任何會影響權利的 AI 系統，進行獨立測試與強制性的影響評估。
這不僅僅是政府的問題。歐盟《AI 法案》（EU AI Act）、NIST 的《AI 風險管理框架》、ISO 42001——這些框架正朝著一個共同的訊息匯聚：如果你在高風險決策中部署 AI，你將被要求證明它是公平的、解釋它如何運作，並證明你正在持續監控它。
那些已建立起治理基礎設施的企業將能順利適應。而那些打造了 LLM 包裝器、卻把它稱作「AI 策略」的企業，則將手忙腳亂。
我以前在資安領域見過這種模式。那些把安全當作事後補救的公司，在監管來襲時花了好幾年時間追趕。而那些從一開始就把安全內建進架構裡的公司，則幾乎毫無察覺。AI 治理正沿著同樣的軌跡發展，只是速度更快。
若想了解我們如何讓治理框架與 NIST、ISO 42001 及歐盟《AI 法案》保持一致的完整技術剖析，請參閱我們的研究論文。
「直接用 GPT 就好」以及其他代價高昂的錯誤
人們老是問我，為什麼企業不能就用一個基礎模型加上一些提示工程，然後就這麼收工。答案，跟洛杉磯警局不該用地震模型來預測犯罪，是同一個道理。
問題不在於工具。問題在於那個假設。
這個假設就是：一套通用型系統——無論它是一套地震學演算法，還是一個用網際網路資料訓練出來的大型語言模型——都可以在不做根本性架構調整的情況下，被直接丟進一個專門的、高風險的領域裡。不需要特定領域的推理層。不需要可解釋性。不需要持續的偏見監控。不需要治理。
這個假設已經受過檢驗。在警務領域，它摧毀了公眾的信任、傷害了數十萬人，並引發了全國性的監管反彈。而在企業 AI 領域，其後果正以更悄無聲息的方式上演——體現在被捏造的法律引用中、在帶有偏見的招募決策裡、在那些直到稽核或訴訟把它們逼到陽光下才會浮現的合規失敗之中。
問題不在於你的 AI 會不會犯錯。問題在於，當它犯錯時你會不會知道——以及你有沒有建立起能在錯誤累積擴大之前就捕捉到它的架構。
在 Veriprajna，我們不是從模型開始。我們從資料開始。在訓練任何一個參數之前，我們就先針對品質、可取得性以及歷史偏見對它進行稽核。我們打造多代理架構，讓專門的推理層能夠執行深度研究，而不是依賴對通用型模型的零樣本呼叫。我們實作可解釋 AI 驗證，讓每一項決策都能被追溯、被質詢、被辯護。而且我們持續監控——不只是監控準確度，更監控公平性的漂移，因為若底層的資料分布已然改變，那麼六個月前算是公平的，到了今天未必依然公平。
這並不比包裝器那套做法更昂貴。它其實更便宜——因為在高風險環境中部署一套未受治理的 AI 系統，其代價並不是用工程工時來衡量的。它是用訴訟、監管罰款、聲譽損害，以及那些沒有人能解釋或辯護的自動化決策所帶來的人力代價來衡量的。
一切發生的那個房間
我想用一個一直縈繞在我心頭的時刻來作結。
當時我們正深入地為一位金融服務業的客戶打造一個新的推理層。團隊為了在某個特定模組中該優先考量準確度還是可解釋性，已經爭論了兩天——那是一種每個人在技術上都沒錯、而真正的問題其實關乎價值觀而非工程的爭論。
我的首席工程師最後說了一句讓全場都安靜下來的話：「如果我們無法解釋這個模型為什麼拒絕了某人的貸款，那我們就沒有打造出一套 AI 系統。我們打造出來的，只是我們當初受雇要解決的那個問題的一個更高效版本。」
她說得對。而那句話，已經幾乎成了我們所打造的一切事物的一條設計原則。
預測性警務的種種失敗——芝加哥熱名單上的 40 萬人、普蘭菲爾德不到 1% 的準確率、那些把歷史上的種族主義轉化為數學上確定性的回饋迴路——這些並不是來自另一個產業的警世故事。它們是最清晰不過的預告，讓你看見當你在缺乏足以贏得信任的架構的情況下部署 AI 時，會發生什麼事。
前行之路並不是放棄 AI。而是不再把治理當作額外開銷，並開始把它當作產品本身。理解這一點的企業，將打造出經得起審視的系統。而不理解的企業，將學到洛杉磯警局學過的、芝加哥警局學過的，以及那個合規聊天機器人最終也將學到的教訓：一套缺乏正直性的 AI 系統，並不是一項工具。它是一份配上了漂亮介面的負債。
