一位祖父因為演算法認定他有罪，在牢裡待了十天
我當時正在與一位潛在客戶通話——一家中型連鎖零售商——這時他們的損失防治副總裁說了一句話，讓我的心一沉。
「我們正在物色一家臉部辨識供應商。他們說自己的系統準確率有 98%。我們只需要找人把它接上就好。」
我問了一個問題：「98% 的準確率——是對誰的臉？」
一片沉默。
那次對話發生在我讀完 FTC 對 Rite Aid 的起訴書之後幾週——整整 54 頁——以及 Harvey Eugene Murphy Jr. 提起的 1,000 萬美元訴訟；他是一位 61 歲的祖父，因一起搶劫案在休士頓的監獄裡待了十天，而案發當時他人正在加州沙加緬度的家中。他被一套臉部辨識系統指認出來。系統錯了。等到終於有人願意去查證時，Murphy 已經在牢裡遭到毆打與性侵。
我記得那天晚上我坐在辦公室裡，反覆讀著 Murphy 案的細節，心裡湧起一種我讀技術失敗報告時通常不會有的情緒：憤怒。不是對演算法——演算法沒有意圖。是對那些把它當成條碼掃描器一樣部署出去的人。是對那個讓這一切變得無可避免的架構。
我經營 Veriprajna。我們打造我稱之為「深度 AI」的系統——具備不確定性量化、多智能體治理，以及底層嚴謹工程的系統。與那套害 Rite Aid 遭禁、害 Harvey Murphy 被捕的東西恰恰相反。而我必須告訴你，為什麼這個差別的重要性，遠超過這個行業裡多數人願意承認的程度。
Rite Aid 出的事不是故障——而是一項設計選擇
2023 年 12 月，FTC 做了一件前所未有的事：他們禁止 Rite Aid 在五年內使用臉部辨識技術。不是罰款。不是警告。禁止。
在 2012 到 2020 年間，Rite Aid 已在數百家門市部署了以 AI 為基礎的臉部辨識監控。這個想法很直接——辨識出已知的順手牽羊者、通報保全、減少竊盜。而執行的結果卻是一場大災難。
Rite Aid 向兩家第三方供應商購買了臉部辨識系統。兩家供應商的合約都明確聲明不對其準確性提供任何保證。再讀一遍。這些販售該技術的公司，連它能不能用都不肯保證。而 Rite Aid 還是照樣部署了——部署在擠滿真實人群的門市裡，而被誤認會帶來真實的後果。
Rite Aid 裡沒有人測試過這套系統的準確性。沒有人查證過供應商是否測試過。沒有人實施影像品質控管。門市員工把粗糙的 CCTV 截圖和手機照片餵進登錄資料庫，而系統則盡職地拿那些劣化的影像去「比對」每一張走進門的臉。
對任何懂生物辨識工程的人來說，這個結果是可以預料的；對不懂的人來說，則是毀滅性的。數以千計的誤報。無辜的顧客在走道間被跟蹤、被搜身、被公開指控行竊。而接下來這一點，應該讓每一位企業領導者都停下來深思：這些誤報不成比例地針對女性與有色人種。位於以黑人與亞裔為多數社區的門市，誤配的次數明顯高於以白人為多數社區的門市。
這不是一個程式錯誤。這是未經校準的模型必然的產物——這些模型以不具代表性的資料集訓練、在缺乏監控下部署、餵入劣化的影像，而且沒有任何名副其實的人工複核流程。
為什麼一位 61 歲的祖父會進了監獄？
Harvey Murphy 的案子更糟，因為失敗的鏈條更長，而人的代價更觸目驚心。
2022 年 1 月，有人搶劫了休士頓一家 Sunglass Hut。母公司 EssilorLuxottica 與 Macy's 合作，對該店的監視錄影執行了臉部辨識。系統拿那段粗糙的搶劫影像，比對一個顯然收錄了 Murphy 因非暴力犯罪而留下之拘捕存檔照的資料庫，而那些照片已是數十年前的事了。
我要你同時記住兩個事實。第一：搶劫案發當天，Murphy 人在加州沙加緬度。第二：系統拿當前的監視影像，去比對一張多年——可能是數十年——前拍攝的照片。研究顯示，拿當前影像去比對年代久遠的舊照，誤報率可能高達 90%。這被稱為「年齡差距」問題，任何在執法情境中部署臉部辨識的人，都應該知道這件事。
但這個案子最令我揮之不去的是這一點。根據該訴訟，Sunglass Hut 與 Macy's 把這項自動比對結果提交給執法機關時，將其當成一項已核實的事實。不是當成線索。不是當成一種機率。而是當成身分確認。警方停止了偵查。他們已經抓到人了。
當一台機器的輸出所獲得的權威，竟高於一個活生生的人的不在場證明時，我們就跨越了一條再多的準確率提升也無法修復的界線。
Murphy 被逮捕了。他告訴他們，他當時不在德州。但這無關緊要。他在牢裡待了十天，地區檢察官辦公室才確認了他的不在場證明。到那時，傷害已經造成——身體上的、心理上的、永久的。
我和團隊花了一整晚細看這個案子的技術細節，試著重建這套系統架構大概的樣貌。低解析度的輸入影像。一張年代久遠的比對庫照片。幾乎可以肯定是一套封閉集辨識模型——那種被最佳化成永遠會找出一個「最佳比對」的模型，即使真正的當事人根本不在資料庫裡。沒有不確定性量化。沒有信心門檻設定。在演算法的輸出與一個人失去自由之間，沒有任何有意義的人工複核。
上述每一項失敗，都是可以避免的。靠的不是更好的 AI。而是更好的架構。
什麼是「包裝層」問題，你又為何該在意？
接下來我得稍微講點技術，因為這兩場災難背後的模式，和我在一家又一家企業裡看到的模式，是同一個。
如今多數部署 AI 的公司，用的是業界所稱的「包裝層」。包裝層是一個掛牌的介面——一個儀表板、一個應用程式、一個工作流程工具——它架在別人的 AI 模型之上。你把資料送到第三方 API，它回傳一個結果，然後你把結果顯示給使用者。這家包裝層公司並不打造那個模型。不訓練它。不了解它的失效模式。也無法控制它的更新。
Rite Aid 跑的就是一個包裝層。一層薄薄的零售保全工作流程，架在供應商黑箱式臉部辨識 API 之上。當那些 API 產出垃圾時，Rite Aid 無從得知、無從介入，而且——正如 FTC 所清楚指出的——也無從逃避責任。
這正是會拖垮公司的那種不對稱：對一套你只有 0% 可見度的系統，你卻要承擔 100% 的責任。
我曾深入探討過這種架構上的分野，就寫在我們研究的互動版本中，但其核心論點很簡單。包裝層用在低風險的應用上並無不妥。摘要會議記錄。生成行銷文案。這些事情裡，一個錯誤答案頂多令人惱火，而不至於釀成大禍。
但一旦你的 AI 系統能讓某人被逮捕、被拒貸、被解僱，或當眾受辱——而零售場景中的臉部辨識，這些事全都做得到——那麼包裝層就是一顆裝著倒數計時器的責任炸彈。
如何打造出懂得自己「不知道」的 AI？
有一個時刻，我一直反覆想起。我們當時正在為一位客戶打造一套身分辨識流程，我的一位工程師把一批測試影像跑過了系統。準確率的數字看起來很漂亮——超過 95%。大家都很滿意。接著我請她把同一批影像再跑一次，但這回要把信心分布顯示出來。
整個房間都安靜了下來。
那些「正確」辨識中，有相當大一部分的不確定性分布寬到，它們基本上就是剛好猜對的擲硬幣。這個模型是在自信地猜測，而不是在可靠地辨識。如果我們當初只憑那個準確率分數就把那套系統交付出去，我們就和那些把軟體賣給 Rite Aid 的供應商沒什麼兩樣了。
這就是多數 AI 部署方式的核心問題：每一個輸出都被當成非黑即白的真相，而它其實只是一個機率性的估計。這個模型並不會說「這是 John Smith」。它說的是「就我所見，這有 X% 的機率是 John Smith，上下誤差 Y」。但多數系統把「上下誤差 Y」那部分丟掉，只把 X 顯示給你看。
在 Veriprajna，我們會把所謂的不確定性量化（UQ）建入每一套高風險系統。有兩種不確定性至關重要：
偶然不確定性（Aleatoric uncertainty）源自資料本身的雜訊——糟糕的光線、動態模糊、刮花的鏡頭。這種不確定性是訓練不掉的。如果影像本身就缺了資訊，世上沒有任何模型能可靠地把它「幻想」回來。
認知不確定性（Epistemic uncertainty）源自模型自身的侷限——它沒見過某個特定族群的足夠樣本，或者它從未遇過這種特定的光線條件。這種不確定性是可以透過更好的訓練資料來降低的。
脆弱的系統——也就是包裝層——並不區分這兩者。一套系統或許會回報某次比對有 85% 的信心，而這聽起來很紮實。但我們的 UQ 層可能會揭露，圍繞那 85% 的不確定性分布大得驚人，意味著考量到輸入的品質，這個數字在統計上根本毫無意義。
一套無法告訴你它有多不確定的 AI 系統，不是工具——而是陷阱。
我們運用共形預測（conformal prediction）之類的技術，來保證系統的不確定性估計落在數學上可證明的界限之內。技術細節都寫在我們完整的研究論文裡，但實務上的重點是這樣：在系統採取任何行動之前，它能告訴你，它的答案是否值得信賴。而如果不值得，它就會升級交由人類處理。
沒有人談論的開放集問題
有一件事，在我和企業採購者交談時仍會讓我吃驚：他們之中幾乎沒有人知道封閉集辨識與開放集辨識的差別。
封閉集系統假設被掃描的對象一定就在資料庫裡。想想你解鎖手機的情形——手機知道你的臉已被登錄。它只需要驗證那個人是你就好。
零售保全系統則恰恰相反。絕大多數走進商店的人都並不在任何犯罪資料庫中。這是一個開放集問題。而這裡有一個災難性的錯配：多數商用臉部辨識軟體都是為封閉集表現而最佳化的，因為那正是各種基準測試看起來最亮眼的地方。
當你把一套封閉集模型部署到開放集環境時，會發生什麼事？它會試圖為每一張臉都找出「最佳比對」，因為它假設比對對象一定存在。這幾乎可以肯定就是 Rite Aid 那數以千計誤報的成因。這套系統並沒有故障。它做的正是它被設計要做的事——只是在一個它從來不是為之設計的環境裡。
為開放集而打造，意味著訓練你的模型不只要辨識出相符者，更要能準確地拒絕不相符者。要能像它說「我認得這個人」那樣精確地，說出「我不認得這個人」。這需要不同的損失函數、不同的評估指標，以及一套根本上不同的設計哲學。
NIST——美國國家標準暨技術研究院——主辦臉部辨識廠商測試（FRVT），這是評估這類系統的全球黃金標準。NIST 量測的是在固定的錯誤比對率下的錯誤未比對率。對於高安全性的應用，那個錯誤比對門檻設定為百萬分之一。整整一百萬分之一。
Rite Aid 從未依 NIST 標準做過基準測試。顯然，那套指認出 Harvey Murphy 的系統也沒有。
模型吐繳：核選項
FTC 對 Rite Aid 的和解裡，有一個細節，應該讓每一家以可疑資料打造 AI 的公司都不寒而慄。
Rite Aid 不只是被要求停止使用臉部辨識。他們還被勒令刪除所有蒐集到的生物辨識資料，並銷毀任何由該資料衍生出的 AI 模型或演算法。FTC 稱之為「模型吐繳（model disgorgement）」——強迫一家公司，基本上把它的模型從不合規資料裡吸收到的一切，通通「反學習」掉。
想想這在營運上意味著什麼。多年蒐集的資料。歷經時間訓練與精修的模型。嵌在神經網路權重裡的機構知識。這一切——全沒了。不是因為模型不再運作，而是因為它們所賴以建立的資料，在取得時沒有適當的保障措施。
這就是全新的監理現實。如果你的訓練資料受到污染——未經同意就蒐集、在組成上有偏差，或以違反隱私法的方式取得——那麼建立在那些資料之上的模型也一樣受到污染。而監理機關如今已握有工具，能逼你把它們銷毀。
多數包裝層架構甚至無法執行外科手術式的資料移除。它們並沒有那種來源追蹤機制，無從得知哪些資料影響了哪些模型權重。而以資料脈絡（data lineage）為念所打造的深度 AI 系統則辦得到。這是一項在 FTC 找上門之前，你不會體會其可貴的特性。
為什麼「人類參與迴圈」不只是打個勾而已
人們總是問我，解決之道是不是就這麼簡單：在每一個 AI 決策前面擺一位人工複核者。答案是肯定的——但有一個天大的但書。一套設計拙劣的人工複核流程，比完全沒有複核還糟，因為它製造出一種有人監督的假象。
在 Rite Aid，確實有人類身處決策迴圈之中。門市員工收到自動警報，並被告知要據以行動。但他們對誤報率毫無訓練認知。沒有介面向他們顯示原始影像的品質。沒有質疑系統輸出的規程。在功能上，他們不過是替演算法蓋橡皮圖章的人。
我們設計人類參與迴圈（HITL）系統時，會用信心門檻把決策適當地分流。信心低於 70%？自動拒絕——別把人的時間浪費在明顯的雜訊上。介於 70% 到 95% 之間？標記交付人工複核，並把原始來源影像與比對結果並列顯示，好讓複核者能做出有依據的判斷。在低後果任務上高於 95%？自動核准，但把一切都記錄下來。
關鍵在於，人工複核者必須擁有足以真正推翻機器判斷的充分脈絡。如果他們看到的只是「相符——信心 87%」，他們每一次都會屈從於那個數字。如果他們看到的是那張粗糙的 CCTV 影格，旁邊擺著比對庫照片，並能看出明顯的差異——不同的耳朵形狀、不同的下顎線、二十年的年齡差距——那麼他們就會成為一張真正的安全網，而不是一個裝飾品。
我曾為此和一位客戶的技術長爭執過。他想把人工複核減到最少以壓低成本。我告訴他，單單一起 Harvey Murphy 那樣的訴訟，其代價就會超過人工複核者十年的薪水。他不愛聽這話。但他後來也沒被告。
監理的高牆正在步步逼近
歐盟 AI 法案將生物辨識識別系統預設歸類為高風險。強制性的符合性評估。詳盡的技術文件。有效的人類監督——不是 Rite Aid 那種，而是真正的那種。某些用途，例如從網路上抓取臉部影像作為訓練資料，則是徹底遭禁。
在美國，NIST AI 風險管理框架列出了四項職能——治理、對映、量測、管理——它們共同構成了負責任地部署 AI 的藍圖。FTC 對 Rite Aid 的行動，本質上就是在這些原則正式立法成為法律之前，先行執行了它們。訊息很清楚：如果你無法解釋你的 AI 如何運作、無法量測它的偏差，也無法管理它的失效，你就會被追究責任。
我對每一個我所顧問的董事會，都講同一件事：現在就向歐盟 AI 法案的標準看齊，即使你只在美國營運。國內的監理即將到來，而那些把合規當成未來才要煩惱之問題的公司，終將發現自己落到了 Rite Aid 的處境——在一紙同意令之下，手忙腳亂地銷毀模型、從零重建。
偏差不在演算法裡——而在懶惰裡
圍繞 AI 偏差的公共討論裡，有一件事讓我很受不了，那就是它暗示偏差是人工智慧某種神祕、難解的固有特性。並不是。它是特定、可辨識的工程捷徑所造成的結果。
你拿一個 80% 都是淺膚色臉孔的資料集去訓練模型？它在深膚色臉孔上的表現就會更差。你略過對抗式去偏——也就是訓練一個相互競爭的網路，來偵測你的模型是否把種族或性別當成隱藏特徵在用的那種技術？你的模型就會在無形中把那些偏差編碼進去。你沒有用 NIST 的基準資料跨人口族群做測試就部署？那麼直到有人受害之前，你甚至不會知道偏差存在。
演算法偏差並不是什麼謎團。它就是當工程師為速度而非公平做最佳化、當組織為成本而非安全做最佳化時，所會發生的事。
這些問題，每一個都有已知的技術解方。對抗式去偏。損失函數中的公平性約束。用以處理不同膚色與光線條件的多尺度特徵融合。用以攔截偽冒企圖的呈現攻擊偵測。這些都不是理論——它們如今就部署在正式運行的系統裡。包括我們的系統在內。
多數公司之所以不落實這些，原因和 Rite Aid 之所以不測試供應商準確率的原因如出一轍：它成本更高、耗時更久，而且沒人逼你去做。直到有人逼你為止。而到那時，它會讓你付出一切。
關於企業 AI 的未來，我真正的想法
我花了多年打造那種在行動之前會先懷疑自己的系統。這對一個 AI 公司的創辦人來說，聽起來或許是件怪事。我不是應該在推銷信心嗎？
不。我推銷的是經過校準的信心。這其中有差別。
能在未來十年 AI 監理與責任浪潮中存活下來的公司，是那些能打造出這樣系統的公司：它們能以說「我很確定」時同等的精確度，說出「我不知道」。它們把每一個自動化輸出都當成一個有待驗證的假設，而不是一份有待執行的判決。它們是為最壞的情況——Harvey Murphy 那種情況——而設計架構，而不是為展示場景而設計。
Rite Aid 失去生物辨識能力五年，還得銷毀它的模型。Macy's 與 Sunglass Hut 則面臨一場 1,000 萬美元的訴訟，以及那種再厲害的公關公司也無法挽回的聲譽損害。這些並不是某項高風險技術草創年代裡的警世故事。它們正在此刻上演，涉及的是那些公司直接買現成品、卻在毫不理解的情況下就部署出去的系統。
企業 AI 的包裝層時代正在走向終結。不是因為包裝層行不通——用在低風險任務上它們運作良好。而是因為賭注不斷升高、法規不斷收緊，而一個自信卻錯誤的答案，其代價不斷攀升。
Harvey Murphy 人在沙加緬度。演算法卻說他在休士頓。而有整整十天，演算法贏了。
那不是一個 AI 問題。那是一個架構問題。而架構，是一種選擇。