一家人臉辨識供應商拿下 99% 準確率——卻整天誤標無辜顧客
該供應商的演算法在美國政府自己的基準測試中名列前段班。在一組一千兩百萬張大頭照的資料庫上，領先的人臉辨識系統如今準確率已超過 99%。這個數字是真的，證書也是真的，而我曾用它向一位試點客戶保證，他們的防損部署很可靠。
接著我們用了他們實際的門市資料，結果系統整天都在誤標無辜的顧客。
這道落差——介於 99% 的基準分數與一個在第六走道當面攔錯了阿嬤的系統之間——正是這篇文章的整個主題。人臉辨識的合規幾乎從來就不是演算法問題。它是採購問題、資料問題，以及一個披著演算法外衣的治理問題。我是以昂貴的方式學到這一點的，這也是為什麼我在 Veriprajna 的團隊最後走上了依據真正重要的法規、基準與營運標準來稽核生物辨識系統，而不只是為供應商的準確率評分。
我最先打造的計分卡是錯的工具
剛開始時，我以為稽核顯而易見。讀 NIST 人臉辨識供應商測試（FRVT）——美國國家標準暨技術研究院執行的，是這個領域中最受推崇的獨立基準——調出供應商的排名、給它評分、交給客戶一個綠色勾勾。我打造的正是這個：一張整潔的供應商準確率計分卡。
這個試點是一家連鎖零售，握有一份已知有組織竊盜嫌犯的觀察名單。他們的供應商在 FRVT 上是貨真價實的頂尖選手。依我的計分卡，他們順利過關。所以當他們的門市不斷對顯然不在任何名單上的人產生警報時，我以為那是調校問題，便去尋找閾值裡的臭蟲。
根本沒有臭蟲。那套數學運作得完全如其設計——我只是稽核錯了對象。
基準測試告訴你一套演算法在實驗室裡的表現。它幾乎不會告訴你它在你的門市裡會如何表現。
以下是我當初漏掉的。NIST 那個引人注目的準確率來自封閉集合的比對：給定一張臉，在一個已知資料庫中找出它的匹配。那是手機解鎖的問題——這是不是機主，是或否。但零售觀察名單是一個開放集合的問題，而這兩者並非近親。在一家每日有 8,000 名訪客、觀察名單有 200 人的門市裡，每次掃描中有 97.5% 比對的對象根本沒有被登錄。封閉集合演算法會拼命為它看到的每一張臉找出最佳匹配。把它指向那樣的量，即使只有 0.1% 的誤報率，每家門市每天也會拋出約 8 次錯誤警報。跨 500 個據點，那就是每天 4,000 名無辜者被誤標。我根據完全錯誤的問題認證了一套系統。
那就是重塑公司做法的那次失敗。我們不再為供應商評分，而開始稽核部署。
誤報藏在相簿裡
第二個意外之處，是那些錯誤匹配實際的來源。我原先假設一次錯誤匹配意味著模型不夠強。接著我坐下來看一位客戶的登錄資料庫——系統用來比對人臉的那組實際觀察名單影像——並叫出了縮圖網格。
那是一團亂。少數幾張乾淨、受控的證件照。然後是幾十張顆粒粗糙的閉路電視截圖、手機快照，以及十年之久的入案照。你無法可靠地把一張 2026 年的即時人臉，與一張低解析度的 2014 年入案照比對，而世上沒有任何演算法排名能修好那件事。污染在資料裡，不在模型裡。
這正是沒人稽核的部分。企業執著於該買哪家供應商，卻從不檢視他們餵給它的資料庫——那些未經修剪的觀察名單、陳舊的擷取影像、驅動大多數真實世界誤報的解析度落差。當我們開始把登錄資料庫的衛生視為稽核裡的頭等要務時，試點中的誤警率在我們碰任何一個閾值之前就先下降了。
而那些誤警並非平均分布。NIST 的人口統計測試發現，群組內的誤報率在不同人口統計群組之間相差高達 7,203 倍——兒童、長者，以及亞裔與美洲印第安人受試者全都出現偏高的比率，部分原因是較深的膚色帶來更嚴苛的動態範圍擷取要求，而廉價相機達不到。這不是理論。當美國聯邦貿易委員會檢視 Rite Aid 的部署時，發現位於以黑人與亞裔為多數社區的門市，比位於以白人為多數社區的門市產生的誤警明顯更多。員工未受過關於系統極限的訓練，把每次警報都當成事實，並據此當面攔下顧客。
應該讓一位零售風險長徹夜難眠的問題，並不是「我們的供應商準不準」。而是「我們的資料庫對誰的臉最糟，以及當螢幕亮起時我們的員工會怎麼做」。
牢裡的 108 天是什麼樣子
如果你想知道我為何認為人工複核這一步就是整場比賽，那就讀讀 Angela Lipps 的案卷。
Lipps 是一位 50 歲的阿嬤。2025 年 7 月，法戈警方用人臉辨識把她辨識為嫌犯，美國法警便逮捕了她。她距離犯罪現場有 1,200 英里之遙。她坐了108 天的牢，之後控罪才在 2025 年平安夜獲撤銷。法戈警察局長在 2026 年 3 月 27 日公開道歉。民權訴求正在準備中。
一套系統產出了一個數字。沒有人查核，鑑於影像品質、探測照片與資料庫影像之間的年齡落差，或演算法在她那個人口統計群組上的表現，那個數字是否可靠。那個匹配分數被當成了證據。它不是證據——它是一個沒有附上任何校準信心度的機率，而有人把它讀成了一個名字。
Lipps 並非個案。《華盛頓郵報》已記錄至少八名美國人在人臉辨識匹配後遭錯誤逮捕，且每一起案件裡的調查人員都跳過了像查核不在場證明這類根本步驟。Harvey Murphy 的錯誤羈押長達十天，其間還遭受肢體攻擊，最後演變成一樁一千萬美元的訴訟。在雷諾，Jason Killinger 的賭場人臉辨識錯誤逮捕案正走向審判，一名警官有紀錄在案地表示這「根本就不該發生」。
這就是為什麼監理機關已不再把人工監督當成一個打勾項目來接受。如今在各司法管轄區間逐漸趨於一致的標準，是有實質意義的，而非儀式性的複核——而「有實質意義」正是大多數部署所假裝的。我審閱過一些人在迴路中的程序，其中標準作業程序有一個標著有實質意義的監督的方框，底下卻空無一物。一名以機器產出輸出的同等速度替機器蓋橡皮圖章的複核者，並不是監督。驗證複核工作流程確實達到監理門檻——即一個人能夠、且確實會推翻系統，並握有推翻所需的資訊——結果成了我們每一次稽核裡最難也最重要的環節之一。
你實際上要承擔法律責任的那張拼布
人們總是問我，他們需要遵守的「那條人臉辨識法」是什麼。並沒有那樣一條。沒有任何美國聯邦成文法規範人臉辨識。取而代之存在的是一張拼布，而罰則並非象徵性的。
伊利諾州的 BIPA 是有牙齒的那一部，因為它帶有私人訴訟權——任何人都能提告。每次違規的損害賠償，過失違規為 1,000 美元、故意違規為 5,000 美元，而僅在 2025 年，跨越 107 起以上新的集體訴訟，和解金額就總計達1.366 億美元。歷來的數字更為龐大：Facebook 以 6.5 億美元和解，Clearview AI 以 5,175 萬美元和解。德州的 CUBI 每次違規罰則最高達 25,000 美元，並促成了一樁13.75 億美元的 Google 和解，不過德州僅透過其檢察總長執法，而其 2025 年的 TRAIGA 法案為安全與詐欺防範刻出了豁免。
接著是歐盟 AI 法案，其被禁止的做法——包括對即時遠端生物辨識識別的禁令——已於 2025 年 2 月起可執行，罰則最高達 3,500 萬歐元或全球營業額的 7%。其高風險系統的期限，在歐洲議會表決延長後，被推遲到 2027 年 12 月 2 日，這爭取到了時間，但對已經生效的那些禁令毫無改變。再疊上科羅拉多州修訂後的《隱私法》、華盛頓州的生物辨識法，以及包括舊金山、波士頓、奧克蘭與波特蘭在內的 16 座以上美國城市的徹底禁令——預計到 2026 年底還會有 10 個以上州份通過生物辨識保護——你就有了一套在某個郵遞區號合法、在下一個郵遞區號卻是集體訴訟磁鐵的部署。亞馬遜於 2025 年 12 月推出的 Ring「熟面孔」功能，在發布後數週內就在伊利諾州、德州與波特蘭遭到封鎖。
一次真正的稽核，必須把單一部署一次對照上述所有這些。沒有任何現成工具能做到那件事，這正是我們必須自行打造這項能力的原因。
為什麼買下排名最高的供應商還不夠？
早期，一位顧問告訴我，整件事比我搞得那樣簡單得多：買下 NIST 排名最高的供應商，你就合規了。我信了大約一週——直到那個試點證明了，一個在絕佳基準上名列前茅的供應商，仍然產出了一家滿是誤警的門市。
供應商版圖獎勵懷疑。全端領先者——NEC、IDEMIA、Thales——全都是貨真價實的 FRVT 頂尖選手，而像 Paravision 與 Rank One Computing 這樣的軟體專家也躋身最佳之列。但那些排名遺漏了合約裡最要緊的那一行：供應商慣例上會否認對準確率的任何保證。企業要為它無法獨立稽核的輸出承擔全部法律責任。大型雲端業者看清了局勢便退場了——亞馬遜對警方使用 Rekognition 下了無限期的暫停令，微軟對 Azure Face 也做了相同的事，而 IBM 早在 2020 年就徹底退出了人臉辨識。Clearview AI，那個最激進的蒐集者，在歐盟遭到徹底禁止。
如果你的供應商不願為準確率作保，而監理機關追究你的輸出責任，那麼供應商的基準排名，是關於你這套部署最無趣的事實。
還有一個大多數買家從未看見、更深層的採購陷阱。FTC 對 Rite Aid 的處分，不僅禁止人臉辨識五年——它還下令進行模型吐出（model disgorgement）：銷毀所有生物辨識資料以及以其訓練出的每一個模型。吐出正在成為一項標準工具；2025 年 5 月的一起案件也迫使一家教育科技公司刪除其模型。其原則是，你不能從你當初無權蒐集的資料、或衍生自該資料的演算法中獲利。所以一位採購主管該問供應商的問題，不是「你有多準」。而是「你能否證明你賣給我的那份準確率，並非建立在可能導致模型本身被刪除的資料之上」。那是一個盡職調查的問題，而幾乎沒有人問它。
銀行面對的是相反的問題——以及相同的落差
零售是鮮明的案例，但金融機構從另一個方向坐在同樣吃緊的位置。他們的生物辨識並非觀察名單篩查——而是電子化的了解你的客戶（KYC）查核：身分證件驗證，結合人臉比對與活體偵測，以確認一個真實的人正在開立一個真實的帳戶。這種部署是經同意且範圍狹窄的，聽起來比較容易。其實不然，因為門檻移動了。
自 2026 年 1 月 1 日起，FinCEN 擴大了其反洗錢的要求，而更廣泛的 2026 年監管轉向，是從控制的存在轉為控制的可證明的有效性。你光說你有跑活體偵測已經不夠了。你必須展示它有效——你的活體查核能挺過一次呈現攻擊（一張列印的照片、一段重播的影片、一張舉到相機前的矽膠面具），你的誤匹配率能跨人口統計群組維持得住，那項控制做的是某件可衡量的事，而非僅僅存在著。一家使用像 FacePhi 這類供應商來做銀行活體偵測的銀行，處境和那家零售商相同：為一套它無法獨立評估的系統承擔全部法律責任，如今卻被其監理機關要求證明它從未衡量過的有效性。
串起防損經理與銀行合規長的那條線，是同一道落差。兩者都基於供應商的宣稱買下了一套生物辨識系統。兩者都無法把 NIST FRVT 報告讀得夠透徹，以將它轉譯成一項採購決策、稽核他們餵給系統的資料的品質，或證明他們的人工複核流程是有實質意義而非儀式性的。隨著生物辨識決策被交給自主 AI 代理，那道落差正在擴大——只有 23% 的組織對管理代理身分有任何正式策略，而身分驗證公司 iProov 一直在警告，當代理做出高影響的決策卻無人明確為其負責時，會出現一種「問責真空」。
校準過的懷疑實際上為你買到了什麼？
最要緊的那項修正，也是最不光鮮的。人臉辨識供應商回報一個匹配分數——一個數字——卻不附上校準過的信心界限。系統說「0.94」，而操作員讀成「就是她」。但對著一張乾淨的攝影棚證件照的 0.94，和對著一張十年前、來自演算法處理得很差的某個人口統計群組的入案照的 0.94，並不是同一個宣稱，而原始分數把這差別藏了起來。
缺少的是一個不確定性層：一種把誠實、校準過的信心度附加到每次匹配上的方式，好讓一個臨界的結果能自己聲明它是臨界的，並導向一個人，而不是導向一名保全的無線電。那類中介軟體在商業上並不存在。為它打造那套評估——那個本可以告訴一名法戈警官「鑑於影像品質與受試者的人口統計群組，這次匹配是低信心的，別單憑它行動」的東西——正是我希望在 Lipps 案之前、而非之後就已存在的工作。
你可以看看那些已經明白這一點的機構。英國的埃塞克斯警方在資訊專員辦公室的一次稽核之後，因偏誤風險而暫停了他們的人臉辨識計畫。他們沒有等到一次錯誤逮捕，才發現他們的系統有一個人口統計上的盲點。那就是該有的姿態：把系統當成一項法律負債來對待，直到一次獨立稽核證明並非如此，而不是反過來。
一個基準分數，是你拿給供應商銷售簡報看的東西。一個附在每次匹配上、校準過的信心界限，才是你拿給監理機關和法庭看的東西——而這兩者之中，只有一個能挺過交叉詰問。
帶去你下一次供應商通話的那個真正的問題
如果你已經部署了人臉辨識，那個令人不安的真相是：你的基準證書所衡量的，是一套不同於你門市裡或入職流程中實際運行的系統。準確率是真的，且幾乎無關緊要。決定你風險敞口的，是你所處環境的開放集合數學、你所建立的資料庫的衛生、你的各司法管轄區是否已被對照，以及一個人是否真能在機器攔錯人之前趕上它。
這些沒有一項會出現在供應商的排名裡。它們全都會出現在一樁集體訴訟、一份 FTC 同意令，或一位阿嬤在牢房裡的 108 天之中。我們為那些寧可在報告裡、而非在訴訟裡發現這些落差的買家，打造了我們的生物辨識與人臉辨識合規稽核。
所以下一次當供應商遞給你一個 99% 的準確率數字時，別問他們是怎麼得到的。問它沒有涵蓋什麼——然後去數一數，每天走過你相機前的那些臉，究竟有多少從一開始就從未在任何名單上。