AI人臉辨識值得信任嗎？一堂價值1,000萬美元的課

問題所在

哈維·墨菲（Harvey Murphy）是一位61歲的祖父，他因一起自己從未犯下的搶劫案，在獄中度過了10天。事發時，他距離案發地點1,500英里之遙。Macy's的人臉辨識系統，將他的臉與休士頓一起Sunglass Hut搶劫案的模糊監視畫面進行比對，得出了一致的結論。然而，墨菲當時身在加州薩克拉門托。AI給出了相反的判定，警方選擇相信機器。

在那10天的羈押期間，墨菲遭受了性侵與毆打，留下了終身傷害。此後，他對Macy's及Sunglass Hut的母公司依視路陸遜蒂卡（EssilorLuxottica）提出了1,000萬美元的訴訟。當初鎖定他的系統依賴低解析度的監視影像，極有可能是將那段影像與數十年前非暴力犯罪的逮捕照片進行了比對。研究顯示，將當前影像與數年乃至數十年前拍攝的照片進行比對，假陽性率可高達90%。

這並非偶發意外。就在幾週前，美國聯邦貿易委員會（FTC）才剛禁止Rite Aid使用人臉辨識技術長達五年。2012年至2020年間，Rite Aid的系統在數百家門市中產生了數以千計的錯誤比對。女性及有色人種受到不成比例的針對。員工根據自動警報，跟蹤、搜查並公開指控了無辜的顧客。

若您的組織使用AI來做出任何影響個人自由、財務或聲譽的決定，這些案例就是給您的警告。

這對您的業務意味著什麼

此處的財務風險並非假設性的，它已然衝擊著資產負債表和法庭。

• 1,000萬美元訴訟：Harvey Murphy針對Macy's及EssilorLuxottica提出的索賠，原因是有缺陷的AI身份辨識導致其遭到錯誤逮捕及人身傷害。
• 五年技術禁令：FTC全面禁止Rite Aid使用人臉辨識技術。Rite Aid還必須刪除所有生物特徵資料，並銷毀以該資料建構的每一個AI模型。
• 模型繳回（model disgorgement）：FTC強制要求Rite Aid對其AI進行「反學習」——銷毀從不當收集的資訊中衍生出的演算法。這是一項全新的監管工具，可在一夜之間抹去多年的投資。

監管環境正在迅速收緊。《歐盟人工智慧法》（EU AI Act）現已將公共場所的生物特徵識別列為「高風險」。供應商必須進行合規性評估、維護詳細的技術文件，並確保有效的人工監督。即使您的公司僅在美國運營，NIST人工智慧風險管理框架也推行相同的原則。FTC援引了類似的邏輯——透明度、問責制、風險管理——來為其對Rite Aid的禁令提供正當理由。

您的董事會需要理解：一個治理不善的AI系統的代價，並非技術問題，而是訴訟問題、監管問題，以及頭版新聞問題。若您的AI供應商無法說明其系統如何避免這些失敗，承擔風險的是您的公司，而非他們。

技術層面究竟發生了什麼

以下用淺顯的語言解釋這些系統為何會失敗。

大多數商業人臉辨識工具是針對工程師所稱的「封閉集合（closed-set）」問題而建構的。這意味著系統假定其掃描的人必然在資料庫中。想像一下用臉解鎖手機：手機知道那是您本人，只需確認即可。

零售安全則恰恰相反，它是一個「開放集合（open-set）」問題。走進您門市的絕大多數人並不在任何犯罪資料庫中。然而，封閉集合系統不知道如何說「我認不出這個人」，它只會盡力找出最接近的比對結果，即便那個結果是錯的。這正是Rite Aid在數百家門市中產生數以千計假陽性的原因。

可以把它想像成一道沒有「以上皆非」選項的選擇題。即使正確答案根本不在列表中，系統也必須選出一個答案。每一張走進門的臉，無論是否屬於資料庫，都會被比對到資料庫裡的某個人。

第二個失誤在於將AI的輸出視為簡單的是/否答案。實際上，每個AI輸出都是一個概率——一個帶有信心水準的推測。Macy's的系統為Harvey Murphy給出了一個比對分數，但沒有人詢問那個分數究竟有多可靠。0.85的比對分數聽起來很高，但若底圖模糊、參考照片又是數十年前拍攝的，這個0.85在統計上毫無意義。若缺乏一個衡量不確定性的層級——也就是系統實際上有多確定——您等於是在以偽裝成科學的拋硬幣結果做出高風險決策。

哪些有效（哪些無效）

先從失敗的案例說起。

未經測試的現成模型。 Rite Aid從兩家供應商購買了人臉辨識系統，而其合約明確免除了對準確性的任何保證。公司從未測試過軟體的可靠性。您無法透過供應商合約將責任外包出去。

被視為「夠好」的低品質輸入。 Rite Aid和Macy's都將粗粒CCTV截圖和陳舊的逮捕照片輸入其系統。在生物特徵工程中，劣質輸入不僅僅會降低準確性——它還會讓錯誤呈指數級增長。

行動前缺乏人工審核。 Rite Aid員工僅憑自動警報便直接面對顧客，沒有人質疑機器。針對Macy's的訴訟指控，該公司將自動比對結果作為已核實的事實呈報給警方，警方因此停止了調查。

以下是真正有效的方法。

1. 輸入驗證。 在系統嘗試比對之前，專用的品質檢查代理程式會先評估影像：解析度是否足夠？光線是否充足？參考照片是否夠新？若輸入未能通過這些檢查，系統將直接拒絕比對。不做猜測，好過做出錯誤的猜測。

2. 不確定性測量。 系統不再只產生單一信心分數，而是生成概率分佈——一個顯示輸出實際可靠程度的範圍。符合預測（conformal prediction）等技術能保證真實結果以您設定的信心水準落在預測範圍內。您決定可接受的錯誤率，系統以數學方式強制執行。

3. 人工介入決策閘門。 系統將所有結果依信心閾值進行路由。信心低於70%時，比對結果自動捨棄；在70%至95%之間，受過訓練的人類審核員會同時查看原始監視影像和資料庫影像後再做裁定；僅當超過95%——且僅針對低影響行動——系統才會自主行動。

這是一種 多代理程式協作（multi-agent orchestration）方法 ，由專門的代理程式各司其職：一個驗證輸入品質、另一個執行比對、第三個測量不確定性，第四個則將模稜兩可的案例標記以供人工審核。沒有任何單一模型能獨自做出最終裁決。

合規優勢在於稽核追蹤。每個步驟——每次影像品質檢查、每個信心分數、每項人工決策——都會自動記錄。當監管機構或原告律師詢問您的系統如何做出某個決定時，您可以向他們準確呈現發生了什麼。NIST的人臉辨識供應商測試（Face Recognition Vendor Test）提供了供應商應達到的基準，它以嚴格至百萬分之一的閾值測量錯誤比對率，並按性別、年齡和人口統計群體細分性能表現——這正是FTC要求Rite Aid提供的偏見數據類型。

對於從事 AI安全與韌性領域的組織而言，問題不在於您的AI平均而言是否準確，而在於它能否證明在這個特定案例中、對這個特定的人、在這些特定條件下，它是準確的。這是 確定性工作流程與工具 必須達到的標準。

您可以 閱讀完整的技術分析報告 了解工程細節，或 探索互動版本 以進行架構的引導式演練。