Un fornitore di riconoscimento facciale ha ottenuto il 99% — eppure segnalava clienti innocenti tutto il giorno

L'algoritmo del fornitore era classificato nella fascia più alta del benchmark del governo statunitense stesso. Su una galleria di dodici milioni di foto segnaletiche, i principali sistemi di riconoscimento facciale raggiungono ora un'accuratezza superiore al 99%. Il numero era reale, il certificato era reale, e lo avevo usato per rassicurare un cliente pilota sul fatto che la sua implementazione per la prevenzione delle perdite fosse solida.

Poi abbiamo elaborato i dati reali dei loro negozi, e il sistema ha segnalato clienti innocenti per tutto il giorno.

Quel divario — tra un punteggio di benchmark del 99% e un sistema che affronta la nonna sbagliata nella corsia sei — è l'intero argomento di questo saggio. La conformità del riconoscimento facciale non è quasi mai un problema di algoritmo. È un problema di approvvigionamento, un problema di dati e un problema di governance travestito da algoritmo. L'ho imparato nel modo più costoso, ed è il motivo per cui il mio team di Veriprajna ha finito per verificare i sistemi biometrici rispetto alle normative, ai benchmark e agli standard operativi che contano davvero invece di limitarsi a valutare l'accuratezza dei fornitori.

La scheda di valutazione che ho costruito per prima era lo strumento sbagliato

Quando ho iniziato, pensavo che l'audit fosse ovvio. Leggere il NIST Face Recognition Vendor Test — il National Institute of Standards and Technology gestisce il benchmark indipendente più rispettato del settore — estrarre la classifica del fornitore, valutarla, consegnare al cliente un segno di spunta verde. Ho costruito esattamente questo: un'ordinata scheda di valutazione dell'accuratezza dei fornitori.

Il pilota era una catena di vendita al dettaglio con una lista di sorveglianza di noti sospetti di furto organizzato. Il loro fornitore era davvero tra i migliori sul FRVT. Secondo la mia scheda di valutazione, avevano superato la prova senza problemi. Quindi, quando i loro negozi continuavano a generare allarmi su persone che chiaramente non erano in nessuna lista, ho pensato che fosse un problema di taratura e sono andato a cercare il bug nella soglia.

Non c'era nessun bug. La matematica funzionava esattamente come previsto — avevo semplicemente verificato la cosa sbagliata.

Un benchmark ti dice come si comporta un algoritmo in laboratorio. Non ti dice quasi nulla su come si comporterà nel tuo negozio.

Ecco cosa mi era sfuggito. L'accuratezza principale del NIST deriva dall'abbinamento di tipo closed-set: dato un volto, trovare la sua corrispondenza in una galleria nota. È il problema dello sblocco del telefono — è questo il proprietario, sì o no. Ma una lista di sorveglianza per la vendita al dettaglio è un problema di tipo open-set, e i due non sono parenti stretti. In un negozio con 8,000 visitatori al giorno e una lista di sorveglianza di 200 persone, il 97.5% di ogni scansione riguarda qualcuno che non è affatto registrato. Un algoritmo closed-set si sforza di trovare la corrispondenza migliore per ogni volto che vede. Puntalo su quel volume e persino un tasso di falsi positivi dello 0.1% genera circa 8 allarmi errati per negozio al giorno. Su 500 sedi, sono 4,000 persone innocenti segnalate ogni giorno. Avevo certificato un sistema sulla domanda completamente sbagliata.

È stato quel fallimento a ricostruire l'approccio dell'azienda. Abbiamo smesso di valutare i fornitori e abbiamo iniziato a verificare le implementazioni.

I falsi positivi si nascondevano nell'album fotografico

La seconda sorpresa fu la reale provenienza delle corrispondenze errate. Avevo dato per scontato che una corrispondenza sbagliata significasse un modello debole. Poi mi sono seduto davanti alla galleria di registrazione di un cliente — l'insieme effettivo di immagini della lista di sorveglianza con cui il sistema confronta i volti — e ho aperto la griglia delle miniature.

Era un disastro. Una manciata di primi piani nitidi e controllati. E poi decine di fotogrammi sgranati di videosorveglianza, scatti da cellulare e foto segnaletiche vecchie di un decennio. Non si può abbinare in modo affidabile un volto reale del 2026 a una foto segnaletica a bassa risoluzione del 2014, e nessuna classifica di algoritmi al mondo può rimediare. La contaminazione era nei dati, non nel modello.

Questa è la parte che nessuno verifica. Le aziende si ossessionano su quale fornitore acquistare e non ispezionano mai la galleria che gli forniscono — le liste di sorveglianza non ripulite, le acquisizioni obsolete, le discrepanze di risoluzione che causano la maggior parte dei falsi positivi nel mondo reale. Quando abbiamo iniziato a trattare l'igiene del database di registrazione come una parte di primaria importanza dell'audit, i tassi di falsi allarmi nei piloti sono diminuiti prima ancora di toccare una singola soglia.

E quei falsi allarmi non sono distribuiti in modo uniforme. I test demografici del NIST hanno rilevato che i tassi di falsi positivi all'interno di uno stesso gruppo variano fino a 7,203 volte tra i gruppi demografici — bambini, anziani e soggetti asiatici e amerindi registrano tutti tassi più elevati, in parte perché le tonalità di pelle più scure impongono requisiti di cattura della gamma dinamica più difficili che le telecamere economiche non soddisfano. Non è un fatto teorico. Quando la Federal Trade Commission ha esaminato l'implementazione di Rite Aid, ha scoperto che i negozi nelle comunità a maggioranza nera e asiatica generavano un numero significativamente maggiore di falsi allarmi rispetto ai negozi nelle comunità a maggioranza bianca. I dipendenti, non formati sui limiti del sistema, trattavano ogni allarme come un fatto e affrontavano i clienti di conseguenza.

La domanda che dovrebbe tenere sveglio di notte un responsabile del rischio nel retail non è «il nostro fornitore è accurato». È «su quali volti la nostra galleria funziona peggio, e cosa fanno i nostri dipendenti quando lo schermo si illumina».

Che aspetto hanno 108 giorni di carcere

Se volete sapere perché ritengo che la fase di revisione umana sia tutto ciò che conta, leggete il fascicolo di Angela Lipps.

Lipps è una nonna di 50 anni. Nel luglio 2025, la polizia di Fargo ha usato il riconoscimento facciale per identificarla come sospetta, e gli U.S. Marshals l'hanno arrestata. Si trovava a 1,200 miglia dalla scena del crimine. Ha trascorso 108 giorni in carcere prima che le accuse fossero archiviate alla vigilia di Natale del 2025. Il capo della polizia di Fargo si è scusato pubblicamente il 27 marzo 2026. Si stanno preparando azioni legali per violazione dei diritti civili.

Un sistema ha prodotto un numero. Nessuno ha verificato se quel numero fosse affidabile data la qualità dell'immagine, il divario di età tra la foto di riscontro e l'immagine della galleria, o come si comporta l'algoritmo sul suo gruppo demografico. Il punteggio di corrispondenza è stato trattato come prova. Non era una prova — era una probabilità priva di qualsiasi grado di affidabilità calibrato, e qualcuno l'ha letta come un nome.

Lipps non è un caso isolato. Il Washington Post ha documentato almeno otto americani arrestati ingiustamente in seguito a corrispondenze del riconoscimento facciale, con investigatori che in ogni caso hanno saltato passaggi fondamentali come la verifica di un alibi. La detenzione ingiusta di Harvey Murphy è durata dieci giorni, ha incluso un'aggressione fisica e si è trasformata in una causa da 10 milioni di dollari. A Reno, il caso di arresto ingiusto di Jason Killinger, legato al riconoscimento facciale in un casinò, è in procinto di andare a processo, con un agente che ha dichiarato a verbale che «non sarebbe mai dovuto accadere».

È per questo che i regolatori hanno smesso di accettare la supervisione umana come una semplice casella da spuntare. Lo standard che sta ora convergendo tra le varie giurisdizioni è una revisione significativa, non cerimoniale — e «significativa» è esattamente ciò che la maggior parte delle implementazioni finge di essere. Ho esaminato procedure con l'uomo nel ciclo (human-in-the-loop) in cui la procedura operativa standard (SOP) aveva una casella etichettata supervisione significativa con nulla sotto di essa. Un revisore che approva automaticamente l'output della macchina alla stessa velocità con cui la macchina lo produce non è supervisione. Verificare che il flusso di lavoro di revisione soddisfi davvero il requisito normativo — che un essere umano possa annullare, e di fatto annulli, la decisione del sistema, disponendo delle informazioni necessarie per farlo — si è rivelato una delle parti più difficili e importanti di ogni audit che svolgiamo.

Il mosaico normativo di cui siete realmente responsabili

Mi chiedono sempre qual è «la legge sul riconoscimento facciale» a cui devono conformarsi. Non ne esiste una. Nessuna legge federale statunitense regola il riconoscimento facciale. Ciò che esiste invece è un mosaico di norme, e le sanzioni non sono simboliche.

La BIPA dell'Illinois è quella con più mordente, perché prevede un diritto di azione privato — chiunque può fare causa. I risarcimenti per violazione ammontano a 1,000 dollari per le violazioni colpose e 5,000 dollari per quelle intenzionali, e nel solo 2025 gli accordi transattivi hanno raggiunto un totale di 136.6 milioni di dollari in oltre 107 nuove class action. I numeri complessivi sono ancora più grandi: Facebook ha transatto per 650 milioni di dollari, Clearview AI per 51.75 milioni. La CUBI del Texas prevede sanzioni fino a 25,000 dollari per violazione e ha prodotto un 1.375 miliardi di dollari accordo con Google, sebbene il Texas applichi la legge solo tramite il proprio procuratore generale e la sua legge TRAIGA del 2025 abbia introdotto esenzioni per la sicurezza e la prevenzione delle frodi.

Poi c'è l'EU AI Act, le cui pratiche vietate — inclusi i divieti sull'identificazione biometrica remota in tempo reale — sono diventate applicabili nel febbraio 2025, con sanzioni fino a 35 milioni di euro o il 7% del fatturato globale. Le sue scadenze per i sistemi ad alto rischio sono state posticipate al 2 dicembre 2027, dopo che il Parlamento europeo ha votato per prorogarle, il che fa guadagnare tempo ma non cambia nulla riguardo ai divieti già in vigore. Aggiungete a ciò il Privacy Act modificato del Colorado, la legge biometrica di Washington e i divieti totali in oltre 16 città statunitensi, tra cui San Francisco, Boston, Oakland e Portland — con altri 10 o più stati che dovrebbero approvare protezioni biometriche entro la fine del 2026 — e vi ritrovate con un'implementazione legale in un codice postale e una calamita per class action in quello accanto. La funzione «Familiar Faces» di Ring di Amazon, lanciata nel dicembre 2025, è stata bloccata in Illinois, Texas e Portland entro poche settimane dal rilascio.

Un audit serio deve mappare una singola implementazione rispetto a tutte queste norme contemporaneamente. Nessuno strumento preconfezionato lo fa, ed è esattamente per questo che abbiamo dovuto sviluppare questa capacità.

Perché acquistare il fornitore meglio classificato non è sufficiente?

All'inizio, un consulente mi disse che l'intera questione era più semplice di quanto la stessi rendendo: acquista il fornitore NIST meglio classificato e sei conforme. Ci ho creduto per circa una settimana — finché il pilota non ha dimostrato che un fornitore di punta con un ottimo benchmark produceva comunque un negozio pieno di falsi allarmi.

Il panorama dei fornitori premia lo scetticismo. I leader full-stack — NEC, IDEMIA, Thales — sono tutti autentici top performer del FRVT, e specialisti del software come Paravision e Rank One Computing figurano tra i migliori. Ma le classifiche tralasciano la riga che conta di più nel contratto: i fornitori regolarmente declinano ogni garanzia di accuratezza. L'azienda si assume ogni responsabilità per output che non può verificare in modo indipendente. I grandi attori del cloud hanno colto l'aria che tirava e se ne sono andati — Amazon ha imposto una moratoria a tempo indeterminato sull'uso di Rekognition da parte della polizia, Microsoft ha fatto lo stesso per Azure Face e IBM ha abbandonato completamente il riconoscimento facciale già nel 2020. Clearview AI, il collezionista più aggressivo, è vietata del tutto nell'UE.

Se il vostro fornitore non garantisce l'accuratezza e il regolatore ritiene voi responsabili dell'output, la classifica di benchmark del fornitore è il fatto meno interessante della vostra implementazione.

C'è una trappola di approvvigionamento più profonda che la maggior parte degli acquirenti non vede mai. L'azione della FTC contro Rite Aid non si è limitata a vietare il riconoscimento facciale per cinque anni — ha ordinato il disgorgement del modello: la distruzione di tutti i dati biometrici e di ogni modello addestrato su di essi. Il disgorgement sta diventando uno strumento standard; un caso del maggio 2025 ha costretto anche un'azienda edtech a cancellare i propri modelli. Il principio è che non si può trarre profitto da dati, o da algoritmi derivati da dati, che non si era autorizzati a raccogliere. Quindi la domanda che un responsabile degli acquisti dovrebbe porre a un fornitore non è «quanto siete accurati». È «potete dimostrare che l'accuratezza che mi state vendendo non è stata costruita su dati che potrebbero far cancellare il modello stesso». È una domanda di due diligence, e non se la pone quasi nessuno.

Le banche hanno il problema opposto — e la stessa lacuna

Il retail è il caso più eclatante, ma le istituzioni finanziarie si trovano in una posizione altrettanto scomoda dalla direzione opposta. La loro biometria non è lo screening tramite lista di sorveglianza — sono controlli elettronici di Know Your Customer: la verifica del documento d'identità combinata con l'abbinamento facciale e il rilevamento della vitalità (liveness) per confermare che una persona reale stia aprendo un conto reale. L'implementazione è consensuale e circoscritta, il che sembra più facile. Non lo è, perché l'asticella si è alzata.

A partire dal 1° gennaio 2026, la FinCEN ha ampliato i suoi requisiti antiriciclaggio, e il più ampio spostamento della vigilanza del 2026 va dalla presenza dei controlli all'efficacia dimostrabile dei controlli. Non è più sufficiente affermare di eseguire il rilevamento della vitalità. Bisogna dimostrare che funziona — che il controllo di vitalità resista a un attacco di presentazione (una foto stampata, un video riprodotto, una maschera di silicone tenuta davanti alla telecamera), che il tasso di false corrispondenze regga tra i vari gruppi demografici, che il controllo faccia qualcosa di misurabile anziché limitarsi a esistere. Una banca che utilizza un fornitore come FacePhi per la vitalità in ambito bancario si trova nella stessa posizione del rivenditore: si assume tutta la responsabilità di un sistema che non può valutare in modo indipendente, e ora si vede chiedere dal proprio regolatore di dimostrare un'efficacia che non ha mai misurato.

Il filo che collega il responsabile della prevenzione delle perdite e il responsabile della conformità della banca è la stessa lacuna. Entrambi hanno acquistato un sistema biometrico sulla base delle affermazioni di un fornitore. Nessuno dei due sa leggere un rapporto NIST FRVT abbastanza bene da tradurlo in una decisione di acquisto, verificare la qualità dei dati che forniscono al sistema, o dimostrare che il loro processo di revisione umana sia significativo anziché cerimoniale. Quella lacuna si sta ampliando man mano che le decisioni biometriche vengono affidate ad agenti di IA autonomi — solo il 23% delle organizzazioni ha una qualche strategia formale per gestire l'identità degli agenti, e la società di verifica dell'identità iProov mette da tempo in guardia da un «vuoto di responsabilità» quando gli agenti prendono decisioni ad alto impatto senza che nessuno ne risponda chiaramente.

Cosa vi offre davvero il dubbio calibrato?

La correzione che ha contato di più è stata la meno appariscente. I fornitori di riconoscimento facciale riportano un punteggio di corrispondenza — un numero — senza intervalli di affidabilità calibrati attorno ad esso. Il sistema dice «0.94» e l'operatore legge «è lei». Ma 0.94 su un primo piano nitido da studio e 0.94 su una foto segnaletica vecchia di un decennio di una persona appartenente a un gruppo demografico che l'algoritmo gestisce male non sono la stessa affermazione, e il punteggio grezzo nasconde la differenza.

Ciò che manca è uno strato di incertezza: un modo per attribuire a ogni corrispondenza un grado di affidabilità onesto e calibrato, affinché un risultato al limite si annunci come tale e venga instradato verso un essere umano anziché verso la radio di una guardia di sicurezza. Un middleware di questo tipo non esiste in commercio. Sviluppare la valutazione necessaria — quella che avrebbe detto a un agente di Fargo «questa corrispondenza è a bassa affidabilità data la qualità dell'immagine e il gruppo demografico del soggetto, non agire su di essa da sola» — è il lavoro che avrei voluto esistesse prima del caso Lipps, non dopo.

Si possono individuare le istituzioni che l'hanno già capito. La polizia dell'Essex, nel Regno Unito, ha sospeso il proprio programma di riconoscimento facciale per il rischio di distorsioni (bias) in seguito a un audit dell'Information Commissioner's Office. Non hanno aspettato un arresto ingiusto per scoprire che il loro sistema aveva un punto cieco demografico. Questo è l'atteggiamento corretto: trattare il sistema come una responsabilità finché un audit indipendente non dimostra il contrario, e non viceversa.

Un punteggio di benchmark è ciò che mostrate nella presentazione di vendita di un fornitore. Un intervallo di affidabilità calibrato su ogni corrispondenza è ciò che mostrate al regolatore e in tribunale — e solo uno dei due sopravvive al controinterrogatorio.

La vera domanda da portare alla prossima riunione con un fornitore

Se avete implementato il riconoscimento facciale, la verità scomoda è che il vostro certificato di benchmark misura un sistema diverso da quello che gira nei vostri negozi o nel vostro flusso di onboarding. L'accuratezza è reale e quasi irrilevante. Ciò che determina la vostra esposizione è la matematica open-set del vostro ambiente, l'igiene della galleria che avete costruito, se le vostre giurisdizioni sono state mappate, e se un essere umano può davvero fermare la macchina prima che affronti la persona sbagliata.

Niente di tutto ciò compare in una classifica di fornitori. Tutto ciò compare in una class action, in un ordine di consenso della FTC o nei 108 giorni in cella di una nonna. Abbiamo creato il nostro audit di conformità biometrica e di riconoscimento facciale per l'acquirente che preferisce scoprire quelle lacune in un rapporto piuttosto che in una causa legale.

Quindi, la prossima volta che un fornitore vi presenta un numero di accuratezza del 99%, non chiedete come l'hanno ottenuto. Chiedete cosa non copre — e poi andate a contare quanti dei volti che passano ogni giorno davanti alle vostre telecamere non erano affatto in alcuna lista, in partenza.