Il problema
Harvey Murphy, un nonno di 61 anni, ha trascorso 10 giorni in carcere per una rapina che non aveva commesso. Si trovava a 1.500 miglia di distanza quando è avvenuta. Un sistema di riconoscimento facciale di Macy's ha associato il suo volto ai filmati sgranati di videosorveglianza di una rapina in un punto vendita Sunglass Hut a Houston. Murphy era a Sacramento, in California. L'IA ha sostenuto il contrario e la polizia ha creduto alla macchina.
Durante quei 10 giorni in carcere, Murphy è stato aggredito sessualmente e picchiato. Ha riportato lesioni permanenti. Da allora ha intentato una causa da 10 milioni di dollari contro Macy's e la società madre di Sunglass Hut, EssilorLuxottica. Il sistema che lo ha segnalato si basava su video di sorveglianza a bassa risoluzione. Ha probabilmente confrontato quel filmato con una foto segnaletica risalente a reati non violenti commessi decenni prima. Gli studi dimostrano che il confronto tra immagini attuali e foto scattate a distanza di anni o decenni può produrre tassi di falsi positivi fino al 90%.
Non si è trattato di un incidente isolato. Solo poche settimane prima, la FTC ha vietato a Rite Aid di utilizzare il riconoscimento facciale per cinque anni. Tra il 2012 e il 2020, il sistema di Rite Aid ha generato migliaia di falsi positivi in centinaia di punti vendita. Donne e persone di colore sono state segnalate in modo sproporzionato. I dipendenti hanno pedinato, perquisito e accusato pubblicamente clienti innocenti sulla base di avvisi automatizzati.
Se la tua organizzazione utilizza l'IA per qualsiasi decisione che influisce sulla libertà, sulle finanze o sulla reputazione di una persona, questi casi rappresentano un chiaro segnale d'allarme.
Perché è importante per la tua azienda
L'esposizione finanziaria in questo ambito non è ipotetica. Sta già colpendo i bilanci e le aule di tribunale.
- Causa da 10 milioni di dollari: la richiesta di risarcimento di Harvey Murphy contro Macy's ed EssilorLuxottica per ingiusto arresto e lesioni personali causati da un'identificazione errata dell'IA.
- Divieto tecnologico di cinque anni: la FTC ha vietato totalmente a Rite Aid l'uso del riconoscimento facciale. Rite Aid deve inoltre cancellare tutti i dati biometrici e distruggere ogni modello di IA sviluppato a partire da tali dati.
- Model disgorgement: la FTC ha costretto Rite Aid a far «disapprendere» la propria IA — distruggendo gli algoritmi derivati da informazioni raccolte in modo improprio. È un nuovo strumento normativo che azzera anni di investimenti da un giorno all'altro.
Il quadro normativo si sta inasprendo rapidamente. L'EU AI Act classifica ora l'identificazione biometrica negli spazi pubblici come «ad alto rischio». I fornitori devono condurre valutazioni di conformità, mantenere una documentazione tecnica dettagliata e garantire un'efficace supervisione umana. Anche se la tua azienda opera esclusivamente negli Stati Uniti, il NIST AI Risk Management Framework promuove gli stessi principi. La FTC ha fatto leva su una logica simile — trasparenza, responsabilità e gestione del rischio — per motivare il divieto imposto a Rite Aid.
Il tuo consiglio di amministrazione deve comprendere che il costo di un sistema di IA mal governato non è un problema tecnologico. È un problema di contenzioso legale, un problema normativo e un problema da prima pagina. Se il tuo fornitore di IA non sa spiegare come il suo sistema eviti questi fallimenti, è la tua azienda a farsi carico del rischio — non lui.
Cosa succede davvero sotto il cofano
Ecco perché questi sistemi falliscono, in parole semplici.
La maggior parte degli strumenti commerciali di riconoscimento facciale è concepita per quelli che gli ingegneri chiamano problemi «closed-set» (a insieme chiuso). Ciò significa che il sistema presuppone che la persona scansionata sia sicuramente presente nel database. Pensa allo sblocco del telefono con il volto. Il telefono sa che sei tu: deve solo confermarlo.
La sicurezza nel retail è l'opposto. È un problema «open-set» (a insieme aperto). La stragrande maggioranza delle persone che entrano nel tuo negozio non compare in alcun database criminale. Ma un sistema closed-set non sa dire «Non riconosco questa persona». Al contrario, cerca la corrispondenza più vicina possibile, anche se errata. È così che Rite Aid ha generato migliaia di falsi positivi in centinaia di punti vendita.
Immaginalo come un test a risposta multipla privo dell'opzione «nessuna delle precedenti». Il sistema deve scegliere una risposta, anche quando quella corretta non compare nell'elenco. Ogni volto che varca la soglia viene associato a qualcuno nel database, a prescindere dal fatto che vi appartenga o meno.
Il secondo errore fondamentale consiste nel trattare l'output dell'IA come una semplice risposta sì o no. In realtà, ogni output dell'IA è una probabilità — una stima con un determinato livello di confidenza. Il sistema di Macy's ha fornito un punteggio di corrispondenza per Harvey Murphy. Ma nessuno si è chiesto quanto fosse realmente affidabile quel punteggio. Un punteggio di corrispondenza di 0.85 sembra elevato. Ma se l'immagine di partenza è sgranata e la foto di riferimento risale a decenni prima, quello 0.85 è statisticamente privo di valore. Senza un livello che misuri l'incertezza — quanto il sistema sia effettivamente sicuro — si prendono decisioni ad alto rischio basate sul lancio di una moneta mascherato da scienza.
Cosa funziona (e cosa no)
Iniziamo da ciò che non funziona.
Modelli pronti all'uso senza test. Rite Aid ha acquistato software di riconoscimento facciale da due fornitori i cui contratti escludevano espressamente qualsiasi garanzia di accuratezza. L'azienda non ha mai testato l'affidabilità del software. Non è possibile esternalizzare la responsabilità attraverso il contratto con un fornitore.
Input di bassa qualità considerati sufficienti. Sia Rite Aid che Macy's hanno immesso nei propri sistemi fotogrammi sgranati di telecamere a circuito chiuso e vecchie foto segnaletiche. Nell'ingegneria biometrica, un input scadente non si limita a ridurre l'accuratezza: fa aumentare gli errori in modo esponenziale.
Nessuna revisione umana prima dell'azione. I dipendenti di Rite Aid hanno fermato i clienti basandosi unicamente sugli avvisi automatizzati. Nessuno ha messo in discussione la macchina. La causa contro Macy's sostiene che l'azienda abbia presentato alla polizia una corrispondenza automatizzata come un fatto accertato, portando le forze dell'ordine a interrompere le indagini.
Ecco cosa funziona davvero.
Validazione dell'input. Prima ancora che il sistema tenti una corrispondenza, un agente dedicato al controllo qualità analizza l'immagine. La risoluzione è sufficiente? L'illuminazione è adeguata? La foto di riferimento è abbastanza recente? Se l'input non supera questi controlli, il sistema rifiuta a priori il confronto. Nessuna stima è sempre preferibile a una stima errata.
Misurazione dell'incertezza. Anziché produrre un singolo punteggio di confidenza, il sistema genera una distribuzione di probabilità — un intervallo che mostra quanto sia effettivamente affidabile l'output. Tecniche come la conformal prediction garantiscono che il risultato reale rientri nei limiti previsti al livello di confidenza impostato. Decidi il tasso di errore accettabile e il sistema lo applica matematicamente.
Punti di controllo decisionali human-in-the-loop. Il sistema instrada ogni risultato attraverso soglie di confidenza. Al di sotto del 70% di confidenza, la corrispondenza viene scartata automaticamente. Tra il 70% e il 95%, un revisore umano qualificato visualizza l'immagine di sorveglianza originale accanto a quella del database e prende la decisione finale. Solo al di sopra del 95% — e solo per azioni a basso impatto — il sistema agisce autonomamente.
Si tratta di un approccio basato sull'orchestrazione multi-agente in cui agenti specializzati gestiscono ogni fase: uno convalida la qualità dell'input, un altro esegue il confronto, un terzo misura l'incertezza e un quarto segnala i casi ambigui per la revisione umana. Nessun singolo modello prende la decisione finale da solo.
Il vantaggio in termini di conformità è la traccia di audit. Ogni passaggio — ogni controllo di qualità dell'immagine, ogni punteggio di confidenza, ogni decisione umana — viene registrato automaticamente. Quando l'autorità di regolamentazione o il legale della parte attrice chiedono come il sistema sia giunto a una determinata decisione, puoi mostrare esattamente cosa è accaduto. Il Face Recognition Vendor Test del NIST stabilisce i benchmark che i tuoi fornitori dovrebbero rispettare: misura i tassi di corrispondenza errata a soglie rigorose fino a 1 su 1.000.000 e suddivide le prestazioni per genere, età e gruppo demografico — esattamente il tipo di dati sui bias che la FTC ha richiesto a Rite Aid.
Per le organizzazioni che operano nel settore della sicurezza e resilienza dell'IA, la domanda non è se la tua IA sia accurata in media. È se la tua IA sia in grado di dimostrare di essere stata accurata in questo caso specifico, per questa persona specifica, in queste specifiche condizioni. Questo è lo standard che i flussi di lavoro e gli strumenti deterministici devono soddisfare.
Puoi leggere l'analisi tecnica completa per i dettagli ingegneristici, oppure esplorare la versione interattiva per una panoramica guidata dell'architettura.
Punti chiave
- Harvey Murphy ha trascorso 10 giorni in prigione perché l'IA ha associato il suo volto a quello di un rapinatore a 1.500 miglia di distanza — ora ha una causa pendente da 10 milioni di dollari contro Macy's.
- La FTC ha vietato a Rite Aid di utilizzare il riconoscimento facciale per cinque anni e ha costretto l'azienda a distruggere tutti i modelli di IA sviluppati su dati biometrici raccolti in modo improprio.
- La maggior parte dei sistemi commerciali di riconoscimento facciale non sa dire «Non lo so» — scelgono sempre la corrispondenza più vicina, anche quando la risposta corretta non è presente nel database.
- Ogni output dell'IA è una probabilità, non un fatto — senza la misurazione dell'incertezza, un punteggio di confidenza di 0.85 su un'immagine sgranata è statisticamente privo di significato.
- Un sistema multi-agente dotato di punti di controllo per la revisione umana e di una tracciabilità di audit completa è l'unica architettura in grado di superare sia il vaglio di un'autorità di regolamentazione che le richieste di discovery di una parte attrice.
In sintesi
Il riconoscimento facciale basato su IA è già costato a un'azienda un divieto quinquennale sull'uso della tecnologia e a un'altra una causa da 10 milioni di dollari. La soluzione non è un'IA migliore, ma un'IA consapevole dei propri limiti, con gli esseri umani a prendere la decisione finale e una traccia di audit a comprovare ogni passaggio. Chiedi al tuo fornitore di IA: quando il tuo sistema produce una corrispondenza su filmati di bassa qualità, può mostrarmi la distribuzione dell'incertezza e il registro di revisione umana per quella specifica decisione?