Un nonno ha passato dieci giorni in carcere perché un algoritmo lo ha giudicato colpevole

Ero al telefono con un potenziale cliente — una catena di vendita al dettaglio di medie dimensioni — quando il loro VP della Prevenzione delle Perdite disse qualcosa che mi fece sprofondare lo stomaco.

"Stiamo valutando un fornitore di riconoscimento facciale. Dicono che il loro sistema è accurato al 98%. Ci serve solo qualcuno che lo colleghi."

Feci una sola domanda: "Accurato al 98% sui volti di chi?"

Silenzio.

Quella conversazione avvenne poche settimane dopo che avevo letto il reclamo della FTC contro Rite Aid — tutte le sue 54 pagine — e la causa da 10 milioni di dollari intentata da Harvey Eugene Murphy Jr., un nonno di 61 anni che trascorse dieci giorni in un carcere di Houston per una rapina commessa mentre lui era a casa a Sacramento, in California. Fu identificato da un sistema di riconoscimento facciale. Il sistema aveva sbagliato. Quando finalmente qualcuno si prese la briga di verificare, Murphy era già stato picchiato e violentato dietro le sbarre.

Ricordo di essere stato seduto nel mio ufficio quella notte, a rileggere i dettagli del caso Murphy, provando qualcosa che di solito non provo quando leggo rapporti su fallimenti tecnici: rabbia. Non verso l'algoritmo — gli algoritmi non hanno intenzioni. Verso gli esseri umani che lo hanno messo in campo come se fosse uno scanner di codici a barre. Verso l'architettura che ha reso tutto questo inevitabile.

Dirigo Veriprajna. Costruiamo quella che io chiamo "deep AI" — sistemi con quantificazione dell'incertezza, governance multi-agente e ingegneria rigorosa alla base. L'opposto di ciò che ha fatto bandire Rite Aid e arrestare Harvey Murphy. E devo spiegarvi perché questa differenza conta più di quanto la maggior parte delle persone in questo settore sia disposta ad ammettere.

Quello che è successo da Rite Aid non è stato un malfunzionamento — è stata una scelta di progettazione

Nel dicembre 2023, la FTC fece qualcosa di senza precedenti: vietò a Rite Aid l'uso della tecnologia di riconoscimento facciale per cinque anni. Non una multa. Non un avvertimento. Vietata.

Tra il 2012 e il 2020, Rite Aid aveva installato sorveglianza con riconoscimento facciale basato sull'IA in centinaia di negozi. L'idea era semplice — identificare i taccheggiatori noti, allertare la sicurezza, ridurre i furti. L'esecuzione fu una catastrofe.

Rite Aid acquistava il proprio riconoscimento facciale da due fornitori terzi. I contratti di entrambi i fornitori escludevano espressamente qualsiasi garanzia riguardo all'accuratezza. Rileggetelo. Le aziende che vendevano la tecnologia non volevano nemmeno promettere che funzionasse. E Rite Aid la mise in campo comunque — in negozi pieni di persone reali, con conseguenze reali per chi veniva identificato erroneamente.

Nessuno da Rite Aid testò l'accuratezza del sistema. Nessuno verificò se i fornitori l'avessero testato. Nessuno implementò controlli sulla qualità delle immagini. I dipendenti dei negozi caricavano fermi immagine granulosi delle telecamere a circuito chiuso e foto da cellulare nel database di registrazione, e il sistema "abbinava" diligentemente quelle immagini degradate a ogni volto che varcava la porta.

I risultati erano prevedibili per chiunque comprenda l'ingegneria biometrica, e devastanti per chiunque non la comprenda. Migliaia di falsi positivi. Clienti innocenti seguiti tra le corsie, perquisiti, accusati pubblicamente di furto. Ed ecco la parte che dovrebbe far riflettere ogni dirigente aziendale: i falsi allarmi colpivano in modo sproporzionato donne e persone di colore. I negozi in comunità a maggioranza relativa nera e asiatica registravano molti più falsi abbinamenti rispetto ai negozi in comunità a maggioranza relativa bianca.

Non era un bug. Era l'output inevitabile di modelli non calibrati, addestrati su dataset non rappresentativi, messi in campo senza monitoraggio, su immagini degradate, senza alcun processo di revisione umana degno di questo nome.

Perché un nonno di 61 anni è finito in carcere?

Il caso di Harvey Murphy è peggiore, perché la catena di fallimenti è più lunga e il costo umano è più viscerale.

Nel gennaio 2022, qualcuno rapinò un Sunglass Hut a Houston. EssilorLuxottica, la società madre, collaborò con Macy's per eseguire il riconoscimento facciale sui filmati di sorveglianza del negozio. Il sistema abbinò il filmato granuloso della rapina a un database che a quanto pare conteneva la foto segnaletica di Murphy relativa a reati non violenti di decenni prima.

Voglio che teniate a mente due fatti contemporaneamente. Primo: Murphy si trovava a Sacramento, in California, il giorno della rapina. Secondo: il sistema abbinò filmati di sorveglianza attuali a una foto scattata anni — forse decenni — prima. Gli studi hanno dimostrato che l'abbinamento di immagini attuali con foto invecchiate può produrre tassi di falsi positivi fino al 90%. Questo è chiamato il problema dell'"age-gap" (divario d'età), e chiunque metta in campo il riconoscimento facciale in un contesto di applicazione della legge dovrebbe conoscerlo.

Ma ecco ciò che mi tormenta di questo caso. Secondo la causa, Sunglass Hut e Macy's presentarono l'abbinamento automatico alle forze dell'ordine come un fatto verificato. Non come un indizio. Non come una probabilità. Come identificazione. La polizia smise di indagare. Avevano il loro uomo.

Quando l'output di una macchina viene trattato con più autorità dell'alibi di un essere umano, abbiamo superato un limite che nessun miglioramento dell'accuratezza può correggere.

Murphy fu arrestato. Disse loro che non era in Texas. Non fece alcuna differenza. Trascorse dieci giorni in carcere prima che la procura distrettuale confermasse il suo alibi. Ormai il danno era fatto — fisico, psicologico, permanente.

Io e il mio team abbiamo passato una serata a esaminare i dettagli tecnici di questo caso, cercando di ricostruire come fosse probabilmente fatta l'architettura del sistema. Immagini in ingresso a bassa risoluzione. Una foto di galleria invecchiata. Quasi certamente un modello di identificazione a insieme chiuso (closed-set) — del tipo ottimizzato per trovare sempre un "miglior abbinamento", anche quando la persona reale non è nel database. Nessuna quantificazione dell'incertezza. Nessuna soglia di confidenza. Nessuna revisione umana significativa tra l'output dell'algoritmo e un uomo che perdeva la propria libertà.

Ognuno di questi fallimenti era prevenibile. Non con un'IA migliore. Con un'architettura migliore.

Cos'è il problema dei "wrapper" e perché dovrebbe interessarvi?

Ecco dove ho bisogno di diventare tecnico per un momento, perché lo schema dietro entrambi questi disastri è lo stesso schema che vedo in azienda dopo azienda.

La maggior parte delle aziende che oggi mettono in campo l'IA usa ciò che il settore chiama "wrapper". Un wrapper è un'interfaccia con marchio — una dashboard, un'app, uno strumento di workflow — che si appoggia sul modello di IA di qualcun altro. Invii dati a un'API di terze parti, questa restituisce un risultato, e tu lo mostri al tuo utente. L'azienda del wrapper non costruisce il modello. Non lo addestra. Non ne comprende le modalità di guasto. Non ne controlla gli aggiornamenti.

Rite Aid usava un wrapper. Un sottile strato di workflow per la sicurezza retail sopra le API di riconoscimento facciale a scatola nera dei fornitori. Quando quelle API producevano spazzatura, Rite Aid non aveva modo di saperlo, non aveva modo di intervenire e — come chiarì la FTC — non aveva modo di sottrarsi alla responsabilità.

Questa è l'asimmetria che uccide le aziende: ti assumi il 100% della responsabilità per un sistema di cui hai lo 0% di visibilità.

Ho scritto in modo approfondito su questa divisione architetturale in la versione interattiva della nostra ricerca, ma l'argomento centrale è semplice. I wrapper vanno bene per applicazioni a basso rischio. Riassumere note di riunioni. Generare testi di marketing. Cose in cui una risposta sbagliata è fastidiosa, non rovinosa.

Ma nel momento in cui il tuo sistema di IA può far arrestare qualcuno, fargli negare un prestito, farlo licenziare o umiliarlo pubblicamente — e il riconoscimento facciale nel retail può fare tutte queste cose — un wrapper è una bomba di responsabilità con un timer che scorre.

Come si costruisce un'IA che sa quando non sa?

C'è un momento a cui continuo a tornare. Stavamo costruendo una pipeline di identificazione per un cliente, e una delle mie ingegnere fece passare un lotto di immagini di test attraverso il sistema. I numeri di accuratezza sembravano ottimi — sopra il 95%. Erano tutti soddisfatti. Poi le chiesi di eseguire lo stesso lotto con le distribuzioni di confidenza visibili.

La stanza piombò nel silenzio.

Una fetta significativa di quelle identificazioni "corrette" aveva distribuzioni di incertezza così ampie da essere sostanzialmente lanci di monetina che erano finiti per caso dal lato giusto. Il modello indovinava con sicurezza, non identificava in modo affidabile. Se avessimo spedito quel sistema con il solo punteggio di accuratezza, non saremmo stati diversi dai fornitori che vendettero a Rite Aid il loro software.

Questo è il problema centrale di come viene messa in campo la maggior parte dell'IA: ogni output viene trattato come una verità binaria quando in realtà è una stima probabilistica. Il modello non dice "questo è John Smith". Dice "dato ciò che ho visto, c'è una probabilità dell'X% che questo sia John Smith, più o meno Y". Ma la maggior parte dei sistemi butta via la parte "più o meno Y" e ti mostra solo l'X.

In Veriprajna, integriamo ciò che si chiama Quantificazione dell'Incertezza (UQ) in ogni sistema ad alto rischio. Ci sono due tipi di incertezza che contano:

L'incertezza aleatoria deriva dal rumore nei dati stessi — cattiva illuminazione, sfocatura da movimento, la lente di una telecamera graffiata. Non puoi eliminarla con l'addestramento. Se all'immagine mancano informazioni, nessun modello al mondo può reinventarle in modo affidabile.

L'incertezza epistemica deriva dai limiti del modello stesso — non ha visto abbastanza esempi di un particolare gruppo demografico, o non ha mai incontrato questa specifica condizione di illuminazione. Questa può essere ridotta con dati di addestramento migliori.

I sistemi fragili — i wrapper — non distinguono tra queste. Un sistema potrebbe riportare una confidenza dell'85% su un abbinamento, e ciò suona solido. Ma il nostro strato di UQ potrebbe rivelare che la distribuzione di incertezza attorno a quell'85% è enorme, il che significa che il numero è statisticamente privo di significato data la qualità dell'input.

Un sistema di IA che non può dirti quanto è incerto non è uno strumento — è una trappola.

Usiamo tecniche come la predizione conforme (conformal prediction) per garantire che le stime di incertezza del sistema rientrino in limiti matematicamente dimostrabili. I dettagli tecnici sono nel nostro documento di ricerca completo, ma il risvolto pratico è questo: prima che il sistema intraprenda qualsiasi azione, può dirti se la sua risposta è affidabile. E se non lo è, la sottopone a un essere umano.

Il problema dell'insieme aperto di cui nessuno parla

Ecco una cosa che ancora mi sorprende quando parlo con gli acquirenti aziendali: quasi nessuno di loro conosce la differenza tra riconoscimento a insieme chiuso (closed-set) e a insieme aperto (open-set).

Un sistema a insieme chiuso presuppone che la persona sottoposta a scansione sia sicuramente nel database. Pensa allo sblocco del tuo telefono — il telefono sa che il tuo volto è registrato. Deve solo verificare che sei tu.

Un sistema di sicurezza retail è l'opposto. La stragrande maggioranza delle persone che entrano in un negozio non è in alcun database criminale. Questo è un problema a insieme aperto. Ed ecco il disastroso disallineamento: la maggior parte dei software commerciali di riconoscimento facciale è ottimizzata per le prestazioni a insieme chiuso, perché è lì che i benchmark appaiono impressionanti.

Cosa succede quando metti in campo un modello a insieme chiuso in un ambiente a insieme aperto? Cerca di trovare il "miglior abbinamento" per ogni singolo volto, perché presuppone che un abbinamento debba esistere. Questo è quasi certamente ciò che ha generato le migliaia di falsi positivi da Rite Aid. Il sistema non stava funzionando male. Stava facendo esattamente ciò per cui era stato progettato — in un ambiente per cui non era mai stato progettato.

Costruire per l'insieme aperto significa addestrare il tuo modello non solo a identificare gli abbinamenti, ma anche a rifiutare accuratamente i non-abbinamenti. A dire "non conosco questa persona" con la stessa precisione con cui dice "riconosco questa persona". Questo richiede funzioni di perdita diverse, metriche di valutazione diverse e una filosofia di progettazione fondamentalmente diversa.

Il NIST — il National Institute of Standards and Technology — gestisce il Face Recognition Vendor Test (FRVT), che è lo standard di riferimento globale per la valutazione di questi sistemi. Il NIST misura il tasso di falso non-abbinamento (False Non-Match Rate) a un tasso di falso abbinamento (False Match Rate) fisso. Per le applicazioni ad alta sicurezza, quella soglia di falso abbinamento è impostata a uno su un milione. Uno su un milione.

Rite Aid non fece mai benchmark rispetto agli standard NIST. E nemmeno, a quanto pare, il sistema che identificò Harvey Murphy.

Disgorgement del modello: l'opzione nucleare

C'è un dettaglio nell'accordo transattivo della FTC con Rite Aid che dovrebbe terrorizzare ogni azienda che costruisce IA su dati discutibili.

A Rite Aid non fu solo detto di smettere di usare il riconoscimento facciale. Fu ordinato loro di cancellare tutti i dati biometrici raccolti e di distruggere qualsiasi modello o algoritmo di IA derivato da quei dati. La FTC lo definì "disgorgement del modello" (model disgorgement) — costringere un'azienda essenzialmente a dis-imparare tutto ciò che i suoi modelli avevano assorbito da dati non conformi.

Pensate a cosa significa dal punto di vista operativo. Anni di raccolta dati. Modelli addestrati e perfezionati nel tempo. Conoscenza istituzionale incorporata nei pesi delle reti neurali. Tutto — scomparso. Non perché i modelli avessero smesso di funzionare, ma perché i dati su cui erano stati costruiti erano stati ottenuti senza adeguate salvaguardie.

Questa è la nuova realtà normativa. Se i tuoi dati di addestramento sono contaminati — raccolti senza consenso, distorti nella loro composizione, o ottenuti in violazione delle leggi sulla privacy — anche i modelli costruiti su quei dati sono contaminati. E ora le autorità di regolamentazione hanno gli strumenti per obbligarti a distruggerli.

La maggior parte delle architetture wrapper non è nemmeno in grado di eseguire una rimozione chirurgica dei dati. Non hanno il tracciamento della provenienza necessario per sapere quali dati hanno influenzato quali pesi del modello. I sistemi deep AI, costruiti tenendo conto della tracciabilità dei dati (data lineage), possono farlo. Non è una funzionalità che apprezzi finché la FTC non bussa alla porta.

Perché l'"human-in-the-loop" non è solo una casella da spuntare

Le persone mi chiedono sempre se la soluzione sia semplicemente mettere un revisore umano davanti a ogni decisione dell'IA. La risposta è sì — ma con un'enorme riserva. Un processo di revisione umana mal progettato è peggio di nessuna revisione, perché crea l'illusione di una supervisione.

Da Rite Aid, c'erano esseri umani nel ciclo. I dipendenti dei negozi ricevevano allarmi automatici e veniva detto loro di agire di conseguenza. Ma non avevano alcuna formazione sui tassi di falsi positivi. Nessuna interfaccia che mostrasse loro la qualità dell'immagine originale. Nessun protocollo per mettere in dubbio l'output del sistema. Erano, di fatto, timbri di gomma per un algoritmo.

Progettiamo sistemi human-in-the-loop (HITL) con soglie di confidenza che instradano le decisioni in modo appropriato. Confidenza sotto il 70%? Rifiuto automatico — non far perdere tempo a un umano con rumore evidente. Tra il 70% e il 95%? Segnalazione per revisione umana, con le immagini della fonte originale mostrate accanto all'abbinamento, così che il revisore possa formulare un giudizio informato. Sopra il 95% su un'attività a bassa conseguenza? Approvazione automatica, ma registra tutto.

La chiave è che il revisore umano deve avere abbastanza contesto per poter effettivamente scavalcare la macchina. Se tutto ciò che vede è "ABBINAMENTO — confidenza 87%", si affiderà al numero ogni volta. Se vede il fotogramma granuloso della telecamera a circuito chiuso accanto alla foto di galleria e riesce a notare le differenze evidenti — una forma dell'orecchio diversa, una mascella diversa, un divario d'età di 20 anni — diventa una vera rete di sicurezza invece di una decorativa.

Ho avuto una discussione con il CTO di un cliente su questo. Voleva ridurre al minimo la revisione umana per contenere i costi. Gli dissi che il costo di una sola causa Harvey Murphy avrebbe superato un decennio di stipendi dei revisori umani. Non gli piacque sentirlo. Ma nemmeno fu citato in giudizio.

I muri normativi si stanno stringendo

Il Regolamento sull'IA dell'UE (EU AI Act) classifica i sistemi di identificazione biometrica come ad alto rischio per impostazione predefinita. Valutazioni di conformità obbligatorie. Documentazione tecnica dettagliata. Una supervisione umana efficace — non quella tipo Rite Aid, quella vera. Alcuni usi, come raschiare (scraping) immagini di volti da internet per i dati di addestramento, sono vietati del tutto.

Negli Stati Uniti, il NIST AI Risk Management Framework definisce quattro funzioni — Govern, Map, Measure, Manage (Governare, Mappare, Misurare, Gestire) — che insieme formano il progetto per una messa in campo responsabile dell'IA. L'azione della FTC contro Rite Aid è stata essenzialmente un'applicazione di questi principi prima che diventassero legge formale. Il messaggio è chiaro: se non puoi spiegare come funziona la tua IA, non puoi misurarne le distorsioni e non puoi gestirne i fallimenti, ne sarai ritenuto responsabile.

A ogni consiglio di amministrazione che consiglio dico la stessa cosa: allineatevi agli standard dell'EU AI Act ora, anche se operate solo negli Stati Uniti. La regolamentazione nazionale sta arrivando, e le aziende che hanno trattato la conformità come un problema futuro si troveranno nella posizione di Rite Aid — a correre per distruggere modelli e ricostruire da zero sotto un decreto di consenso.

La distorsione non è nell'algoritmo — è nella pigrizia

Una cosa che mi frustra del dibattito pubblico sulla distorsione dell'IA è l'implicazione che la distorsione sia una qualche proprietà misteriosa e intrattabile dell'intelligenza artificiale. Non lo è. È il risultato di specifiche e identificabili scorciatoie ingegneristiche.

Addestri un modello su un dataset composto per l'80% da volti dalla pelle chiara? Avrà prestazioni peggiori sui volti dalla pelle scura. Salti il debiasing avversariale — la tecnica in cui addestri una rete concorrente a rilevare se il tuo modello sta usando la razza o il genere come caratteristica nascosta? Il tuo modello codificherà quelle distorsioni in modo invisibile. Metti in campo senza testare tra i gruppi demografici usando i dati di benchmark del NIST? Non saprai nemmeno che la distorsione esiste finché qualcuno non si fa male.

La distorsione algoritmica non è un mistero. È ciò che accade quando gli ingegneri ottimizzano per la velocità invece che per l'equità, e le organizzazioni ottimizzano per il costo invece che per la sicurezza.

Ognuno di questi problemi ha una soluzione tecnica nota. Debiasing avversariale. Vincoli di equità nella funzione di perdita. Fusione di caratteristiche multi-scala per gestire tonalità della pelle e condizioni di illuminazione variabili. Rilevamento degli attacchi di presentazione (presentation attack detection) per intercettare i tentativi di spoofing. Non sono elementi teorici — sono messi in campo in sistemi di produzione oggi. Compresi i nostri.

Il motivo per cui la maggior parte delle aziende non li implementa è lo stesso per cui Rite Aid non testò l'accuratezza del suo fornitore: costa di più, richiede più tempo, e nessuno ti costringe a farlo. Finché non lo fanno. E allora costa tutto.

Cosa penso davvero del futuro dell'IA aziendale

Ho passato anni a costruire sistemi progettati per dubitare di se stessi prima di agire. Potrebbe sembrare una cosa strana da dire per il fondatore di un'azienda di IA. Non dovrei vendere sicurezza?

No. Vendo sicurezza calibrata. C'è una differenza.

Le aziende che sopravviveranno al prossimo decennio di regolamentazione e responsabilità sull'IA sono quelle che costruiscono sistemi capaci di dire "non lo so" con la stessa precisione con cui dicono "sono sicuro". Che trattano ogni output automatizzato come un'ipotesi da validare, non come un verdetto da eseguire. Che progettano l'architettura per il caso peggiore — il caso Harvey Murphy — non per il caso della demo.

Rite Aid ha perso le sue capacità biometriche per cinque anni e ha dovuto distruggere i propri modelli. Macy's e Sunglass Hut affrontano una causa da 10 milioni di dollari e il tipo di danno reputazionale che nessuna agenzia di PR può riparare. Non sono racconti ammonitori dei primi giorni di una tecnologia rischiosa. Stanno accadendo ora, con sistemi che le aziende hanno acquistato preconfezionati e messo in campo senza comprenderli.

L'era dei wrapper dell'IA aziendale sta finendo. Non perché i wrapper non funzionino — funzionano bene per attività a basso rischio. Ma perché la posta in gioco continua a salire, le regolamentazioni continuano a stringersi, e il costo di una risposta sbagliata data con sicurezza continua a crescere.

Harvey Murphy era a Sacramento. L'algoritmo diceva che era a Houston. E per dieci giorni, l'algoritmo vinse.

Non è un problema di IA. È un problema di architettura. E l'architettura è una scelta.