L'algoritmo che ha divorato una città: cosa mi ha insegnato il crollo della polizia predittiva sul costruire un'IA degna di fiducia

Ero seduto in una sala riunioni verso la fine del 2023, mentre un potenziale cliente mostrava il proprio strumento di IA interno — un chatbot che avevano messo insieme per aiutare il loro team di conformità a segnalare i rischi nei documenti finanziari. L'interfaccia era elegante. Le risposte erano rapide. E all'incirca una risposta su quattro era, con sicurezza e pericolosamente, sbagliata.

Quando ho fatto notare un'allucinazione — il modello aveva inventato un riferimento normativo che non esisteva — il VP of Engineering ha fatto spallucce. "Sì, lo sappiamo. Speriamo che il prossimo aggiornamento del modello lo risolva."

Quel momento ha cristallizzato qualcosa a cui pensavo da mesi. Il mondo enterprise stava camminando come un sonnambulo verso la stessa identica trappola che aveva già distrutto la fiducia del pubblico nella polizia basata sull'IA in tutta l'America. Non perché la tecnologia fosse intrinsecamente malvagia, ma perché le persone che la implementavano avevano confuso il possedere un sistema di IA con il governarne uno.

In Veriprajna costruiamo soluzioni di IA profonde per ambienti aziendali ad alto rischio. Ma per spiegare perché le costruiamo nel modo in cui lo facciamo — con la governance integrata fin dal primo giorno, con la spiegabilità come elemento non negoziabile, con vincoli matematici di equità intrecciati nel processo di addestramento — devo prima portarti in un luogo scomodo. Devo portarti a Chicago.

Il 56% dei giovani uomini neri di una città, segnalati da una macchina

La Strategic Subject List di Chicago — internamente chiamata la "heat list" — avrebbe dovuto essere il futuro della polizia intelligente. Invece di riempire i quartieri di agenti, l'algoritmo avrebbe individuato gli specifici individui con maggiore probabilità di essere coinvolti nella violenza armata, come autori o come vittime. La precisione al posto della forza bruta. I dati al posto dell'intuizione.

La lista è cresciuta a dismisura fino a superare le 400.000 persone.

Lascia che quel numero sedimenti per un momento. In una città di 2,7 milioni di abitanti, l'algoritmo ha deciso che valeva la pena segnalare 400.000 individui. E i dati demografici erano sconcertanti: Il 56% degli uomini neri di Chicago tra i 20 e i 29 anni è finito su quella lista. A West Garfield Park, il 73% dei maschi neri tra i 10 e i 29 anni è stato segnalato. Il novantasei percento degli individui che il sistema classificava come "presunti membri di gang" era nero o latino.

Ecco cosa mi ha mandato in tilt il cervello quando ho iniziato a scavare nei dati dell'audit: Il 57% degli obiettivi prioritari dell'algoritmo non era mai stato arrestato per un crimine violento. Il sistema raccoglieva reati minori — cose come il possesso di piccole quantità di droga o il disturbo della quiete pubblica — e li trattava come segnali predittivi di future violenze armate. Usava il meccanismo dell'eccessiva attività di polizia come prova per giustificare ancora più attività di polizia.

Quando un algoritmo tratta le conseguenze del bias come prova che il bias sia giustificato, non hai un motore di previsione. Hai una macchina di discriminazione che va con il pilota automatico.

L'Office of Inspector General di Chicago alla fine ha documentato ciò che molte organizzazioni di comunità denunciavano a gran voce da anni: la SSL era distorta lungo linee razziali e in gran parte inefficace nel ridurre i tassi di omicidio. È stata dismessa alla fine del 2019, ma non prima di aver mandato agenti a fare visite non annunciate a migliaia di persone la cui unica "colpa" era vivere in un quartiere che l'algoritmo aveva deciso essere pericoloso.

Perché il modello sui terremoti ha fallito nel prevedere il crimine?

Tremila miglia più a ovest, il LAPD conduceva il proprio esperimento. Geolitica — un tempo PredPol — usava un modello originariamente progettato per prevedere le scosse di assestamento dei terremoti. La logica era seducente: proprio come le scosse si raggruppano nello spazio e nel tempo, certi tipi di crimine seguono schemi spaziotemporali prevedibili. Alimenta l'algoritmo con dati storici sugli episodi — luogo, ora, tipo di crimine — e genererebbe "caselle hotspot" di 500 per 500 piedi quadrati che indicano agli agenti dove pattugliare.

Ricordo di aver letto la documentazione tecnica e di aver pensato: questo è elegante. La matematica era pulita. L'interfaccia era intuitiva. E i risultati furono catastrofici.

Un audit del 2019 condotto dall'Inspector General del LAPD ha rilevato "incongruenze significative" nell'inserimento dei dati. Gli agenti registravano il tempo di pattugliamento presso le strutture di polizia anziché sul campo, contaminando i dati degli hotspot. Il sistema non riusciva a isolare il proprio impatto dalle tendenze più generali dell'attività di polizia. E in giurisdizioni comparabili come Plainfield, nel New Jersey, il tasso di successo delle previsioni è stato documentato a meno dell'1%.

Meno dell'uno percento. Il lancio di una moneta sarebbe stato più utile.

Ma il problema più profondo non era l'accuratezza — era il ciclo di feedback. Quando l'algoritmo segnalava come hotspot un quartiere prevalentemente nero o latino, più agenti ci andavano. Più agenti significavano più fermi. Più fermi significavano più arresti per infrazioni minori che non sarebbero state perseguite in aree più ricche e più bianche. Quei nuovi arresti rifluivano nei dati di addestramento come "prova" di alta criminalità, e l'algoritmo intensificava diligentemente le sue previsioni per quello stesso quartiere.

I dati del Racial and Identity Profiling Act (RIPA) della California hanno messo tutto ciò a nudo con numeri difficili da confutare: gli individui neri venivano fermati il 126% più frequentemente di quanto ci si aspetterebbe in base alla loro quota di popolazione. Nel 2023 gli agenti hanno effettuato 4,7 milioni di fermi di veicoli e pedoni. Ed ecco il colpo di scena — quando gli agenti perquisivano individui neri e latini con tassi più elevati, avevano sistematicamente meno probabilità di trovare merce di contrabbando rispetto alle perquisizioni di individui bianchi.

I dati ci dicevano, in un semplice linguaggio statistico, che il sistema era sbagliato. E il sistema continuava comunque a funzionare.

Il LAPD ha finalmente interrotto il suo rapporto con Geolitica all'inizio del 2024. Ho scritto delle implicazioni più ampie di questi fallimenti — e di cosa significano per l'architettura dell'IA aziendale — nella versione interattiva della nostra ricerca.

Cosa succede quando nessuno può aprire la scatola nera?

C'è un termine nella filosofia della scienza che continuava a emergere nella mia ricerca: opacità epistemica. Significa che il sistema è così complesso che persino le persone che lo utilizzano non riescono a comprendere appieno come giunga alle proprie conclusioni.

La maggior parte dei sistemi di polizia predittiva erano scatole nere proprietarie. Gli input di dati specifici, i fattori valutati, la logica delle previsioni — tutto nascosto come segreto commerciale. I dipartimenti di polizia che usavano questi strumenti spesso non riuscivano a spiegare perché un particolare individuo o quartiere fosse stato segnalato, anche quando le organizzazioni per le libertà civili esigevano risposte.

Non è solo un problema dell'attività di polizia. È la vulnerabilità che definisce il modo in cui la maggior parte delle aziende sta implementando l'IA in questo momento.

Penso a quel chatbot per la conformità di cui ho visto la demo. Il VP of Engineering non sapeva dirmi quali documenti il modello avesse effettivamente recuperato per generare la sua risposta. Non sapeva spiegare perché avesse allucinato un riferimento normativo. Non sapeva dirmi se il sistema avrebbe dato una risposta diversa l'indomani se fosse stata posta la stessa domanda. E il suo piano era aspettare che OpenAI rilasciasse un modello migliore.

Quella non è una strategia di IA. Quella è una preghiera.

Il ciclo di feedback fuori controllo non è solo un problema dell'attività di polizia

È qui che devo stabilire il collegamento che, a mio avviso, sfugge alla maggior parte delle persone nel settore dell'IA aziendale.

Il ciclo di feedback che ha distrutto la polizia predittiva — in cui output distorti generano dati di addestramento distorti, che generano output ancora più distorti — non è esclusivo delle forze dell'ordine. È una proprietà strutturale di qualsiasi sistema di IA che apprende dal proprio ambiente operativo senza una validazione indipendente.

Pensa a uno strumento di assunzione basato sull'IA che seleziona i curriculum. Se viene addestrato su dati storici di assunzione di un'azienda che ha assunto prevalentemente uomini per i ruoli di ingegneria, imparerà ad associare il linguaggio connotato al maschile ai "buoni candidati". Penalizzerà le donne. L'azienda assumerà meno donne. Quei dati di assunzione rifluiranno nel ciclo di addestramento successivo, e il bias si approfondirà.

Oppure considera un modello di valutazione del rischio finanziario addestrato su approvazioni storiche di prestiti. Se in passato i funzionari addetti ai prestiti erano più propensi ad approvare le richieste provenienti da certi codici postali — codici postali che si trovano a correlare con la razza a causa di decenni di redlining — il modello imparerà quegli schemi. Negherà i prestiti a richiedenti qualificati provenienti da quelle zone. Quei dinieghi diventeranno dati di addestramento. Il ciclo continua.

I sistemi di IA più pericolosi non sono quelli palesemente difettosi. Sono quelli che funzionano appena abbastanza bene da sfuggire al vaglio critico mentre codificano silenziosamente i bias dei loro dati di addestramento in decisioni automatizzate su larga scala.

Ecco perché mi innervosisco quando sento i dirigenti aziendali parlare della governance dell'IA come di un "optional" o di un'iniziativa da "fase due". La governance non è una funzionalità che si aggiunge dopo il lancio. È l'architettura stessa.

Perché i wrapper LLM falliscono negli ambienti ad alto rischio?

Voglio essere diretto su una cosa: l'era dei semplici wrapper LLM sta finendo, e la maggior parte delle aziende non se n'è ancora resa conto.

Un wrapper LLM — un sottile strato di prompt engineering e una bella interfaccia sopra un modello di base come GPT-4 o Claude — funziona bene per redigere email e riassumere gli appunti delle riunioni. Non funziona per la revisione legale, la conformità finanziaria, il triage medico o qualsiasi ambito in cui una risposta sbagliata ha conseguenze concrete.

Lo abbiamo testato rigorosamente in Veriprajna. Nel triage delle vulnerabilità di sicurezza — un ambito in cui bisogna distinguere tra un bug minore e un exploit critico — un ingenuo wrapper LLM ha raggiunto un'accuratezza di circa il 51%. È appena meglio del caso. Al modello mancavano gli strumenti specializzati e la conoscenza del dominio per fare distinzioni significative. E aveva un altro problema che ho iniziato a chiamare il fenomeno del "tenere il piede in due scarpe": gli allineamenti di sicurezza integrati nei modelli di base li rendevano riluttanti ad assumere posizioni ferme sui casi ambigui. In un contesto di triage, l'ambiguità è l'intero lavoro. Un'IA che tergiversa su ogni caso limite non sta potenziando il tuo team — sta creando più lavoro.

La nostra architettura multi-agente, al contrario — con agenti componibili, workflow strutturati e basi di conoscenza specifiche per il dominio — ha raggiunto l'89% di accuratezza sugli stessi benchmark. Non perché abbiamo usato un modello "migliore", ma perché abbiamo costruito un sistema anziché un wrapper.

Quella differenza — 51% contro 89% — è la differenza tra un'IA che genera testo plausibile e un'IA che ragiona davvero su un dominio.

Come si presenta davvero l'equità matematica?

Una delle cose che ho imparato costruendo Veriprajna è che l'"equità" nell'IA non può essere una sensazione. Deve essere un numero.

Quando costruiamo sistemi per ambienti ad alto rischio, definiamo l'equità in modo matematico e la monitoriamo in modo continuo. Due metriche contano più di tutte:

Parità demografica si chiede: la probabilità di un esito positivo è indipendente da un attributo protetto come la razza o il genere? Se la tua IA per le assunzioni approva il 60% dei candidati uomini e il 35% delle candidate donne, hai fallito questo test.

Parità delle probabilità va più a fondo: i tassi di veri positivi e i tassi di falsi positivi sono uguali tra i gruppi? Questo è importante perché un sistema potrebbe raggiungere la parità demografica approvando casualmente più richieste provenienti da gruppi sottorappresentati — senza in realtà migliorare nell'identificare i candidati qualificati.

Entrambe le metriche devono essere monitorate contemporaneamente, e nessuna delle due è sufficiente da sola. Ecco perché la nostra strategia di mitigazione del bias opera lungo l'intero ciclo di vita dell'IA: riponderando i dati di addestramento prima ancora che il modello li veda, incorporando vincoli di equità direttamente nel processo di addestramento tramite tecniche come l'adversarial debiasing, e calibrando le soglie decisionali dopo l'addestramento per garantire esiti equi tra i gruppi demografici.

So che sembra tecnico. Ma ecco la versione in parole povere: se non riesci a esprimere i tuoi criteri di equità come un'equazione matematica, non hai criteri di equità. Hai un comunicato stampa.

L'ondata normativa a cui la maggior parte delle aziende non è pronta

Mentre le aziende erano impegnate a sperimentare con i chatbot, i regolatori erano impegnati a scrivere leggi.

Oltre 40 città statunitensi si sono mosse per vietare o limitare severamente la polizia predittiva e le relative tecnologie di IA come il riconoscimento facciale. San Francisco è stata la prima nel 2019. Sono seguite Boston, Portland e Santa Cruz. Nel marzo 2024, la Casa Bianca ha emanato una politica di riferimento che impone alle agenzie federali di condurre test indipendenti e valutazioni d'impatto obbligatorie per qualsiasi sistema di IA che incida sui diritti.

Non è solo un problema dei governi. L'EU AI Act, l'AI Risk Management Framework del NIST, la ISO 42001 — questi framework convergono su un unico messaggio: se implementi l'IA in decisioni ad alto rischio, ti sarà richiesto di dimostrare che è equa, spiegare come funziona e dimostrare che la stai monitorando in modo continuo.

Le aziende che dispongono di un'infrastruttura di governance si adatteranno. Quelle che hanno costruito wrapper LLM e li hanno chiamati una "strategia di IA" andranno nel panico.

Ho già visto questo schema, nella cybersecurity. Le aziende che hanno trattato la sicurezza come un ripensamento hanno passato anni a recuperare terreno quando sono arrivate le normative. Quelle che hanno integrato la sicurezza nella loro architettura fin dall'inizio se ne sono accorte a malapena. La governance dell'IA sta seguendo la stessa traiettoria, solo più velocemente.

Per l'analisi tecnica completa di come allineiamo il nostro framework di governance con NIST, ISO 42001 e l'EU AI Act, consulta il nostro documento di ricerca.

"Basta usare GPT" e altri errori costosi

Le persone mi chiedono continuamente perché le aziende non dovrebbero semplicemente usare un modello di base con un po' di prompt engineering e chiuderla lì. La risposta è la stessa ragione per cui il LAPD non avrebbe dovuto usare un modello sui terremoti per prevedere il crimine.

Lo strumento non è il problema. Lo è il presupposto.

Il presupposto è che un sistema generico — che si tratti di un algoritmo di sismologia o di un grande modello linguistico addestrato su internet — possa essere calato in un ambito specializzato e ad alto rischio senza modifiche architetturali fondamentali. Senza livelli di ragionamento specifici per il dominio. Senza spiegabilità. Senza monitoraggio continuo del bias. Senza governance.

Quel presupposto è stato messo alla prova. Nell'attività di polizia, ha distrutto la fiducia del pubblico, ha danneggiato centinaia di migliaia di persone e ha innescato una reazione normativa a livello nazionale. Nell'IA aziendale, le conseguenze si stanno manifestando in modo più silenzioso — in citazioni legali allucinate, in decisioni di assunzione distorte, in fallimenti di conformità che non emergeranno finché un audit o una causa legale non li porterà alla luce.

La domanda non è se la tua IA commetterà un errore. La domanda è se te ne accorgerai quando accadrà — e se hai costruito l'architettura per intercettarlo prima che si aggravi.

In Veriprajna non partiamo da un modello. Partiamo dai dati. Li sottoponiamo a un audit per qualità, accessibilità e bias storico prima che venga addestrato un solo parametro. Costruiamo architetture multi-agente in cui livelli di ragionamento specializzati possono condurre una ricerca approfondita anziché affidarsi a chiamate zero-shot verso un modello generico. Implementiamo la validazione dell'IA spiegabile in modo che ogni decisione possa essere tracciata, interrogata e difesa. E monitoriamo in modo continuo — non solo l'accuratezza, ma la deriva dell'equità, perché ciò che era equo sei mesi fa potrebbe non esserlo oggi se la distribuzione dei dati sottostante è cambiata.

Questo non è più costoso dell'approccio a wrapper. È meno costoso — perché il costo di implementare un sistema di IA privo di governance in un ambiente ad alto rischio non si misura in ore di ingegneria. Si misura in cause legali, sanzioni normative, danni reputazionali e nel costo umano di decisioni automatizzate che nessuno può spiegare o difendere.

La stanza in cui accade

Voglio concludere con un momento che mi resta impresso.

Eravamo immersi nella costruzione di un nuovo livello di ragionamento per un cliente nei servizi finanziari. Il team discuteva da due giorni se dare priorità all'accuratezza o alla spiegabilità in un particolare modulo — una di quelle discussioni in cui tutti hanno tecnicamente ragione e la vera questione riguarda i valori, non l'ingegneria.

La mia ingegnere capo alla fine ha detto qualcosa che ha zittito la stanza: "Se non possiamo spiegare perché questo modello ha negato un prestito a qualcuno, allora non abbiamo costruito un sistema di IA. Abbiamo costruito una versione più efficiente del problema che siamo stati assunti per risolvere."

Aveva ragione. E quella frase è diventata qualcosa di simile a un principio di progettazione per tutto ciò che costruiamo.

I fallimenti della polizia predittiva — le 400.000 persone sulla heat list di Chicago, l'accuratezza inferiore all'1% a Plainfield, i cicli di feedback che hanno trasformato il razzismo storico in certezza matematica — non sono racconti ammonitori provenienti da un settore diverso. Sono l'anteprima più chiara possibile di ciò che accade quando implementi l'IA senza l'architettura per guadagnarti la fiducia.

La strada da percorrere non è abbandonare l'IA. È smettere di trattare la governance come un costo accessorio e iniziare a trattarla come il prodotto. Le aziende che lo capiscono costruiranno sistemi che sopravvivono al vaglio critico. Quelle che non lo capiscono impareranno la lezione che il LAPD ha imparato, che la polizia di Chicago ha imparato, e che quel chatbot per la conformità alla fine imparerà: un sistema di IA senza integrità non è uno strumento. È una passività con una bella interfaccia.