Una multa da 2,5 milioni di dollari ha svelato il vero problema dell'AI nel credito — e non è quello che pensate

Ero seduto nel mio studio di casa, un giovedì sera del luglio 2025, mentre scorrevo il comunicato stampa del procuratore generale del Massachusetts su Earnest Operations, quando ho provato qualcosa che non mi aspettavo: sollievo.

Non perché a un istituto di credito fosse stata comminata una multa da 2,5 milioni di dollari per discriminazione guidata dall'AI ai danni di mutuatari neri e ispanici. Quello era esasperante. Il sollievo veniva da altro: dalla specificità delle contestazioni. L'ufficio del procuratore generale non si è limitato a dire "la vostra AI è distorta". Ha indicato la variabile esatta. Ha ricostruito il meccanismo esatto. Ha mostrato, con dettaglio minuzioso, come un dato apparentemente neutro — il Cohort Default Rate del college di un mutuatario — sia diventato un canale di discriminazione razziale incorporata nel codice.

Per anni, io e il mio team di Veriprajna abbiamo sostenuto che il modo in cui la maggior parte delle fintech impiega l'AI nel credito è architetturalmente difettoso. Non solo eticamente discutibile: strutturalmente incapace di equità. Il patteggiamento con Earnest ha rappresentato la prima grande azione sanzionatoria a darci ragione nel linguaggio che i regolatori usano davvero.

E non sarà l'ultima.

La variabile che sembrava innocente

Ecco cosa ha fatto Earnest, e vorrei che ci rifletteste con calma, perché è più sottile di "l'algoritmo era razzista".

Earnest ha costruito un modello di rifinanziamento dei prestiti studenteschi basato sull'AI. Uno degli input era il Cohort Default Rate, o CDR: una metrica che misura quanto spesso i laureati di un determinato ateneo vanno in default sui loro prestiti federali. Sulla carta sembra ragionevole. Le scuole con alti tassi di default potrebbero produrre mutuatari che faticano a rimborsare. Perché non tenerne conto?

Perché il CDR non misura l'affidabilità creditizia del singolo. Misura i risultati dell'istituzione. E quei risultati sono plasmati da decenni di sottofinanziamento sistemico, divari patrimoniali intergenerazionali e segregazione razziale nell'istruzione superiore. Gli Historically Black Colleges and Universities registrano CDR più alti non perché i loro laureati siano meno capaci, ma perché il sistema ha dato a quelle istituzioni — e ai loro studenti — meno risorse su cui lavorare.

Quando si penalizza una persona per la storia statistica della sua istituzione, non si sta prevedendo il rischio. Lo si sta perpetuando.

Il procuratore generale del Massachusetts ha sostenuto che il potere predittivo del CDR non derivava da alcun segnale sul mutuatario, ma dalla sua correlazione con la razza e la classe socioeconomica. Un laureato nero di un HBCU con una storia creditizia impeccabile, un reddito solido e zero pagamenti mancati avrebbe ottenuto un punteggio più basso di un laureato bianco di un'università statale ben finanziata: per via di dove aveva studiato, non di ciò che aveva fatto dopo.

Ricordo di aver aperto i documenti del patteggiamento e di averli letti ad alta voce alla mia co-fondatrice al telefono. "Avevano anche delle knockout rule", le ho detto. "Regole cablate nel codice che negavano automaticamente la domanda a chiunque non avesse almeno una green card". C'è stata una lunga pausa. "Quindi il bias era nell'architettura fin dall'inizio", ha detto. Sì. Fin dalla prima riga dell'albero decisionale.

Perché nessuno se n'è accorto?

È questa la parte che mi ha tenuto sveglio quella notte. Earnest aveva politiche interne. Aveva requisiti di supervisione sui modelli. Aveva processi di revisione senior per le eccezioni.

Non ha funzionato niente.

L'indagine ha rivelato che gli underwriter aggiravano abitualmente il modello o applicavano criteri arbitrari senza documentarli. La salvaguardia human-in-the-loop — la cosa che ogni azienda di AI tira fuori quando bussano i regolatori — era teatro. Non c'era un logging coerente. Nessuna revisione indipendente. Nessuna pista di audit in grado di dire perché fosse avvenuto un determinato override.

Ho visto questo schema così tante volte che internamente gli abbiamo dato un nome: governance cosplay. L'istituzione ha tutte le politiche giuste sulla carta. L'organigramma mostra un team di compliance. La presentazione al consiglio parla di "AI responsabile". Ma quando si apre il cofano, non c'è alcun meccanismo che colleghi la policy al codice. L'algoritmo gira in un universo; il framework di governance esiste in un altro.

Il caso Earnest lo ha reso esplicito. Sia il bias algoritmico sia il bias umano non monitorato coesistevano nello stesso sistema, rendendolo — come ho scritto nella nostra analisi interattiva del caso — fondamentalmente impossibile da verificare e da difendere.

Cosa succede quando la disparità è di 29 punti percentuali?

Se Earnest era il caso-bisturi — preciso, a livello di singola variabile, tracciabile — allora Navy Federal Credit Union è la mazza da fabbro.

Nel 2022 Navy Federal, la più grande credit union degli Stati Uniti, ha approvato circa il 77% dei richiedenti bianchi di mutui convenzionali. E i richiedenti neri? Il 48,5%. È un divario di quasi 29 punti percentuali: il più ampio tra i primi 50 erogatori di mutui del Paese.

La difesa di Navy Federal era prevedibile: "I dati pubblici HMDA non includono i punteggi di credito o la liquidità disponibile. Non si possono trarre conclusioni senza il quadro completo". È la stessa difesa a cui ricorre ogni istituzione. E dieci anni fa avrebbe forse funzionato.

Questa volta non ha funzionato. Quando ricercatori indipendenti hanno controllato per più di una dozzina di variabili — reddito, rapporto debito/reddito, valore dell'immobile, caratteristiche del quartiere — i richiedenti neri avevano comunque più del doppio delle probabilità di vedersi negare la domanda rispetto ai richiedenti bianchi con profili identici.

Ricordo di aver presentato questi numeri a una conferenza fintech l'anno scorso. Un partecipante — un VP del rischio di un istituto di credito di medie dimensioni — ha alzato la mano e ha detto: "Ma forse c'è qualcosa nei dati che non stiamo vedendo. Qualche fattore legittimo". Gli ho chiesto: "Se il vostro modello produce un divario razziale di 29 punti che persiste dopo aver controllato ogni variabile che riuscite a nominare, a che punto smettete di cercare spiegazioni innocenti e cominciate a guardare il modello?"

Non aveva una risposta. La maggior parte del settore non ce l'ha.

Nel maggio 2024 un giudice federale ha stabilito che le contestazioni per disparate impact contro Navy Federal potevano procedere alla fase di discovery. Significa che gli attori potranno esaminare la logica interna dell'algoritmo di underwriting della credit union. L'era del "il nostro modello è proprietario e troppo complesso da spiegare" è finita.

Oggi la sola disparità statistica basta a superare un'istanza di rigetto. L'onere si è spostato: dimostrate che il vostro processo è equo, oppure preparatevi alla discovery.

Perché i wrapper LLM continuano a fallire il test di equità?

Qui devo essere schietto su una cosa che molte persone nel mondo dell'AI non vogliono sentirsi dire.

L'architettura oggi dominante nell'AI applicata alle fintech — quello che io chiamo il modello "wrapper" — è strutturalmente incapace di soddisfare gli standard normativi che già esistono, per non parlare di quelli in arrivo nel 2026.

Un wrapper prende i vostri dati, li passa a un large language model di terze parti come GPT-4 o Gemini e restituisce un output. È veloce da costruire. Fa una splendida figura nelle demo. Ed è una bomba a orologeria per la compliance.

Gli LLM predicono il token successivo in una sequenza. Non recuperano fatti. Non eseguono calcoli attuariali. Non ragionano sulla causalità. Quando chiedete a un LLM di valutare una domanda di finanziamento, genera un testo che sembra una valutazione creditizia. Ma potrebbe inventare di sana pianta una giustificazione del rifiuto che non ha alcun fondamento nella pratica reale del richiedente. Il settore la chiama allucinazione. I regolatori la chiamano violazione.

Il CFPB è stato inequivocabile: i creditori devono fornire "motivazioni accurate e specifiche" per le adverse action. Non potete dire a un richiedente respinto "ha deciso l'algoritmo", né citare una categoria vaga come "storico degli acquisti" quando il vero fattore scatenante era un dato non tradizionale a cui il modello si è aggrappato. "Ha deciso l'algoritmo" non è un'affermazione difendibile in sede legale: il Bureau lo ha detto esplicitamente.

E c'è un problema più profondo. Gli LLM sono addestrati su internet. Internet è saturo di bias storici: razziali, di genere, socioeconomici. Quando il vostro wrapper usa un LLM per "valutare" la storia lavorativa o il racconto di un mutuatario, il modello può applicare stereotipi incorporati nei suoi dati di addestramento. Certe nazionalità, certe professioni, certi codici postali hanno un peso invisibile nello spazio latente del modello. Non perché qualcuno abbia programmato il bias. Perché i dati di addestramento sono il bias.

All'inizio ho avuto una discussione su questo con un investitore. Mi ha detto: "Basta usare GPT con un buon prompt. Stai complicando le cose". Gli ho mostrato una demo in cui davamo in pasto la stessa domanda di finanziamento a un wrapper in due versioni: una con un nome connotato come bianco, una con un nome connotato come nero. Gli output non erano identici. Il tono cambiava. Il linguaggio del rischio cambiava. Non in modo drastico. In modo sottile. Il tipo di sottigliezza che, moltiplicata per milioni di decisioni, produce un divario di 29 punti.

Ha smesso di discutere.

Cosa significa davvero "Deep AI"?

Uso il termine "Deep AI" non come slogan di marketing — anche se capisco lo scetticismo — ma come distinzione tecnica rispetto a ciò che la maggior parte del settore sta costruendo.

Un sistema Deep AI per il credito non interroga un singolo modello per poi restituire una risposta. È un'architettura multilivello in cui tipi diversi di intelligenza gestiscono tipi diversi di decisioni, e ogni livello è verificabile.

I motori a regole deterministici gestiscono ciò che deve essere corretto al 100%: requisiti di residenza, soglie normative, controlli di conformità stringenti. Non sono probabilistici. Sono logica. Non allucinano.

I modelli gradient-boosted come XGBoost gestiscono il credit scoring strutturato: quel tipo di dati tabellari in cui interpretabilità e stabilità contano più della fluidità linguistica. Questi modelli sono noiosi. Sono anche affidabili, spiegabili e ben compresi dai regolatori.

Gli LLM fine-tuned vengono usati, ma solo per ciò in cui sono davvero bravi: estrarre entità da documenti non strutturati, analizzare dichiarazioni dei redditi, leggere estratti conto. E sono ancorati tramite Retrieval-Augmented Generation, il che significa che il modello può fare riferimento solo ai documenti reali del richiedente, non alle vaghe associazioni dei suoi dati di addestramento.

Sopra tutto questo si colloca un livello di monitoraggio continuo che traccia in tempo reale il drift del modello, il drift del bias e i tassi di allucinazione. Quando il Disparate Impact Ratio — il rapporto tra i tassi di approvazione dei gruppi protetti e quelli di controllo — scende sotto la soglia di 0,8 (la regola dei quattro quinti che i regolatori usano come campanello d'allarme), il sistema lancia un alert prima ancora che emerga un reclamo umano.

Non è un auspicio. L'abbiamo costruito perché l'alternativa — il wrapper, la scatola nera, il governance cosplay — continua a produrre patteggiamenti come quello di Earnest e cause come quella di Navy Federal.

Come si ingegnerizza davvero l'equità dentro un modello?

Me lo chiedono di continuo, e credo si aspettino che la risposta sia semplice. Non lo è. Ma non è nemmeno misteriosa.

Fare fairness engineering significa applicare vincoli matematici in ogni fase del ciclo di vita del modello. Prima dell'addestramento si esaminano i dati alla ricerca di lacune di rappresentazione e si usano tecniche come l'oversampling sintetico per bilanciare le fasce demografiche sottorappresentate. Durante l'addestramento si applica il debiasing avversariale: una tecnica in cui un modello secondario cerca di prevedere la razza del richiedente a partire dall'output del modello primario. Se ci riesce, il modello primario sta lasciando trapelare informazioni protette, e lo si riaddestra finché l'avversario non fallisce.

Dopo l'addestramento si calibrano le soglie decisionali per garantire gli equalized odds: ovvero che il modello sia ugualmente accurato tra i gruppi demografici. Non ugualmente indulgente. Ugualmente accurato. Un modello che approva tutti non è equo. Lo è un modello che ci prende con la stessa frequenza per tutti.

E poi c'è la spiegabilità. Ogni adverse action generata dal nostro sistema è accompagnata dai valori SHAP: un metodo di attribuzione matematicamente rigoroso che dice esattamente quali feature hanno determinato la decisione, e in che misura. Generiamo spiegazioni controfattuali in tempo reale: "Se il suo utilizzo del credito fosse inferiore del 15%, o il suo reddito superiore di 5.000 dollari, questo prestito sarebbe stato approvato". Non è una cortesia. Con le attuali linee guida del CFPB, è ormai vicino a diventare un requisito.

L'AI equa non è un modello che evita di dire cose offensive. È un sistema in cui ogni decisione può essere scomposta, contestata e difesa con la matematica.

Per l'analisi tecnica completa della nostra pipeline e della nostra architettura di fairness engineering, ho pubblicato un paper di ricerca dettagliato che va più a fondo di quanto possa fare qui.

Le mura normative si stringono

Lasciate che tracci il quadro per chiunque pensi di avere tempo.

Le linee guida del CFPB del 2023 e del 2025 sulle notifiche di adverse action hanno i denti. La SR 11-7 — lo standard della Federal Reserve sulla gestione del rischio di modello — richiede ora una solidità concettuale documentata, una validazione indipendente da parte di team senza alcun legame con lo sviluppo e un'analisi periodica degli esiti. Il NIST AI Risk Management Framework 2.0, pubblicato nel 2025, ha introdotto il concetto di "AI Bill of Materials": un inventario completo di ogni fonte di dati, di ogni modello (comprese le API di terze parti) e di ogni interazione tra i componenti.

Non sono linee guida che potete ignorare. Un giudice federale ha appena autorizzato la discovery sull'algoritmo di Navy Federal. Il procuratore generale del Massachusetts non si è limitato a multare Earnest: ha imposto all'azienda di rivedere da cima a fondo la governance del modello, di implementare una validazione indipendente e di sottoporsi a un monitoraggio continuativo.

Il messaggio è chiaro: se non riuscite a spiegare il vostro modello, non riuscirete a difenderlo. E se non riuscite a difenderlo, pagherete — in patteggiamenti, in costi di contenzioso, in danno reputazionale e nell'erosione della fiducia delle comunità che dite di servire.

Perché la "ricerca di alternative" è il requisito a cui nessuno è pronto

C'è un concetto normativo che, a mio avviso, rimodellerà il settore più di qualsiasi altro, e quasi nessuno ne parla.

Secondo l'attuale normativa sul fair lending, non basta dimostrare che il vostro modello è accurato. Dovete cercare attivamente alternative meno discriminatorie — modelli che raggiungono prestazioni predittive comparabili con un divario di disparità più ridotto. Se un attore riesce a dimostrare che una simile alternativa esisteva e voi non l'avete usata, il vostro modello non supera il test legale, a prescindere dalla sua accuratezza.

Pensate a cosa significa sul piano operativo. Non potete limitarvi a costruire un modello, testarlo per il bias e mandarlo in produzione. Dovete addestrare configurazioni multiple — set di feature diversi, algoritmi diversi, calibrazioni di soglia diverse — e documentare perché avete scelto quella che avete scelto. Vi servono prove di aver cercato un'opzione più equa e di averla trovata (e adottata), oppure di aver dimostrato che non esisteva alcuna alternativa sostanzialmente meno discriminatoria.

Abbiamo passato tre mesi a costruire la nostra pipeline di ricerca LDA. Tre mesi in cui il mio team di ingegneri continuava a chiedere: "Non ci stiamo facendo troppi problemi?". E poi è arrivato il patteggiamento Earnest, e l'ufficio del procuratore generale ha citato espressamente il fatto che l'azienda non avesse cercato alternative. Non ci stavamo facendo troppi problemi. Era il settore a farsene troppo pochi.

La lezione di Earnest che la maggior parte delle persone si sta perdendo

Voglio chiudere con una cosa che mi tormenta da luglio.

Gran parte dei commenti sul patteggiamento Earnest si è concentrata sulla variabile CDR. E sì, quello era il titolo. Ma il fallimento più profondo non era una variabile sbagliata. Era l'assenza di un'architettura che avrebbe intercettato la variabile sbagliata prima ancora che arrivasse in produzione.

Earnest non aveva una validazione indipendente del modello. Non aveva test sistematici sulle proxy. Non aveva un logging verificabile degli override umani. Non aveva un monitoraggio continuo del bias. Aveva un modello, un documento di policy e, tra i due, un divario abbastanza ampio da farci passare una class action.

I 2,5 milioni di dollari non erano il costo del bias. Erano il costo di costruire AI senza l'infrastruttura necessaria a sapere quando il bias esiste.

È la distinzione a cui continuo a tornare. La domanda non è "la vostra AI è distorta?" — ogni modello addestrato su dati storici porta le impronte digitali della disuguaglianza storica. La domanda è: avete l'architettura per rilevarlo, misurarlo, spiegarlo e correggerlo prima che lo faccia un regolatore al posto vostro?

La maggior parte degli istituti di credito, se fossero onesti, risponderebbe di no.

Abbiamo costruito Veriprajna perché crediamo che la risposta debba essere sì — non come aspirazione, ma come proprietà strutturale del sistema stesso. L'equità non è una funzionalità da aggiungere dopo il lancio. È un muro portante. Toglietelo, e l'intero edificio crolla.

La prima ondata di AI nel credito è stata definita da velocità e scala. La seconda sarà definita dalla capacità del vostro sistema di sopravvivere a un mandato di comparizione. Io so per quale delle due sto costruendo.