Een boete van $2,5 miljoen legde bloot wat er écht mis is met AI in kredietverlening — en het is niet wat je denkt

Ik zat op een donderdagavond in juli 2025 in mijn thuiskantoor en scrolde door het persbericht van de procureur-generaal van Massachusetts over Earnest Operations, toen ik iets voelde wat ik niet had verwacht: opluchting.

Niet omdat een kredietverstrekker een boete van $2,5 miljoen kreeg voor AI-gedreven discriminatie van zwarte en Hispanic kredietnemers. Dat was om woedend van te worden. De opluchting kwam ergens anders vandaan — van de specificiteit van de aanklachten. Het bureau van de procureur-generaal zei niet zomaar "jullie AI is bevooroordeeld." Ze noemden de exacte variabele. Ze traceerden het exacte mechanisme. Ze lieten tot in de kleinste details zien hoe een ogenschijnlijk neutraal gegeven — de Cohort Default Rate van de universiteit van een kredietnemer — een doorgeefluik werd voor raciale discriminatie die in code was ingebakken.

Mijn team bij Veriprajna en ik betogen al jaren dat de manier waarop de meeste fintechs AI inzetten bij kredietverlening op architectuurniveau kapot is. Niet alleen ethisch twijfelachtig — structureel niet in staat tot eerlijkheid. De Earnest-schikking was de eerste grote handhavingsactie die ons gelijk gaf in de taal die toezichthouders daadwerkelijk gebruiken.

En het zal niet de laatste zijn.

De variabele die onschuldig leek

Dit is wat Earnest deed, en ik wil dat je hier even bij stilstaat, want het is subtieler dan "het algoritme was racistisch."

Earnest bouwde een AI-gestuurd model voor het herfinancieren van studieleningen. Een van de inputs was de Cohort Default Rate, of CDR — een maatstaf die bijhoudt hoe vaak afgestudeerden van een specifieke universiteit in gebreke blijven op hun federale leningen. Op papier lijkt dit redelijk. Instellingen met hoge wanbetalingspercentages leveren misschien kredietnemers op die moeite hebben met terugbetalen. Waarom zou je dat niet meewegen?

Omdat de CDR niet de individuele kredietwaardigheid meet. Hij meet institutionele uitkomsten. En die uitkomsten worden gevormd door decennia van systemische onderfinanciering, vermogenskloven tussen generaties en rassenscheiding in het hoger onderwijs. Historically Black Colleges and Universities hebben hogere CDR's, niet omdat hun afgestudeerden minder bekwaam zijn, maar omdat het systeem die instellingen — en hun studenten — minder gaf om mee te werken.

Wanneer je een individu bestraft voor de statistische geschiedenis van zijn instelling, voorspel je geen risico. Je bestendigt het.

De procureur-generaal van Massachusetts voerde aan dat de voorspellende kracht van de CDR niet voortkwam uit enig signaal over de kredietnemer, maar uit de correlatie met ras en sociaal-economische klasse. Een zwarte afgestudeerde van een HBCU met een vlekkeloze kredietgeschiedenis, een solide inkomen en nul gemiste betalingen zou lager scoren dan een witte afgestudeerde van een goed gefinancierde staatsuniversiteit — vanwege waar diegene had gestudeerd, niet vanwege wat diegene daarna deed.

Ik weet nog dat ik de schikkingsdocumenten opende en ze telefonisch hardop voorlas aan mijn medeoprichter. "Ze hadden ook knock-outregels," zei ik. "Hardgecodeerde poorten die iedereen zonder minstens een green card automatisch afwezen." Er viel een lange stilte. "Dus de bias zat vanaf het begin in de architectuur," zei ze. Ja. Vanaf de allereerste regel van de beslisboom.

Waarom heeft niemand dit opgemerkt?

Dit is het deel dat me die nacht wakker hield. Earnest had interne beleidsregels. Ze hadden eisen voor modeltoezicht. Ze hadden processen voor beoordeling van uitzonderingen door senior medewerkers.

Niets daarvan werkte.

Uit het onderzoek bleek dat acceptanten het model routinematig omzeilden of willekeurige maatstaven toepasten zonder documentatie. De human-in-the-loop-waarborg — het ding waar elk AI-bedrijf naar wijst wanneer toezichthouders aankloppen — was toneelspel. Er was geen consistente logging. Geen onafhankelijke beoordeling. Geen audittrail die je kon vertellen waarom een bepaalde override had plaatsgevonden.

Ik heb dit patroon zo vaak gezien dat we het intern een naam hebben gegeven: governance cosplay. De instelling heeft alle juiste beleidsregels op papier. Het organigram toont een complianceteam. De bestuurspresentatie noemt "verantwoorde AI." Maar als je de motorkap opent, is er geen mechanisme dat het beleid met de code verbindt. Het algoritme draait in het ene universum; het governanceraamwerk bestaat in een ander.

De Earnest-zaak maakte dit expliciet. Zowel algoritmische bias als onbewaakte menselijke bias bestonden naast elkaar in hetzelfde systeem, waardoor het — zoals ik schreef in onze interactieve analyse van de zaak — fundamenteel onmogelijk was om het te auditen en te verdedigen.

Wat gebeurt er als de ongelijkheid 29 procentpunten bedraagt?

Als Earnest de scalpelzaak was — precies, op variabeleniveau, traceerbaar — dan is Navy Federal Credit Union de moker.

In 2022 keurde Navy Federal, de grootste kredietunie van de Verenigde Staten, ongeveer 77% van de witte aanvragers van conventionele hypotheken goed. En voor zwarte aanvragers? 48,5%. Dat is een kloof van bijna 29 procentpunten — de grootste van alle top 50-hypotheekverstrekkers in het land.

Het verweer van Navy Federal was voorspelbaar: "Openbare HMDA-data bevatten geen kredietscores of beschikbare liquiditeit. Je kunt geen conclusies trekken zonder het volledige plaatje." Het is hetzelfde verweer waar elke instelling naar grijpt. En tien jaar geleden had het misschien gewerkt.

Deze keer werkte het niet. Toen onafhankelijke onderzoekers corrigeerden voor meer dan een dozijn variabelen — inkomen, schuld-inkomenratio, vastgoedwaarde, buurtkenmerken — hadden zwarte aanvragers nog altijd meer dan twee keer zoveel kans om te worden afgewezen als witte aanvragers met identieke profielen.

Ik weet nog dat ik deze cijfers vorig jaar presenteerde op een fintech-conferentie. Een aanwezige — een VP Risk bij een middelgrote kredietverstrekker — stak zijn hand op en zei: "Maar misschien zit er iets in de data dat we niet zien. Een legitieme factor." Ik vroeg hem: "Als jouw model een raciale kloof van 29 punten oplevert die blijft bestaan na correctie voor elke variabele die je kunt bedenken, op welk punt stop je dan met zoeken naar onschuldige verklaringen en begin je naar het model te kijken?"

Hij had geen antwoord. Het grootste deel van de sector heeft dat ook niet.

In mei 2024 oordeelde een federale rechter dat vorderingen wegens disparate impact tegen Navy Federal konden doorgaan naar de discovery-fase. Dat betekent dat eisers de interne logica van het acceptatiealgoritme van de kredietunie mogen onderzoeken. Het tijdperk van "ons model is bedrijfseigen en te complex om uit te leggen" is voorbij.

Statistische ongelijkheid alleen is nu genoeg om een verzoek tot niet-ontvankelijkverklaring te overleven. De bewijslast is verschoven: bewijs dat je proces eerlijk is, of ga de discovery in.

Waarom blijven LLM-wrappers zakken voor de eerlijkheidstoets?

Hier moet ik onomwonden zijn over iets dat veel mensen in AI niet willen horen.

De dominante architectuur in fintech-AI op dit moment — wat ik het "wrapper"-model noem — is structureel niet in staat te voldoen aan de regelgevende normen die nu al bestaan, laat staan aan de normen die er in 2026 aankomen.

Een wrapper neemt je data, geeft die door aan een large language model van een derde partij zoals GPT-4 of Gemini, en levert een output. Het is snel te bouwen. Het doet het geweldig in een demo. En het is een compliance-tijdbom.

LLM's voorspellen het volgende token in een reeks. Ze halen geen feiten op. Ze voeren geen actuariële berekeningen uit. Ze redeneren niet over causaliteit. Wanneer je een LLM vraagt een kredietaanvraag te beoordelen, genereert het tekst die klinkt als een kredietbeoordeling. Maar het kan een rechtvaardiging voor afwijzing verzinnen die geen basis heeft in het feitelijke dossier van de aanvrager. De sector noemt dit hallucinatie. Toezichthouders noemen het een overtreding.

De CFPB is ondubbelzinnig geweest: kredietverstrekkers moeten "nauwkeurige en specifieke redenen" geven voor adverse actions. Je kunt een afgewezen aanvrager niet vertellen "het algoritme heeft besloten" of een vage categorie aanhalen zoals "aankoopgeschiedenis" wanneer de werkelijke trigger een niet-traditioneel gegeven was waar het model zich aan vastklampte. "Het algoritme heeft besloten" is geen juridisch verdedigbare uitspraak — het Bureau heeft dat expliciet gezegd.

En er is een dieper probleem. LLM's worden getraind op het internet. Het internet is doordrenkt van historische vooroordelen — raciale, gender-, sociaal-economische. Wanneer jouw wrapper een LLM gebruikt om het arbeidsverleden of het verhaal van een kredietnemer te "beoordelen", kan het model stereotypen toepassen die in zijn trainingsdata zijn ingebed. Bepaalde nationaliteiten, bepaalde beroepen, bepaalde postcodes dragen onzichtbaar gewicht in de latente ruimte van het model. Niet omdat iemand bias heeft ingeprogrammeerd. Omdat de trainingsdata de bias zijn.

Ik had hier in het begin een discussie over met een investeerder. Hij zei: "Gebruik gewoon GPT met een goede prompt. Je maakt het te ingewikkeld." Ik liet een demo zien waarin we dezelfde kredietaanvraag door een wrapper haalden in twee versies — één met een naam die als wit werd gelezen, één met een naam die als zwart werd gelezen. De outputs waren niet identiek. De toon verschoof. De risicotaal verschoof. Niet dramatisch. Subtiel. Het soort subtiliteit dat, opgeschaald over miljoenen beslissingen, een kloof van 29 punten oplevert.

Hij stopte met tegenspreken.

Wat betekent "Deep AI" eigenlijk?

Ik gebruik de term "Deep AI" niet als marketing — hoewel ik de scepsis begrijp — maar als een technisch onderscheid ten opzichte van wat het grootste deel van de sector bouwt.

Een Deep AI-systeem voor kredietverlening roept niet één model aan en geeft een antwoord terug. Het is een meerlaagse architectuur waarin verschillende soorten intelligentie verschillende soorten beslissingen afhandelen, en elke laag auditeerbaar is.

Deterministische regel-engines handelen de dingen af die 100% correct moeten zijn — verblijfsvereisten, regelgevende drempels, harde compliancecontroles. Deze zijn niet probabilistisch. Ze zijn logica. Ze hallucineren niet.

Gradient-boosted modellen zoals XGBoost verzorgen gestructureerde kredietscoring — het soort tabulaire data waarbij interpreteerbaarheid en stabiliteit belangrijker zijn dan taalkundige vloeiendheid. Deze modellen zijn saai. Ze zijn ook betrouwbaar, uitlegbaar en goed begrepen door toezichthouders.

Fine-tuned LLM's worden ingezet — maar alleen voor waar ze daadwerkelijk goed in zijn: entiteiten extraheren uit ongestructureerde documenten, belastingaangiften parsen, bankafschriften lezen. En ze zijn gegrond via Retrieval-Augmented Generation, wat betekent dat het model alleen kan verwijzen naar de daadwerkelijke documenten van de aanvrager, niet naar de vage associaties uit zijn trainingsdata.

Bovenop dit alles zit een laag voor continue monitoring die modeldrift, biasdrift en hallucinatiepercentages in realtime volgt. Wanneer de Disparate Impact Ratio — de verhouding tussen goedkeuringspercentages van beschermde groepen en controlegroepen — onder de drempel van 0,8 zakt (de viervijfderegel die toezichthouders als alarmsignaal gebruiken), slaat het systeem alarm nog voordat er een menselijke klacht opduikt.

Dit is geen ambitie. We hebben het gebouwd omdat het alternatief — de wrapper, de black box, de governance cosplay — Earnest-schikkingen en Navy Federal-rechtszaken blijft produceren.

Hoe bouw je eerlijkheid daadwerkelijk in een model in?

Mensen vragen me dit voortdurend, en ik denk dat ze verwachten dat het antwoord simpel is. Dat is het niet. Maar het is ook niet mysterieus.

Fairness engineering betekent dat je in elke fase van de levenscyclus van het model wiskundige beperkingen toepast. Vóór de training onderzoek je je data op hiaten in de representatie en gebruik je technieken zoals synthetische oversampling om ondervertegenwoordigde demografische groepen in balans te brengen. Tijdens de training zet je adversarial debiasing in — een techniek waarbij een secundair model probeert het ras van de aanvrager te voorspellen op basis van de output van het primaire model. Als dat lukt, lekt het primaire model beschermde informatie, en train je opnieuw totdat het adversariële model faalt.

Na de training kalibreer je beslissingsdrempels om equalized odds te waarborgen — wat betekent dat het model even nauwkeurig is voor alle demografische groepen. Niet even soepel. Even nauwkeurig. Een model dat iedereen goedkeurt, is niet eerlijk. Een model dat voor iedereen even vaak gelijk heeft, wel.

En dan is er uitlegbaarheid. Elke adverse action die ons systeem genereert, gaat vergezeld van SHAP-waarden — een wiskundig rigoureuze attributiemethode die je precies vertelt welke kenmerken de beslissing hebben aangedreven, en in welke mate. We genereren contrafeitelijke verklaringen in realtime: "Als je kredietbenutting 15% lager was geweest, of je inkomen $5.000 hoger, dan zou deze lening zijn goedgekeurd." Dat is geen hoffelijkheid. Onder de huidige CFPB-richtsnoeren nadert het een vereiste.

Eerlijke AI is geen model dat vermijdt iets aanstootgevends te zeggen. Het is een systeem waarin elke beslissing kan worden ontleed, betwist en met wiskunde verdedigd.

Voor de volledige technische uiteenzetting van onze fairness-engineeringpijplijn en -architectuur heb ik een gedetailleerd onderzoeksrapport gepubliceerd dat dieper gaat dan ik hier kan.

De regelgevende muren komen dichterbij

Laat me het landschap schetsen voor iedereen die denkt dat hij tijd heeft.

De CFPB-richtsnoeren uit 2023 en 2025 over adverse action notices hebben tanden. SR 11-7 — de norm van de Federal Reserve voor modelrisicobeheer — vereist nu gedocumenteerde conceptuele soliditeit, onafhankelijke validatie door teams zonder band met de ontwikkeling, en regelmatige uitkomstenanalyse. Het NIST AI Risk Management Framework 2.0, uitgebracht in 2025, introduceerde het concept van een "AI Bill of Materials" — een volledige inventaris van elke gegevensbron, elk model (inclusief API's van derden) en elke interactie tussen componenten.

Dit zijn geen richtsnoeren die je kunt negeren. Een federale rechter heeft zojuist discovery in het algoritme van Navy Federal toegestaan. Het bureau van de procureur-generaal van Massachusetts beboette Earnest niet alleen — het verplichtte het bedrijf zijn modelgovernance te herzien, onafhankelijke validatie in te voeren en zich te onderwerpen aan doorlopende monitoring.

De boodschap is duidelijk: als je je model niet kunt uitleggen, kun je het niet verdedigen. En als je het niet kunt verdedigen, ga je betalen — in schikkingen, in proceskosten, in reputatieschade en in de erosie van het vertrouwen bij de gemeenschappen die je zegt te bedienen.

Waarom "zoeken naar alternatieven" de vereiste is waar niemand klaar voor is

Er is één regelgevend concept waarvan ik denk dat het de sector meer zal hervormen dan welk ander ook, en bijna niemand heeft het erover.

Onder de huidige fair lending-wetgeving is het niet genoeg om aan te tonen dat je model nauwkeurig is. Je moet actief zoeken naar minder discriminerende alternatieven — modellen die vergelijkbare voorspellende prestaties bereiken met een kleinere ongelijkheidskloof. Als een eiser kan aantonen dat zo'n alternatief bestond en jij het niet hebt gebruikt, zakt jouw model voor de juridische toets, ongeacht de nauwkeurigheid ervan.

Denk na over wat dat operationeel betekent. Je kunt niet zomaar één model bouwen, het op bias testen en het uitrollen. Je moet meerdere configuraties trainen — verschillende featuresets, verschillende algoritmes, verschillende drempelkalibraties — en documenteren waarom je die ene hebt gekozen die je hebt gekozen. Je hebt bewijs nodig dat je hebt gezocht naar een eerlijkere optie en die ofwel hebt gevonden (en overgenomen) ofwel hebt aangetoond dat er geen wezenlijk minder discriminerend alternatief bestond.

We hebben drie maanden besteed aan het bouwen van onze LDA-zoekpijplijn (less discriminatory alternatives). Drie maanden waarin mijn engineeringteam bleef vragen: "Denken we hier niet te ver over door?" En toen kwam de Earnest-schikking, en het bureau van de procureur-generaal noemde specifiek het verzuim van het bedrijf om naar alternatieven te zoeken. Wij dachten er niet té ver over door. De sector dacht er juist te weinig over na.

De Earnest-les die de meeste mensen missen

Ik wil afsluiten met iets dat me sinds juli dwarszit.

Het merendeel van de commentaren op de Earnest-schikking richtte zich op de CDR-variabele. En ja, dat was de kop. Maar het diepere falen was niet een slechte variabele. Het was de afwezigheid van een architectuur die de slechte variabele zou hebben opgevangen voordat die ooit in productie kwam.

Earnest had geen onafhankelijke modelvalidatie. Ze hadden geen systematische proxytesten. Ze hadden geen auditeerbare logging van menselijke overrides. Ze hadden geen continue biasmonitoring. Ze hadden een model, een beleidsdocument en een kloof tussen die twee die breed genoeg was om er een class action doorheen te rijden.

De $2,5 miljoen was niet de prijs van bias. Het was de prijs van het bouwen van AI zonder de infrastructuur om te weten wanneer er bias is.

Dat is het onderscheid waar ik steeds op terugkom. De vraag is niet "is jouw AI bevooroordeeld?" — elk model dat op historische data is getraind, draagt de vingerafdrukken van historische ongelijkheid. De vraag is: heb jij de architectuur om het te detecteren, te meten, uit te leggen en te corrigeren voordat een toezichthouder het voor jou doet?

De meeste kredietverstrekkers zouden, als ze eerlijk zijn, nee antwoorden.

We hebben Veriprajna gebouwd omdat we geloven dat het antwoord ja moet zijn — niet als ambitie, maar als structurele eigenschap van het systeem zelf. Eerlijkheid is geen functie die je na de lancering vastschroeft. Het is een dragende muur. Haal hem weg en het hele gebouw stort in.

De eerste golf van AI in kredietverlening werd gedefinieerd door snelheid en schaal. De tweede golf zal worden gedefinieerd door de vraag of jouw systeem een dagvaarding kan overleven. Ik weet voor welke van de twee ik bouw.