Het algoritme dat zwarte vrouwen huisvesting weigerde — en wat het me leerde over AI bouwen die zich niet kan verstoppen

Ik zat op een dinsdagavond in mijn thuiskantoor door de definitieve schikkingsdocumenten te scrollen in Louis et al. v. SafeRent Solutions, LLC, toen één enkel detail me deed verstijven.

Mary Louis en Monica Douglas — twee zwarte vrouwen met federaal gefinancierde huisvestingsvouchers — was een appartement geweigerd. Niet door een verhuurder die hen in de ogen keek en nee zei. Door een score. Een getal tussen 200 en 800, gegenereerd door een algoritme genaamd "Registry ScorePLUS", dat besloot dat ze te risicovol waren om te huisvesten. Het algoritme wist niet dat ze zwart waren. Dat hoefde het niet. Het wist alleen dat hun kredietgeschiedenissen leken op de kredietgeschiedenissen van mensen die generaties lang systematisch waren uitgesloten van financiële systemen — en dat noemde het "risico".

De schikking bedroeg $2,275 miljoen. Het gerechtelijk bevel duurt vijf jaar. En de uitspraak bevatte een zin die ik drie keer las omdat ik niet kon geloven dat een federale rechtbank het daadwerkelijk had gezegd: als een verhuurder primair vertrouwt op een AI-score van een derde partij om huisvestingsbeslissingen te nemen, deelt het bedrijf dat de score bouwde in de aansprakelijkheid onder de Fair Housing Act.

Ik klapte mijn laptop dicht en zat daar een tijdje in het donker. Want die uitspraak veranderde niet alleen de sector van huurderscreening. Ze veranderde de hele rekensom van wat het betekent om AI te bouwen voor gereguleerde markten. En ze bevestigde iets waar mijn team bij Veriprajna al jaren voor had gepleit — soms tegenover sceptische investeerders, soms tot onze eigen uitputting: dat de manier waarop de meeste bedrijven AI inzetten bij beslissingen met hoge inzet niet alleen ethisch twijfelachtig is. Het is architectonisch gebroken.

Wat ging er eigenlijk mis binnen het algoritme van SafeRent?

De technische fout is bedrieglijk eenvoudig te beschrijven en tergend moeilijk op te lossen zonder je hele benadering van modelontwerp te heroverwegen.

Het scoringssysteem van SafeRent leunde zwaar op traditionele kredietgeschiedenis en niet-huurgerelateerde schulden — zaken als medische rekeningen, oude creditcardsaldi, het soort financieel littekenweefsel dat zich opstapelt wanneer je jarenlang armoede hebt moeten navigeren. Wat het niet meewoog was het meest relevante feit over zijn subjecten: houders van een huisvestingskeuze-voucher hebben een gegarandeerde inkomstenstroom van de federale overheid. Hun huur wordt gesubsidieerd. De kans dat zij betalingen missen is, statistisch gezien, heel anders dan een ruwe kredietscore zou suggereren.

Maar het model wist dat niet. Of preciezer: niemand had het gezegd dat dit ertoe deed.

Het algoritme discrimineerde niet met opzet. Het discrimineerde door het ontwerp — door historisch bevooroordeelde data als neutrale waarheid te behandelen.

Hier worden de cijfers vernietigend. Vanaf oktober 2021 was de mediane kredietscore voor blanke consumenten 725. Voor Hispanic consumenten 661. Voor zwarte consumenten 612. Wanneer je een model bouwt dat kredietscore behandelt als een primaire voorspeller van "risico op huurprestatie", maak je geen neutrale wiskundige keuze. Je codeert een eeuw van redlining, roofzuchtige leningen en vermogensongelijkheid in één enkel kenmerkgewicht. Het algoritme van SafeRent keek naar de kredietgeschiedenis van Mary Louis en zag risico. Wat het had moeten zien, was een vrouw met gegarandeerd huurgeld en een systeem dat haar nooit een eerlijke kans had gegeven om krediet op te bouwen.

Waarom oordeelde een rechtbank dat de softwareleverancier aansprakelijk is?

Dit is het deel dat elke oprichter van een AI-bedrijf 's nachts wakker zou moeten houden.

SafeRent probeerde de voor de hand liggende verdediging: wij zijn een technologieleverancier, geen verhuurder. Wij nemen geen huisvestingsbeslissingen. Wij verstrekken alleen informatie. De rechtbank verwierp dit argument categorisch. Het Department of Justice diende een Statement of Interest in met het argument dat wanneer een verhuurder zijn besluitvorming uitbesteedt aan een algoritme, de ontwikkelaar van dat algoritme functioneel deel uitmaakt van de beslissingsketen.

Denk even na over wat dat betekent. Elk bedrijf dat AI-gedreven scoring, screening, acceptatie of risicobeoordeling verkoopt in een gereguleerde markt heeft zojuist het vermogen verloren om te zeggen "wij hebben alleen het gereedschap gebouwd".

Ik herinner me het gesprek met mijn medeoprichter de week nadat de uitspraak was gevallen. We waren aan het bellen, zogenaamd om een oplevering voor een klant te bespreken, en in plaats daarvan besteedden we vijfenveertig minuten aan het in kaart brengen van elke sector waarin dit precedent zou kunnen gelden. Kredietscoring. Verzekeringsacceptatie. Werknemersscreening. Zorgtriage. De lijst bleef groeien. Op een gegeven moment zei een van ons: "Dit is geen huisvestingszaak. Dit is het begin van het aansprakelijkheidsrecht voor AI-producten." We waren niet aan het vieren — we hadden precies voor dit scenario gewaarschuwd — maar er was een grimmige voldoening in het zien hoe het rechtssysteem eindelijk inhaalde wat de technologie ongecontroleerd had gedaan.

De schikking kostte SafeRent niet alleen $2,275 miljoen. Ze legde een gerechtelijk bevel van vijf jaar op met tanden:

SafeRent mag niet langer geautomatiseerde goedkeurings- of afwijzingsaanbevelingen uitvaardigen voor voucherhouders tenzij het model door onafhankelijke burgerrechtenexperts is gevalideerd op eerlijkheid. Zonder die validatie kan het systeem alleen ruwe achtergrondinformatie verstrekken — ontdaan van zijn voorspellende scoring. Het bedrijf moet zijn klanten ook trainen over de beperkingen van scoringsmodellen voor gesubsidieerde bevolkingsgroepen. En deze voorwaarden gelden landelijk, niet alleen in Massachusetts.

Voor een diepere blik op de structuur van de schikking en de regelgevingsimplicaties ervan schreef ik een interactieve uiteenzetting van de volledige zaakanalyse.

De valstrik van de LLM-wrapper

Ongeveer een jaar voordat de SafeRent-schikking werd afgerond, had ik een gesprek met een potentiële klant — een middelgroot vastgoedbeheerbedrijf dat ongeveer 12.000 eenheden beheerde in het zuidoosten. Ze waren benaderd door een leverancier die een "AI-gedreven huurderscreeningsoplossing" aanbood, gebouwd bovenop een groot taalmodel. De pitch was gelikt: natuurlijke taalverwerking, directe risicosamenvattingen, prachtige dashboards. De leverancier had een Series A opgehaald. Ze hadden logo's op hun website.

Ik stelde één vraag: "Kan het systeem, voor een specifieke aanvrager, uitleggen welke kenmerken de afwijzingsbeslissing hebben aangedreven op een manier die voldoet aan de eisen voor kennisgeving van nadelige maatregelen onder de Fair Credit Reporting Act?"

Stilte. Toen: "We kunnen een uitleg van de beslissing genereren in natuurlijke taal."

"Gegenereerd door de LLM?"

"Ja."

"Dus de uitleg is een plausibel verhaal over waarom de persoon werd afgewezen, geen geverifieerd causaal spoor van de daadwerkelijke modelberekening?"

Nog meer stilte.

Dit is het kernprobleem met wat ik "LLM-wrappers" noem — en het is het probleem dat de SafeRent-zaak in brute, kostbare details belichtte. Een groot taalmodel kan een huurovereenkomst samenvatten. Het kan een brief opstellen. Het kan zelfs een overtuigend klinkende uitleg produceren van waarom een aanvrager werd afgewezen. Maar het kan niet certificeren dat zijn redenering causaal verbonden is met het daadwerkelijke beslissingstraject. Het kan niet bewijzen dat een beschermd kenmerk de uitkomst niet heeft beïnvloed. Het kan niet zoeken naar minder discriminerende alternatieven. Het hallucineert uitleg op dezelfde manier als het al het andere hallucineert — door het statistisch meest waarschijnlijke volgende token te voorspellen.

Bij beslissingen met hoge inzet is het vermogen om een plausibel antwoord te genereren niets waard. Het vermogen om een eerlijk antwoord te bewijzen is alles waard.

Investeerders hebben tegen mij gezegd: "Gebruik gewoon GPT en voeg er een compliancelaag bovenop toe." Iemand zei het recht in mijn gezicht op een pitchevenement, alsof het vanzelfsprekend was, alsof we de zaken ingewikkelder maakten dan nodig. Ik wilde hem de SafeRent-schikkingsdocumenten overhandigen en vragen welke compliancelaag een model zou hebben betrapt dat systematisch voucherinkomen negeerde. Het antwoord is: geen enkele. Want de bias zat niet in de opmaak van de output of de gebruikersinterface. Ze zat in de kenmerkgewichten. Ze zat in de trainingsdata. Ze zat in de fundamentele architectuur van wat het model was geoptimaliseerd om te voorspellen.

Hoe verandert de HUD-richtlijn van 2024 het spel?

In mei 2024 vaardigde HUD een richtlijn uit die de lessen van de SafeRent-zaak feitelijk codificeerde tot regelgevende verwachtingen voor de hele huisvestingssector. De norm is "disparate impact" — wat betekent dat een systeem illegaal kan zijn zelfs als niemand de bedoeling had te discrimineren, zolang het onevenredig negatieve effecten produceert op een beschermde groep die niet kunnen worden gerechtvaardigd door een legitiem, niet-discriminerend belang.

Drie vereisten springen eruit:

Kenmerkrelevantie moet causaal zijn, niet slechts correlationeel. Elk gegevenspunt in een screeningmodel heeft een verdedigbare koppeling nodig met de daadwerkelijke huurprestatie. "Kredietscore voorspelt wanbetaling" is niet voldoende als kredietscore een proxy is voor ras en je niet hebt getest of voucher-gecorrigeerd inkomen een betere voorspeller is.

Aanvragers moeten een betekenisvol pad hebben om AI-resultaten aan te vechten. Dit betekent dat menselijke controle in de lus niet optioneel is — het is verplicht. Een systeem dat een score produceert zonder verhaalsmechanisme is een systeem dat wacht om aangeklaagd te worden.

Ontwikkelaars moeten zoeken naar minder discriminerende alternatieven. Dit is de bepaling die alles verandert. Het is niet genoeg om een model te bouwen dat werkt. Je moet aantonen dat je hebt gezocht naar modellen die even goed werken met minder discriminerende impact — en die ofwel hebt toegepast, ofwel kunt bewijzen dat er geen bestaan.

Die laatste vereiste — het minder discriminerende alternatief, of LDA — is waar de meeste AI-bedrijven die ik heb gezien uit elkaar vallen. Niet omdat de wiskunde onmogelijk moeilijk is, maar omdat ze er nooit toe zijn gedwongen. Ze optimaliseren op nauwkeurigheid. Ze leveren op. Ze gaan verder. Het idee dat je mogelijk duizenden alternatieve modelconfiguraties zou moeten doorzoeken om er een te vinden die prestaties behoudt terwijl eerlijkheid over demografische groepen wordt gemaximaliseerd? Dat is geen functieverzoek dat de meeste productmanagers ooit hebben ontvangen.

Wat we in plaats daarvan daadwerkelijk bouwen

Ik moet eerlijk zijn over iets: toen we bij Veriprajna voor het eerst begonnen met het bouwen van eerlijkheidsbewuste systemen, deden we het verkeerd.

Onze aanvankelijke benadering was post-hoc auditing. Bouw het model, test het op bias, pas de drempels aan als iets er verkeerd uitzag. Het voelde verantwoord. Het voelde als genoeg. Dat was het niet.

Het probleem met naverwerking is dat je uitkomsten probeert te patchen zonder de oorzaken te begrijpen. Je kunt een beslissingsdrempel aanpassen zodat de goedkeuringspercentages er tussen groepen vergelijkbaar uitzien — een techniek genaamd "Equalized Odds" — maar als het onderliggende model een bevooroordeelde representatie van risico heeft geleerd, breng je alleen make-up aan op een structureel probleem. Het model denkt nog steeds dat bepaalde mensen risicovoller zijn. Je overschrijft het alleen op de laatste meter. En de eerste keer dat iemand de kenmerkbelangen audit, staart de bias je recht in het gezicht aan.

De doorbraak — en ik gebruik dat woord voorzichtig, want het voelde meer als een langzame, frustrerende opeenstapeling van mislukkingen dan als een eurekamoment — kwam toen we eerlijkheid gingen behandelen als een optimalisatiebeperking in plaats van een audit na implementatie.

Dit is wat dat in de praktijk betekent. Tijdens het trainen van het model minimaliseren we niet alleen de voorspellingsfout. We bestraffen het model tegelijkertijd als een secundair "vijandig" netwerk een beschermd kenmerk (zoals ras of geslacht) kan voorspellen op basis van de output van het primaire model. Als de tegenstander slaagt — als hij naar de voorspellingen van het model kan kijken en kan raden wie zwart is en wie blank — wordt het primaire model bestraft en opnieuw getraind. Het resultaat is een model dat is gedwongen om kenmerken te leren die werkelijk onafhankelijk zijn van beschermde eigenschappen.

We combineren dit met wat onderzoekers "contrafeitelijk testen" noemen. Voor elke aanvrager die het model beoordeelt, stellen we de vraag: als het ras van deze persoon anders was maar al het andere hetzelfde bleef, zou de beslissing dan veranderen? Als het antwoord ja is, faalt het model. Niet "markeert voor controle". Faalt.

Contrafeitelijke eerlijkheid stelt de vraag die elke burgerrechtenadvocaat uiteindelijk zal stellen: zou deze persoon zijn goedgekeurd als ze blank waren geweest? Je model kan maar beter hetzelfde antwoord hebben.

Er was een nacht — ik denk dat het rond 2 uur 's nachts was — dat we onze eerste volledige contrafeitelijke audit uitvoerden op een prototype-screeningmodel dat we hadden gebouwd met een openbare huisvestingsdataset. We verwachtten misschien een discrepantie van 3-4%. Het werkelijke getal lag dichter bij 11%. Elf procent van de beslissingen zou zijn omgeslagen als we niets veranderden behalve de demografische groep. Mijn engineer stuurde me een Slack-bericht dat gewoon zei: "We hebben een probleem." We besteedden de volgende drie weken aan het vanaf de grond opnieuw opbouwen van de kenmerkpijplijn, waarbij we kredietscore vervingen door een samengestelde indicator die voucherinkomen, directe huurbetalingsgeschiedenis en werkstabiliteit woog. Het contrafeitelijke gat daalde tot onder 1%.

Dat is het verschil tussen wat ik "Deep AI" noem en een LLM-wrapper. Het gaat niet om betere prompts of een mooiere interface. Het gaat erom of eerlijkheid een eigenschap is van de architectuur van het systeem of een sticker die je op de doos plakt.

Voor de volledige technische uiteenzetting van onze aanpak van eerlijkheidsengineering — inclusief de methodologie voor adversarial debiasing en de wiskundige formalisering van de metrieken die we gebruiken — zie ons onderzoekspaper over algoritmische integriteit en ondernemingsrisico.

Waarom kun je niet gewoon achteraf auditen na implementatie?

Mensen vragen me dit voortdurend, en ik begrijp de aantrekkingskracht. Auditen voelt goedkoper. Het voelt minder verstorend. Je bouwt snel, levert snel op, audit later, herstelt wat kapotgaat.

Het probleem is dat in gereguleerde markten "wat kapotgaat" mensenlevens zijn.

Tegen de tijd dat het algoritme van SafeRent in de rechtbank werd aangevochten, draaide het al jaren. Hoeveel Mary Louissen waren er die nooit een rechtszaak aanspanden? Hoeveel gezinnen met vouchers werd huisvesting geweigerd door een algoritme dat niet verder kon kijken dan hun kredietscore? Die weigeringen worden niet teruggedraaid door een schikking. Die appartementen gingen naar iemand anders. Die gezinnen vonden ergens slechter om te wonen, of vonden helemaal niets.

Statische audits missen ook iets cruciaals: datadrift. De sociaaleconomische patronen die een model tijdens de training heeft geleerd, verschuiven na verloop van tijd. De benuttingsgraden van vouchers veranderen. Kredietscoringsmethodologieën evolueren. Huurmarkten worden krapper of losser. Een model dat in 2022 "eerlijk genoeg" was, kan tegen 2024 discriminerend zijn — niet omdat iemand de code veranderde, maar omdat de wereld eromheen veranderde.

Dit is waarom we zijn overgestapt naar continue monitoring met geautomatiseerde hertrainingstriggers. Het model wordt niet slechts eenmaal per jaar geaudit. Het wordt geaudit elke keer dat het een beslissing neemt, tegen een reeks eerlijkheidsmetrieken — Statistical Parity Difference, Disparate Impact Ratio, Equalized Odds — die in realtime draaien. Wanneer een metriek voorbij een drempel afdrijft, markeert het systeem dit voordat een mens de output ooit ziet.

Ik zie het zo: je zou geen brug bouwen, hem één keer inspecteren en hem daarna nooit meer controleren. Je zou hem continu monitoren op spanning, vermoeidheid, veranderingen in de omgeving. AI-systemen die beslissingen nemen over de huisvesting, het krediet en het werk van mensen verdienen minstens dezelfde technische nauwkeurigheid die we aan beton en staal geven.

Wat betekent de EU AI Act voor Amerikaanse bedrijven?

Als de SafeRent-schikking en de HUD-richtlijn de huidige regelgevende ondergrens vertegenwoordigen, dan vertegenwoordigt de EU AI Act — waarvan de gefaseerde handhaving in 2025-2026 begint — waar het plafond naartoe gaat.

De Act classificeert AI-systemen die worden gebruikt voor kredietscoring, huurderscreening en werkgelegenheidsbeslissingen als "Hoog Risico", waardoor ze onderworpen worden aan verplichte conformiteitsbeoordelingen, transparantievereisten en verplichtingen tot menselijk toezicht. Amerikaanse bedrijven die Europese markten bedienen, of die Amerikaanse markten bedienen op manieren waar Europese toezichthouders besluiten zich om te bekommeren, zullen moeten voldoen.

Maar dit is wat ik interessanter vind dan de specifieke vereisten: de EU Act operationaliseert de vier pijlers van het NIST AI Risk Management Framework — Govern, Map, Measure, Manage — tot juridisch bindende verplichtingen. Wat vrijwillige richtlijnen waren, wordt verplichte praktijk. De bedrijven die hun architecturen vroeg met deze principes op één lijn brachten, zullen naleving eenvoudig vinden. De bedrijven die eerlijkheid als een marketingclaim behandelden, zullen het duur vinden.

Ik heb dit patroon zien ontvouwen bij gegevensprivacy (GDPR), financiële verslaggeving (SOX) en nu AI-governance. Het regelgevende traject beweegt maar in één richting. Vandaag bouwen voor de vereisten van morgen is geen idealisme. Het is risicomanagement.

Het probleem van modelveelvoud waar niemand over praat

Er bestaat een concept in machine learning-onderzoek genaamd "modelveelvoud" — de constatering dat er voor elke gegeven dataset potentieel miljoenen modellen zijn die een vrijwel identieke nauwkeurigheid bereiken maar wild uiteenlopende eerlijkheidsprofielen hebben. Sommige van die modellen zijn diep bevooroordeeld. Sommige zijn opmerkelijk eerlijk. En zonder een expliciete, systematische zoektocht naar de eerlijke, zullen ontwikkelaars vrijwel altijd uitkomen op wat de optimalisator als eerste vindt.

Dit is de technische basis van de vereiste van het minder discriminerende alternatief, en het is waarom ik geloof dat de LDA-zoektocht de allerbelangrijkste capaciteit zal worden in de ontwikkeling van gereguleerde AI in het komende decennium.

Wanneer we een LDA-zoektocht uitvoeren, trainen we niet slechts één model. We trainen er honderden, waarbij we kenmerksets, architecturen, hyperparameters en eerlijkheidsbeperkingen variëren, en vervolgens het hele landschap van afwegingen tussen nauwkeurigheid en eerlijkheid in kaart brengen. Het doel is om het model te vinden dat de bedrijfsdoelstelling bereikt — huurprestatie voorspellen, kredietrisico beoordelen, wat de taak ook is — met de minimaal mogelijke discriminerende impact.

Soms onthult die zoektocht iets ongemakkelijks: het "meest nauwkeurige" model is ook het meest bevooroordeelde, omdat nauwkeurigheid en historische bias gecorreleerd zijn in de trainingsdata. Het op één na nauwkeurigste model zou een half procentpunt aan voorspellende kracht kunnen opofferen terwijl het het gat in de Disparate Impact Ratio met 40% verkleint. Is die afweging het waard?

Als je model 0,5% minder nauwkeurig is maar 40% minder discriminerend, en je koos voor nauwkeurigheid — veel succes met dat uitleggen aan een rechter.

In de SafeRent-zaak was de fundamentele vraag of een model de huurprestatie even goed had kunnen voorspellen zonder voucherhouders te benadelen. Het antwoord is, op basis van alles wat we over de data weten, vrijwel zeker ja. SafeRent heeft er gewoon nooit naar gekeken.

De nacht dat ik bijna instemde om een wrapper te bouwen

Ik wil eindigen met een verhaal dat ik nog niet eerder publiekelijk heb verteld.

Ongeveer achttien maanden geleden werden we benaderd door een bedrijf — ik zal ze niet noemen — dat wilde dat we een compliance-screeningtool bouwden voor een grote klant in de financiële dienstverlening. Het budget was aanzienlijk. De tijdlijn was agressief. En de specificatie die ze ons overhandigden was in essentie een LLM-wrapper: neem een foundationmodel, verfijn het op regelgevingsdocumenten, voeg een scoringslaag toe, lever het op.

Mijn team was verdeeld. De helft van hen zag de omzet. De andere helft zag de SafeRent-zaak in slow motion. We hadden een gesprek dat bijna drie uur duurde. Een van mijn engineers — iemand die ik diep vertrouw — zei iets dat me is bijgebleven: "We kunnen bouwen wat ze vragen in acht weken. We kunnen bouwen wat ze nodig hebben in acht maanden. Als we bouwen wat ze vragen, worden we de volgende casestudy over waarom deze aanpak faalt."

We liepen weg van de deal. Het was de duurste beslissing die ik als oprichter heb genomen. Ik twijfelde er wekenlang aan.

Ik twijfel er niet meer aan.

De SafeRent-schikking bewees dat de markt voor AI in gereguleerde sectoren geen race is om het snelst op te leveren. Het is een race om het veiligst op te leveren — waarbij "veilig" betekent architectonisch eerlijk, juridisch verdedigbaar en zo ontworpen dat het bestand is tegen het soort forensisch onderzoek dat een federale rechtbank uiteindelijk zal toepassen. De bedrijven die dit begrijpen, zullen de systemen bouwen die standhouden. De bedrijven die dat niet doen, zullen de volgende waarschuwende geschiedenis van $2,275 miljoen bouwen.

Het tijdperk van de black box is voorbij. Niet omdat toezichthouders het doodden, maar omdat het nooit gebouwd was om contact met de werkelijkheid te overleven. De vraag is niet of jouw AI een beslissing kan nemen. Het is of jouw AI er een kan verdedigen.