Een rechter oordeelt: miljoenen sollicitanten mogelijk gediscrimineerd door software

Vorig jaar zat ik in een hotellobby in Bangalore te wachten op een vergadering die uitliep, terwijl ik op mijn telefoon door juridische dossiers scrolde — zoals normale mensen door Instagram scrollen — toen ik bij een alinea kwam die me mijn koffie deed neerzetten.

Een federale rechter in Californië had zojuist geoordeeld dat Workday, de HR-softwaregigant van 70 miljard dollar, aansprakelijk kon worden gesteld als vertegenwoordiger onder de federale antidiscriminatiewetgeving. Geen instrument. Geen neutraal platform. Een vertegenwoordiger — dezelfde juridische categorie als een menselijke recruiter die cv's weggooit op basis van iemands leeftijd of ras.

De eiser, Derek Mobley, een Afro-Amerikaanse man boven de 40 met een beperking, was voor meer dan 100 banen afgewezen. Veel van die afwijzingen kwamen binnen enkele minuten na het solliciteren, vaak buiten kantooruren. Geen mens had zijn cv bekeken. Software besloot dat hij het niet waard was om overwogen te worden, en deed dat keer op keer met algoritmische consistentie.

Ik bouw AI-systemen. Mijn bedrijf, Veriprajna, ontwerpt cognitieve architecturen voor ondernemingen — het soort diepe, deterministische AI dat de slordige, probabilistische shortcuts moet vervangen die het grootste deel van de industrie verkoopt. En toen ik die uitspraak las, was mijn eerste gedachte niet "dit is slecht voor Workday." Het was: het grootste deel van de AI-recruitmentindustrie is gebouwd op hetzelfde verrotte fundament, en bijna niemand heeft het erover.

1,1 miljard afwijzingen en een rechter die het opmerkte

Laat me je het getal geven dat de zaal stil deed vallen toen ik het met mijn engineeringteam deelde.

Gedurende de relevante periode van de Workday-zaak werden ongeveer 1,1 miljard sollicitaties afgewezen via de software van Workday. Dat is geen typfout. Miljard, met een M.

In mei 2025 verleende een federale rechtbank voorlopige certificering van een landelijke collectieve actie wegens leeftijdsdiscriminatie onder de ADEA — de Age Discrimination in Employment Act. Dit betekent dat iedere persoon boven de 40 die sinds september 2020 via het platform van Workday een sollicitatieaanbeveling werd ontzegd, kon worden geïnformeerd en zich bij de zaak kon aansluiten. In juli 2025 breidde de rechtbank de reikwijdte uit tot sollicitanten die via HiredScore werden verwerkt, een AI-wervingstool die Workday had overgenomen.

Wanneer software een miljard sollicitaties afwijst en een rechtbank zegt "die software is juridisch jouw vertegenwoordiger," heeft de hele HR-techindustrie een structureel probleem, geen PR-probleem.

Ik herinner me de discussie die we hier intern over hadden. Een van mijn engineers — scherpe kerel, diepe ML-achtergrond — zei: "Maar Workday draait gewoon een aanbevelingsengine. Het is alsof je Google de schuld geeft van het tonen van slechte zoekresultaten." En ik zei: "Nee. Het is alsof je een uitzendbureau de schuld geeft dat je hebt ingehuurd om kandidaten te screenen en dat uitzendbureau elk cv weggooide van iedereen die vóór 1995 was afgestudeerd."

De rechtbank maakte precies dat onderscheid. Rechter Rita Lin scheidde "eenvoudige instrumenten" — spreadsheets, e-mail — van systemen die kandidaten actief scoren, rangschikken en aanbevelen. De AI van Workday ordende geen gegevens zodat een mens ze kon beoordelen. Het vervulde de traditionele werkgeversfunctie van beslissen wie doorgaat en wie niet. Dat is agentschap. Dat is aansprakelijkheid.

Hoe leert een algoritme leeftijdsdiscriminatie?

Dit is het deel dat me 's nachts wakker houdt, omdat het mechanisme zo banaal is.

Niemand bij Workday — dat geloof ik oprecht — is gaan zitten en heeft code geschreven die zegt if age > 40: reject(). Dat zou karikaturaal illegaal en triviaal detecteerbaar zijn. Het echte probleem is subtieler en, eerlijk gezegd, moeilijker op te lossen.

Wanneer je een machine-learningmodel traint op de historische wervingsgegevens van een bedrijf — hun "succesvolle werknemers" — voed je het elke vooringenomenheid die die vroegere wervingsmanagers ooit hadden. Als het bedrijf van oudsher jongere werknemers aannam voor engineeringfuncties, leert het model dat met jeugd gecorreleerde signalen "succes" voorspellen. Niet leeftijd rechtstreeks. Proxy's.

Dit is wat een AI-screeningsysteem kan afleiden over je leeftijd zonder ooit je geboortedatum te zien:

Je e-maildomein. Een @aol.com- of @hotmail.com-adres correleert met een ouder gebruikersdemografisch profiel. Je technologiereferenties — het vermelden van expertise in Lotus Notes of COBOL pint je vast op een specifiek tijdperk. Totaal aantal jaren ervaring, waarbij "15+ jaar" een temporeel ankerpunt wordt. Zelfs markers van carrièreprogressie: een functietitel "Junior Programmer" uit het begin van de jaren negentig vertelt het model precies wanneer je de arbeidsmarkt betrad.

Ik heb dit met mijn eigen team getest. We bouwden een synthetische dataset — nepcv's met gecontroleerde variabelen — en lieten ze door een standaard transformer-gebaseerde screeningpijplijn lopen. Het model was nooit iets over leeftijd verteld. Maar toen we selectiepercentages maten met de Four-Fifths Rule van de EEOC — die nadelige impact signaleert wanneer het selectiepercentage van een beschermde groep onder 80% van het percentage van de hoogste groep zakt — waren de resultaten voor sollicitanten boven de 40 verwoestend. Selectiepercentages half zo hoog als die van jongere sollicitanten. Impactratio's rond de 0,50, ruim onder de drempel van 0,80.

Het algoritme hoeft je leeftijd niet te weten. Het heeft alleen je e-mailprovider, je vocabulaire en je carrièretijdlijn nodig. De wiskunde doet de rest.

Niemand heeft discriminatie geprogrammeerd. De trainingsgegevens zijn de discriminatie, uitgekristalliseerd in gewichten en parameters en op schaal teruggeserveerd.

Waarom "Gebruik gewoon GPT" het verkeerde antwoord is

Ik krijg dit voortdurend. Van investeerders, van potentiële klanten, van goedbedoelende CTO's die drie blogposts over AI-transformatie hebben gelezen. "Waarom zet je niet gewoon een wrapper om GPT-4? Dat is goed genoeg."

Een investeerder zei dit recht in mijn gezicht tijdens een pitch. Hij leunde achterover, armen over elkaar, en zei: "Ashutosh, OpenAI heeft hier miljarden aan uitgegeven. Wil je me vertellen dat jouw bedrijf van 40 man iets beters gaat bouwen?"

Ik vertelde hem dat hij de verkeerde vraag stelde. De vraag is niet of GPT-4 "beter" is in het genereren van tekst. Natuurlijk is dat zo. De vraag is of een probabilistische tekstgeneratie-engine beslissingen zou moeten nemen die bepalen of een 52-jarige software-engineer haar gezin kan voeden.

De markt wordt overspoeld met wat ik LLM-wrappers noem — dunne applicatielagen die de output van foundation-modellen als GPT-4 of Claude herverpakken en verkopen als "AI-recruitmentoplossingen." Ze zien er indrukwekkend uit in demo's. Ze falen catastrofaal in productie, en hier is waarom.

Een LLM voorspelt het meest waarschijnlijke volgende token. Dat is het. Het is een geavanceerde autocomplete-engine. Het redeneert niet over de vraag of een kandidaat aan een functie-eis voldoet. Het genereert tekst die eruitziet als redeneren. En in werving is de kloof tussen "eruitziet als redeneren" en "daadwerkelijk redeneren" de kloof tussen naleving en een collectieve rechtszaak.

Er is een goed gedocumenteerd fenomeen dat lost-in-the-middle-syndroom heet: standaard transformer-architecturen vertonen een hoge nauwkeurigheid bij het verwerken van informatie aan het begin en einde van hun contextvenster, maar de aandacht daalt aanzienlijk in het midden. In een cv van 10 pagina's is de kans statistisch groter dat cruciale certificeringen of recente prestaties die in de middelste secties verstopt zitten, over het hoofd worden gezien. Niet omdat het model besloot dat ze niet belangrijk waren — maar omdat de architectuur letterlijk niet aan alles gelijke aandacht kan besteden.

Ik schreef over deze architecturale beperking en onze aanpak om die op te lossen in de interactieve versie van ons onderzoek.

En dan is er nog het economische probleem. LLM-wrappers worden geconfronteerd met wat ik moat-absorptie noem — naarmate aanbieders van foundation-modellen krachtigere basismodellen uitbrengen, integreren ze onvermijdelijk de functies waarop wrappers als hun waardepropositie leunen. Cv-parsing, sentimentanalyse, basismatching — OpenAI en Google zullen deze uiteindelijk native aanbieden. Een bedrijf dat slechts een API omhult, traint bij elke klantinteractie zijn eigen concurrentievoordeel weg.

De nacht waarin we ons eigen systeem braken

Ik wil je vertellen over een donderdagavond ongeveer acht maanden geleden, want die veranderde hoe ik denk over alles wat we bouwen.

We testten een prototype van onze module voor wervingsscreening — onze neuro-symbolische architectuur, die ik zo meteen zal uitleggen — tegen een benchmarkdataset. Het systeem presteerde prachtig op nauwkeurigheidsmetrieken. De precisie was hoog. De recall was solide. Mijn hoofd-ML-engineer, die hier dagen van 14 uur aan had gewerkt, straalde zowat.

Toen liet onze compliance-analist de fairness-audit lopen.

Het systeem vertoonde schendingen van demografische pariteit op het gebied van beperkingsstatus. Geen enorme — de impactratio lag rond de 0,78, net onder de drempel van 0,80. Maar het was er. Ons eigen systeem, waarvan ik iedereen had verteld dat het "bias-bestendig door ontwerp" was, produceerde discriminerende uitkomsten.

De zaal viel stil. Ik werd er misselijk van.

We brachten de volgende drie dagen door met het uit elkaar halen van de pijplijn. De boosdoener bleek een kenmerk in onze trainingsgegevens te zijn dat we als neutraal hadden aangenomen: de duur van hiaten in het arbeidsverleden. Kandidaten met een beperking hebben statistisch gezien vaker hiaten in hun arbeidsverleden — voor medisch verlof, voor toegankelijkheidsgerelateerde functieovergangen, voor herstelperioden. Ons model had geleerd dat hiaten een lager "succes" voorspelden, en het bestrafte een beperking via een proxy.

We betrapten de vooringenomenheid omdat we ernaar zochten. De meeste bedrijven die kant-en-klare AI-recruitmenttools gebruiken, zoeken niet. Ze weten niet eens dat ze dat zouden moeten doen.

We hebben het opgelost met adversarial debiasing — het trainen van een secundair "tegenstander"-model om beschermde kenmerken te voorspellen op basis van de output van onze voorspeller, en vervolgens de voorspeller te bestraffen telkens wanneer de tegenstander slaagt. Het is een in-processingtechniek die het systeem dwingt discriminerende patronen af te leren in plaats van ze slechts te maskeren in post-processing.

Maar de les was niet technisch. De les was: als wij, een bedrijf dat geobsedeerd is door fairness en verificatie, bijna een bevooroordeeld systeem hebben uitgebracht, wat brengt iedereen anders dan uit?

Wat betekent "Deep AI" eigenlijk voor werving?

Wanneer ik zeg dat we "Deep AI" bouwen in plaats van LLM-wrappers, bedoel ik niet dat we diepere neurale netwerken gebruiken. Ik bedoel dat we dieper in het probleem duiken.

Onze architectuur is neuro-symbolisch — het combineert de linguïstische capaciteiten van neurale netwerken met de logische striktheid van symbolisch redeneren. In de praktijk betekent dit dat de LLM in ons systeem niet de beslisser is. Het is de vertaler.

Zo werkt het, zonder het jargon:

Wanneer een cv ons systeem binnenkomt, extraheert een gespecialiseerd taalmodel gestructureerde feiten — "deze persoon heeft 5 jaar Python-ervaring," "deze persoon heeft een PMP-certificering," "deze persoon werkte van 2018 tot 2022 bij Bedrijf X." Dit zijn geen interpretaties. Het zijn entiteitsextracties, gekoppeld aan een kennisgraaf die de relaties tussen vaardigheden, functies en organisatorische vereisten definieert.

Vervolgens — en dit is het cruciale deel — evalueert een deterministische regelengine die geëxtraheerde feiten aan de functie-eisen. Geen neuraal netwerk. Geen kansverdeling. Echte logica: IF experience >= 5 AND skill == Python THEN eligible = TRUE. De LLM kan het beleid niet hallucineren omdat het beleid in code leeft, niet in gewichten.

Elke aanbeveling genereert een controleerbaar logicaspoor. Je kunt precies traceren welke regel werd geactiveerd, door welk gegevenspunt, in welke sectie van het dossier van de kandidaat. Wanneer een toezichthouder of de advocaat van een eiser vraagt "waarom is deze persoon afgewezen?" — heb je een antwoord dat niet "het model dacht van wel" is.

We beveiligen dit met wat we constitutionele guardrails noemen — drie beschermingslagen die vóór, tijdens en na elke interactie draaien. Input-rails vangen adversarial prompts en PII-lekken op voordat ze de kernlogica bereiken. Dialog-rails handhaven conversationele grenzen. Output-rails scannen elk resultaat op hallucinaties, toxiciteit of beleidsschendingen voordat er iets een menselijke recruiter bereikt.

Dit is niet theoretisch. Voor de volledige technische uiteenzetting van onze architectuur en het juridische kader dat het aandrijft, zie ons onderzoekspaper.

Kun je AI-werving echt eerlijk maken?

Mensen vragen me dit voortdurend, meestal met een sceptische toon die impliceert dat ze denken dat het antwoord nee is.

Mijn eerlijke antwoord: je kunt het niet perfect eerlijk maken. Fairness in werving brengt inherente afwegingen met zich mee — wiskundige, niet alleen filosofische. Optimaliseren voor demografische pariteit (gelijke selectiepercentages tussen groepen) kan botsen met gelijkheid van kansen (gelijke true-positive- en false-positive-percentages). Optimaliseren voor voorspellende pariteit (ervoor zorgen dat een hoge score voor elke groep hetzelfde betekent) kan met beide botsen.

Maar je kunt het dramatisch eerlijker maken dan de status quo, die ofwel bevooroordeelde mensen ofwel bevooroordeelde algoritmen zijn die doen alsof ze neutraal zijn. En je kunt het controleerbaar maken, wat is wat de wet daadwerkelijk vereist.

We gebruiken SHAP — SHapley Additive exPlanations — om aan elk kenmerk in elke beslissing een bijdragewaarde toe te kennen. "Vaardigheid X droeg +15 bij aan de score van deze kandidaat. Het hiaat in het arbeidsverleden droeg -3 bij." We gebruiken LIME — Local Interpretable Model-agnostic Explanations — om te testen of kleine wijzigingen een beslissing zouden omdraaien. Als het wijzigen van de postcode van een kandidaat de uitkomst verandert, is er iets mis.

We genereren contrafeitelijke verklaringen: "Deze kandidaat werd niet geselecteerd omdat certificering Y ontbrak. Als ze certificering Y hadden gehad, hadden ze boven de drempel gescoord." Dat is geen black box. Dat is een glass box, en het is wat de richtlijn van de EEOC van mei 2023 eist.

Het three-lines-of-defense-model dat de meeste bedrijven niet hebben

Hier is iets wat me schokte toen ik met HR-teams van ondernemingen begon te praten over hun AI-tools: de meesten hebben geen idee welke modellen ze draaien.

Ik bedoel dit letterlijk. Ik zat in een vergadering met de CHRO van een Fortune 500-bedrijf — iemand die verantwoordelijk is voor wervingsbeslissingen die jaarlijks tienduizenden mensen raken — en vroeg: "Kun je me de selectiepercentages per demografische groep vertellen voor jullie AI-screeningtool?" Wezenloze blik. "Kun je me vertellen welk model het gebruikt?" Langere wezenloze blik. "Kun je me vertellen wie het op vooringenomenheid heeft gevalideerd?" Ze zei: "Ik denk dat de leverancier dat afhandelt."

De leverancier "handelt" het af. Dezelfde leverancier die, onder het Workday-precedent, nu potentieel aansprakelijk is als jouw vertegenwoordiger. Dezelfde leverancier die vrijwel zeker een clausule in zijn contract heeft die de verantwoordelijkheid voor discriminerende uitkomsten afwijst.

Enterprise-AI in werving vereist wat risicomanagementprofessionals een three lines of defense-model noemen:

Eerste lijn: de bedrijfsonderdelen die AI bouwen en inzetten. Zij zijn verantwoordelijk voor de selectie van trainingsgegevens, blinde wervingstechnieken die namen en afstudeerjaren anonimiseren, en dagelijkse monitoring.

Tweede lijn: risico- en compliancetoezicht. Modelregisters — een centrale inventaris van elk AI-model, zijn doel, zijn gegevensbronnen, zijn risicocategorie. Continue monitoring van selectiepercentages en impactratio's. Leverancierstoetsing die documentatie van biastesten eist, niet alleen marketingpresentaties.

Derde lijn: onafhankelijke audit. NYC's Local Law 144 verplicht al jaarlijkse biasaudits door onafhankelijke derden voor geautomatiseerde beslissingstools voor werving. Boetes beginnen bij $500 voor de eerste overtreding en lopen op tot $1.500 per overtreding per dag. Maar de echte kosten zijn niet de boete — het is wat er gebeurt wanneer een rechtbank beveelt dat de naam van jouw bedrijf naar miljoenen potentieel benadeelde sollicitanten wordt gestuurd, wat precies is wat de collectieve certificering van Workday mogelijk maakt.

Waarom "Sovereign AI" de toekomst is van enterprise-werving

De Workday-zaak versnelt een verschuiving die ik al twee jaar volg: de beweging naar wat ik sovereign AI noem in enterprise-werving.

Bedrijven worden zich bewust van het feit dat het versturen van hun eigen wervingsgegevens naar een externe API betekent dat die gegevens kunnen worden gebruikt om de volgende generatie van andermans model te trainen. Ze beseffen dat wanneer een publieke API wordt bijgewerkt — wat zonder waarschuwing gebeurt — hun zorgvuldig gevalideerde screeningpijplijn van de ene op de andere dag kan afdrijven en andere uitkomsten kan produceren voor dezelfde kandidaten. Ze begrijpen dat algemene LLM's de domeinspecifieke kennisgrafen missen die nodig zijn voor een nauwkeurige professionele beoordeling.

De ondernemingen waar ik mee praat, willen steeds vaker hun modellen bezitten. Ze in hun eigen virtual private clouds draaien. Controleren wanneer en hoe ze worden bijgewerkt. Volledige audittrails behouden die niet afhankelijk zijn van de goede wil van een leverancier.

Dit is waar we bij Veriprajna naartoe gaan. We verkopen geen API-toegang. We bouwen cognitieve architectuur die institutionele kennis, compliance-regels en deterministische logica codeert in systemen die AI gebruiken als een krachtige interface — niet als een feilbaar orakel dat levensveranderende beslissingen neemt op basis van statistische onderbuikgevoelens.

De gedachte die ik niet van me af kan schudden

Ik blijf terugkomen bij Derek Mobley. Meer dan 100 sollicitaties. Afgewezen door software, vaak binnen enkele minuten, midden in de nacht. Geen mens heeft ooit naar zijn kwalificaties gekeken. Niemand heeft hem ooit verteld waarom.

En hij is geen uitzondering. Hij is gewoon degene die een rechtszaak aanspande.

Er zijn miljoenen mensen — gekwalificeerde, ervaren, capabele mensen — die uit baankansen zijn gefilterd door algoritmen die getraind zijn op historische vooroordelen, ingezet zonder adequate tests en bediend zonder betekenisvol toezicht. Ze kregen geen afwijzingsbrief die uitlegde dat hun @hotmail.com-e-mailadres correleerde met een leeftijdscategorie die het model had geleerd te bestraffen. Ze kregen gewoon stilte, of een standaardmail, en gingen door naar de volgende sollicitatie.

De Workday-uitspraak lost dit probleem niet op. Maar het doet iets bijna even belangrijks: het maakt het probleem duur. En in enterprisesoftware worden dure problemen opgelost.

De vraag is niet langer of AI moet worden gebruikt bij werving. Het is of de AI die je gebruikt een verhoor kan doorstaan.

Ik bouw AI voor de kost, en ik geloof diep in het potentieel ervan om werving eerlijker, efficiënter en menselijker te maken. Maar alleen als we stoppen met recruitment-AI te behandelen als een consumentenproduct en het gaan behandelen als wat het is: een beslissingssysteem met hoge inzet dat bepaalt hoe mensen in hun levensonderhoud voorzien, werkzaam in een van de zwaarst gereguleerde domeinen van het Amerikaanse recht.

Het tijdperk van de black box is voorbij. Bouw daarnaar.