Het algoritme dat een stad verslond: wat de ineenstorting van voorspellend politiewerk mij leerde over het bouwen van AI die vertrouwen verdient

Eind 2023 zat ik in een vergaderzaal te kijken hoe een potentiële klant zijn interne AI-tool demonstreerde — een chatbot die ze in elkaar hadden gezet om hun complianceteam te helpen risico's in financiële documenten te signaleren. De interface zag er strak uit. De antwoorden waren snel. En ongeveer elk vierde antwoord was zelfverzekerd, gevaarlijk fout.

Toen ik op een hallucinatie wees — het model had een regelgevende bronvermelding verzonnen die niet bestond — haalde de VP of Engineering zijn schouders op. "Ja, dat weten we. We hopen dat de volgende modelupdate het oplost."

Dat moment kristalliseerde iets uit waar ik al maanden over nadacht. De zakelijke wereld liep slaapwandelend recht in exact dezelfde val die het publieke vertrouwen in AI-gestuurd politiewerk in heel Amerika al had verwoest. Niet omdat de technologie inherent slecht was, maar omdat de mensen die het inzetten het hebben van een AI-systeem hadden verward met het besturen ervan.

Bij Veriprajna bouwen we diepgaande AI-oplossingen voor zakelijke omgevingen waar veel op het spel staat. Maar om uit te leggen waarom we ze bouwen zoals we dat doen — met governance vanaf dag nul ingebakken, met verklaarbaarheid als een absolute voorwaarde, met wiskundige fairnessbeperkingen verweven in het trainingsproces — moet ik je eerst meenemen naar een ongemakkelijke plek. Ik moet je meenemen naar Chicago.

56% van de jonge zwarte mannen in een stad, aangemerkt door een machine

Chicago's Strategic Subject List — intern de "heat list" genoemd — moest de toekomst van slim politiewerk worden. In plaats van wijken vol te zetten met agenten, zou het algoritme specifieke individuen identificeren met de grootste kans op betrokkenheid bij wapengeweld, als dader of als slachtoffer. Precisie boven brute kracht. Data boven intuïtie.

De lijst zwol op tot meer dan 400.000 mensen.

Laat dat getal even bezinken. In een stad van 2,7 miljoen inwoners besloot het algoritme dat 400.000 individuen het aanmerken waard waren. En de demografie was verbijsterend: 56% van de zwarte mannen in Chicago tussen de 20 en 29 jaar belandde op die lijst. In West Garfield Park werd 73% van de zwarte mannen tussen 10 en 29 jaar aangemerkt. Zesennegentig procent van de individuen die het systeem classificeerde als "vermoedelijke bendeleden" was zwart of Latino.

Dit is wat mijn brein deed haperen toen ik voor het eerst in de auditgegevens dook: 57% van de prioritaire doelwitten van het algoritme was nooit gearresteerd voor een geweldsmisdrijf. Het systeem betrok lichte overtredingen — zaken als klein drugsbezit of ordeverstoring — en behandelde die als voorspellende signalen voor toekomstig wapengeweld. Het gebruikte het apparaat van overmatig politietoezicht als bewijs om nog meer politietoezicht te rechtvaardigen.

Wanneer een algoritme de gevolgen van vooringenomenheid behandelt als bewijs dat die vooringenomenheid gerechtvaardigd is, heb je geen voorspellingsmachine. Dan heb je een discriminatiemachine op de automatische piloot.

Het Chicago Office of Inspector General documenteerde uiteindelijk waar veel maatschappelijke organisaties al jarenlang over hadden geschreeuwd: de SSL was langs raciale lijnen vooringenomen en grotendeels ineffectief in het terugdringen van het aantal moorden. De lijst werd eind 2019 buiten gebruik gesteld, maar niet voordat die agenten op onaangekondigde bezoeken had gestuurd naar duizenden mensen wier enige "misdaad" was dat ze in een wijk woonden die het algoritme gevaarlijk had bevonden.

Waarom faalde het aardbevingsmodel in het voorspellen van misdaad?

Drieduizend mijl westwaarts voerde de LAPD zijn eigen experiment uit. Geolitica — voorheen PredPol — gebruikte een model dat oorspronkelijk was ontworpen om naschokken van aardbevingen te voorspellen. De logica was verleidelijk: net zoals trillingen zich in ruimte en tijd clusteren, volgen bepaalde soorten misdaad voorspelbare ruimtelijk-temporele patronen. Voer het algoritme historische incidentgegevens — locatie, tijd, soort misdrijf — en het genereerde "hotspotvakken" van 500 bij 500 vierkante voet die agenten vertelden waar ze moesten patrouilleren.

Ik herinner me dat ik de technische documentatie las en dacht: dit is elegant. De wiskunde was helder. De interface was intuïtief. En de resultaten waren catastrofaal.

Een audit uit 2019 door de LAPD Inspector General constateerde "significante inconsistenties" in de gegevensinvoer. Agenten registreerden patrouilletijd bij politiefaciliteiten in plaats van in het veld, waardoor de hotspotgegevens vervuild raakten. Het systeem kon zijn eigen impact niet losmaken van bredere trends in het politiewerk. En in vergelijkbare rechtsgebieden zoals Plainfield, New Jersey, werd het slagingspercentage van de voorspellingen gedocumenteerd op minder dan 1%.

Minder dan één procent. Een muntworp zou nuttiger zijn geweest.

Maar het diepere probleem was niet de nauwkeurigheid — het was de feedbacklus. Wanneer het algoritme een overwegend zwarte of Latino-wijk als hotspot aanmerkte, gingen er meer agenten naartoe. Meer agenten betekende meer staandehoudingen. Meer staandehoudingen betekende meer arrestaties voor kleine overtredingen die in rijkere, wittere gebieden niet zouden zijn gehandhaafd. Die nieuwe arrestaties stroomden terug in de trainingsgegevens als "bewijs" van hoge criminaliteit, en het algoritme intensiveerde plichtsgetrouw zijn voorspellingen voor diezelfde wijk.

De gegevens uit Californië's Racial and Identity Profiling Act (RIPA) legden dit bloot in cijfers waar moeilijk tegenin te brengen valt: zwarte individuen werden 126% vaker staande gehouden dan verwacht op basis van hun aandeel in de bevolking. Agenten voerden in 2023 4,7 miljoen staandehoudingen van voertuigen en voetgangers uit. En dit is de clou — toen agenten zwarte en Latino-individuen vaker fouilleerden, vonden ze consequent minder vaak contrabande vergeleken met fouilleringen van witte individuen.

De data vertelde ons, in gewone statistische taal, dat het systeem het bij het verkeerde eind had. En toch bleef het systeem gewoon draaien.

De LAPD beëindigde begin 2024 uiteindelijk zijn relatie met Geolitica. Ik schreef over de bredere implicaties van deze mislukkingen — en wat ze betekenen voor de architectuur van AI in ondernemingen — in de interactieve versie van ons onderzoek.

Wat gebeurt er wanneer niemand de black box kan openen?

Er is een term uit de wetenschapsfilosofie die steeds terugkwam in mijn onderzoek: epistemische ondoorzichtigheid. Het betekent dat het systeem zo complex is dat zelfs de mensen die het bedienen niet volledig kunnen begrijpen hoe het tot zijn conclusies komt.

De meeste voorspellende politiesystemen waren propriëtaire black boxes. De specifieke data-inputs, de gewogen factoren, de logica van de voorspellingen — allemaal verborgen als bedrijfsgeheimen. De politiediensten die deze tools gebruikten, konden vaak niet uitleggen waarom een bepaalde persoon of wijk werd aangemerkt, zelfs wanneer burgerrechtenorganisaties om antwoorden vroegen.

Dit is niet alleen een probleem van het politiewerk. Het is de bepalende kwetsbaarheid van de manier waarop de meeste ondernemingen op dit moment AI inzetten.

Ik denk aan die compliance-chatbot die ik gedemonstreerd zag. De VP of Engineering kon me niet vertellen welke documenten het model daadwerkelijk had opgehaald om zijn antwoord te genereren. Hij kon niet uitleggen waarom het een regelgevende bronvermelding had gehallucineerd. Hij kon me niet vertellen of het systeem morgen een ander antwoord zou geven als dezelfde vraag werd gesteld. En zijn plan was om te wachten tot OpenAI een beter model zou uitbrengen.

Dat is geen AI-strategie. Dat is een gebed.

De op hol geslagen feedbacklus is niet alleen een probleem van het politiewerk

Hier moet ik het verband leggen dat volgens mij de meeste mensen in de zakelijke AI-wereld missen.

De feedbacklus die voorspellend politiewerk verwoestte — waarbij vooringenomen output vooringenomen trainingsgegevens genereert, die weer meer vooringenomen output genereren — is niet uniek voor de rechtshandhaving. Het is een structurele eigenschap van elk AI-systeem dat leert van zijn eigen operationele omgeving zonder onafhankelijke validatie.

Denk aan een AI-gestuurde wervingstool die cv's screent. Als die is getraind op historische wervingsgegevens van een bedrijf dat voor technische functies overwegend mannen heeft aangenomen, zal die leren om mannelijk gecodeerd taalgebruik te associëren met "goede kandidaten." De tool zal vrouwen lager rangschikken. Het bedrijf zal minder vrouwen aannemen. Die wervingsgegevens stromen terug in de volgende trainingscyclus, en de vooringenomenheid wordt dieper.

Of neem een financieel acceptatiemodel dat is getraind op historische kredietgoedkeuringen. Als vroegere kredietbeoordelaars eerder geneigd waren aanvragen uit bepaalde postcodegebieden goed te keuren — postcodegebieden die door decennia van redlining toevallig correleren met ras — zal het model die patronen leren. Het zal leningen weigeren aan gekwalificeerde aanvragers uit die gebieden. Die weigeringen worden trainingsgegevens. De cyclus gaat door.

De gevaarlijkste AI-systemen zijn niet de systemen die overduidelijk kapot zijn. Het zijn de systemen die net goed genoeg werken om onder de radar te blijven, terwijl ze in stilte de vooringenomenheid van hun trainingsgegevens op grote schaal in geautomatiseerde beslissingen coderen.

Daarom raak ik gefrustreerd wanneer ik zakelijke leiders hoor praten over AI-governance als een "nice to have" of een initiatief voor "fase twee." Governance is geen functie die je er na de lancering aan vastschroeft. Het is de architectuur zelf.

Waarom falen LLM-wrappers in omgevingen waar veel op het spel staat?

Laat me ergens duidelijk over zijn: het tijdperk van eenvoudige LLM-wrappers loopt ten einde, en de meeste ondernemingen hebben dat nog niet door.

Een LLM-wrapper — een dunne laag prompt engineering en een mooie UI bovenop een basismodel als GPT-4 of Claude — werkt prima voor het opstellen van e-mails en het samenvatten van vergadernotities. Het werkt niet voor juridische toetsing, financiële compliance, medische triage, of welk domein dan ook waar een fout antwoord materiële gevolgen heeft.

We hebben dit bij Veriprajna grondig getest. Bij de triage van beveiligingskwetsbaarheden — een domein waarin je onderscheid moet maken tussen een kleine bug en een kritieke exploit — behaalde een naïeve LLM-wrapper ongeveer 51% nauwkeurigheid. Dat is nauwelijks beter dan willekeur. Het model beschikte niet over de gespecialiseerde tools en domeinkennis om zinvolle onderscheidingen te maken. En het had nog een probleem dat ik het "op de schutting zitten"-fenomeen ben gaan noemen: de veiligheidsafstemmingen die in basismodellen zijn ingebouwd, maakten ze terughoudend om stellige standpunten in te nemen bij dubbelzinnige gevallen. In een triagecontext is dubbelzinnigheid de hele opdracht. Een AI die bij elk grensgeval een slag om de arm houdt, versterkt je team niet — hij creëert juist meer werk.

Onze multi-agentarchitectuur daarentegen — met samenstelbare agents, gestructureerde workflows en domeinspecifieke kennisbanken — behaalde 89% nauwkeurigheid op dezelfde benchmarks. Niet omdat we een "beter" model gebruikten, maar omdat we een systeem bouwden in plaats van een wrapper.

Dat verschil — 51% versus 89% — is het verschil tussen een AI die plausibele tekst genereert en een AI die daadwerkelijk over een domein redeneert.

Hoe ziet wiskundige fairness er eigenlijk uit?

Een van de dingen die ik heb geleerd bij het bouwen van Veriprajna, is dat "fairness" in AI geen gevoel kan zijn. Het moet een getal zijn.

Wanneer we systemen bouwen voor omgevingen waar veel op het spel staat, definiëren we fairness wiskundig en monitoren we het continu. Twee metrieken zijn het belangrijkst:

Demografische pariteit vraagt: is de kans op een positieve uitkomst onafhankelijk van een beschermd kenmerk zoals ras of geslacht? Als jouw wervings-AI 60% van de mannelijke sollicitanten goedkeurt en 35% van de vrouwelijke sollicitanten, ben je voor deze test gezakt.

Gelijkgestelde kansen gaat dieper: zijn de terecht-positieve percentages en de vals-positieve percentages gelijk over alle groepen heen? Dit is van belang omdat een systeem demografische pariteit zou kunnen bereiken door willekeurig meer aanvragen van ondervertegenwoordigde groepen goed te keuren — zonder daadwerkelijk beter te worden in het identificeren van gekwalificeerde kandidaten.

Beide metrieken moeten tegelijkertijd worden gemonitord, en geen van beide volstaat op zichzelf. Daarom werkt onze strategie voor het beperken van vooringenomenheid over de hele AI-levenscyclus: het herwegen van trainingsgegevens voordat het model die ooit ziet, het rechtstreeks inbouwen van fairnessbeperkingen in het trainingsproces via technieken als adversarial debiasing, en het kalibreren van beslissingsdrempels na de training om billijke uitkomsten voor demografische groepen te waarborgen.

Ik weet dat dit technisch klinkt. Maar hier is de versie in gewone taal: als je je fairnesscriteria niet kunt uitdrukken in een wiskundige vergelijking, dan heb je geen fairnesscriteria. Dan heb je een persbericht.

De regelgevingsgolf waar de meeste bedrijven niet klaar voor zijn

Terwijl ondernemingen druk bezig zijn geweest met het experimenteren met chatbots, zijn toezichthouders druk bezig geweest met het schrijven van wetten.

Meer dan 40 Amerikaanse steden hebben stappen gezet om voorspellend politiewerk en aanverwante AI-technologieën zoals gezichtsherkenning te verbieden of streng te beperken. San Francisco was in 2019 de eerste. Boston, Portland en Santa Cruz volgden. In maart 2024 vaardigde het Witte Huis een baanbrekend beleid uit dat federale instanties verplicht om onafhankelijke tests en verplichte effectbeoordelingen uit te voeren voor alle AI-systemen die rechten raken.

Dit is niet alleen een probleem van de overheid. De EU AI Act, NIST's AI Risk Management Framework, ISO 42001 — deze raamwerken convergeren naar één enkele boodschap: als je AI inzet bij beslissingen waar veel op het spel staat, zul je moeten bewijzen dat die eerlijk is, uitleggen hoe die werkt, en aantonen dat je die continu monitort.

De ondernemingen die een governance-infrastructuur op orde hebben, zullen zich aanpassen. De ondernemingen die LLM-wrappers bouwden en dat een "AI-strategie" noemden, zullen in paniek moeten bijsturen.

Ik heb dit patroon eerder gezien, in de cyberbeveiliging. Bedrijven die beveiliging als bijzaak behandelden, waren jarenlang een achterstand aan het inlopen toen de regelgeving toesloeg. Bedrijven die beveiliging vanaf het begin in hun architectuur inbouwden, merkten er nauwelijks iets van. AI-governance volgt hetzelfde traject, alleen sneller.

Voor de volledige technische uiteenzetting van hoe we ons governance-raamwerk afstemmen op NIST, ISO 42001 en de EU AI Act, zie ons onderzoekspaper.

"Gebruik gewoon GPT" en andere dure vergissingen

Mensen vragen me voortdurend waarom ondernemingen niet gewoon een basismodel met wat prompt engineering zouden gebruiken en het daarbij zouden laten. Het antwoord is dezelfde reden waarom de LAPD geen aardbevingsmodel had moeten gebruiken om misdaad te voorspellen.

De tool is niet het probleem. De aanname wel.

De aanname is dat een generiek systeem — of het nu een seismologisch algoritme is of een groot taalmodel dat op het internet is getraind — zomaar in een gespecialiseerd domein met hoge inzet kan worden neergezet zonder fundamentele architecturale veranderingen. Zonder domeinspecifieke redeneerlagen. Zonder verklaarbaarheid. Zonder continue monitoring van vooringenomenheid. Zonder governance.

Die aanname is getest. In het politiewerk verwoestte ze het publieke vertrouwen, schaadde ze honderdduizenden mensen en veroorzaakte ze een landelijke tegenreactie van toezichthouders. In de zakelijke AI voltrekken de gevolgen zich stiller — in gehallucineerde juridische bronvermeldingen, in vooringenomen wervingsbeslissingen, in compliancefalen die pas aan het licht komen wanneer een audit of een rechtszaak ze naar buiten dwingt.

De vraag is niet óf je AI een fout zal maken. De vraag is of je het zult weten wanneer dat gebeurt — en of je de architectuur hebt gebouwd om die fout op te vangen voordat hij zich opstapelt.

Bij Veriprajna beginnen we niet met een model. We beginnen met de data. We auditeren die op kwaliteit, toegankelijkheid en historische vooringenomenheid voordat er ook maar één parameter is getraind. We bouwen multi-agentarchitecturen waarin gespecialiseerde redeneerlagen diepgaand onderzoek kunnen uitvoeren in plaats van te vertrouwen op zero-shot-aanroepen naar een generiek model. We implementeren verklaarbare AI-validatie zodat elke beslissing kan worden getraceerd, ondervraagd en verdedigd. En we monitoren continu — niet alleen op nauwkeurigheid, maar op fairness-drift, want wat zes maanden geleden billijk was, is dat vandaag misschien niet meer als de onderliggende dataverdeling is verschoven.

Dit is niet duurder dan de wrapper-aanpak. Het is goedkoper — want de kosten van het inzetten van een ongereguleerd AI-systeem in een omgeving met hoge inzet worden niet gemeten in engineeringuren. Ze worden gemeten in rechtszaken, boetes van toezichthouders, reputatieschade en de menselijke kosten van geautomatiseerde beslissingen die niemand kan uitleggen of verdedigen.

De kamer waar het gebeurt

Ik wil eindigen met een moment dat me bijblijft.

We waren diep verwikkeld in het bouwen van een nieuwe redeneerlaag voor een klant in de financiële dienstverlening. Het team debatteerde al twee dagen over de vraag of we in een bepaalde module prioriteit moesten geven aan nauwkeurigheid of aan verklaarbaarheid — een van die discussies waarin iedereen technisch gezien gelijk heeft en de echte vraag over waarden gaat, niet over engineering.

Mijn lead engineer zei uiteindelijk iets waardoor de hele kamer stilviel: "Als we niet kunnen uitleggen waarom dit model iemand een lening heeft geweigerd, dan hebben we geen AI-systeem gebouwd. Dan hebben we een efficiëntere versie gebouwd van het probleem dat we moesten oplossen."

Ze had gelijk. En die zin is bijna een ontwerpprincipe geworden voor alles wat we bouwen.

De mislukkingen van voorspellend politiewerk — de 400.000 mensen op Chicago's heat list, de nauwkeurigheid van minder dan 1% in Plainfield, de feedbacklussen die historisch racisme veranderden in wiskundige zekerheid — dit zijn geen waarschuwende verhalen uit een andere sector. Het is het best mogelijke voorproefje van wat er gebeurt wanneer je AI inzet zonder de architectuur om vertrouwen te verdienen.

De weg vooruit is niet om AI te laten varen. Het is om governance niet langer als overhead te behandelen en het te gaan behandelen als het product. De ondernemingen die dit begrijpen, zullen systemen bouwen die de toets der kritiek doorstaan. De ondernemingen die dat niet doen, zullen de les leren die de LAPD leerde, die de politie van Chicago leerde, en die die compliance-chatbot uiteindelijk zal leren: een AI-systeem zonder integriteit is geen tool. Het is een risico met een mooie interface.