Een grootvader zat tien dagen in de gevangenis omdat een algoritme zei dat hij schuldig was

Ik zat in een gesprek met een potentiële klant — een middelgrote winkelketen — toen hun VP Loss Prevention iets zei waarvan mijn maag omdraaide.

"We overwegen een leverancier van gezichtsherkenning. Ze zeggen dat hun systeem 98% nauwkeurig is. We hebben gewoon iemand nodig om het aan te sluiten."

Ik stelde één vraag: "98% nauwkeurig op wiens gezichten?"

Stilte.

Dat gesprek vond plaats enkele weken nadat ik de klacht van de FTC tegen Rite Aid had doorgelezen — alle 54 pagina's ervan — en de rechtszaak van 10 miljoen dollar die was aangespannen door Harvey Eugene Murphy Jr., een 61-jarige grootvader die tien dagen in een gevangenis in Houston doorbracht voor een overval die werd gepleegd terwijl hij thuis was in Sacramento, Californië. Hij werd geïdentificeerd door een gezichtsherkenningssysteem. Het systeem had het bij het verkeerde eind. Tegen de tijd dat iemand de moeite nam om het te controleren, was Murphy achter de tralies mishandeld en seksueel misbruikt.

Ik herinner me dat ik die avond in mijn kantoor zat, de details van Murphy's zaak opnieuw las, en iets voelde dat ik normaal niet voel wanneer ik rapporten over technische fouten lees: woede. Niet op het algoritme — algoritmes hebben geen intentie. Op de mensen die het inzetten alsof het een barcodescanner was. Op de architectuur die dit onvermijdelijk maakte.

Ik run Veriprajna. Wij bouwen wat ik "deep AI" noem — systemen met kwantificering van onzekerheid, multi-agent governance en degelijke engineering eronder. Het tegenovergestelde van wat Rite Aid deed verbieden en Harvey Murphy deed arresteren. En ik moet je vertellen waarom het verschil belangrijker is dan de meeste mensen in deze sector willen toegeven.

Wat er bij Rite Aid gebeurde was geen storing — het was een ontwerpkeuze

In december 2023 deed de FTC iets ongekends: ze verboden Rite Aid vijf jaar lang gezichtsherkenningstechnologie te gebruiken. Geen boete. Geen waarschuwing. Verboden.

Tussen 2012 en 2020 had Rite Aid AI-gebaseerde gezichtsherkenningsbewaking uitgerold in honderden winkels. Het idee was eenvoudig — bekende winkeldieven identificeren, beveiliging waarschuwen, diefstal verminderen. De uitvoering was een catastrofe.

Rite Aid kocht hun gezichtsherkenning bij twee externe leveranciers. De contracten van beide leveranciers wezen uitdrukkelijk elke garantie met betrekking tot nauwkeurigheid af. Lees dat nog eens. De bedrijven die de technologie verkochten wilden zelfs niet beloven dat het werkte. En Rite Aid zette het toch in — in winkels vol echte mensen, met echte gevolgen voor wie ten onrechte werd geïdentificeerd.

Niemand bij Rite Aid testte het systeem op nauwkeurigheid. Niemand controleerde of de leveranciers het hadden getest. Niemand implementeerde controles op beeldkwaliteit. Winkelmedewerkers voerden korrelige CCTV-stills en foto's van mobiele telefoons in de aanmeldingsdatabase in, en het systeem "matchte" die verslechterde beelden plichtsgetrouw tegen elk gezicht dat door de deur liep.

De resultaten waren voorspelbaar voor iedereen die biometrische engineering begrijpt, en verwoestend voor wie dat niet doet. Duizenden valse positieven. Onschuldige klanten werden door de gangpaden gevolgd, doorzocht, publiekelijk beschuldigd van diefstal. En dit is het deel dat elke bedrijfsleider zou moeten doen stilstaan: de valse waarschuwingen troffen onevenredig vaak vrouwen en mensen van kleur. Winkels in overwegend zwarte en Aziatische gemeenschappen zagen aanzienlijk meer valse matches dan winkels in overwegend witte gemeenschappen.

Dit was geen bug. Het was de onvermijdelijke uitkomst van niet-gekalibreerde modellen die getraind waren op niet-representatieve datasets, ingezet zonder monitoring, op verslechterd beeldmateriaal, zonder een noemenswaardig menselijk beoordelingsproces.

Waarom belandde een 61-jarige grootvader in de gevangenis?

Harvey Murphy's zaak is erger, omdat de keten van fouten langer is en de menselijke kosten meer voelbaar zijn.

In januari 2022 overviel iemand een Sunglass Hut in Houston. EssilorLuxottica, het moederbedrijf, werkte samen met Macy's om gezichtsherkenning uit te voeren op de bewakingsbeelden van de winkel. Het systeem matchte de korrelige overvalbeelden tegen een database die blijkbaar Murphy's arrestatiefoto van niet-gewelddadige delicten van decennia eerder bevatte.

Ik wil dat je twee feiten tegelijk in gedachten houdt. Ten eerste: Murphy was op de dag van de overval in Sacramento, Californië. Ten tweede: het systeem matchte actuele bewakingsbeelden tegen een foto die jaren — mogelijk decennia — eerder was genomen. Studies hebben aangetoond dat het matchen van actuele beelden tegen verouderde foto's valse-positiefpercentages van wel 90% kan opleveren. Dit wordt het "leeftijdskloof"-probleem genoemd, en iedereen die gezichtsherkenning inzet in een rechtshandhavingscontext zou hiervan op de hoogte moeten zijn.

Maar dit is wat me achtervolgt aan deze zaak. Volgens de rechtszaak presenteerden Sunglass Hut en Macy's de geautomatiseerde match aan de politie als een geverifieerd feit. Niet als een aanwijzing. Niet als een waarschijnlijkheid. Als identificatie. De politie stopte met onderzoeken. Ze hadden hun man.

Wanneer de uitkomst van een machine met meer gezag wordt behandeld dan het alibi van een mens, hebben we een grens overschreden die geen enkele verbetering van de nauwkeurigheid kan herstellen.

Murphy werd gearresteerd. Hij vertelde hen dat hij niet in Texas was. Het maakte niet uit. Hij zat tien dagen in de gevangenis voordat het parket zijn alibi bevestigde. Tegen die tijd was de schade aangericht — fysiek, psychologisch, permanent.

Mijn team en ik brachten een avond door met het doornemen van de technische details van deze zaak, in een poging te reconstrueren hoe de systeemarchitectuur er waarschijnlijk uitzag. Beeldmateriaal met lage resolutie als invoer. Een verouderde galerijfoto. Vrijwel zeker een closed-set-identificatiemodel — het soort dat geoptimaliseerd is om altijd een "beste match" te vinden, zelfs wanneer de daadwerkelijke persoon niet in de database staat. Geen kwantificering van onzekerheid. Geen betrouwbaarheidsdrempels. Geen betekenisvolle menselijke beoordeling tussen de uitkomst van het algoritme en een man die zijn vrijheid verliest.

Elk van die fouten was te voorkomen. Niet met betere AI. Met betere architectuur.

Wat is het "wrapper"-probleem en waarom zou het je iets moeten schelen?

Hier moet ik even technisch worden, want het patroon achter beide rampen is hetzelfde patroon dat ik in bedrijf na bedrijf zie.

De meeste bedrijven die vandaag AI inzetten gebruiken wat de sector "wrappers" noemt. Een wrapper is een gebrande interface — een dashboard, een app, een workflowtool — die bovenop iemand anders' AI-model draait. Je stuurt gegevens naar een externe API, die stuurt een resultaat terug, en jij toont dat aan je gebruiker. Het wrapper-bedrijf bouwt het model niet. Traint het niet. Begrijpt de faalmodi niet. Beheert de updates niet.

Rite Aid draaide een wrapper. Een dunne laag van retail-beveiligingsworkflow bovenop de black-box gezichtsherkennings-API's van leveranciers. Toen die API's onzin produceerden, had Rite Aid geen manier om het te weten, geen manier om in te grijpen, en — zoals de FTC duidelijk maakte — geen manier om aan aansprakelijkheid te ontkomen.

Dit is de asymmetrie die bedrijven de kop kost: je neemt 100% van de aansprakelijkheid op je voor een systeem waar je 0% zicht op hebt.

Ik heb over deze architectonische kloof uitgebreid geschreven in de interactieve versie van ons onderzoek, maar het kernargument is eenvoudig. Wrappers zijn prima voor toepassingen met lage inzet. Het samenvatten van vergadernotities. Het genereren van marketingteksten. Zaken waarbij een verkeerd antwoord vervelend is, niet rampzalig.

Maar op het moment dat jouw AI-systeem iemand kan laten arresteren, een lening kan doen weigeren, kan doen ontslaan, of publiekelijk kan vernederen — en gezichtsherkenning in de detailhandel kan al die dingen doen — is een wrapper een aansprakelijkheidsbom met een aftellende tijdklok.

Hoe bouw je AI die weet wanneer ze het niet weet?

Er is een moment waar ik steeds op terugkom. We bouwden een identificatiepijplijn voor een klant, en een van mijn engineers liet een batch testbeelden door het systeem lopen. De nauwkeurigheidscijfers zagen er geweldig uit — boven de 95%. Iedereen was tevreden. Toen vroeg ik haar om dezelfde batch te draaien met de betrouwbaarheidsverdelingen zichtbaar.

Het werd stil in de kamer.

Een aanzienlijk deel van die "correcte" identificaties had onzekerheidsverdelingen die zo breed waren dat het in wezen kop-of-munt was die toevallig goed viel. Het model gokte zelfverzekerd, het identificeerde niet betrouwbaar. Als we dat systeem hadden geleverd met alleen de nauwkeurigheidsscore, waren we niet anders geweest dan de leveranciers die Rite Aid hun software verkochten.

Dit is het kernprobleem met hoe de meeste AI wordt ingezet: elke uitkomst wordt behandeld als een binaire waarheid terwijl het eigenlijk een probabilistische schatting is. Het model zegt niet "dit is John Smith." Het zegt "gegeven wat ik heb gezien, is er een X% kans dat dit John Smith is, plus of min Y." Maar de meeste systemen gooien het "plus of min Y"-deel weg en tonen je alleen de X.

Bij Veriprajna bouwen we wat Uncertainty Quantification (UQ), oftewel kwantificering van onzekerheid, wordt genoemd in elk systeem met hoge inzet. Er zijn twee soorten onzekerheid die ertoe doen:

Aleatorische onzekerheid komt voort uit ruis in de gegevens zelf — slechte belichting, bewegingsonscherpte, een bekraste cameralens. Die kun je er niet uit trainen. Als het beeld informatie mist, kan geen enkel model ter wereld die betrouwbaar terughallucineren.

Epistemische onzekerheid komt voort uit de eigen beperkingen van het model — het heeft niet genoeg voorbeelden van een bepaalde demografische groep gezien, of het is deze specifieke belichtingsconditie nog nooit tegengekomen. Deze kan worden verminderd met betere trainingsgegevens.

Kwetsbare systemen — wrappers — maken geen onderscheid tussen deze. Een systeem kan 85% betrouwbaarheid rapporteren op een match, en dat klinkt solide. Maar onze UQ-laag kan onthullen dat de onzekerheidsverdeling rond die 85% enorm is, wat betekent dat het getal statistisch betekenisloos is gezien de kwaliteit van de invoer.

Een AI-systeem dat je niet kan vertellen hoe onzeker het is, is geen instrument — het is een valstrik.

We gebruiken technieken zoals conformal prediction om te garanderen dat de onzekerheidsschattingen van het systeem binnen wiskundig bewijsbare grenzen vallen. De technische details staan in ons volledige onderzoeksrapport, maar het praktische resultaat is dit: voordat het systeem enige actie onderneemt, kan het je vertellen of zijn antwoord betrouwbaar is. En als dat niet zo is, schaalt het op naar een mens.

Het open-set-probleem waar niemand over praat

Hier is iets dat me nog steeds verbaast wanneer ik met zakelijke inkopers praat: bijna geen van hen kent het verschil tussen closed-set- en open-set-herkenning.

Een closed-set-systeem gaat ervan uit dat de gescande persoon zich zeker in de database bevindt. Denk aan het ontgrendelen van je telefoon — de telefoon weet dat jouw gezicht is geregistreerd. Het hoeft alleen te verifiëren dat jij het bent.

Een retail-beveiligingssysteem is het tegenovergestelde. De overgrote meerderheid van de mensen die een winkel binnenlopen staan niet in enige criminele database. Dit is een open-set-probleem. En dit is de catastrofale mismatch: de meeste commerciële gezichtsherkenningssoftware is geoptimaliseerd voor closed-set-prestaties, omdat de benchmarks daar indrukwekkend uitzien.

Wat gebeurt er wanneer je een closed-set-model inzet in een open-set-omgeving? Het probeert de "beste match" te vinden voor elk afzonderlijk gezicht, omdat het ervan uitgaat dat er een match moet bestaan. Dit is vrijwel zeker wat de duizenden valse positieven bij Rite Aid genereerde. Het systeem functioneerde niet verkeerd. Het deed precies waarvoor het was ontworpen — in een omgeving waarvoor het nooit was ontworpen.

Bouwen voor open-set betekent je model niet alleen trainen om matches te identificeren, maar ook om nauwkeurig af te wijzen wat geen match is. Om te zeggen "ik ken deze persoon niet" met evenveel precisie als waarmee het zegt "ik herken deze persoon." Dit vereist andere verliesfuncties, andere evaluatiemetrieken en een fundamenteel andere ontwerpfilosofie.

NIST — het National Institute of Standards and Technology — voert de Face Recognition Vendor Test (FRVT) uit, de wereldwijde gouden standaard voor het evalueren van deze systemen. NIST meet het False Non-Match Rate bij een vast False Match Rate. Voor toepassingen met hoge beveiliging wordt die false-match-drempel vastgesteld op één op een miljoen. Één op een miljoen.

Rite Aid benchmarkte nooit tegen NIST-standaarden. Blijkbaar deed ook het systeem dat Harvey Murphy identificeerde dat niet.

Model disgorgement: de nucleaire optie

Er is een detail in de FTC-schikking met Rite Aid dat elk bedrijf dat AI bouwt op twijfelachtige gegevens zou moeten doen huiveren.

Rite Aid werd niet alleen opgedragen te stoppen met het gebruik van gezichtsherkenning. Ze kregen het bevel om alle biometrische gegevens die ze hadden verzameld te verwijderen en alle AI-modellen of algoritmes die uit die gegevens waren afgeleid te vernietigen. De FTC noemde het "model disgorgement" — een bedrijf dwingen om in wezen alles af te leren wat zijn modellen uit niet-conforme gegevens hadden opgenomen.

Bedenk wat dat operationeel betekent. Jaren van gegevensverzameling. Modellen die in de loop van de tijd zijn getraind en verfijnd. Institutionele kennis ingebed in neurale-netwerkgewichten. Alles ervan — weg. Niet omdat de modellen niet meer werkten, maar omdat de gegevens waarop ze waren gebouwd zonder de juiste waarborgen waren verkregen.

Dit is de nieuwe regelgevende realiteit. Als je trainingsgegevens besmet zijn — verzameld zonder toestemming, vertekend in hun samenstelling, of verkregen in strijd met privacywetgeving — dan zijn de modellen die op die gegevens zijn gebouwd ook besmet. En regelgevers hebben nu de instrumenten om je te dwingen ze te vernietigen.

De meeste wrapper-architecturen kunnen niet eens chirurgische gegevensverwijdering uitvoeren. Ze beschikken niet over de herkomsttracering om te weten welke gegevens welke modelgewichten hebben beïnvloed. Deep AI-systemen, gebouwd met datalineage in gedachten, kunnen dat wel. Het is geen functie die je waardeert totdat de FTC aanklopt.

Waarom "human-in-the-loop" niet zomaar een vinkje is

Mensen vragen me altijd of de oplossing simpelweg is om een menselijke beoordelaar voor elke AI-beslissing te zetten. Het antwoord is ja — maar met een enorme kanttekening. Een slecht ontworpen menselijk beoordelingsproces is erger dan helemaal geen beoordeling, omdat het de illusie van toezicht creëert.

Bij Rite Aid waren er mensen in de loop. Winkelmedewerkers ontvingen geautomatiseerde waarschuwingen en kregen de opdracht ernaar te handelen. Maar ze hadden geen training over valse-positiefpercentages. Geen interface die hun de oorspronkelijke beeldkwaliteit toonde. Geen protocol om de uitkomst van het systeem in twijfel te trekken. Ze waren functioneel niets meer dan stempelaars voor een algoritme.

Wij ontwerpen human-in-the-loop (HITL)-systemen met betrouwbaarheidsdrempels die beslissingen op de juiste manier routeren. Onder de 70% betrouwbaarheid? Automatisch afwijzen — verspil de tijd van een mens niet aan overduidelijke ruis. Tussen 70% en 95%? Markeren voor menselijke beoordeling, met het oorspronkelijke bronbeeld naast de match weergegeven, zodat de beoordelaar een geïnformeerd oordeel kan vellen. Boven de 95% bij een taak met lage gevolgen? Automatisch goedkeuren, maar alles loggen.

De sleutel is dat de menselijke beoordelaar genoeg context moet hebben om de machine daadwerkelijk te overrulen. Als ze alleen "MATCH — 87% betrouwbaarheid" zien, zullen ze zich elke keer neerleggen bij het getal. Als ze het korrelige CCTV-beeld naast de galerijfoto zien en de overduidelijke verschillen kunnen opmerken — een andere oorvorm, een andere kaaklijn, een leeftijdsverschil van 20 jaar — worden ze een echt vangnet in plaats van een decoratief.

Ik had hierover een discussie met de CTO van een klant. Hij wilde de menselijke beoordeling minimaliseren om de kosten laag te houden. Ik vertelde hem dat de kosten van één Harvey Murphy-rechtszaak een decennium aan salarissen van menselijke beoordelaars zouden overtreffen. Hij hoorde het niet graag. Hij werd ook niet aangeklaagd.

De regelgevende muren komen dichterbij

De EU AI Act classificeert biometrische identificatiesystemen standaard als hoog risico. Verplichte conformiteitsbeoordelingen. Gedetailleerde technische documentatie. Effectief menselijk toezicht — niet het Rite Aid-soort, het echte soort. Bepaalde toepassingen, zoals het schrapen van gezichtsafbeeldingen van het internet voor trainingsgegevens, zijn ronduit verboden.

In de VS beschrijft het NIST AI Risk Management Framework vier functies — Govern, Map, Measure, Manage — die samen de blauwdruk vormen voor verantwoorde AI-implementatie. De actie van de FTC tegen Rite Aid was in wezen een handhaving van deze principes voordat ze formele wetgeving werden. De boodschap is duidelijk: als je niet kunt uitleggen hoe je AI werkt, de vertekeningen ervan niet kunt meten en de fouten ervan niet kunt beheersen, word je ter verantwoording geroepen.

Ik vertel elk bestuur dat ik adviseer hetzelfde: stem je nu al af op de standaarden van de EU AI Act, ook al opereer je alleen in de VS. Binnenlandse regelgeving komt eraan, en de bedrijven die naleving als een toekomstig probleem behandelden zullen zich in de positie van Rite Aid bevinden — worstelend om modellen te vernietigen en helemaal opnieuw te bouwen onder een schikkingsbevel.

De vertekening zit niet in het algoritme — het zit in de luiheid

Eén ding dat me frustreert aan het publieke gesprek rond AI-vertekening is de suggestie dat vertekening een mysterieuze, onhandelbare eigenschap van kunstmatige intelligentie is. Dat is het niet. Het is het resultaat van specifieke, identificeerbare engineering-sluipwegen.

Je traint een model op een dataset die voor 80% uit lichte huidskleuren bestaat? Dan zal het slechter presteren op donkere huidskleuren. Je slaat adversarial debiasing over — de techniek waarbij je een concurrerend netwerk traint om te detecteren of je model ras of geslacht als een verborgen kenmerk gebruikt? Dan zal je model die vertekeningen onzichtbaar coderen. Je zet in zonder te testen over demografische groepen met behulp van de benchmarkgegevens van NIST? Dan zul je niet eens weten dat de vertekening bestaat totdat iemand gewond raakt.

Algoritmische vertekening is geen mysterie. Het is wat er gebeurt wanneer engineers optimaliseren voor snelheid in plaats van gelijkheid, en organisaties optimaliseren voor kosten in plaats van veiligheid.

Elk van deze problemen heeft een bekende technische oplossing. Adversarial debiasing. Fairness-beperkingen in de verliesfunctie. Multi-scale feature fusion om variërende huidskleuren en belichtingscondities aan te kunnen. Presentation attack detection om spoofing-pogingen te betrappen. Deze zijn niet theoretisch — ze worden vandaag ingezet in productiesystemen. De onze inbegrepen.

De reden waarom de meeste bedrijven ze niet implementeren is dezelfde reden waarom Rite Aid de nauwkeurigheid van hun leverancier niet testte: het kost meer, duurt langer, en niemand dwingt je het te doen. Totdat ze het doen. En dan kost het alles.

Wat ik werkelijk denk over de toekomst van enterprise-AI

Ik heb jaren besteed aan het bouwen van systemen die ontworpen zijn om aan zichzelf te twijfelen voordat ze handelen. Dat klinkt misschien als een vreemde uitspraak voor de oprichter van een AI-bedrijf. Zou ik niet vertrouwen moeten verkopen?

Nee. Ik verkoop gekalibreerd vertrouwen. Er is een verschil.

De bedrijven die het komende decennium van AI-regelgeving en aansprakelijkheid zullen overleven, zijn de bedrijven die systemen bouwen die in staat zijn "ik weet het niet" te zeggen met dezelfde precisie waarmee ze "ik weet het zeker" zeggen. Die elke geautomatiseerde uitkomst behandelen als een hypothese die gevalideerd moet worden, niet als een vonnis dat uitgevoerd moet worden. Die ontwerpen voor het ergste geval — het Harvey Murphy-geval — niet het demo-geval.

Rite Aid verloor vijf jaar lang zijn biometrische capaciteiten en moest zijn modellen vernietigen. Macy's en Sunglass Hut staan voor een rechtszaak van 10 miljoen dollar en het soort reputatieschade dat geen enkel PR-bureau ongedaan kan maken. Dit zijn geen waarschuwende verhalen uit de begindagen van een riskante technologie. Ze gebeuren nu, met systemen die bedrijven kant-en-klaar kochten en inzetten zonder ze te begrijpen.

Het wrapper-tijdperk van enterprise-AI loopt ten einde. Niet omdat wrappers niet werken — ze werken prima voor taken met lage inzet. Maar omdat de inzet blijft stijgen, de regelgeving blijft aanscherpen, en de kosten van een zelfverzekerd verkeerd antwoord blijven groeien.

Harvey Murphy was in Sacramento. Het algoritme zei dat hij in Houston was. En tien dagen lang won het algoritme.

Dat is geen AI-probleem. Dat is een architectuurprobleem. En architectuur is een keuze.