Een gezichtsherkenningsleverancier scoorde 99% — en markeerde de hele dag onschuldige klanten

Het algoritme van de leverancier stond in de hoogste categorie van de eigen benchmark van de Amerikaanse overheid. Op een galerij van twaalf miljoen politiefoto's halen de toonaangevende gezichtsherkenningssystemen inmiddels een nauwkeurigheid van meer dan 99%. Het cijfer was echt, het certificaat was echt, en ik had het gebruikt om een pilotklant gerust te stellen dat hun implementatie voor verliespreventie deugdelijk was.

Toen draaiden we hun daadwerkelijke winkeldata, en het systeem markeerde de hele dag onschuldige klanten.

Die kloof — tussen een benchmarkscore van 99% en een systeem dat de verkeerde oma in gangpad zes aanspreekt — is het hele onderwerp van dit essay. Compliance bij gezichtsherkenning is bijna nooit een algoritmeprobleem. Het is een inkoopprobleem, een dataprobleem en een governanceprobleem, verkleed als een algoritme. Dat heb ik op de dure manier geleerd, en het is de reden dat mijn team bij Veriprajna uiteindelijk biometrische systemen ging toetsen aan de regelgeving, benchmarks en operationele standaarden die er werkelijk toe doen in plaats van alleen de nauwkeurigheid van leveranciers te scoren.

De scorekaart die ik als eerste bouwde, was het verkeerde gereedschap

Toen ik begon, dacht ik dat de audit voor de hand lag. Lees de NIST Face Recognition Vendor Test — het National Institute of Standards and Technology voert de meest gerespecteerde onafhankelijke benchmark in het vakgebied uit — haal de ranglijstpositie van de leverancier op, scoor die, en geef de klant een groen vinkje. Precies dat bouwde ik: een keurige scorekaart voor de nauwkeurigheid van leveranciers.

De pilot was een winkelketen met een watchlist van bekende verdachten van georganiseerde diefstal. Hun leverancier presteerde daadwerkelijk op topniveau in FRVT. Volgens mijn scorekaart slaagden ze zonder problemen. Dus toen hun winkels alerts bleven genereren op mensen die duidelijk op geen enkele lijst stonden, ging ik ervan uit dat het een afstemmingsprobleem was en ging op zoek naar de bug in de drempelwaarde.

Er was geen bug. De wiskunde werkte precies zoals bedoeld — ik had gewoon het verkeerde ding getoetst.

Een benchmark vertelt je hoe een algoritme presteert in het lab. Het vertelt je vrijwel niets over hoe het zich zal gedragen in jouw winkel.

Dit is wat ik over het hoofd had gezien. De kopnauwkeurigheid van NIST komt voort uit closed-set-matching: gegeven een gezicht, vind de bijbehorende match in een bekende galerij. Dat is het telefoon-ontgrendelprobleem — is dit de eigenaar, ja of nee. Maar een watchlist in de retail is een open-set-probleem, en die twee zijn geen verre neven. In een winkel met 8.000 dagelijkse bezoekers en een watchlist van 200 personen wordt 97,5% van elke scan vergeleken met iemand die helemaal niet is geregistreerd. Een closed-set-algoritme spant zich in om voor elk gezicht dat het ziet de beste match te vinden. Richt het op dat volume en zelfs een fout-positiefpercentage van 0,1% levert per winkel per dag ongeveer 8 verkeerde alerts op. Verspreid over 500 locaties zijn dat dagelijks 4.000 onschuldige mensen die worden gemarkeerd. Ik had een systeem gecertificeerd op de volledig verkeerde vraag.

Dat was de mislukking die de aanpak van het bedrijf opnieuw vormgaf. We stopten met het scoren van leveranciers en begonnen implementaties te toetsen.

De fout-positieven verscholen zich in het fotoalbum

De tweede verrassing was waar de verkeerde matches werkelijk vandaan kwamen. Ik had aangenomen dat een verkeerde match een zwak model betekende. Toen ging ik zitten met de registratiegalerij van een klant — de daadwerkelijke set watchlist-afbeeldingen waartegen het systeem gezichten vergelijkt — en haalde het miniaturenraster tevoorschijn.

Het was een puinhoop. Een handjevol schone, gecontroleerde pasfoto's. En vervolgens tientallen korrelige CCTV-stills, snapshots van mobiele telefoons en arrestatiefoto's van tien jaar oud. Je kunt een levend gezicht uit 2026 niet betrouwbaar matchen met een arrestatiefoto uit 2014 met lage resolutie, en geen enkele algoritmeranglijst ter wereld verhelpt dat. De besmetting zat in de data, niet in het model.

Dit is het deel dat niemand toetst. Ondernemingen zijn geobsedeerd door de vraag welke leverancier ze moeten kopen en inspecteren nooit de galerij die ze eraan voeren — de ongesnoeide watchlists, de verouderde opnames, de resolutieverschillen die de meeste fout-positieven in de praktijk veroorzaken. Toen we de hygiëne van de registratiedatabase gingen behandelen als een eersteklas onderdeel van de audit, daalden de fout-alertpercentages in pilots nog voordat we ook maar één drempelwaarde aanraakten.

En die fout-alerts zijn niet gelijkmatig verdeeld. Uit demografische tests van NIST bleek dat de fout-positiefpercentages binnen groepen variëren met tot wel 7.203 keer tussen demografische groepen — kinderen, ouderen en Aziatische en Amerikaans-Indiaanse personen zien allemaal verhoogde percentages, deels omdat donkerdere huidtinten zwaardere eisen stellen aan het vastleggen van het dynamisch bereik waaraan goedkope camera's niet voldoen. Dit is niet theoretisch. Toen de Federal Trade Commission de implementatie van Rite Aid onderzocht, bleek dat winkels in overwegend zwarte en Aziatische gemeenschappen aanzienlijk meer fout-alerts genereerden dan winkels in overwegend witte gemeenschappen. Medewerkers, niet getraind in de beperkingen van het systeem, behandelden elke alert als een feit en spraken klanten dienovereenkomstig aan.

De vraag die een risicofunctionaris in de retail 's nachts uit de slaap zou moeten houden, is niet "is onze leverancier nauwkeurig". Het is "bij wiens gezichten presteert onze galerij het slechtst, en wat doen onze medewerkers wanneer het scherm oplicht".

Hoe 108 dagen in de gevangenis eruitzien

Als je wilt weten waarom ik denk dat de stap van menselijke beoordeling het hele spel bepaalt, lees dan het dossier van Angela Lipps.

Lipps is een 50-jarige oma. In juli 2025 gebruikte de politie van Fargo gezichtsherkenning om haar te identificeren als verdachte, en U.S. Marshals arresteerden haar. Ze bevond zich 1.200 mijl van de plaats delict. Ze zat 108 dagen in de gevangenis voordat de aanklachten op kerstavond 2025 werden ingetrokken. De politiechef van Fargo bood op 27 maart 2026 publiekelijk zijn verontschuldigingen aan. Er worden claims wegens schending van burgerrechten voorbereid.

Een systeem produceerde een cijfer. Niemand controleerde of dat cijfer betrouwbaar was gezien de beeldkwaliteit, het leeftijdsverschil tussen de onderzoeksfoto en de galerijafbeelding, of hoe het algoritme presteert op haar demografische groep. De matchscore werd behandeld als bewijs. Het was geen bewijs — het was een waarschijnlijkheid zonder enige gekalibreerde betrouwbaarheid eraan verbonden, en iemand las het als een naam.

Lipps is geen uitzondering. The Washington Post heeft ten minste acht Amerikanen gedocumenteerd die ten onrechte werden gearresteerd na matches uit gezichtsherkenning, waarbij rechercheurs in elk geval fundamentele stappen oversloegen, zoals het controleren van een alibi. De onterechte detentie van Harvey Murphy duurde tien dagen, omvatte een fysieke mishandeling, en mondde uit in een rechtszaak van 10 miljoen dollar. In Reno gaat de zaak van Jason Killinger over onterechte arrestatie op basis van casino-gezichtsherkenning naar de rechter, met een agent die op de rechtbank verklaarde dat het "nooit had mogen gebeuren".

Dit is waarom toezichthouders zijn gestopt met het accepteren van menselijk toezicht als een aan te vinken hokje. De standaard die nu convergeert tussen rechtsgebieden is zinvolle, niet ceremoniële beoordeling — en "zinvol" is precies wat de meeste implementaties veinzen. Ik heb human-in-the-loop-procedures beoordeeld waarbij het draaiboek een hokje had met het label zinvol toezicht met daaronder niets. Een beoordelaar die de output van de machine met dezelfde snelheid afstempelt waarmee de machine die produceert, is geen toezicht. Valideren dat de beoordelingsworkflow daadwerkelijk voldoet aan de wettelijke lat — dat een mens het systeem kan overrulen en dat ook doet, met de informatie die daarvoor nodig is — bleek een van de moeilijkste en belangrijkste onderdelen te zijn van elke audit die we uitvoeren.

De lappendeken waaronder je werkelijk aansprakelijk bent

Mensen vragen mij altijd naar "de gezichtsherkenningswet" waaraan ze moeten voldoen. Die bestaat niet. Geen federale Amerikaanse wet regelt gezichtsherkenning. Wat er in plaats daarvan bestaat, is een lappendeken, en de boetes zijn niet symbolisch.

De Illinois BIPA is degene met tanden, omdat die een privaatrechtelijke vorderingsmogelijkheid met zich meebrengt — iedereen kan een rechtszaak aanspannen. De schadevergoeding per overtreding bedraagt $1.000 voor nalatige en $5.000 voor opzettelijke overtredingen, en alleen al in 2025 bedroegen de schikkingen in totaal $136,6 miljoen verspreid over meer dan 107 nieuwe class actions. De cijfers over de gehele periode zijn nog groter: Facebook schikte voor $650 miljoen, Clearview AI voor $51,75 miljoen. De Texas CUBI draagt boetes tot $25.000 per overtreding en leverde een $1,375 miljard Google-schikking op, hoewel Texas alleen handhaaft via zijn procureur-generaal en zijn TRAIGA-wet uit 2025 uitzonderingen maakte voor beveiliging en fraudepreventie.

Dan is er de EU AI Act, waarvan de verboden praktijken — waaronder verboden op realtime biometrische identificatie op afstand — in februari 2025 afdwingbaar werden, met boetes tot €35 miljoen of 7% van de wereldwijde omzet. De deadlines voor systemen met een hoog risico werden uitgesteld tot 2 december 2027, nadat het Europees Parlement stemde om ze te verlengen, wat tijd wint maar niets verandert aan de reeds geldende verboden. Voeg daaraan toe de gewijzigde Privacy Act van Colorado, de biometriewet van Washington, en regelrechte verboden in meer dan 16 Amerikaanse steden, waaronder San Francisco, Boston, Oakland en Portland — met 10 of meer bijkomende staten die naar verwachting tegen eind 2026 biometrische bescherming zullen aannemen — en je hebt een implementatie die in de ene postcode legaal is en in de volgende een magneet voor class actions. Amazons Ring-functie "Familiar Faces", gelanceerd in december 2025, werd binnen enkele weken na de release geblokkeerd in Illinois, Texas en Portland.

Een echte audit moet één enkele implementatie tegen al deze wetten tegelijk in kaart brengen. Geen enkel kant-en-klaar hulpmiddel doet dat, en dat is precies waarom we de capaciteit moesten opbouwen.

Waarom is het kopen van de hoogst gerangschikte leverancier niet genoeg?

In een vroeg stadium vertelde een adviseur me dat het hele ding eenvoudiger was dan ik het maakte: koop de hoogst gerangschikte NIST-leverancier, en je bent compliant. Ik geloofde het ongeveer een week — totdat de pilot bewees dat een topleverancier op een uitstekende benchmark nog steeds een winkel vol fout-alerts opleverde.

Het leverancierslandschap beloont scepsis. De full-stack-koplopers — NEC, IDEMIA, Thales — zijn allemaal echte FRVT-toppresteerders, en softwarespecialisten als Paravision en Rank One Computing behoren tot de besten. Maar de rankings laten de regel weg die in het contract het zwaarst weegt: leveranciers wijzen routinematig elke garantie op nauwkeurigheid af. De onderneming aanvaardt alle aansprakelijkheid voor output die ze niet onafhankelijk kan toetsen. De grote cloudspelers lazen de situatie en vertrokken — Amazon legde een onbepaald moratorium op het politiegebruik van Rekognition, Microsoft deed hetzelfde voor Azure Face, en IBM stapte in 2020 helemaal uit gezichtsherkenning. Clearview AI, de meest agressieve verzamelaar, is in de EU regelrecht verboden.

Als je leverancier geen nauwkeurigheid wil garanderen en de toezichthouder jou aansprakelijk houdt voor de output, dan is de ranglijstpositie van de leverancier het minst interessante feit over je implementatie.

Er zit een diepere inkoopvalstrik in die de meeste kopers nooit zien. De Rite Aid-actie van de FTC verbood niet alleen gezichtsherkenning voor vijf jaar — het beval modeldisgorgement: de vernietiging van alle biometrische data en elk model dat erop is getraind. Disgorgement wordt een standaardinstrument; een zaak uit mei 2025 dwong een edtech-bedrijf om ook zijn modellen te verwijderen. Het principe is dat je geen winst mag maken uit data, of algoritmes afgeleid van data, die je niet mocht verzamelen. Dus de vraag die een inkoopverantwoordelijke aan een leverancier zou moeten stellen, is niet "hoe nauwkeurig ben je". Het is "kun je bewijzen dat de nauwkeurigheid die je me verkoopt niet is gebouwd op data die het model zelf verwijderd zou kunnen krijgen". Dat is een due-diligencevraag, en vrijwel niemand stelt die.

Banken hebben het tegenovergestelde probleem — en dezelfde kloof

De retail is het levendige voorbeeld, maar financiële instellingen zitten vanuit de andere richting in een even benarde positie. Hun biometrie is geen watchlist-screening — het zijn elektronische Know Your Customer-controles: verificatie van identiteitsdocumenten gecombineerd met gezichtsmatching en liveness-detectie om te bevestigen dat een echte persoon een echte rekening opent. De implementatie is met toestemming en beperkt, wat gemakkelijker klinkt. Dat is het niet, want de lat is verschoven.

Per 1 januari 2026 heeft FinCEN zijn antiwitwasvereisten uitgebreid, en de bredere toezichtsverschuiving in 2026 is van aanwezigheid van controles naar aantoonbare effectiviteit van controles. Het is niet langer voldoende om te zeggen dat je liveness-detectie uitvoert. Je moet aantonen dat het werkt — dat je liveness-controle een presentatie-aanval overleeft (een geprinte foto, een afgespeelde video, een siliconenmasker dat voor de camera wordt gehouden), dat je fout-matchpercentage standhoudt over demografische groepen heen, dat de controle iets meetbaars doet in plaats van slechts te bestaan. Een bank die een leverancier als FacePhi gebruikt voor liveness in het bankwezen bevindt zich in dezelfde positie als de retailer: draagt alle aansprakelijkheid voor een systeem dat ze niet onafhankelijk kan evalueren, en wordt nu door zijn toezichthouder gevraagd effectiviteit aan te tonen die het nooit heeft gemeten.

De rode draad die de verliespreventiemanager en de compliancefunctionaris van de bank verbindt, is dezelfde kloof. Beiden kochten een biometrisch systeem op basis van de claim van een leverancier. Geen van beiden kan een NIST FRVT-rapport goed genoeg lezen om het te vertalen naar een inkoopbeslissing, de kwaliteit toetsen van de data die ze in het systeem voeren, of aantonen dat hun menselijke beoordelingsproces zinvol is in plaats van ceremonieel. Die kloof wordt breder naarmate biometrische beslissingen worden overgedragen aan autonome AI-agents — slechts 23% van de organisaties heeft enige formele strategie voor het beheren van agentidentiteit, en het identiteitsverificatiebedrijf iProov waarschuwt al voor een "verantwoordingsvacuüm" wanneer agents beslissingen met grote impact nemen zonder dat iemand er duidelijk voor aanspreekbaar is.

Wat levert gekalibreerde twijfel je eigenlijk op?

De oplossing die er het meest toe deed, was de minst glamoureuze. Gezichtsherkenningsleveranciers rapporteren een matchscore — een cijfer — zonder gekalibreerde betrouwbaarheidsgrenzen eromheen. Het systeem zegt "0,94" en de operator leest "dat is haar". Maar 0,94 tegen een schone studio-pasfoto en 0,94 tegen een tien jaar oude arrestatiefoto van iemand uit een demografie die het algoritme slecht verwerkt, zijn niet dezelfde bewering, en de ruwe score verbergt het verschil.

Wat ontbreekt is een onzekerheidslaag: een manier om aan elke match een eerlijke, gekalibreerde betrouwbaarheid te koppelen zodat een grensgeval-resultaat zichzelf aankondigt als grensgeval en naar een mens wordt geleid in plaats van naar de radio van een bewaker. Dat soort middleware bestaat commercieel niet. Het bouwen van de beoordeling ervoor — het ding dat een agent in Fargo zou hebben verteld "deze match heeft een lage betrouwbaarheid gezien de beeldkwaliteit en de demografische groep van het onderwerp, handel er niet alleen op grond hiervan naar" — is het werk waarvan ik wou dat het had bestaan vóór de zaak-Lipps, niet erna.

Je kunt de instellingen zien die dit al begrijpen. Essex Police in het Verenigd Koninkrijk pauzeerde hun gezichtsherkenningsprogramma vanwege het risico op vertekening, na een audit door het Information Commissioner's Office. Ze wachtten niet op een onterechte arrestatie om erachter te komen dat hun systeem een demografische blinde vlek had. Dat is de houding: behandel het systeem als een aansprakelijkheid totdat een onafhankelijke audit het tegendeel bewijst, in plaats van andersom.

Een benchmarkscore is wat je toont in de salespresentatie van een leverancier. Een gekalibreerde betrouwbaarheidsgrens op elke match is wat je toont aan de toezichthouder en in de rechtszaal — en slechts één daarvan overleeft een kruisverhoor.

De echte vraag om mee te nemen naar je volgende leveranciersgesprek

Als je gezichtsherkenning hebt geïmplementeerd, is de ongemakkelijke waarheid dat je benchmarkcertificaat een ander systeem meet dan het systeem dat draait in je winkels of je onboardingflow. De nauwkeurigheid is echt en vrijwel bijzaak. Wat je blootstelling bepaalt, is de open-set-wiskunde van je omgeving, de hygiëne van de galerij die je hebt gebouwd, of je rechtsgebieden in kaart zijn gebracht, en of een mens de machine daadwerkelijk kan onderscheppen voordat die de verkeerde persoon aanspreekt.

Niets daarvan komt naar voren in een leveranciersranglijst. Alles daarvan komt naar voren in een class action, een FTC-schikkingsbevel, of de 108 dagen van een oma in een cel. We hebben onze compliance-audit voor biometrie en gezichtsherkenning gebouwd voor de koper die die hiaten liever in een rapport aantreft dan in een rechtszaak.

Dus de volgende keer dat een leverancier je een nauwkeurigheidscijfer van 99% overhandigt, vraag dan niet hoe ze eraan zijn gekomen. Vraag wat het niet dekt — en ga vervolgens tellen hoeveel van de gezichten die elke dag langs je camera's lopen, om te beginnen nooit op enige lijst stonden.