Ein Gesichtserkennungsanbieter erreichte 99 % — und schlug trotzdem den ganzen Tag bei unschuldigen Kunden Alarm
Der Algorithmus des Anbieters war in die oberste Kategorie des staatlichen US-Benchmarks eingestuft. Bei einer Sammlung von zwölf Millionen Fahndungsfotos erreichen die führenden Gesichtserkennungssysteme heute eine Genauigkeit von über 99 %. Die Zahl war echt, das Zertifikat war echt, und ich hatte es genutzt, um einem Pilotkunden zu versichern, dass sein Einsatz zur Verlustprävention solide sei.
Dann ließen wir ihre echten Filialdaten laufen, und das System schlug den ganzen Tag über bei unschuldigen Kunden Alarm.
Diese Lücke — zwischen einem 99-%-Benchmark-Wert und einem System, das in Gang sechs die falsche Großmutter zur Rede stellt — ist das eigentliche Thema dieses Essays. Compliance bei der Gesichtserkennung ist fast nie ein Algorithmus-Problem. Es ist ein Beschaffungsproblem, ein Datenproblem und ein Governance-Problem im Gewand eines Algorithmus. Das habe ich auf die teure Weise gelernt, und deshalb begann mein Team bei Veriprajna schließlich damit, biometrische Systeme anhand der Vorschriften, Benchmarks und operativen Standards zu prüfen, auf die es wirklich ankommt statt einfach nur die Genauigkeit der Anbieter zu bewerten.
Die Scorecard, die ich zuerst gebaut habe, war das falsche Werkzeug
Als ich anfing, hielt ich die Prüfung für offensichtlich. Man liest den NIST Face Recognition Vendor Test — das National Institute of Standards and Technology betreibt den angesehensten unabhängigen Benchmark der Branche —, entnimmt den Rang des Anbieters, bewertet ihn und übergibt dem Kunden ein grünes Häkchen. Genau das habe ich gebaut: eine ordentliche Scorecard zur Anbietergenauigkeit.
Der Pilot war eine Einzelhandelskette mit einer Beobachtungsliste bekannter Verdächtiger für organisierten Diebstahl. Ihr Anbieter war ein echter Spitzenreiter beim FRVT. Nach meiner Scorecard bestanden sie einwandfrei. Als ihre Filialen also weiter Alarme bei Personen erzeugten, die eindeutig auf keiner Liste standen, ging ich von einem Einstellungsproblem aus und suchte nach dem Fehler im Schwellenwert.
Es gab keinen Fehler. Die Mathematik funktionierte genau wie vorgesehen — ich hatte nur das Falsche geprüft.
Ein Benchmark sagt Ihnen, wie ein Algorithmus im Labor abschneidet. Er sagt Ihnen fast nichts darüber, wie er sich in Ihrer Filiale verhalten wird.
Folgendes hatte ich übersehen. Die von NIST beworbene Spitzengenauigkeit stammt aus dem Closed-Set-Matching: Bei einem gegebenen Gesicht findet man seinen Treffer in einer bekannten Sammlung. Das ist das Problem der Telefonentsperrung — ist das der Besitzer, ja oder nein. Doch eine Beobachtungsliste im Einzelhandel ist ein Open-Set-Problem, und die beiden sind nicht verwandt. In einer Filiale mit 8.000 täglichen Besuchern und einer 200-köpfigen Beobachtungsliste richten sich 97,5 % jedes Scans gegen jemanden, der überhaupt nicht erfasst ist. Ein Closed-Set-Algorithmus müht sich ab, für jedes Gesicht, das er sieht, den besten Treffer zu finden. Richtet man ihn auf dieses Volumen, erzeugt selbst eine Falsch-Positiv-Rate von 0,1 % rund 8 falsche Alarme pro Filiale und Tag. Über 500 Standorte hinweg sind das täglich 4.000 fälschlich markierte unschuldige Menschen. Ich hatte ein System auf die völlig falsche Frage hin zertifiziert.
Das war das Versagen, das den Ansatz des Unternehmens neu formte. Wir hörten auf, Anbieter zu bewerten, und begannen, Einsätze zu prüfen.
Die Falsch-Positiven versteckten sich im Fotoalbum
Die zweite Überraschung war, woher die fehlerhaften Treffer tatsächlich kamen. Ich hatte angenommen, ein falscher Treffer bedeute ein schwaches Modell. Dann setzte ich mich mit der Erfassungssammlung eines Kunden zusammen — dem tatsächlichen Satz von Beobachtungslisten-Bildern, mit denen das System Gesichter abgleicht — und rief das Vorschaubild-Raster auf.
Es war ein Chaos. Eine Handvoll saubere, kontrollierte Porträtaufnahmen. Und dann Dutzende körnige Überwachungskamera-Standbilder, Handy-Schnappschüsse und Fahndungsfotos, die ein Jahrzehnt alt waren. Man kann ein lebendes Gesicht von 2026 nicht zuverlässig mit einem niedrig aufgelösten Fahndungsfoto von 2014 abgleichen, und kein Algorithmus-Rang der Welt behebt das. Die Verunreinigung lag in den Daten, nicht im Modell.
Das ist der Teil, den niemand prüft. Unternehmen sind besessen davon, welchen Anbieter sie kaufen, und untersuchen nie die Sammlung, die sie ihm zuführen — die ungepflegten Beobachtungslisten, die veralteten Aufnahmen, die Auflösungsunterschiede, die die meisten Falsch-Positiven in der Praxis verursachen. Als wir begannen, die Hygiene der Erfassungsdatenbank als erstrangigen Teil der Prüfung zu behandeln, sanken die Fehlalarm-Raten in den Pilotprojekten, bevor wir einen einzigen Schwellenwert berührten.
Und diese Fehlalarme sind nicht gleichmäßig verteilt. Die demografischen Tests von NIST ergaben, dass die gruppeninternen Falsch-Positiv-Raten um das bis zu 7.203-Fache über demografische Gruppen hinweg variieren — Kinder, ältere Menschen sowie asiatische und indianische Personen weisen alle erhöhte Raten auf, teils weil dunklere Hauttöne höhere Anforderungen an die Dynamikumfang-Erfassung stellen, die billige Kameras nicht erfüllen. Das ist nicht theoretisch. Als die Federal Trade Commission den Einsatz bei Rite Aid untersuchte, stellte sie fest, dass Filialen in mehrheitlich schwarzen und asiatischen Gemeinden deutlich mehr Fehlalarme erzeugten als Filialen in mehrheitlich weißen Gemeinden. Mitarbeiter, ungeschult in den Grenzen des Systems, behandelten jeden Alarm als Tatsache und stellten Kunden entsprechend zur Rede.
Die Frage, die einen Risikoverantwortlichen im Einzelhandel nachts wachhalten sollte, lautet nicht "Ist unser Anbieter genau." Sie lautet "Bei wessen Gesichtern ist unsere Sammlung am schlechtesten, und was tun unsere Mitarbeiter, wenn der Bildschirm aufleuchtet."
Wie 108 Tage im Gefängnis aussehen
Wenn Sie wissen wollen, warum ich den Schritt der menschlichen Überprüfung für das A und O halte, lesen Sie die Akte von Angela Lipps.
Lipps ist eine 50-jährige Großmutter. Im Juli 2025 nutzte die Polizei von Fargo Gesichtserkennung, um sie als Verdächtige zu identifizieren, und U.S. Marshals verhafteten sie. Sie war 1.200 Meilen vom Tatort entfernt. Sie verbrachte 108 Tage im Gefängnis, bevor die Anklage an Heiligabend 2025 fallen gelassen wurde. Der Polizeichef von Fargo entschuldigte sich am 27. März 2026 öffentlich. Bürgerrechtsklagen werden vorbereitet.
Ein System erzeugte eine Zahl. Niemand prüfte, ob diese Zahl angesichts der Bildqualität, des Altersunterschieds zwischen dem Prüffoto und dem Sammlungsbild oder der Leistung des Algorithmus bei ihrer demografischen Gruppe zuverlässig war. Der Trefferwert wurde als Beweis behandelt. Es war kein Beweis — es war eine Wahrscheinlichkeit ohne angehängtes kalibriertes Vertrauen, und jemand las sie als einen Namen.
Lipps ist kein Ausreißer. Die Washington Post hat mindestens acht Amerikaner dokumentiert, die nach Gesichtserkennungs-Treffern zu Unrecht verhaftet wurden, wobei die Ermittler in jedem Fall grundlegende Schritte wie die Überprüfung eines Alibis ausließen. Die unrechtmäßige Haft von Harvey Murphy dauerte zehn Tage, umfasste einen körperlichen Übergriff und mündete in eine Klage über 10 Millionen Dollar. In Reno steht der Fall der unrechtmäßigen Verhaftung von Jason Killinger durch Casino-Gesichtserkennung vor Gericht, wobei ein Beamter aktenkundig sagte, es "hätte niemals passieren dürfen."
Deshalb akzeptieren die Regulierungsbehörden menschliche Aufsicht nicht länger als bloßes Häkchen. Der Standard, der sich nun über die Rechtsordnungen hinweg herausbildet, ist eine sinnvolle, nicht zeremonielle Überprüfung — und "sinnvoll" ist genau das, was die meisten Einsätze vortäuschen. Ich habe Human-in-the-Loop-Verfahren geprüft, bei denen die Arbeitsanweisung ein Feld hatte mit der Beschriftung sinnvolle Aufsicht mit nichts darunter. Ein Prüfer, der die Ausgabe der Maschine im gleichen Tempo abnickt, in dem die Maschine sie erzeugt, ist keine Aufsicht. Zu validieren, dass der Überprüfungs-Workflow die regulatorische Messlatte tatsächlich erfüllt — dass ein Mensch das System außer Kraft setzen kann und es auch tut, mit den dafür nötigen Informationen —, erwies sich als einer der schwersten und wichtigsten Teile jeder Prüfung, die wir durchführen.
Der Flickenteppich, unter dem Sie tatsächlich haften
Die Leute fragen mich immer nach "dem Gesichtserkennungsgesetz", das sie einhalten müssen. Es gibt keines. Kein US-Bundesgesetz regelt die Gesichtserkennung. Stattdessen existiert ein Flickenteppich, und die Strafen sind nicht symbolisch.
Illinois BIPA ist dasjenige mit Biss, weil es ein privates Klagerecht mit sich bringt — jeder kann klagen. Der Schadenersatz pro Verstoß beträgt 1.000 Dollar bei fahrlässigen und 5.000 Dollar bei vorsätzlichen Verstößen, und allein 2025 beliefen sich die Vergleiche auf insgesamt 136,6 Millionen Dollar über mehr als 107 neue Sammelklagen. Die Gesamtzahlen sind noch größer: Facebook einigte sich auf 650 Millionen Dollar, Clearview AI auf 51,75 Millionen Dollar. Texas CUBI sieht Strafen von bis zu 25.000 Dollar pro Verstoß vor und brachte einen 1,375 Milliarden Dollar Google-Vergleich hervor, obwohl Texas nur über seinen Generalstaatsanwalt durchsetzt und sein TRAIGA-Gesetz von 2025 Ausnahmen für Sicherheit und Betrugsprävention vorsah.
Dann gibt es den EU AI Act, dessen verbotene Praktiken — einschließlich der Verbote von biometrischer Echtzeit-Fernidentifizierung — im Februar 2025 durchsetzbar wurden, mit Strafen von bis zu 35 Millionen Euro oder 7 % des weltweiten Umsatzes. Seine Fristen für Hochrisikosysteme wurden auf den 2. Dezember 2027 verschoben, nachdem das Europäische Parlament für ihre Verlängerung gestimmt hatte, was Zeit verschafft, aber nichts an den bereits geltenden Verboten ändert. Nimmt man Colorados novellierten Privacy Act, Washingtons Biometriegesetz und regelrechte Verbote in mehr als 16 US-Städten hinzu, darunter San Francisco, Boston, Oakland und Portland — wobei erwartet wird, dass bis Ende 2026 zehn oder mehr weitere Bundesstaaten Biometrieschutzgesetze verabschieden —, dann hat man einen Einsatz, der in der einen Postleitzahl legal und in der nächsten ein Magnet für Sammelklagen ist. Amazons Ring-Funktion "Familiar Faces", die im Dezember 2025 eingeführt wurde, wurde binnen Wochen nach Veröffentlichung in Illinois, Texas und Portland blockiert.
Eine echte Prüfung muss einen einzelnen Einsatz gegen all dies auf einmal abbilden. Kein Standardwerkzeug leistet das, und genau deshalb mussten wir die Fähigkeit selbst aufbauen.
Warum reicht es nicht, den bestplatzierten Anbieter zu kaufen?
Anfangs sagte mir ein Berater, das Ganze sei einfacher, als ich es machte: Man kaufe den bestplatzierten NIST-Anbieter, und man ist konform. Ich glaubte es etwa eine Woche lang — bis der Pilot bewies, dass ein Spitzenanbieter mit einem großartigen Benchmark trotzdem eine Filiale voller Fehlalarme erzeugte.
Die Anbieterlandschaft belohnt Skepsis. Die Full-Stack-Marktführer — NEC, IDEMIA, Thales — sind allesamt echte FRVT-Spitzenreiter, und Softwarespezialisten wie Paravision und Rank One Computing zählen zu den Besten. Doch die Ranglisten lassen die Zeile aus, die im Vertrag am wichtigsten ist: Anbieter schließen routinemäßig jede Gewährleistung für Genauigkeit aus. Das Unternehmen trägt die volle Haftung für Ergebnisse, die es nicht unabhängig prüfen kann. Die großen Cloud-Anbieter erkannten die Lage und zogen sich zurück — Amazon verhängte ein unbefristetes Moratorium für die polizeiliche Nutzung von Rekognition, Microsoft tat dasselbe für Azure Face, und IBM stieg 2020 vollständig aus der Gesichtserkennung aus. Clearview AI, der aggressivste Sammler, ist in der EU vollständig verboten.
Wenn Ihr Anbieter keine Genauigkeit garantiert und die Regulierungsbehörde Sie für die Ausgabe haftbar macht, ist der Benchmark-Rang des Anbieters die uninteressanteste Tatsache über Ihren Einsatz.
Es gibt eine tiefere Beschaffungsfalle, die die meisten Käufer nie sehen. Die Rite-Aid-Maßnahme der FTC verbot nicht nur fünf Jahre lang die Gesichtserkennung — sie verfügte Modell-Disgorgement: die Vernichtung aller biometrischen Daten und jedes darauf trainierten Modells. Disgorgement wird zu einem Standardinstrument; ein Fall vom Mai 2025 zwang auch ein EdTech-Unternehmen, seine Modelle zu löschen. Das Prinzip ist, dass man nicht von Daten oder von aus Daten abgeleiteten Algorithmen profitieren darf, die man nicht erheben durfte. Die Frage, die eine Beschaffungsleitung einem Anbieter also stellen sollte, lautet nicht "Wie genau sind Sie." Sie lautet "Können Sie beweisen, dass die Genauigkeit, die Sie mir verkaufen, nicht auf Daten aufgebaut war, die das Modell selbst löschbar machen könnten." Das ist eine Due-Diligence-Frage, und fast niemand stellt sie.
Banken haben das gegenteilige Problem — und dieselbe Lücke
Der Einzelhandel ist der anschauliche Fall, doch Finanzinstitute stecken aus der anderen Richtung in einer ebenso engen Lage. Ihre Biometrie ist keine Beobachtungslisten-Prüfung — sie sind elektronische Know-Your-Customer-Prüfungen: die Verifizierung von Ausweisdokumenten kombiniert mit Gesichtsabgleich und Lebenderkennung, um zu bestätigen, dass eine echte Person ein echtes Konto eröffnet. Der Einsatz erfolgt mit Einwilligung und ist eng begrenzt, was einfacher klingt. Ist es aber nicht, denn die Messlatte hat sich verschoben.
Seit dem 1. Januar 2026 hat FinCEN seine Anforderungen zur Geldwäschebekämpfung ausgeweitet, und die umfassendere aufsichtsrechtliche Verschiebung 2026 geht vom Vorhandensein von Kontrollen zur nachweisbaren Wirksamkeit von Kontrollen über. Es genügt nicht mehr, zu sagen, dass man Lebenderkennung betreibt. Man muss zeigen, dass sie funktioniert — dass die Lebenderkennung einen Präsentationsangriff übersteht (ein gedrucktes Foto, ein abgespieltes Video, eine vor die Kamera gehaltene Silikonmaske), dass die Falsch-Treffer-Rate über Demografien hinweg standhält, dass die Kontrolle etwas Messbares tut, statt bloß zu existieren. Eine Bank, die für die Banking-Lebenderkennung einen Anbieter wie FacePhi einsetzt, ist in derselben Lage wie der Einzelhändler: Sie trägt die volle Haftung für ein System, das sie nicht unabhängig bewerten kann, und wird nun von ihrer Aufsichtsbehörde aufgefordert, eine Wirksamkeit nachzuweisen, die sie nie gemessen hat.
Der rote Faden, der den Verlustpräventions-Manager und den Compliance-Verantwortlichen der Bank verbindet, ist dieselbe Lücke. Beide kauften ein biometrisches System auf eine Behauptung des Anbieters hin. Keiner kann einen NIST-FRVT-Bericht gut genug lesen, um ihn in eine Beschaffungsentscheidung zu übersetzen, die Qualität der Daten zu prüfen, die sie dem System zuführen, oder zu beweisen, dass ihr menschlicher Überprüfungsprozess sinnvoll statt zeremoniell ist. Diese Lücke wird größer, während biometrische Entscheidungen autonomen KI-Agenten übergeben werden — nur 23 % der Organisationen haben überhaupt eine formale Strategie zur Verwaltung der Agenten-Identität, und die Identitätsprüfungsfirma iProov warnt vor einem "Verantwortungsvakuum", wenn Agenten folgenreiche Entscheidungen treffen, für die niemand klar zur Rechenschaft gezogen werden kann.
Was bringt Ihnen kalibrierter Zweifel eigentlich?
Die Lösung, auf die es am meisten ankam, war die am wenigsten glamouröse. Gesichtserkennungsanbieter melden einen Trefferwert — eine Zahl — ohne kalibrierte Vertrauensgrenzen darum herum. Das System sagt "0,94" und der Bediener liest "das ist sie." Aber 0,94 gegen eine saubere Studio-Porträtaufnahme und 0,94 gegen ein jahrzehntealtes Fahndungsfoto einer Person aus einer Demografie, die der Algorithmus schlecht handhabt, sind nicht dieselbe Aussage, und der Rohwert verbirgt den Unterschied.
Was fehlt, ist eine Unsicherheitsebene: eine Möglichkeit, jedem Treffer ehrliches, kalibriertes Vertrauen beizufügen, sodass ein Grenzfall-Ergebnis sich selbst zu erkennen gibt als Grenzfall und an einen Menschen weitergeleitet wird statt an das Funkgerät eines Wachmanns. Solche Middleware existiert kommerziell nicht. Die Bewertung dafür aufzubauen — das, was einem Fargo-Beamten gesagt hätte, "dieser Treffer ist angesichts der Bildqualität und der demografischen Gruppe der Person von geringem Vertrauen, handeln Sie nicht allein danach" — ist die Arbeit, von der ich wünschte, sie hätte vor dem Fall Lipps existiert, nicht danach.
Man erkennt die Institutionen, die das bereits verstehen. Die Essex Police im Vereinigten Königreich setzte ihr Gesichtserkennungsprogramm wegen Verzerrungsrisiken aus, nachdem das Information Commissioner's Office eine Prüfung durchgeführt hatte. Sie warteten nicht auf eine unrechtmäßige Verhaftung, um herauszufinden, dass ihr System einen demografischen blinden Fleck hatte. Das ist die Haltung: das System als Haftungsrisiko behandeln, bis eine unabhängige Prüfung das Gegenteil beweist, statt umgekehrt.
Einen Benchmark-Wert zeigt man im Verkaufsprospekt eines Anbieters. Eine kalibrierte Vertrauensgrenze für jeden Treffer zeigt man der Regulierungsbehörde und dem Gerichtssaal — und nur eines davon übersteht ein Kreuzverhör.
Die eigentliche Frage für Ihr nächstes Gespräch mit einem Anbieter
Wenn Sie Gesichtserkennung eingesetzt haben, ist die unbequeme Wahrheit, dass Ihr Benchmark-Zertifikat ein anderes System misst als das, das in Ihren Filialen oder Ihrem Onboarding-Ablauf läuft. Die Genauigkeit ist echt und fast nebensächlich. Was Ihr Risiko bestimmt, ist die Open-Set-Mathematik Ihrer Umgebung, die Hygiene der Sammlung, die Sie aufgebaut haben, ob Ihre Rechtsordnungen kartiert sind und ob ein Mensch die Maschine tatsächlich stoppen kann, bevor sie die falsche Person zur Rede stellt.
Nichts davon zeigt sich in einem Anbieterrang. All das zeigt sich in einer Sammelklage, einer FTC-Zustimmungsverfügung oder den 108 Tagen einer Großmutter in einer Zelle. Wir haben unsere Compliance-Prüfung für Biometrie und Gesichtserkennung für den Käufer gebaut, der diese Lücken lieber in einem Bericht als in einer Klage findet.
Wenn Ihnen das nächste Mal ein Anbieter eine 99-%-Genauigkeitszahl vorlegt, fragen Sie nicht, wie er sie erreicht hat. Fragen Sie, was sie nicht abdeckt — und zählen Sie dann, wie viele der Gesichter, die täglich an Ihren Kameras vorbeigehen, von vornherein auf keiner Liste standen.