Können Sie KI-Gesichtserkennung vertrauen? Eine 10-Millionen-Dollar-Lehre

Das Problem

Harvey Murphy, ein 61-jähriger Großvater, verbrachte 10 Tage im Gefängnis für einen Raubüberfall, den er nicht begangen hatte. Er war 1.500 Meilen weit entfernt, als die Tat geschah. Ein Gesichtserkennungssystem bei Macy's glich sein Gesicht mit körnigen Überwachungsaufnahmen eines Raubüberfalls auf einen Sunglass Hut in Houston ab. Murphy befand sich in Sacramento, Kalifornien. Die KI behauptete das Gegenteil, und die Polizei glaubte der Maschine.

Während dieser 10 Tage im Gefängnis wurde Murphy sexuell missbraucht und geschlagen. Er erlitt lebenslange Verletzungen. Er hat inzwischen eine 10-Millionen-Dollar-Klage gegen Macy's und den Mutterkonzern von Sunglass Hut, EssilorLuxottica, eingereicht. Das System, das ihn erfasst hatte, stützte sich auf niedrig aufgelöste Überwachungsvideos. Es glich dieses Material wahrscheinlich mit einem Erkennungsdienstfoto aus gewaltfreien Vergehen ab, die Jahrzehnte zurücklagen. Studien zeigen, dass der Abgleich aktueller Bilder mit Fotos, die im Abstand von Jahren oder Jahrzehnten aufgenommen wurden, Falsch-Positiv-Raten von bis zu 90 % erzeugen kann.

Dies war kein Einzelfall aus heiterem Himmel. Nur wenige Wochen zuvor untersagte die FTC Rite Aid die Nutzung von Gesichtserkennung für fünf Jahre. Zwischen 2012 und 2020 erzeugte das System von Rite Aid Tausende von Falsch-Positiv-Treffern in Hunderten von Filialen. Frauen und People of Color wurden unverhältnismäßig oft erfasst. Mitarbeiter verfolgten, durchsuchten und beschuldigten unschuldige Kunden öffentlich auf der Grundlage automatisierter Warnmeldungen.

Wenn Ihr Unternehmen KI für Entscheidungen einsetzt, die die Freiheit, die Finanzen oder den Ruf einer Person betreffen, sind diese Fälle Ihr Warnschuss.

Warum das für Ihr Unternehmen von Bedeutung ist

Die finanzielle Haftung ist hier keineswegs hypothetisch. Sie schlägt sich bereits in Bilanzen und Gerichtssälen nieder.

• 10-Millionen-Dollar-Klage: Harvey Murphys Klage gegen Macy's und EssilorLuxottica wegen unrechtmäßiger Festnahme und Körperverletzung infolge einer fehlerhaften KI-Identifizierung.
• Fünfjähriges Technologieverbot: Die FTC untersagte Rite Aid den Einsatz von Gesichtserkennung vollständig. Rite Aid muss zudem alle biometrischen Daten löschen und jedes KI-Modell vernichten, das auf diesen Daten basiert.
• Modell-Disgorgement: Die FTC zwang Rite Aid dazu, seine KI „verlernen“ zu lassen — durch die Vernichtung von Algorithmen, die aus unzulässig erhobenen Informationen abgeleitet wurden. Dies ist ein neuartiges Regulierungsinstrument, das jahrelange Investitionen über Nacht zunichtemacht.

Das regulatorische Umfeld verschärft sich rasant. Der EU AI Act stuft die biometrische Identifizierung in öffentlich zugänglichen Räumen nun als „Hochrisiko“ ein. Anbieter müssen Konformitätsbewertungen durchführen, detaillierte technische Dokumentationen vorhalten und eine wirksame menschliche Aufsicht gewährleisten. Selbst wenn Ihr Unternehmen ausschließlich in den Vereinigten Staaten tätig ist, forciert das NIST AI Risk Management Framework dieselben Prinzipien. Die FTC wandte eine ähnliche Logik an — Transparenz, Rechenschaftspflicht, Risikomanagement —, um ihr Verbot gegen Rite Aid zu begründen.

Ihr Vorstand muss verstehen: Die Kosten eines unzureichend gesteuerten KI-Systems sind kein IT-Problem. Sie sind ein Prozessrisiko, ein regulatorisches Problem und ein Skandal für die Titelseiten. Wenn Ihr KI-Anbieter nicht erklären kann, wie sein System derartige Fehler vermeidet, trägt Ihr Unternehmen das Risiko — nicht der Anbieter.

Was tatsächlich unter der Haube passiert

Hier ist der Grund, warum diese Systeme versagen, in klaren Worten erklärt.

Die meisten kommerziellen Gesichtserkennungswerkzeuge sind für sogenannte „Closed-Set“-Probleme konzipiert. Das bedeutet, das System geht davon aus, dass die gescannte Person definitiv in der Datenbank vorhanden ist. Stellen Sie sich vor, wie Sie Ihr Smartphone per Gesichtserkennung entsperren: Das Telefon weiß bereits, dass Sie es sind; es muss dies nur noch bestätigen.

Sicherheitssysteme im Einzelhandel sind das genaue Gegenteil: Sie stellen ein „Open-Set“-Problem dar. Die überwiegende Mehrheit der Personen, die Ihr Geschäft betreten, ist in keiner kriminellen Datenbank verzeichnet. Ein Closed-Set-System versteht es jedoch nicht, zu sagen: „Ich erkenne diese Person nicht.“ Stattdessen ermittelt es den denkbar engsten Treffer, selbst wenn dieser falsch ist. Genau so erzeugte Rite Aid Tausende von Falsch-Positiv-Meldungen in Hunderten von Filialen.

Stellen Sie es sich wie einen Multiple-Choice-Test ohne die Option „Keine der oben genannten Antworten“ vor. Das System muss eine Antwort wählen, selbst wenn die richtige Antwort gar nicht aufgeführt ist. Jedes Gesicht, das durch die Tür kommt, wird mit irgendjemandem in der Datenbank abgeglichen — ob die Person dort hineingehört oder nicht.

Der zweite fundamentale Fehler besteht darin, das Ergebnis der KI als bloße Ja-oder-Nein-Antwort zu behandeln. In der Realität ist jedes KI-Ergebnis eine Wahrscheinlichkeit — eine Schätzung mit einem Konfidenzniveau. Das System von Macy's lieferte einen Übereinstimmungswert für Harvey Murphy. Niemand hinterfragte jedoch, wie zuverlässig dieser Wert tatsächlich war. Ein Übereinstimmungswert von 0,85 klingt hoch. Wenn jedoch das zugrunde liegende Bild verschwommen und das Vergleichsfoto Jahrzehnte alt ist, ist diese 0,85 statistisch bedeutungslos. Ohne eine Schicht zur Messung von Unsicherheit — die beziffert, wie sicher sich das System wirklich ist — treffen Sie folgenschwere Entscheidungen auf der Grundlage eines Münzwurfs im wissenschaftlichen Gewand.

Was funktioniert (und was nicht)

Beginnen wir mit dem, was scheitert.

Standardmodelle von der Stange ohne Tests. Rite Aid kaufte Gesichtserkennungssoftware von zwei Anbietern, deren Verträge ausdrücklich jegliche Gewährleistung für die Genauigkeit ausschlossen. Das Unternehmen testete die Software nie auf Zuverlässigkeit. Sie können Rechenschaftspflicht nicht durch einen Lieferantenvertrag auslagern.

Minderwertige Eingabedaten als ausreichend erachtet. Sowohl Rite Aid als auch Macy's speisten körnige Standbilder aus Videoüberwachungsanlagen und veraltete Erkennungsdienstfotos in ihre Systeme ein. In der biometrischen Technik senken schlechte Eingangsdaten nicht bloß die Genauigkeit — sie vervielfachen Fehler exponentiell.

Keine menschliche Prüfung vor dem Handeln. Mitarbeiter von Rite Aid stellten Kunden allein auf der Grundlage automatisierter Alarme zur Rede. Niemand hinterfragte die Maschine. In der Klage gegen Macy's wird vorgebracht, das Unternehmen habe der Polizei einen automatisierten Treffer als verifizierte Tatsache präsentiert, woraufhin die Polizei die weiteren Ermittlungen einstellte.

Hier ist, was tatsächlich funktioniert.

1. Eingabevalidierung. Bevor Ihr System überhaupt einen Abgleich versucht, bewertet ein dedizierter Qualitätsprüfungs-Agent das Bild. Ist die Auflösung ausreichend? Sind die Lichtverhältnisse angemessen? Ist das Referenzfoto aktuell genug? Besteht die Eingabe diese Prüfungen nicht, weist das System den Vergleich umgehend zurück. Kein Ergebnis ist besser als ein falsches Ergebnis.

2. Unsicherheitsmessung. Anstatt einen einzelnen Konfidenzwert auszugeben, generiert das System eine Wahrscheinlichkeitsverteilung — eine Spanne, die zeigt, wie verlässlich das Ergebnis tatsächlich ist. Verfahren wie die konforme Prädiktion (Conformal Prediction) garantieren, dass das tatsächliche Ergebnis bei einem von Ihnen definierten Konfidenzniveau innerhalb der vorhergesagten Grenzen liegt. Sie bestimmen Ihre akzeptable Fehlerrate; das System setzt sie mathematisch durch.

3. Human-in-the-Loop-Entscheidungsgates. Das System leitet jedes Ergebnis durch Konfidenzschwellenwerte. Bei einer Konfidenz von unter 70 % wird der Treffer automatisch verworfen. Zwischen 70 % und 95 % sieht ein geschulter menschlicher Prüfer das originale Überwachungsbild neben dem Datenbankfoto und trifft die Entscheidung. Nur bei über 95 % — und nur für Aktionen mit geringer Tragweite — handelt das System autonom.

Dies ist ein Multi-Agenten-Orchestrierungsansatz , bei dem spezialisierte Agenten jeden Schritt übernehmen: Einer validiert die Eingabequalität, ein anderer führt den Abgleich durch, ein dritter misst die Unsicherheit und ein vierter kennzeichnet mehrdeutige Fälle für die menschliche Überprüfung. Kein einzelnes Modell trifft die endgültige Entscheidung allein.

Der entscheidende Compliance-Vorteil ist der Prüfpfad. Jeder Schritt — jede Prüfung der Bildqualität, jeder Konfidenzwert, jede menschliche Entscheidung — wird automatisch protokolliert. Wenn die Regulierungsbehörde oder der Anwalt des Klägers Auskunft darüber verlangt, wie Ihr System zu einer Entscheidung gelangt ist, können Sie lückenlos belegen, was passiert ist. Der Face Recognition Vendor Test des NIST liefert die Benchmarks, die Ihre Anbieter erfüllen sollten. Er misst Falschakzeptanzraten bei Schwellenwerten von bis zu 1 zu 1.000.000. Zudem schlüsselt er die Leistung nach Geschlecht, Alter und demografischer Gruppe auf — exakt jene Daten zu Verzerrungen (Bias), die die FTC von Rite Aid einforderte.

Für Organisationen im Bereich KI-Sicherheit und -Resilienzgeht es nicht darum, ob Ihre KI im Durchschnitt genau ist. Entscheidend ist, ob Ihre KI beweisen kann, dass sie in diesem konkreten Fall, für diese bestimmte Person und unter diesen spezifischen Bedingungen genau war. Das ist der Standard, den deterministische Workflows und Werkzeuge erfüllen müssen.

Sie können die vollständige technische Analyse lesen , um alle technischen Details zu erfahren, oder die interaktive Version erkunden , um einen geführten Überblick über die Architektur zu erhalten.