Ein Großvater saß zehn Tage im Gefängnis, weil ein Algorithmus ihn für schuldig hielt

Ich telefonierte gerade mit einem potenziellen Kunden — einer mittelgroßen Einzelhandelskette —, als ihr VP of Loss Prevention etwas sagte, das mir den Magen umdrehte.

„Wir sehen uns einen Anbieter für Gesichtserkennung an. Sie sagen, ihr System sei zu 98 % genau. Wir brauchen nur jemanden, der es anschließt.“

Ich stellte eine einzige Frage: „Zu 98 % genau — bei wessen Gesichtern?“

Schweigen.

Dieses Gespräch fand nur wenige Wochen statt, nachdem ich mich durch die FTC-Beschwerde gegen Rite Aid gearbeitet hatte — alle 54 Seiten — und durch die 10-Millionen-Dollar-Klage von Harvey Eugene Murphy Jr., einem 61-jährigen Großvater, der zehn Tage in einem Gefängnis in Houston verbrachte, wegen eines Raubüberfalls, der begangen wurde, während er zu Hause in Sacramento, Kalifornien, war. Er wurde von einem Gesichtserkennungssystem identifiziert. Das System lag falsch. Als sich endlich jemand die Mühe machte nachzuprüfen, war Murphy hinter Gittern bereits geschlagen und sexuell missbraucht worden.

Ich weiß noch, wie ich an jenem Abend in meinem Büro saß, die Details von Murphys Fall erneut durchlas und etwas empfand, das ich normalerweise nicht empfinde, wenn ich technische Fehlerberichte lese: Wut. Nicht auf den Algorithmus — Algorithmen haben keine Absicht. Auf die Menschen, die ihn einsetzten, als wäre er ein Barcode-Scanner. Auf die Architektur, die das unvermeidlich machte.

Ich leite Veriprajna. Wir bauen das, was ich „Deep AI“ nenne — Systeme mit Unsicherheitsquantifizierung, Multi-Agenten-Governance und solider Ingenieursarbeit im Unterbau. Das Gegenteil von dem, was Rite Aid ein Verbot und Harvey Murphy eine Verhaftung einbrachte. Und ich muss Ihnen erklären, warum dieser Unterschied wichtiger ist, als die meisten Menschen in dieser Branche zugeben wollen.

Was bei Rite Aid geschah, war kein Fehler — es war eine Designentscheidung

Im Dezember 2023 tat die FTC etwas Beispielloses: Sie untersagte Rite Aid für fünf Jahre den Einsatz von Gesichtserkennungstechnologie. Keine Geldstrafe. Keine Verwarnung. Ein Verbot.

Zwischen 2012 und 2020 hatte Rite Aid in Hunderten von Filialen KI-basierte Gesichtserkennungsüberwachung eingesetzt. Die Idee war simpel — bekannte Ladendiebe identifizieren, den Sicherheitsdienst alarmieren, Diebstahl reduzieren. Die Umsetzung war eine Katastrophe.

Rite Aid kaufte seine Gesichtserkennung von zwei Drittanbietern. Die Verträge beider Anbieter schlossen jegliche Gewährleistung hinsichtlich der Genauigkeit ausdrücklich aus. Lesen Sie das noch einmal. Die Unternehmen, die die Technologie verkauften, wollten nicht einmal zusichern, dass sie funktionierte. Und Rite Aid setzte sie trotzdem ein — in Filialen voller echter Menschen, mit echten Konsequenzen für jene, die fälschlicherweise identifiziert wurden.

Niemand bei Rite Aid testete das System auf Genauigkeit. Niemand prüfte, ob die Anbieter es getestet hatten. Niemand führte Kontrollen der Bildqualität ein. Filialmitarbeiter speisten körnige Überwachungskamera-Standbilder und Handyfotos in die Erfassungsdatenbank ein, und das System „glich“ diese minderwertigen Bilder pflichtbewusst mit jedem Gesicht ab, das zur Tür hereinkam.

Die Ergebnisse waren für jeden, der etwas von biometrischer Technik versteht, vorhersehbar und für jeden, der es nicht tut, verheerend. Tausende von Falsch-positiven. Unschuldige Kunden, die durch die Gänge verfolgt, durchsucht und öffentlich des Diebstahls beschuldigt wurden. Und hier ist der Teil, der jede Führungskraft in Unternehmen innehalten lassen sollte: Die Fehlalarme trafen unverhältnismäßig oft Frauen und People of Color. Filialen in überwiegend schwarzen und asiatischen Communitys verzeichneten deutlich mehr Fehltreffer als Filialen in überwiegend weißen Communitys.

Das war kein Bug. Es war das unvermeidliche Ergebnis unkalibrierter Modelle, trainiert auf nicht repräsentativen Datensätzen, eingesetzt ohne Überwachung, auf minderwertigem Bildmaterial, ohne einen menschlichen Prüfprozess, der diesen Namen verdient.

Warum landete ein 61-jähriger Großvater im Gefängnis?

Harvey Murphys Fall ist schlimmer, weil die Fehlerkette länger und der menschliche Preis unmittelbarer spürbar ist.

Im Januar 2022 überfiel jemand einen Sunglass Hut in Houston. EssilorLuxottica, das Mutterunternehmen, arbeitete mit Macy's zusammen, um Gesichtserkennung auf das Überwachungsmaterial der Filiale anzuwenden. Das System glich das körnige Überfallmaterial mit einer Datenbank ab, die offenbar Murphys erkennungsdienstliches Foto von gewaltlosen Vergehen enthielt, aufgenommen Jahrzehnte zuvor.

Ich möchte, dass Sie zwei Fakten gleichzeitig im Kopf behalten. Erstens: Murphy war am Tag des Überfalls in Sacramento, Kalifornien. Zweitens: Das System glich aktuelles Überwachungsmaterial mit einem Foto ab, das Jahre — möglicherweise Jahrzehnte — zuvor aufgenommen worden war. Studien haben gezeigt, dass der Abgleich aktueller Bilder mit gealterten Fotos Falsch-positiv-Raten von bis zu 90 % erzeugen kann. Das nennt man das „Age-Gap“-Problem, und jeder, der Gesichtserkennung im Kontext der Strafverfolgung einsetzt, sollte davon wissen.

Aber hier ist, was mich an diesem Fall verfolgt. Laut der Klage präsentierten Sunglass Hut und Macy's den automatisierten Treffer den Strafverfolgungsbehörden als verifizierte Tatsache. Nicht als Hinweis. Nicht als Wahrscheinlichkeit. Als Identifizierung. Die Polizei stellte die Ermittlungen ein. Sie hatten ihren Mann.

Wenn das Ergebnis einer Maschine mit mehr Autorität behandelt wird als das Alibi eines Menschen, haben wir eine Grenze überschritten, die keine noch so große Verbesserung der Genauigkeit beheben kann.

Murphy wurde verhaftet. Er sagte ihnen, er sei nicht in Texas gewesen. Es spielte keine Rolle. Er verbrachte zehn Tage im Gefängnis, bevor die Staatsanwaltschaft sein Alibi bestätigte. Bis dahin war der Schaden angerichtet — körperlich, psychisch, dauerhaft.

Mein Team und ich verbrachten einen Abend damit, die technischen Details dieses Falls durchzugehen und zu rekonstruieren, wie die Systemarchitektur wahrscheinlich aussah. Eingangsbilder mit niedriger Auflösung. Ein gealtertes Galeriefoto. Mit ziemlicher Sicherheit ein Closed-Set-Identifikationsmodell — die Sorte, die darauf optimiert ist, immer einen „besten Treffer“ zu finden, selbst wenn die tatsächliche Person gar nicht in der Datenbank ist. Keine Unsicherheitsquantifizierung. Kein Konfidenz-Schwellenwert. Keine sinnvolle menschliche Prüfung zwischen dem Ergebnis des Algorithmus und einem Mann, der seine Freiheit verliert.

Jedes einzelne dieser Versagen war vermeidbar. Nicht mit besserer KI. Mit besserer Architektur.

Was ist das „Wrapper“-Problem und warum sollte es Sie kümmern?

Jetzt muss ich einen Moment lang technisch werden, denn das Muster hinter beiden Katastrophen ist dasselbe Muster, das ich in Unternehmen um Unternehmen sehe.

Die meisten Unternehmen, die heute KI einsetzen, verwenden das, was die Branche „Wrapper“ nennt. Ein Wrapper ist eine mit Markenlabel versehene Benutzeroberfläche — ein Dashboard, eine App, ein Workflow-Tool —, die auf dem KI-Modell eines anderen aufsitzt. Sie senden Daten an eine Drittanbieter-API, diese schickt ein Ergebnis zurück, und Sie zeigen es Ihrem Nutzer an. Das Wrapper-Unternehmen baut das Modell nicht. Trainiert es nicht. Versteht seine Fehlermodi nicht. Kontrolliert seine Updates nicht.

Rite Aid betrieb einen Wrapper. Eine dünne Schicht aus Einzelhandels-Sicherheitsworkflow über den Blackbox-Gesichtserkennungs-APIs der Anbieter. Als diese APIs Müll produzierten, hatte Rite Aid keine Möglichkeit, das zu erkennen, keine Möglichkeit einzugreifen und — wie die FTC deutlich machte — keine Möglichkeit, der Haftung zu entkommen.

Das ist die Asymmetrie, die Unternehmen zugrunde richtet: Sie übernehmen 100 % der Haftung für ein System, in das Sie 0 % Einblick haben.

Ich habe über diese architektonische Kluft ausführlich in der interaktiven Version unserer Forschung geschrieben, aber das Kernargument ist einfach. Für Anwendungen mit geringem Risiko sind Wrapper völlig in Ordnung. Besprechungsnotizen zusammenfassen. Marketingtexte generieren. Dinge, bei denen eine falsche Antwort ärgerlich ist, aber nicht ruinös.

Aber in dem Moment, in dem Ihr KI-System jemanden verhaften, einen Kredit verweigern, entlassen oder öffentlich demütigen lassen kann — und Gesichtserkennung im Einzelhandel kann all das —, ist ein Wrapper eine Haftungsbombe mit tickendem Countdown.

Wie baut man KI, die weiß, wann sie etwas nicht weiß?

Es gibt einen Moment, zu dem ich immer wieder zurückkehre. Wir bauten für einen Kunden eine Identifikations-Pipeline, und eine meiner Ingenieurinnen ließ einen Stapel Testbilder durch das System laufen. Die Genauigkeitswerte sahen großartig aus — über 95 %. Alle waren zufrieden. Dann bat ich sie, denselben Stapel noch einmal mit sichtbaren Konfidenzverteilungen laufen zu lassen.

Im Raum wurde es still.

Ein erheblicher Teil dieser „korrekten“ Identifizierungen hatte Unsicherheitsverteilungen, die so breit waren, dass es im Grunde Münzwürfe waren, die zufällig richtig gelandet waren. Das Modell riet selbstbewusst, statt zuverlässig zu identifizieren. Hätten wir dieses System nur mit dem Genauigkeitswert ausgeliefert, hätten wir uns nicht von den Anbietern unterschieden, die Rite Aid ihre Software verkauften.

Das ist das Kernproblem daran, wie die meiste KI eingesetzt wird: Jedes Ergebnis wird als binäre Wahrheit behandelt, obwohl es in Wirklichkeit eine probabilistische Schätzung ist. Das Modell sagt nicht „das ist John Smith“. Es sagt „nach allem, was ich gesehen habe, besteht eine X%ige Wahrscheinlichkeit, dass das John Smith ist, plus oder minus Y“. Doch die meisten Systeme werfen den Teil „plus oder minus Y“ weg und zeigen Ihnen nur das X.

Bei Veriprajna bauen wir das, was man Unsicherheitsquantifizierung (UQ) nennt, in jedes System mit hohem Risiko ein. Es gibt zwei Arten von Unsicherheit, die zählen:

Aleatorische Unsicherheit entsteht durch Rauschen in den Daten selbst — schlechtes Licht, Bewegungsunschärfe, eine zerkratzte Kameralinse. Das lässt sich nicht wegtrainieren. Wenn dem Bild Informationen fehlen, kann kein Modell der Welt sie zuverlässig zurückhalluzinieren.

Epistemische Unsicherheit entsteht durch die Grenzen des Modells selbst — es hat nicht genügend Beispiele einer bestimmten demografischen Gruppe gesehen oder ist dieser speziellen Lichtsituation noch nie begegnet. Diese kann durch bessere Trainingsdaten reduziert werden.

Fragile Systeme — Wrapper — unterscheiden nicht zwischen diesen beiden. Ein System meldet vielleicht 85 % Konfidenz für einen Treffer, und das klingt solide. Aber unsere UQ-Schicht könnte offenlegen, dass die Unsicherheitsverteilung um diese 85 % herum enorm ist, was bedeutet, dass die Zahl angesichts der Eingabequalität statistisch bedeutungslos ist.

Ein KI-System, das Ihnen nicht sagen kann, wie unsicher es ist, ist kein Werkzeug — es ist eine Falle.

Wir verwenden Techniken wie die konforme Vorhersage, um zu garantieren, dass die Unsicherheitsschätzungen des Systems innerhalb mathematisch beweisbarer Grenzen liegen. Die technischen Details finden Sie in unserem vollständigen Forschungspapier, aber das praktische Fazit lautet: Bevor das System irgendeine Aktion durchführt, kann es Ihnen sagen, ob seine Antwort vertrauenswürdig ist. Und wenn nicht, eskaliert es an einen Menschen.

Das Open-Set-Problem, über das niemand spricht

Etwas überrascht mich immer noch, wenn ich mit Einkäufern in Unternehmen spreche: Fast keiner von ihnen kennt den Unterschied zwischen Closed-Set- und Open-Set-Erkennung.

Ein Closed-Set-System geht davon aus, dass die gescannte Person definitiv in der Datenbank ist. Denken Sie an das Entsperren Ihres Smartphones — das Telefon weiß, dass Ihr Gesicht hinterlegt ist. Es muss nur bestätigen, dass Sie es sind.

Ein Einzelhandels-Sicherheitssystem ist das Gegenteil. Die überwiegende Mehrheit der Menschen, die ein Geschäft betreten, ist nicht in irgendeiner Kriminaldatenbank. Das ist ein Open-Set-Problem. Und hier ist die katastrophale Diskrepanz: Die meiste kommerzielle Gesichtserkennungssoftware ist auf Closed-Set-Leistung optimiert, weil die Benchmarks dort beeindruckend aussehen.

Was passiert, wenn man ein Closed-Set-Modell in einer Open-Set-Umgebung einsetzt? Es versucht, für jedes einzelne Gesicht den „besten Treffer“ zu finden, weil es davon ausgeht, dass ein Treffer existieren muss. Das ist mit ziemlicher Sicherheit das, was die Tausenden von Falsch-positiven bei Rite Aid erzeugt hat. Das System funktionierte nicht fehlerhaft. Es tat genau das, wofür es entworfen wurde — in einer Umgebung, für die es nie entworfen wurde.

Für Open-Set zu entwickeln bedeutet, Ihr Modell nicht nur darauf zu trainieren, Treffer zu identifizieren, sondern präzise zurückzuweisen — Nicht-Treffer. Ihm beizubringen, „ich kenne diese Person nicht“ mit ebenso viel Präzision zu sagen, wie es sagt „ich erkenne diese Person“. Das erfordert andere Verlustfunktionen, andere Bewertungsmetriken und eine grundlegend andere Designphilosophie.

NIST — das National Institute of Standards and Technology — führt den Face Recognition Vendor Test (FRVT) durch, den weltweiten Goldstandard für die Bewertung solcher Systeme. NIST misst die False Non-Match Rate bei einer festen False Match Rate. Für Hochsicherheitsanwendungen ist dieser Schwellenwert für Fehltreffer auf eins zu einer Million festgelegt. Eins zu einer Million.

Rite Aid hat sich nie an den NIST-Standards gemessen. Und offenbar tat es auch das System nicht, das Harvey Murphy identifizierte.

Model Disgorgement: Die nukleare Option

Es gibt ein Detail im Vergleich der FTC mit Rite Aid, das jedes Unternehmen, das KI auf fragwürdigen Daten aufbaut, in Angst und Schrecken versetzen sollte.

Rite Aid wurde nicht nur angewiesen, die Nutzung der Gesichtserkennung einzustellen. Das Unternehmen wurde angewiesen, alle gesammelten biometrischen Daten zu löschen und sämtliche aus diesen Daten abgeleiteten KI-Modelle oder Algorithmen zu vernichten. Die FTC nannte das „Model Disgorgement“ — ein Unternehmen dazu zu zwingen, im Grunde alles wieder zu verlernen, was seine Modelle aus regelwidrigen Daten aufgenommen hatten.

Denken Sie darüber nach, was das operativ bedeutet. Jahre der Datenerfassung. Modelle, über die Zeit trainiert und verfeinert. Institutionelles Wissen, eingebettet in die Gewichte neuronaler Netze. Alles davon — weg. Nicht weil die Modelle aufgehört hätten zu funktionieren, sondern weil die Daten, auf denen sie aufgebaut waren, ohne angemessene Schutzvorkehrungen beschafft wurden.

Das ist die neue regulatorische Realität. Wenn Ihre Trainingsdaten belastet sind — ohne Einwilligung erhoben, in ihrer Zusammensetzung verzerrt oder unter Verstoß gegen Datenschutzgesetze beschafft —, dann sind auch die auf diesen Daten aufgebauten Modelle belastet. Und die Aufsichtsbehörden verfügen nun über die Mittel, um Sie zu zwingen, sie zu vernichten.

Die meisten Wrapper-Architekturen können nicht einmal eine chirurgisch präzise Datenentfernung durchführen. Ihnen fehlt die Herkunftsverfolgung, um zu wissen, welche Daten welche Modellgewichte beeinflusst haben. Deep-AI-Systeme, die mit Blick auf die Datenherkunft gebaut sind, können das. Es ist eine Eigenschaft, die man erst zu schätzen weiß, wenn die FTC an die Tür klopft.

Warum „Human-in-the-Loop“ nicht nur ein Häkchen ist

Man fragt mich immer, ob die Lösung schlicht darin besteht, vor jede KI-Entscheidung einen menschlichen Prüfer zu setzen. Die Antwort lautet ja — aber mit einem gewaltigen Vorbehalt. Ein schlecht konzipierter menschlicher Prüfprozess ist schlimmer als gar keine Prüfung, weil er die Illusion von Kontrolle erzeugt.

Bei Rite Aid gab es Menschen in der Schleife. Filialmitarbeiter erhielten automatisierte Warnmeldungen und wurden angewiesen, darauf zu reagieren. Aber sie hatten keine Schulung zu Falsch-positiv-Raten. Keine Oberfläche, die ihnen die Qualität des Originalbilds zeigte. Kein Protokoll, um das Ergebnis des Systems zu hinterfragen. Sie waren, funktional betrachtet, bloße Abnickinstanzen für einen Algorithmus.

Wir konzipieren Human-in-the-Loop-Systeme (HITL) mit Konfidenz-Schwellenwerten, die Entscheidungen angemessen weiterleiten. Unter 70 % Konfidenz? Automatische Ablehnung — verschwenden Sie nicht die Zeit eines Menschen mit offensichtlichem Rauschen. Zwischen 70 % und 95 %? Zur menschlichen Prüfung markieren, wobei das Originalquellmaterial neben dem Treffer angezeigt wird, damit der Prüfer ein fundiertes Urteil fällen kann. Über 95 % bei einer folgenarmen Aufgabe? Automatische Freigabe, aber alles protokollieren.

Entscheidend ist, dass der menschliche Prüfer genügend Kontext haben muss, um die Maschine tatsächlich zu überstimmen. Wenn sie nur „TREFFER — 87 % Konfidenz“ sehen, werden sie sich jedes Mal der Zahl beugen. Wenn sie das körnige Überwachungskamerabild neben dem Galeriefoto sehen und die offensichtlichen Unterschiede erkennen können — andere Ohrform, andere Kieferlinie, ein Altersunterschied von 20 Jahren —, werden sie zu einem echten Sicherheitsnetz statt zu einem dekorativen.

Ich hatte darüber eine Auseinandersetzung mit dem CTO eines Kunden. Er wollte die menschliche Prüfung minimieren, um die Kosten niedrig zu halten. Ich sagte ihm, die Kosten einer einzigen Klage à la Harvey Murphy würden ein Jahrzehnt an Gehältern menschlicher Prüfer übersteigen. Er hörte das nicht gern. Aber er wurde auch nicht verklagt.

Die regulatorischen Mauern rücken näher

Der EU AI Act stuft biometrische Identifizierungssysteme standardmäßig als hochriskant ein. Verpflichtende Konformitätsbewertungen. Detaillierte technische Dokumentation. Wirksame menschliche Aufsicht — nicht die Rite-Aid-Variante, die echte. Bestimmte Verwendungen, etwa das Abgreifen von Gesichtsbildern aus dem Internet für Trainingsdaten, sind vollständig verboten.

In den USA legt das NIST AI Risk Management Framework vier Funktionen fest — Govern, Map, Measure, Manage —, die zusammen die Blaupause für einen verantwortungsvollen KI-Einsatz bilden. Das Vorgehen der FTC gegen Rite Aid war im Grunde eine Durchsetzung dieser Prinzipien, bevor sie formelles Recht wurden. Die Botschaft ist eindeutig: Wenn Sie nicht erklären können, wie Ihre KI funktioniert, ihre Verzerrungen nicht messen und ihre Fehler nicht beherrschen können, werden Sie zur Verantwortung gezogen.

Jedem Vorstand, den ich berate, sage ich dasselbe: Richten Sie sich schon jetzt nach den Standards des EU AI Act, selbst wenn Sie nur in den USA tätig sind. Nationale Regulierung kommt, und die Unternehmen, die Compliance als ein Problem der Zukunft behandelt haben, werden sich in Rite Aids Lage wiederfinden — hektisch damit beschäftigt, Modelle zu vernichten und unter einer gerichtlichen Auflage bei null wieder aufzubauen.

Die Verzerrung steckt nicht im Algorithmus — sie steckt in der Bequemlichkeit

Eines, das mich an der öffentlichen Diskussion über KI-Verzerrungen frustriert, ist die unterstellte Annahme, Verzerrung sei eine geheimnisvolle, unlösbare Eigenschaft künstlicher Intelligenz. Ist sie nicht. Sie ist das Ergebnis konkreter, identifizierbarer technischer Abkürzungen.

Sie trainieren ein Modell auf einem Datensatz, der zu 80 % aus hellhäutigen Gesichtern besteht? Es wird bei dunkelhäutigen Gesichtern schlechter abschneiden. Sie lassen adversariales Debiasing weg — die Technik, bei der Sie ein konkurrierendes Netzwerk darauf trainieren zu erkennen, ob Ihr Modell Rasse oder Geschlecht als verborgenes Merkmal nutzt? Ihr Modell wird diese Verzerrungen unsichtbar einkodieren. Sie führen den Einsatz durch, ohne über demografische Gruppen hinweg mit den Benchmark-Daten von NIST zu testen? Sie werden nicht einmal wissen, dass die Verzerrung existiert, bis jemand zu Schaden kommt.

Algorithmische Verzerrung ist kein Rätsel. Sie ist das, was passiert, wenn Ingenieure auf Geschwindigkeit statt auf Gerechtigkeit optimieren und Organisationen auf Kosten statt auf Sicherheit.

Jedes dieser Probleme hat eine bekannte technische Lösung. Adversariales Debiasing. Fairness-Constraints in der Verlustfunktion. Multiskalen-Merkmalsfusion, um mit unterschiedlichen Hauttönen und Lichtverhältnissen umzugehen. Presentation Attack Detection, um Täuschungsversuche zu erkennen. Diese sind nicht theoretisch — sie werden heute in Produktivsystemen eingesetzt. Unseres eingeschlossen.

Der Grund, warum die meisten Unternehmen sie nicht umsetzen, ist derselbe, aus dem Rite Aid die Genauigkeit seines Anbieters nicht testete: Es kostet mehr, dauert länger, und niemand zwingt Sie dazu. Bis man es tut. Und dann kostet es alles.

Was ich wirklich über die Zukunft der Enterprise-KI denke

Ich habe Jahre damit verbracht, Systeme zu bauen, die darauf ausgelegt sind, an sich selbst zu zweifeln, bevor sie handeln. Das mag für den Gründer eines KI-Unternehmens seltsam klingen. Sollte ich nicht Zuversicht verkaufen?

Nein. Ich verkaufe kalibrierte Zuversicht. Das ist ein Unterschied.

Die Unternehmen, die das nächste Jahrzehnt der KI-Regulierung und -Haftung überleben werden, sind jene, die Systeme bauen, die „ich weiß es nicht“ mit derselben Präzision sagen können wie „ich bin sicher“. Die jedes automatisierte Ergebnis als eine zu validierende Hypothese behandeln, nicht als ein zu vollstreckendes Urteil. Die für den schlimmsten Fall konstruieren — den Fall Harvey Murphy — und nicht für den Demofall.

Rite Aid verlor seine biometrischen Fähigkeiten für fünf Jahre und musste seine Modelle vernichten. Macy's und Sunglass Hut sehen sich einer 10-Millionen-Dollar-Klage gegenüber und der Art von Reputationsschaden, den keine PR-Agentur rückgängig machen kann. Das sind keine Warngeschichten aus den Anfangstagen einer riskanten Technologie. Sie geschehen jetzt, mit Systemen, die Unternehmen von der Stange kauften und einsetzten, ohne sie zu verstehen.

Die Wrapper-Ära der Enterprise-KI geht zu Ende. Nicht weil Wrapper nicht funktionieren — für Aufgaben mit geringem Risiko funktionieren sie einwandfrei. Sondern weil die Einsätze immer höher werden, die Regulierungen immer strenger und die Kosten einer selbstbewusst falschen Antwort immer weiter wachsen.

Harvey Murphy war in Sacramento. Der Algorithmus sagte, er sei in Houston. Und zehn Tage lang gewann der Algorithmus.

Das ist kein KI-Problem. Das ist ein Architekturproblem. Und Architektur ist eine Entscheidung.