Der Algorithmus, der eine Stadt verschlang: Was mich der Zusammenbruch der vorausschauenden Polizeiarbeit über den Aufbau vertrauenswürdiger KI gelehrt hat

Ende 2023 saß ich in einem Konferenzraum und sah zu, wie ein potenzieller Kunde sein internes KI-Tool vorführte — einen Chatbot, den sie zusammengebaut hatten, um ihrem Compliance-Team dabei zu helfen, Risiken in Finanzdokumenten zu markieren. Die Benutzeroberfläche war schick. Die Antworten waren schnell. Und etwa jede vierte Antwort war selbstbewusst und gefährlich falsch.

Als ich auf eine Halluzination hinwies — das Modell hatte eine regulatorische Quellenangabe erfunden, die es gar nicht gab —, zuckte der VP of Engineering mit den Schultern. „Ja, das wissen wir. Wir hoffen, dass das nächste Modell-Update das behebt."

Dieser Moment brachte etwas auf den Punkt, worüber ich seit Monaten nachgedacht hatte. Die Unternehmenswelt schlafwandelte geradewegs in genau dieselbe Falle, die das öffentliche Vertrauen in KI-gestützte Polizeiarbeit in ganz Amerika bereits zerstört hatte. Nicht, weil die Technologie an sich böse war, sondern weil die Menschen, die sie einsetzten, das Besitzen eines KI-Systems mit dem Steuern eines solchen verwechselt hatten.

Bei Veriprajna entwickeln wir tiefgehende KI-Lösungen für Unternehmensumgebungen mit hohem Risiko. Doch um zu erklären, warum wir sie so bauen, wie wir es tun — mit Governance, die von Tag null an fest eingebaut ist, mit Erklärbarkeit als nicht verhandelbarer Voraussetzung, mit mathematischen Fairness-Beschränkungen, die in den Trainingsprozess eingewoben sind —, muss ich Sie zunächst an einen unbequemen Ort führen. Ich muss Sie nach Chicago führen.

56 % der jungen Schwarzen Männer einer Stadt, von einer Maschine markiert

Chicagos Strategic Subject List — intern die „Heat List" genannt — sollte die Zukunft intelligenter Polizeiarbeit sein. Statt ganze Viertel mit Beamten zu überziehen, sollte der Algorithmus konkrete Personen identifizieren, die am wahrscheinlichsten in Waffengewalt verwickelt sein würden, entweder als Täter oder als Opfer. Präzision statt roher Gewalt. Daten statt Intuition.

Die Liste wuchs auf über 400.000 Personen an.

Lassen Sie diese Zahl einen Moment wirken. In einer Stadt mit 2,7 Millionen Einwohnern entschied der Algorithmus, dass 400.000 Personen es wert waren, markiert zu werden. Und die demografische Verteilung war erschütternd: 56 % der Schwarzen Männer in Chicago im Alter zwischen 20 und 29 Jahren landeten auf dieser Liste. In West Garfield Park wurden 73 % der Schwarzen männlichen Personen zwischen 10 und 29 Jahren markiert. Sechsundneunzig Prozent der Personen, die das System als „mutmaßliche Bandenmitglieder" einstufte, waren Schwarze oder Latinos.

Folgendes hat mich fassungslos gemacht, als ich mich zum ersten Mal in die Auditdaten vertiefte: 57 % der vorrangigen Zielpersonen des Algorithmus waren nie wegen eines Gewaltverbrechens festgenommen worden. Das System zog geringfügige Vergehen heran — etwa den Besitz kleiner Mengen Drogen oder Erregung öffentlichen Ärgernisses — und behandelte sie als prädiktive Signale für künftige Waffengewalt. Es nutzte die Maschinerie der übermäßigen Polizeipräsenz als Beweis, um noch mehr Polizeiarbeit zu rechtfertigen.

Wenn ein Algorithmus die Folgen von Voreingenommenheit als Beweis dafür behandelt, dass diese Voreingenommenheit gerechtfertigt ist, dann hat man keine Vorhersagemaschine. Man hat eine Diskriminierungsmaschine, die auf Autopilot läuft.

Das Chicago Office of Inspector General dokumentierte schließlich, was viele Bürgerinitiativen seit Jahren lautstark angeprangert hatten: Die SSL war entlang rassistischer Linien voreingenommen und weitgehend wirkungslos bei der Senkung der Mordraten. Sie wurde Ende 2019 außer Betrieb genommen, doch nicht, bevor sie Beamte zu unangekündigten Besuchen bei Tausenden von Menschen geschickt hatte, deren einziges „Verbrechen" darin bestand, in einem Viertel zu leben, das der Algorithmus für gefährlich befunden hatte.

Warum scheiterte das Erdbebenmodell an der Vorhersage von Kriminalität?

Dreitausend Meilen weiter westlich führte das LAPD sein eigenes Experiment durch. Geolitica — früher PredPol — verwendete ein Modell, das ursprünglich für die Vorhersage von Erdbebennachbeben entwickelt worden war. Die Logik war verführerisch: So wie sich Erdstöße in Raum und Zeit häufen, folgen bestimmte Arten von Kriminalität vorhersehbaren räumlich-zeitlichen Mustern. Man speist den Algorithmus mit historischen Vorfalldaten — Ort, Zeit, Deliktart —, und er erzeugt 500 mal 500 Quadratfuß große „Hotspot-Kästchen", die den Beamten sagen, wo sie patrouillieren sollen.

Ich erinnere mich, wie ich die technische Dokumentation las und dachte: Das ist elegant. Die Mathematik war sauber. Die Benutzeroberfläche war intuitiv. Und die Ergebnisse waren katastrophal.

Ein Audit des LAPD-Generalinspekteurs von 2019 stellte „erhebliche Unstimmigkeiten" bei der Dateneingabe fest. Beamte erfassten ihre Streifenzeit in Polizeigebäuden statt im Einsatz und verunreinigten so die Hotspot-Daten. Das System konnte seine eigene Wirkung nicht von allgemeineren Trends der Polizeiarbeit trennen. Und in vergleichbaren Zuständigkeitsbereichen wie Plainfield, New Jersey, wurde die Erfolgsquote der Vorhersagen mit weniger als 1 % dokumentiert.

Weniger als ein Prozent. Ein Münzwurf wäre nützlicher gewesen.

Doch das tiefer liegende Problem war nicht die Genauigkeit — es war die Rückkopplungsschleife. Wenn der Algorithmus ein überwiegend von Schwarzen oder Latinos bewohntes Viertel als Hotspot markierte, kamen mehr Beamte dorthin. Mehr Beamte bedeuteten mehr Kontrollen. Mehr Kontrollen bedeuteten mehr Festnahmen wegen geringfügiger Verstöße, die in wohlhabenderen, weißeren Gegenden nicht geahndet worden wären. Diese neuen Festnahmen flossen als „Beweis" für hohe Kriminalität zurück in die Trainingsdaten, und der Algorithmus verschärfte pflichtbewusst seine Vorhersagen für genau dasselbe Viertel.

Die Daten aus Kaliforniens Racial and Identity Profiling Act (RIPA) legten dies in Zahlen offen, gegen die schwer zu argumentieren ist: Schwarze Personen wurden 126 % häufiger kontrolliert, als es ihrem Bevölkerungsanteil entsprochen hätte. Beamte führten 2023 4,7 Millionen Fahrzeug- und Fußgängerkontrollen durch. Und jetzt kommt der Clou — wenn Beamte Schwarze und Latino-Personen häufiger durchsuchten, fanden sie durchweg seltener Schmuggelware als bei Durchsuchungen weißer Personen.

Die Daten sagten uns in schlichter statistischer Sprache, dass das System falsch lag. Und trotzdem lief das System einfach weiter.

Das LAPD beendete Anfang 2024 schließlich seine Beziehung zu Geolitica. Ich habe über die weiterreichenden Implikationen dieser Fehlschläge — und was sie für die KI-Architektur in Unternehmen bedeuten — geschrieben, und zwar in der interaktiven Version unserer Forschung.

Was passiert, wenn niemand die Blackbox öffnen kann?

In der Wissenschaftstheorie gibt es einen Begriff, der in meiner Forschung immer wieder auftauchte: epistemische Opazität. Er bedeutet, dass das System so komplex ist, dass selbst die Menschen, die es bedienen, nicht vollständig verstehen können, wie es zu seinen Schlussfolgerungen gelangt.

Die meisten Systeme für vorausschauende Polizeiarbeit waren proprietäre Blackboxes. Die konkreten Dateneingaben, die gewichteten Faktoren, die Logik der Vorhersagen — alles als Geschäftsgeheimnis verborgen. Die Polizeibehörden, die diese Werkzeuge nutzten, konnten oft nicht erklären, warum eine bestimmte Person oder ein bestimmtes Viertel markiert wurde, selbst wenn Bürgerrechtsorganisationen Antworten forderten.

Das ist nicht nur ein Problem der Polizeiarbeit. Es ist die entscheidende Schwachstelle in der Art, wie die meisten Unternehmen KI derzeit einsetzen.

Ich denke an diesen Compliance-Chatbot, dessen Vorführung ich gesehen habe. Der VP of Engineering konnte mir nicht sagen, welche Dokumente das Modell tatsächlich abgerufen hatte, um seine Antwort zu erzeugen. Er konnte nicht erklären, warum es eine regulatorische Quellenangabe halluziniert hatte. Er konnte mir nicht sagen, ob das System morgen eine andere Antwort geben würde, wenn man dieselbe Frage stellte. Und sein Plan bestand darin, darauf zu warten, dass OpenAI ein besseres Modell veröffentlicht.

Das ist keine KI-Strategie. Das ist ein Gebet.

Die außer Kontrolle geratene Rückkopplungsschleife ist nicht nur ein Problem der Polizeiarbeit

Und hier muss ich die Verbindung herstellen, die die meisten Menschen im Bereich Unternehmens-KI meiner Meinung nach übersehen.

Die Rückkopplungsschleife, die die vorausschauende Polizeiarbeit zerstörte — bei der voreingenommene Ausgaben voreingenommene Trainingsdaten erzeugen, die wiederum noch voreingenommenere Ausgaben hervorbringen —, ist nicht einzigartig für die Strafverfolgung. Sie ist eine strukturelle Eigenschaft jedes KI-Systems, das aus seiner eigenen Betriebsumgebung lernt, ohne unabhängige Validierung.

Denken Sie an ein KI-gestütztes Einstellungstool, das Lebensläufe sichtet. Wenn es mit historischen Einstellungsdaten eines Unternehmens trainiert wird, das für Ingenieursrollen überwiegend Männer eingestellt hat, lernt es, männlich konnotierte Sprache mit „guten Kandidaten" zu verknüpfen. Es stuft Frauen herab. Das Unternehmen stellt weniger Frauen ein. Diese Einstellungsdaten fließen zurück in den nächsten Trainingszyklus, und die Voreingenommenheit vertieft sich.

Oder betrachten Sie ein Modell zur finanziellen Bonitätsprüfung, das mit historischen Kreditbewilligungen trainiert wurde. Wenn frühere Kreditsachbearbeiter Anträge aus bestimmten Postleitzahlgebieten eher bewilligten — Postleitzahlgebiete, die aufgrund jahrzehntelangen Redlinings zufällig mit der ethnischen Herkunft korrelieren —, lernt das Modell diese Muster. Es verweigert qualifizierten Antragstellern aus diesen Gegenden Kredite. Diese Ablehnungen werden zu Trainingsdaten. Der Kreislauf setzt sich fort.

Die gefährlichsten KI-Systeme sind nicht diejenigen, die offensichtlich kaputt sind. Es sind diejenigen, die gerade gut genug funktionieren, um einer genauen Prüfung zu entgehen, während sie die Voreingenommenheiten ihrer Trainingsdaten im großen Maßstab still und leise in automatisierte Entscheidungen einbetten.

Deshalb werde ich frustriert, wenn ich höre, wie Führungskräfte in Unternehmen über KI-Governance als „nette Zusatzoption" oder als Initiative für „Phase zwei" sprechen. Governance ist kein Feature, das man nach dem Start anschraubt. Sie ist die Architektur selbst.

Warum versagen LLM-Wrapper in Umgebungen mit hohem Risiko?

Ich will hier ganz direkt sein: Das Zeitalter der einfachen LLM-Wrapper geht zu Ende, und die meisten Unternehmen haben das noch nicht begriffen.

Ein LLM-Wrapper — eine dünne Schicht aus Prompt Engineering und eine schöne Benutzeroberfläche auf einem Basismodell wie GPT-4 oder Claude — funktioniert gut für das Entwerfen von E-Mails und das Zusammenfassen von Besprechungsnotizen. Er funktioniert nicht für die juristische Prüfung, die Finanz-Compliance, die medizinische Triage oder irgendeinen Bereich, in dem eine falsche Antwort materielle Konsequenzen hat.

Wir haben das bei Veriprajna rigoros getestet. Bei der Triage von Sicherheitslücken — einem Bereich, in dem man zwischen einem kleinen Bug und einem kritischen Exploit unterscheiden muss — erreichte ein naiver LLM-Wrapper rund 51 % Genauigkeit. Das ist kaum besser als der Zufall. Dem Modell fehlten die spezialisierten Werkzeuge und das Fachwissen, um sinnvolle Unterscheidungen zu treffen. Und es hatte noch ein weiteres Problem, das ich inzwischen das „Unentschlossenheits"-Phänomen nenne: Die in Basismodelle eingebauten Sicherheitsausrichtungen machten sie zögerlich, bei mehrdeutigen Fällen klare Positionen zu beziehen. In einem Triage-Kontext ist Mehrdeutigkeit die gesamte Aufgabe. Eine KI, die sich bei jedem Grenzfall bedeckt hält, unterstützt Ihr Team nicht — sie schafft mehr Arbeit.

Unsere Multi-Agenten-Architektur hingegen — mit kombinierbaren Agenten, strukturierten Workflows und domänenspezifischen Wissensdatenbanken — erreichte bei denselben Benchmarks 89 % Genauigkeit. Nicht, weil wir ein „besseres" Modell verwendet hätten, sondern weil wir ein System statt eines Wrappers gebaut haben.

Dieser Unterschied — 51 % gegenüber 89 % — ist der Unterschied zwischen einer KI, die plausiblen Text erzeugt, und einer KI, die tatsächlich über einen Fachbereich nachdenkt.

Wie sieht mathematische Fairness eigentlich aus?

Eines der Dinge, die ich beim Aufbau von Veriprajna gelernt habe, ist, dass „Fairness" in der KI kein Bauchgefühl sein darf. Sie muss eine Zahl sein.

Wenn wir Systeme für Umgebungen mit hohem Risiko bauen, definieren wir Fairness mathematisch und überwachen sie kontinuierlich. Zwei Kennzahlen sind am wichtigsten:

Demografische Parität fragt: Ist die Wahrscheinlichkeit eines positiven Ergebnisses unabhängig von einem geschützten Merkmal wie ethnischer Herkunft oder Geschlecht? Wenn Ihre Einstellungs-KI 60 % der männlichen Bewerber und 35 % der weiblichen Bewerberinnen bewilligt, haben Sie diesen Test nicht bestanden.

Ausgeglichene Quoten gehen tiefer: Sind die Raten der richtig positiven und der falsch positiven Ergebnisse über alle Gruppen hinweg gleich? Das ist wichtig, weil ein System demografische Parität erreichen könnte, indem es einfach zufällig mehr Anträge aus unterrepräsentierten Gruppen bewilligt — ohne tatsächlich besser darin zu werden, qualifizierte Kandidaten zu erkennen.

Beide Kennzahlen müssen gleichzeitig überwacht werden, und keine ist für sich allein ausreichend. Deshalb wirkt unsere Strategie zur Minderung von Voreingenommenheit über den gesamten KI-Lebenszyklus hinweg: Wir gewichten die Trainingsdaten neu, bevor das Modell sie überhaupt zu sehen bekommt, wir integrieren Fairness-Beschränkungen direkt in den Trainingsprozess durch Techniken wie adversariales Debiasing, und wir kalibrieren nach dem Training die Entscheidungsschwellen, um gerechte Ergebnisse über alle demografischen Gruppen hinweg sicherzustellen.

Ich weiß, das klingt technisch. Aber hier ist die Version in einfachen Worten: Wenn Sie Ihre Fairness-Kriterien nicht als mathematische Gleichung ausdrücken können, dann haben Sie keine Fairness-Kriterien. Dann haben Sie eine Pressemitteilung.

Die regulatorische Welle, auf die die meisten Unternehmen nicht vorbereitet sind

Während Unternehmen damit beschäftigt waren, mit Chatbots zu experimentieren, waren die Regulierungsbehörden damit beschäftigt, Gesetze zu schreiben.

Über 40 US-Städte haben Schritte unternommen, um vorausschauende Polizeiarbeit und verwandte KI-Technologien wie Gesichtserkennung zu verbieten oder streng einzuschränken. San Francisco machte 2019 den Anfang. Boston, Portland und Santa Cruz folgten. Im März 2024 erließ das Weiße Haus eine wegweisende Richtlinie, die Bundesbehörden verpflichtet, für alle KI-Systeme mit Auswirkungen auf Grundrechte unabhängige Tests und verpflichtende Folgenabschätzungen durchzuführen.

Das ist nicht nur ein Problem des Staates. Der EU AI Act, das AI Risk Management Framework des NIST, ISO 42001 — diese Rahmenwerke laufen auf eine einzige Botschaft hinaus: Wenn Sie KI in Entscheidungen mit hohem Risiko einsetzen, werden Sie nachweisen müssen, dass sie fair ist, erklären müssen, wie sie funktioniert, und belegen müssen, dass Sie sie kontinuierlich überwachen.

Die Unternehmen, die eine Governance-Infrastruktur eingerichtet haben, werden sich anpassen. Diejenigen, die LLM-Wrapper gebaut und das eine „KI-Strategie" genannt haben, werden ins Straucheln geraten.

Ich habe dieses Muster schon einmal beobachtet, in der Cybersicherheit. Unternehmen, die Sicherheit als nachträglichen Einfall behandelten, verbrachten Jahre damit, aufzuholen, als die Regulierung kam. Diejenigen, die Sicherheit von Anfang an in ihre Architektur einbauten, bemerkten es kaum. KI-Governance folgt demselben Verlauf, nur schneller.

Eine vollständige technische Aufschlüsselung, wie wir unser Governance-Rahmenwerk mit NIST, ISO 42001 und dem EU AI Act in Einklang bringen, finden Sie in unserem Forschungspapier.

„Nimm einfach GPT" und andere teure Fehler

Leute fragen mich ständig, warum Unternehmen nicht einfach ein Basismodell mit etwas Prompt Engineering nehmen und es dabei belassen sollten. Die Antwort ist derselbe Grund, aus dem das LAPD kein Erdbebenmodell hätte verwenden sollen, um Kriminalität vorherzusagen.

Nicht das Werkzeug ist das Problem. Sondern die Annahme.

Die Annahme lautet, dass ein Allzwecksystem — sei es ein seismologischer Algorithmus oder ein großes Sprachmodell, das mit dem Internet trainiert wurde — ohne grundlegende architektonische Änderungen in einen spezialisierten Bereich mit hohem Risiko übertragen werden kann. Ohne domänenspezifische Argumentationsschichten. Ohne Erklärbarkeit. Ohne kontinuierliche Überwachung von Voreingenommenheit. Ohne Governance.

Diese Annahme wurde auf die Probe gestellt. In der Polizeiarbeit zerstörte sie das öffentliche Vertrauen, schädigte Hunderttausende von Menschen und löste eine landesweite regulatorische Gegenreaktion aus. In der Unternehmens-KI spielen sich die Folgen leiser ab — in halluzinierten juristischen Quellenangaben, in voreingenommenen Einstellungsentscheidungen, in Compliance-Versagen, die erst ans Licht kommen, wenn ein Audit oder eine Klage sie dorthin zwingt.

Die Frage ist nicht, ob Ihre KI einen Fehler machen wird. Die Frage ist, ob Sie es merken werden, wenn sie es tut — und ob Sie die Architektur gebaut haben, um ihn abzufangen, bevor er sich auswächst.

Bei Veriprajna beginnen wir nicht mit einem Modell. Wir beginnen mit den Daten. Wir prüfen sie auf Qualität, Zugänglichkeit und historische Voreingenommenheit, bevor auch nur ein einziger Parameter trainiert wird. Wir bauen Multi-Agenten-Architekturen, in denen spezialisierte Argumentationsschichten tiefgehende Forschung betreiben können, statt sich auf Zero-Shot-Aufrufe an ein Allzweckmodell zu verlassen. Wir implementieren erklärbare KI-Validierung, sodass jede Entscheidung nachverfolgt, hinterfragt und verteidigt werden kann. Und wir überwachen kontinuierlich — nicht nur die Genauigkeit, sondern auch das Abdriften der Fairness, denn was vor sechs Monaten gerecht war, ist heute vielleicht nicht mehr gerecht, wenn sich die zugrunde liegende Datenverteilung verschoben hat.

Das ist nicht teurer als der Wrapper-Ansatz. Es ist günstiger — denn die Kosten für den Einsatz eines ungesteuerten KI-Systems in einer Umgebung mit hohem Risiko bemessen sich nicht in Entwicklungsstunden. Sie bemessen sich in Klagen, regulatorischen Bußgeldern, Reputationsschäden und den menschlichen Kosten automatisierter Entscheidungen, die niemand erklären oder verteidigen kann.

Der Raum, in dem es geschieht

Ich möchte mit einem Moment enden, der mir im Gedächtnis bleibt.

Wir steckten tief im Aufbau einer neuen Argumentationsschicht für einen Kunden aus der Finanzdienstleistungsbranche. Das Team hatte zwei Tage lang darüber gestritten, ob in einem bestimmten Modul Genauigkeit oder Erklärbarkeit Vorrang haben sollte — einer dieser Streitpunkte, bei denen jeder technisch recht hat und es in Wahrheit um Werte geht, nicht um Technik.

Meine leitende Ingenieurin sagte schließlich etwas, das den ganzen Raum zum Schweigen brachte: „Wenn wir nicht erklären können, warum dieses Modell jemandem einen Kredit verweigert hat, dann haben wir kein KI-System gebaut. Wir haben eine effizientere Version des Problems gebaut, zu dessen Lösung wir engagiert wurden."

Sie hatte recht. Und dieser Satz ist zu so etwas wie einem Designprinzip für alles geworden, was wir bauen.

Die Fehlschläge der vorausschauenden Polizeiarbeit — die 400.000 Menschen auf Chicagos Heat List, die Treffergenauigkeit von weniger als 1 % in Plainfield, die Rückkopplungsschleifen, die historischen Rassismus in mathematische Gewissheit verwandelten — sind keine Warngeschichten aus einer anderen Branche. Sie sind die denkbar klarste Vorschau darauf, was passiert, wenn man KI ohne die Architektur einsetzt, die nötig ist, um Vertrauen zu verdienen.

Der Weg nach vorn besteht nicht darin, KI aufzugeben. Er besteht darin, aufzuhören, Governance als Zusatzaufwand zu behandeln, und anzufangen, sie als das Produkt zu behandeln. Die Unternehmen, die das verstehen, werden Systeme bauen, die einer genauen Prüfung standhalten. Diejenigen, die es nicht tun, werden die Lektion lernen, die das LAPD gelernt hat, die die Chicago PD gelernt hat und die jener Compliance-Chatbot irgendwann lernen wird: Ein KI-System ohne Integrität ist kein Werkzeug. Es ist ein Risiko mit einer schönen Benutzeroberfläche.