KI-Verzerrungen im öffentlichen Sektor: Wenn Algorithmen diskriminieren

Das Problem

Der Predictive-Policing-Algorithmus von Chicago setzte 56 % der schwarzen Männer im Alter von 20–29 Jahren auf eine polizeiliche Beobachtungsliste. In einem Stadtviertel, West Garfield Park, standen 73 % der schwarzen Männer im Alter von 10–29 Jahren auf der Liste. Die tatsächliche Erfolgsquote des Algorithmus bei der Vorhersage von Waffengewalt? Unter einem Prozent.

Dies war kein eigenmächtiges Experiment. Die Strategic Subject List des Chicago Police Department – bekannt als die „Heat List“ – lief fast ein Jahrzehnt lang. Sie stufte über 400.000 Menschen auf der Grundlage von Verhaftungsakten und sozialen Netzwerken als potenzielle Bedrohungen ein. Das Problem: 57 % der als prioritäre Ziele markierten Personen wiesen keinerlei Festnahmen wegen Gewaltdelikten auf. Der Algorithmus behandelte geringfügige Ordnungswidrigkeiten wie unerlaubtes Überqueren der Fahrbahn genauso wie schwere Straftaten. Er verwandelte alltägliche Polizeikontakte in dauerhafte Verdachtswerte.

Am anderen Ende des Landes betrieb Los Angeles ein ähnliches System namens Geolitica (ehemals PredPol). Eine Prüfung des Generalinspekteurs des LAPD aus dem Jahr 2019 ergab „erhebliche Unstimmigkeiten“ bei der Dateneingabe und ein völliges Versäumnis zu messen, ob das Programm tatsächlich funktionierte. In Plainfield, New Jersey, wies dieselbe Technologie eine Erfolgsquote von unter 0,5 % auf. Beide Behörden gaben diese Werkzeuge schließlich auf.

Wenn Ihre Organisation KI-Systeme einsetzt, die das Leben von Menschen beeinflussen – sei es bei Einstellungen, der Kreditvergabe, der Leistungsverwaltung oder der öffentlichen Sicherheit –, sind diese Fehlschläge Ihr Warnschuss. Die KI hatte keine Fehlfunktion. Sie funktionierte genau wie konzipiert. Das Design war das Problem.

Warum dies für Ihr Unternehmen von Bedeutung ist

Das regulatorische Umfeld hat sich dramatisch verändert. Über 40 Städte haben Maßnahmen ergriffen, um Predictive Policing und verwandte KI-Werkzeuge wie Gesichtserkennung zu verbieten oder einzuschränken. Im März 2024 erließen das Weiße Haus und das Office of Management and Budget eine wegweisende Richtlinie, die Bundesbehörden dazu verpflichtet, unabhängige Tests und verbindliche Folgenabschätzungen für jedes KI-System durchzuführen, das die Rechte von Menschen betrifft.

Kaliforniens Racial and Identity Profiling Act schreibt nun eine obligatorische Datenerfassung bei allen Polizeikontrollen vor. Neue Gesetze auf Bundesstaatsebene für 2025 ergänzen Anforderungen an die KI-Transparenz. Das KI-Gesetz der EU (EU AI Act) schafft zusätzliche Pflichten für jede Organisation, die international geschäftlich tätig ist.

Das bedeutet Folgendes für Ihr Geschäftsergebnis:

• Die Compliance-Kosten steigen. Wenn Ihre KI-Systeme Fairness und Transparenz nicht nachweisen können, drohen Ihnen obligatorische Audits, Folgenabschätzungen und potenzielle Durchsetzungsmaßnahmen nach neuen Bundes- und Landesvorschriften.
• Prozessrisiken sind real. Chicagos Algorithmus stufte 96 % der mutmaßlichen Bandenmitglieder als schwarz oder Latino ein. Eine solche demografische Disparität zieht Bürgerrechtsklagen nach sich. Ihre KI-Systeme stehen vor derselben Prüfung, wenn sie ungleiche Ergebnisse hervorbringen.
• Reputationsrisiken potenzieren sich. Das LAPD verbrachte ein Jahrzehnt damit, ein System zu verteidigen, das „bestehende Muster bestätigte“, anstatt neue Erkenntnisse zu liefern. Jedes Jahr der Verzögerung bei der Behebung von KI-Verzerrungen vergrößert Ihr Risiko.
• Die Verantwortung auf Vorstandsebene ist da. Das NIST AI Risk Management Framework setzt nun die Basiserwartung für KI-Governance. Ihr Vorstand wird gefragt werden, wie Sie algorithmische Risiken steuern.

KI-gestützte Cyberangriffe nahmen zwischen 2020 und 2023 um 300 % zu. Kombiniert man dieses Sicherheitsrisiko mit der Haftung für Verzerrungen, entsteht eine Governance-Herausforderung, die auf die Agenda jedes Risikoverantwortlichen gehört.

Was tatsächlich unter der Haube geschieht

Das zentrale Versagen dieser Systeme hat einen Namen: die unkontrollierte Rückkopplungsschleife. So funktioniert sie in verständlicher Sprache.

Stellen Sie sich vor, Sie kontrollieren nur ein einziges Restaurant auf Hygiene- und Gesundheitsverstöße. Sie finden dort jedes Mal Verstöße. Das Restaurant auf der gegenüberliegenden Straßenseite kontrollieren Sie nie. Ihre Daten „beweisen“ nun, dass das erste Restaurant das einzige unsichere ist. Aber Sie haben nichts Reales gelernt – Sie haben lediglich Ihr eigenes Kontrollmuster bestätigt.

Genau das geschah beim Predictive Policing. Der Algorithmus schickte mehr Beamte in Stadtviertel mit historisch hohen Festnahmezahlen. Mehr Beamte bedeuteten mehr Kontrollen. Mehr Kontrollen bedeuteten mehr Festnahmen wegen geringfügiger Delikte. Diese neuen Festnahmen flossen als frischer „Beweis“ dafür, dass das Viertel gefährlich war, zurück in das System. Der Kreislauf wiederholte sich.

In Kalifornien sprechen die Daten eine deutliche Sprache. Schwarze Personen wurden 126 % häufiger kontrolliert, als es ihr Bevölkerungsanteil erwarten ließe. Indigene und schwarze Personen wurden mit Raten von 22 % bzw. 19 % durchsucht, verglichen mit 12 % bei weißen Personen. Dennoch fanden die Beamten bei diesen Durchsuchungen seltener Schmuggelware als bei der Durchsuchung weißer Personen.

Die KI hat Verzerrungen nicht aus dem Nichts erschaffen. Sie übernahm vorbelastete Daten – was Forscher als „Dirty Data“ bezeichnen – und verstärkte sie. Der Algorithmus verwandelte subjektive menschliche Entscheidungen in etwas, das wie objektive Mathematik aussah. Interessengruppen haben dokumentiert, wie dieses „Tech-Washing“ Diskriminierung schwerer erkennbar und schwerer anfechtbar macht, insbesondere in „Black-Box“-Systemen, bei denen die Logik als geschützte Betriebs- und Geschäftsgeheimnisse verborgen ist.

Die meisten kommerziellen KI-Systeme arbeiten auf diese Weise. Selbst die Abteilung, die sie einsetzt, versteht möglicherweise nicht, wie die Modelle zu ihren Schlussfolgerungen gelangen. Dies schafft das, was das Whitepaper als Verantwortlichkeitsvakuum bezeichnet – Fehler bleiben jahrelang bestehen, bevor sie jemand bemerkt.

Was funktioniert (und was nicht)

Beginnen wir mit dem, was fehlschlägt.

Einfache LLM-Wrapper. Dabei handelt es sich um einfache Integrationen, die eine Benutzeroberfläche über ein Allzweck-KI-Modell wie GPT-4 oder Claude legen. Sie erben dieselben Probleme, die das Predictive Policing zum Scheitern brachten: kein domänenspezifisches Wissen, keine Transparenz und die Tendenz, Verzerrungen der Trainingsdaten widerzuspiegeln. Bei Sicherheitstests erzielte ein naiver Wrapper-Agent nur 51 % Genauigkeit bei domänenspezifischen Aufgaben.

Einmalige Audits. Chicagos Heat List war fast ein Jahrzehnt lang in Betrieb, bevor offizielle Prüfungen ihr Versagen dokumentierten. Ein einzelnes Audit ist keine Strategie. Ihre KI-Systeme verändern sich, wenn sich Daten verändern. Was vor sechs Monaten Fairness-Prüfungen bestanden hat, besteht sie heute möglicherweise nicht mehr.

Sicherheits-Alignment allein. Standard-KI-Modelle verfügen häufig über integrierte Sicherheits-Guardrails, die verhindern, dass sie zu komplexen Fragen eine klare Position beziehen – eine Tendenz, die als „unentschlossenes Ausweichen“ beschrieben wird. Bei Entscheidungen mit hoher Tragweite wie juristischen Prüfungen oder dem finanziellen Underwriting ist eine KI, die keine definitive, evidenzbasierte Antwort geben kann, eine Belastung und kein Aktivposten.

Hier ist, was tatsächlich funktioniert – ein dreistufiger Ansatz, den Sie bewerten können:

1. Saubere Eingaben. Bevor Sie ein KI-Modell erstellen oder bereitstellen, prüfen Sie Ihre Daten auf Qualität, Zugriff und historische Verzerrungen. Stellen Sie fest, ob Ihre Trainingsdaten bestimmte Gruppen oder Ergebnisse überrepräsentieren. Wenn uns Predictive Policing etwas gelehrt hat, dann, dass vorbelastete Eingaben voreingenommene Ausgaben garantieren. Sie müssen auch „Schatten-KI“ (Shadow AI) aufspüren – nicht autorisierte KI-Werkzeuge, die Ihre Mitarbeiter bereits nutzen. Microsoft stellte dies im Jahr 2024 bei 78 % der KI-Nutzer fest.

2. Strukturiertes Schlussfolgern. Ersetzen Sie das Rätselraten einzelner Modelle durch mehrschichtige Systeme. Diese nutzen zusammensetzbare Agenten – spezialisierte KI-Komponenten, die verschiedene Teilbereiche eines Problems bearbeiten – zusammen mit strukturierten Arbeitsabläufen und domänenspezifischen Wissensdatenbanken. Anstatt ein einziges Allzweckmodell mit allem zu beauftragen, bauen Sie ein System auf, bei dem jede Ebene die anderen überprüft. In Benchmarks erreichte dieser Ansatz eine Klassifizierungsgenauigkeit von 89 % gegenüber 51 % bei einfachen Wrappern.

3. Kontinuierliche Überwachung und Prüfpfade. Setzen Sie Shadow Modeling ein, um neue Modellausgaben in Echtzeit mit etablierten Baselines zu vergleichen. Führen Sie Red-Teaming-Übungen durch, die Worst-Case-Szenarien simulieren. Verfolgen Sie Model Drift – den allmählichen Rückgang der KI-Leistung bei veränderten realen Bedingungen. Jede Entscheidung, die Ihre KI trifft, sollte einen dokumentierten Prüfpfad erzeugen, den Ihr Compliance-Team überprüfen und Ihre Regulierungsbehörden einsehen können.

Der Prüfpfad ist das, was für Ihre Compliance- und Rechtsteams alles verändert. Wenn eine Regulierungsbehörde fragt, wie Ihre KI zu einer bestimmten Entscheidung gelangt ist, müssen Sie nachweisen können, welche Daten sie verwendet hat, welche Faktoren sie gewichtet hat und warum sie ein Ergebnis einem anderen vorgezogen hat. Erklärbare KI (Explainable AI) – bei der Sie sehen können, welche Merkmale wie Einkommen, Geografie oder historische Muster eine Vorhersage bestimmt haben – liefert Ihnen diese Nachweise. Ohne sie betreiben Sie dieselbe Art von Black Box, die Chicago und Los Angeles schließlich abschalten mussten.

Fairness-Audits und Verzerrungsminderung müssen vom ersten Tag an in Ihren KI-Lebenszyklus integriert werden und dürfen nicht erst nachträglich aufgesetzt werden. Und für Organisationen im Regierungs- und öffentlichen Sektor, könnte der Einsatz nicht höher sein – verfassungsrechtliche Prüfungen gelten für jede algorithmische Entscheidung, die die Rechte von Menschen betrifft.

Ihre KI-Strategie sollte zudem kontinuierliche Überwachung und dokumentierte Prüfpfade umfassen, damit Sie die Compliance jederzeit nachweisen können und nicht nur bei der Einführung.

Für die vollständige technische Analyse hinter diesen Empfehlungen, lesen Sie die vollständige technische Analyse oder erkunden Sie die interaktive Version.