Bias bei KI-Mieter-Screening kostete 2,2 Mio. $ – Ist Ihr System das nächste?

Das Problem

Mary Louis und Monica Douglas, zwei Schwarze Frauen mit staatlich geförderten Wohnberechtigungsgutscheinen (Housing Vouchers), bewarben sich um Wohnungen und wurden abgelehnt. Nicht von einem Vermieter – sondern von einem Algorithmus. SafeRent Solutions hatte ein Scoring-System namens „Registry ScorePLUS“ entwickelt, das Mieter auf einer Skala von 200 bis 800 bewertete. Das System stützte sich stark auf die Kredithistorie und Schulden außerhalb von Mietverhältnissen. Dabei ignorierte es jedoch eine entscheidende Tatsache völlig: Wohnberechtigungsgutscheine garantieren einen verlässlichen Einkommensstrom. Mieter mit Gutscheinen zahlen ihre Miete statistisch gesehen mit hoher Wahrscheinlichkeit pünktlich, da der Staat einen Teil der Miete direkt übernimmt.

Der Algorithmus stufte diese Bewerberinnen als Hochrisikofall ein, obwohl sie in Wirklichkeit ein geringes Risiko darstellten. Er bewertete sie schlecht, weil sich ihre Kreditprofile von denen einkommensstärkerer Mieter unterschieden – nicht etwa, weil sie unzuverlässige Mieterinnen waren. Im Mai 2022 reichten Louis und Douglas eine Sammelklage ein, in der sie geltend machten, das System erzeuge einen Disparate Impact (eine mittelbare Diskriminierung) gegenüber Schwarzen und hispanischen Bewerbern. Im November 2024 stimmte ein Gericht einem Vergleich in Höhe von 2,275 Millionen US-Dollar zu.

Ihr Unternehmen führt möglicherweise keine Mieterprüfungen durch. Doch wenn Sie irgendein KI-System einsetzen, das Menschen bewertet, ein Ranking für sie erstellt oder Entscheidungen über sie empfiehlt, betrifft Sie die Logik dieses Falls ganz direkt. Das Gericht entschied, dass der Softwareanbieter – und nicht nur der Vermieter – für diskriminierende Ergebnisse mithaftet. Dieses einzige Urteil hat alles verändert.

Warum dies für Ihr Unternehmen wichtig ist

Das finanzielle Risiko reicht hier weit über das Mieter-Screening hinaus. Der SafeRent-Vergleich umfasste 1,175 Millionen US-Dollar an direkten Entschädigungen für betroffene Bewerber sowie 1,1 Millionen US-Dollar an Anwaltskosten. Die namentlich genannten Klägerinnen erhielten jeweils 10.000 US-Dollar, was einen klaren finanziellen Anreiz für Einzelpersonen schafft, künftige Klagen anzustrengen. Zudem erließ das Gericht eine fünfjährige Unterlassungsverfügung, die gerichtlich überwachte, dauerhafte Verhaltensänderungen vorschreibt.

Doch die Dollarbeträge sind erst der Anfang. Folgendes sollte Ihrer Unternehmensführung schlaflose Nächte bereiten:

• Ihr KI-Anbieter kann haftbar gemacht werden. Das Gericht wies das Argument von SafeRent zurück, man sei lediglich ein „neutraler“ Technologieanbieter. Wenn sich ein Vermieter in erster Linie auf den Score eines Drittanbieters verlässt, ist der Anbieter dieses Scores Teil der Entscheidungskette und trägt das rechtliche Risiko mit.
• Die Absicht spielt keine Rolle. Der Leitfaden des HUD vom Mai 2024 bestätigte, dass der maßgebliche Standard „Disparate Impact“ ist. Ihr System kann gegen den Fair Housing Act verstoßen, selbst wenn niemand die Absicht hatte zu diskriminieren – es zählen allein die Ergebnisse.
• Kredit-Scores enthalten verdeckte Verzerrungen. Mit Stand Oktober 2021 lag der mittlere Kredit-Score (Median) für weiße Verbraucher bei 725. Für hispanische Verbraucher lag er bei 661. Für Schwarze Verbraucher lag er bei 612. Wenn Ihre KI die Kredithistorie als neutral behandelt, schreibt sie rassistische Ungleichheiten fest in Ihre Entscheidungen ein.
• Die Regulierungsbehörden schauen genau hin. Das HUD und das DOJ wenden den Fair Housing Act aktiv auf Algorithmen-Entwickler an. Der kommende EU AI Act stuft Systeme für Wohnungsvergabe und Kredit-Scoring als „Hochrisiko“ ein, was eine formelle Compliance bis 2025–2026 erfordert.

Wenn Ihr KI-System nicht nachweisen kann, dass es nach einem weniger verzerrten Weg gesucht hat, um dasselbe geschäftliche Ziel zu erreichen, sind Sie angreifbar.

Was unter der Haube wirklich geschieht

Stellen Sie sich ein herkömmliches KI-Screening-Modell wie einen Personalverantwortlichen vor, der nur Lebensläufe von einer einzigen Universität liest. Der Personalverantwortliche versucht nicht, unfair zu sein. Doch weil diese Universität historisch überwiegend eine bestimmte Bevölkerungsgruppe zugelassen hat, wirken die Ergebnisse diskriminierend. Genau dasselbe passiert, wenn sich eine KI auf Datenmerkmale (Features) stützt – die einzelnen Datenpunkte, die ein Modell für Vorhersagen nutzt –, die historische Verzerrungen in sich tragen.

Das Modell von SafeRent nutzte die Kredithistorie als zentrales Merkmal. Kredit-Scores spiegeln den über Jahrzehnte hinweg ungleichen Zugang zu Bankdienstleistungen, Krediten und Vermögensaufbau wider. Als der Algorithmus die Bonität stark gewichtete, aber dem Einkommen aus Mietgutscheinen ein Gewicht von null zuwies, entstand das, was Regulierungsbehörden als Problem der „Proxy-Variablen“ (Stellvertretervariablen) bezeichnen. Das Merkmal wirkt auf dem Papier rassenneutral. In der Praxis bildet es jedoch nahezu direkt die ethnische Zugehörigkeit ab.

Genau hier scheitern heute viele KI-Systeme. Große Sprachmodelle (Large Language Models, LLMs) – die Technologie hinter Tools wie ChatGPT – haben auf andere Weise mit diesem Problem zu kämpfen. Sie können ihre Argumentation oft nicht in einem Format erklären, das den gesetzlichen Offenlegungspflichten genügt. Der Fair Credit Reporting Act verlangt spezifische „Reason Codes“ (Ablehnungsgründe), wenn ein Antrag abgelehnt wird. Ein LLM könnte eine plausibel klingende Erklärung generieren, die in Wahrheit frei erfunden (halluziniert) ist. Bei regulierten Entscheidungen ist eine souverän klingende falsche Antwort schlimmer als gar keine Antwort.

Die wahre Gefahr ist das, was Forscher als „Data Drift“ bezeichnen – wenn sich die Welt verändert, Ihr Modell jedoch nicht aktualisiert wird. Die Nutzungsraten von Gutscheinen verschieben sich. Die Demografie entwickelt sich weiter. Ein auf Daten von 2019 trainiertes Modell kann bis 2025 diskriminierende Ergebnisse liefern, schlicht weil sich die zugrunde liegende Bevölkerung verändert hat. Ohne kontinuierliches Monitoring werden Sie dies erst bemerken, wenn eine Klage Sie darauf hinweist.

Was funktioniert (und was nicht)

Zunächst drei gängige Ansätze, die in regulierten Umfeldern scheitern:

„Wir auditieren einmal im Jahr.“ Statische jährliche Fairness-Audits verpassen Verzerrungen in Echtzeit. Sozioökonomische Daten verändern sich ständig, und ein unauffälliges Audit im Januar hat im Juli keinerlei Aussagekraft mehr.

„Unsere KI erklärt ihre Entscheidungen.“ Viele LLM-basierte Tools liefern Erklärungen, die vernünftig klingen, aber halluziniert sein können – das heißt, das System generiert plausiblen Text, der nicht tatsächlich widerspiegelt, wie die Entscheidung zustande kam. Das ist ein Haftungsrisiko, kein Feature.

„Wir haben die ethnische Zugehörigkeit aus den Eingabedaten entfernt.“ Das Entfernen eines geschützten Merkmals beseitigt keine Proxy-Variablen wie Kredit-Score, Postleitzahl oder Schuldenhistorie. Diese Merkmale können ethnische Muster mit hoher Genauigkeit rekonstruieren.

Hier ist, was tatsächlich funktioniert – eine dreistufige Architektur, die Fairness direkt im System verankert, anstatt sie erst nachträglich aufzusetzen:

1. Pre-processing: Daten vor dem Training bereinigen. Dies bedeutet das Re-Sampling unterrepräsentierter Gruppen und die Neugewichtung von Daten, damit historisch benachteiligte Bevölkerungsgruppen fair repräsentiert sind. Im Kontext von SafeRent würde dies ein Over-Sampling erfolgreicher Gutscheininhaber erfordern, um die jahrzehntelangen Bonitätsverzerrungen auszugleichen.

2. In-processing: Das Modell während des Trainings beschränken. Anstatt nur auf Genauigkeit zu optimieren, fügen Sie dem Lernprozess des Modells eine „Fairness-Penalty“ (Fairness-Strafterm) hinzu. Eine Technik ist das Adversarial Debiasing – bei dem ein Sekundärmodell versucht, die ethnische Herkunft einer Person anhand der Ausgabe des Primärmodells vorherzusagen. Wenn das Sekundärmodell erfolgreich ist, wird das Primärmodell bestraft und dazu gezwungen, Merkmale zu erlernen, die das Mietzahlungsverhalten wirklich unabhängig von der Herkunft vorhersagen.

3. Post-processing: Die Ausgaben an gerechten Standards ausrichten. Nach dem Training passen Sie die Entscheidungsschwellenwerte mithilfe einer Methode namens Equalized Odds an, die sicherstellt, dass die Falsch-Positiv- und Falsch-Negativ-Raten über alle demografischen Gruppen hinweg identisch sind. Dies verhindert, dass Ihr System qualifizierte Minderheitenbewerber häufiger ablehnt als gleichermaßen qualifizierte Mehrheitsbewerber.

Der Vorteil eines lückenlosen Audit-Trails ist das, worauf es Ihren Compliance- und Rechtsteams am meisten ankommt. Wenn Sie Fairness-Metriken – wie das Disparate-Impact-Verhältnis (Disparate Impact Ratio), das Regulierungsbehörden bei Werten unter 0,8 beanstanden – direkt in Ihr Monitoring-Dashboard einbetten, erkennen Sie „Fairness Drift“ in Echtzeit. Sie warten nicht auf eine Klage. Sie erfassen das Problem, dokumentieren es und beheben es. Diese Dokumentation wird zu Ihrer stärksten Verteidigung, wenn die Aufsichtsbehörden anklopfen. Ihr System sollte für jede einzelne Entscheidung einen klaren logischen Prüfpfad erstellen, der aufzeigt, welche Merkmale maßgeblich waren, wie stark jedes gewichtet wurde und warum das Ergebnis die am wenigsten diskriminierende verfügbare Option war.

Der SafeRent-Vergleich verlangt nun, dass Bürgerrechtsexperten die Modelle des Unternehmens validieren – praktisch eine verpflichtende Suche nach weniger verzerrten Alternativen. Wenn Sie diese Suche proaktiv durchführen, bleiben Sie sowohl den Regulierungsbehörden als auch potenziellen Klägern einen Schritt voraus. Wenn Sie abwarten, werden Sie zur nächsten Fallstudie.