2,5-Millionen-US-Dollar-Strafe: Was bei KI in der Kreditvergabe wirklich schiefläuft — und es ist nicht das, was Sie denken

Ich saß an einem Donnerstagabend im Juli 2025 in meinem Homeoffice und scrollte durch die Pressemitteilung der Generalstaatsanwaltschaft von Massachusetts über Earnest Operations, als ich etwas empfand, womit ich nicht gerechnet hatte: Erleichterung.

Nicht, weil ein Kreditgeber 2,5 Millionen US-Dollar Strafe für KI-gesteuerte Diskriminierung von schwarzen und hispanischen Kreditnehmern zahlen musste. Das war empörend. Die Erleichterung kam von etwas anderem — von der Konkretheit der Vorwürfe. Die Generalstaatsanwaltschaft sagte nicht einfach nur: „Ihre KI ist voreingenommen.“ Sie benannte die exakte Variable. Sie zeichnete den exakten Mechanismus nach. Sie zeigte in akribischer Detailtiefe, wie ein scheinbar neutraler Datenpunkt — die Cohort Default Rate der Hochschule eines Kreditnehmers — zu einem Kanal für rassistische Diskriminierung wurde, fest einprogrammiert im Code.

Seit Jahren argumentieren mein Team bei Veriprajna und ich, dass die Art und Weise, wie die meisten Fintechs KI im Kreditgeschäft einsetzen, architektonisch defekt ist. Nicht nur ethisch fragwürdig — strukturell unfähig, Fairness zu leisten. Der Earnest-Vergleich war die erste große Durchsetzungsmaßnahme, die uns in der Sprache recht gab, die Aufsichtsbehörden tatsächlich verwenden.

Und sie wird nicht die letzte bleiben.

Die Variable, die harmlos aussah

Folgendes hat Earnest getan, und ich möchte, dass Sie sich einen Moment damit beschäftigen, denn es ist subtiler als „der Algorithmus war rassistisch“.

Earnest baute ein KI-gestütztes Modell zur Refinanzierung von Studienkrediten. Einer der Inputs war die Cohort Default Rate, kurz CDR — eine Kennzahl, die erfasst, wie oft Absolventen einer bestimmten Hochschule ihre Bundesdarlehen nicht bedienen. Auf dem Papier klingt das vernünftig. Hochschulen mit hohen Ausfallquoten bringen vielleicht Kreditnehmer hervor, die mit der Rückzahlung kämpfen. Warum sollte man das nicht berücksichtigen?

Weil die CDR nicht die individuelle Kreditwürdigkeit misst. Sie misst institutionelle Ergebnisse. Und diese Ergebnisse sind geprägt von jahrzehntelanger systemischer Unterfinanzierung, generationenübergreifenden Vermögensunterschieden und rassistischer Segregation im Hochschulwesen. Historically Black Colleges and Universities weisen höhere CDRs auf — nicht, weil ihre Absolventen weniger leistungsfähig wären, sondern weil das System diesen Institutionen — und ihren Studierenden — weniger Mittel gab, mit denen sie arbeiten konnten.

Wenn Sie eine Einzelperson für die statistische Geschichte ihrer Institution bestrafen, prognostizieren Sie kein Risiko. Sie schreiben es fort.

Die Generalstaatsanwaltschaft von Massachusetts warf dem Unternehmen vor, dass die Vorhersagekraft der CDR nicht aus irgendeinem Signal über den Kreditnehmer stammte, sondern aus ihrer Korrelation mit Ethnie und sozioökonomischer Schicht. Ein schwarzer Absolvent einer HBCU mit tadelloser Bonität, solidem Einkommen und null versäumten Zahlungen würde schlechter abschneiden als ein weißer Absolvent einer gut finanzierten staatlichen Hochschule — wegen des Ortes, an dem er studiert hat, nicht wegen dessen, was er danach geleistet hat.

Ich erinnere mich, wie ich die Vergleichsunterlagen aufrief und sie meiner Mitgründerin am Telefon vorlas. „Sie hatten auch Knockout-Regeln“, sagte ich. „Fest einprogrammierte Schranken, die jeden ohne mindestens eine Green Card automatisch ablehnten.“ Es folgte eine lange Pause. „Die Voreingenommenheit steckte also von Anfang an in der Architektur“, sagte sie. Ja. Von der allerersten Zeile des Entscheidungsbaums an.

Warum hat das niemand bemerkt?

Das ist der Teil, der mich in jener Nacht wach hielt. Earnest hatte interne Richtlinien. Sie hatten Vorgaben zur Modellaufsicht. Sie hatten Prüfprozesse durch Führungskräfte für Ausnahmefälle.

Nichts davon hat funktioniert.

Die Untersuchung ergab, dass Kreditprüfer das Modell routinemäßig umgingen oder willkürliche Maßstäbe ohne Dokumentation anlegten. Der „Human-in-the-Loop“-Schutzmechanismus — genau das, worauf jedes KI-Unternehmen verweist, wenn die Aufsicht anklopft — war Theater. Es gab keine konsistente Protokollierung. Keine unabhängige Prüfung. Keinen Audit-Trail, der Ihnen sagen könnte, warum eine bestimmte Übersteuerung erfolgte.

Ich habe dieses Muster so oft gesehen, dass wir ihm intern einen Namen gegeben haben: Governance-Cosplay. Die Institution hat alle richtigen Richtlinien auf dem Papier. Das Organigramm zeigt ein Compliance-Team. Die Vorstandspräsentation erwähnt „verantwortungsvolle KI“. Doch wenn man unter die Haube schaut, gibt es keinen Mechanismus, der die Richtlinie mit dem Code verbindet. Der Algorithmus läuft in einem Universum; das Governance-Framework existiert in einem anderen.

Der Fall Earnest machte das explizit. Sowohl algorithmischer Bias als auch unüberwachter menschlicher Bias existierten im selben System nebeneinander, was es — wie ich in unserer interaktiven Analyse des Falls schrieb — grundsätzlich unmöglich machte, das System zu prüfen und zu verteidigen.

Was passiert, wenn die Diskrepanz 29 Prozentpunkte beträgt?

Wenn Earnest der Skalpell-Fall war — präzise, auf Variablenebene, nachvollziehbar —, dann ist die Navy Federal Credit Union der Vorschlaghammer.

2022 genehmigte Navy Federal, die größte Credit Union der Vereinigten Staaten, rund 77 % der weißen Antragsteller für konventionelle Hypotheken. Bei schwarzen Antragstellern? 48,5 %. Das ist eine Lücke von fast 29 Prozentpunkten — die größte unter den 50 führenden Hypothekenanbietern des Landes.

Navy Federals Verteidigung war vorhersehbar: „Die öffentlichen HMDA-Daten enthalten weder Kreditscores noch verfügbare Barmittel. Ohne das vollständige Bild kann man keine Schlüsse ziehen.“ Es ist dieselbe Verteidigung, zu der jede Institution greift. Und vor einem Jahrzehnt hätte sie vielleicht funktioniert.

Dieses Mal funktionierte sie nicht. Als unabhängige Forscher mehr als ein Dutzend Variablen kontrollierten — Einkommen, Schulden-Einkommens-Verhältnis, Immobilienwert, Nachbarschaftsmerkmale — war die Wahrscheinlichkeit einer Ablehnung für schwarze Antragsteller immer noch mehr als doppelt so hoch wie für weiße Antragsteller mit identischen Profilen.

Ich erinnere mich, wie ich diese Zahlen letztes Jahr auf einer Fintech-Konferenz präsentierte. Ein Zuhörer — ein VP of Risk bei einem mittelgroßen Kreditgeber — hob die Hand und sagte: „Aber vielleicht steckt etwas in den Daten, das wir nicht sehen. Irgendein legitimer Faktor.“ Ich fragte ihn: „Wenn Ihr Modell eine Lücke von 29 Punkten nach Ethnie erzeugt, die bestehen bleibt, nachdem Sie jede Variable kontrolliert haben, die Sie benennen können — ab welchem Punkt hören Sie auf, nach harmlosen Erklärungen zu suchen, und fangen an, sich das Modell anzuschauen?“

Er hatte keine Antwort. Der Großteil der Branche hat keine.

Im Mai 2024 entschied ein Bundesrichter, dass Klagen wegen mittelbarer Diskriminierung (Disparate Impact) gegen Navy Federal in die Beweiserhebung gehen dürfen. Das bedeutet, dass die Kläger die interne Logik des Kreditvergabealgorithmus der Credit Union untersuchen dürfen. Die Ära des „unser Modell ist proprietär und zu komplex, um es zu erklären“ ist vorbei.

Statistische Ungleichheit allein reicht jetzt aus, um einen Antrag auf Klageabweisung zu überstehen. Die Beweislast hat sich verschoben: Beweisen Sie, dass Ihr Prozess fair ist — oder stellen Sie sich der Beweiserhebung.

Warum scheitern LLM-Wrapper immer wieder am Fairness-Test?

An dieser Stelle muss ich unverblümt werden — über etwas, das viele in der KI-Branche nicht hören wollen.

Die derzeit dominierende Architektur in der Fintech-KI — was ich das „Wrapper“-Modell nenne — ist strukturell unfähig, die bereits bestehenden regulatorischen Standards zu erfüllen, geschweige denn jene, die 2026 kommen.

Ein Wrapper nimmt Ihre Daten, gibt sie an ein großes Sprachmodell eines Drittanbieters wie GPT-4 oder Gemini weiter und liefert eine Ausgabe zurück. Er ist schnell gebaut. Er lässt sich wunderbar vorführen. Und er ist eine Compliance-Zeitbombe.

LLMs sagen das nächste Token in einer Sequenz voraus. Sie rufen keine Fakten ab. Sie führen keine versicherungsmathematischen Berechnungen durch. Sie ziehen keine kausalen Schlüsse. Wenn Sie ein LLM bitten, einen Kreditantrag zu bewerten, erzeugt es Text, der klingt wie eine Bonitätsbeurteilung. Aber es könnte eine Begründung für eine Ablehnung erfinden, die keinerlei Grundlage in der tatsächlichen Akte des Antragstellers hat. Die Branche nennt das Halluzination. Aufsichtsbehörden nennen es einen Verstoß.

Das CFPB ist unmissverständlich: Kreditgeber müssen „genaue und spezifische Gründe“ für ablehnende Entscheidungen angeben. Sie können einem abgelehnten Antragsteller nicht sagen „der Algorithmus hat entschieden“ oder eine vage Kategorie wie „Kaufhistorie“ anführen, wenn der eigentliche Auslöser ein nicht traditioneller Datenpunkt war, an dem sich das Modell festgebissen hat. „Der Algorithmus hat entschieden“ ist keine rechtlich haltbare Aussage — die Behörde hat das ausdrücklich festgestellt.

Und es gibt ein tieferliegendes Problem. LLMs werden auf dem Internet trainiert. Das Internet ist durchdrungen von historischer Voreingenommenheit — rassistischer, geschlechtsbezogener, sozioökonomischer. Wenn Ihr Wrapper ein LLM nutzt, um die Beschäftigungshistorie oder die Schilderung eines Kreditnehmers zu „bewerten“, kann das Modell Stereotype anwenden, die in seinen Trainingsdaten eingebettet sind. Bestimmte Nationalitäten, bestimmte Berufe, bestimmte Postleitzahlen tragen im latenten Raum des Modells unsichtbares Gewicht. Nicht, weil jemand Voreingenommenheit einprogrammiert hätte. Sondern: Die Trainingsdaten sind die Voreingenommenheit.

Ich hatte früh eine Auseinandersetzung darüber mit einem Investor. Er sagte: „Nehmen Sie einfach GPT mit einem guten Prompt. Sie verkomplizieren das.“ Ich rief eine Demo auf, in der wir denselben Kreditantrag durch einen Wrapper mit zwei Versionen schickten — eine mit einem Namen, der als weiß codiert war, eine mit einem Namen, der als schwarz codiert war. Die Ausgaben waren nicht identisch. Der Ton verschob sich. Die Risikosprache verschob sich. Nicht dramatisch. Subtil. Die Art von Subtilität, die über Millionen von Entscheidungen skaliert eine Lücke von 29 Punkten erzeugt.

Er hörte auf zu argumentieren.

Was bedeutet „Deep AI“ eigentlich?

Ich verwende den Begriff „Deep AI“ nicht als Marketing — auch wenn ich die Skepsis verstehe —, sondern als technische Abgrenzung von dem, was der Großteil der Branche baut.

Ein Deep-AI-System für die Kreditvergabe ruft nicht ein einzelnes Modell auf und gibt eine Antwort zurück. Es ist eine mehrschichtige Architektur, in der unterschiedliche Arten von Intelligenz unterschiedliche Arten von Entscheidungen bearbeiten — und jede Schicht ist prüfbar.

Deterministische Regel-Engines übernehmen die Dinge, die zu 100 % korrekt sein müssen — Aufenthaltsanforderungen, regulatorische Schwellenwerte, harte Compliance-Prüfungen. Diese sind nicht probabilistisch. Sie sind Logik. Sie halluzinieren nicht.

Gradient-Boosting-Modelle wie XGBoost übernehmen das strukturierte Credit Scoring — jene Art tabellarischer Daten, bei denen Interpretierbarkeit und Stabilität wichtiger sind als sprachliche Gewandtheit. Diese Modelle sind langweilig. Sie sind auch zuverlässig, erklärbar und von Aufsichtsbehörden gut verstanden.

Feinabgestimmte LLMs werden eingesetzt — aber nur für das, worin sie tatsächlich gut sind: Entitäten aus unstrukturierten Dokumenten extrahieren, Steuererklärungen parsen, Kontoauszüge lesen. Und sie sind durch Retrieval-Augmented Generation verankert, das heißt, das Modell darf sich nur auf die tatsächlichen Dokumente des Antragstellers beziehen, nicht auf die vagen Assoziationen seiner Trainingsdaten.

Über all dem liegt eine kontinuierliche Monitoring-Schicht, die Modelldrift, Bias-Drift und Halluzinationsraten in Echtzeit verfolgt. Wenn die Disparate Impact Ratio — das Verhältnis der Genehmigungsquoten zwischen geschützten Gruppen und Kontrollgruppen — unter den Schwellenwert von 0,8 fällt (die Vier-Fünftel-Regel, die Aufsichtsbehörden als Warnsignal nutzen), schlägt das System Alarm, noch bevor überhaupt eine menschliche Beschwerde auftaucht.

Das ist kein Wunschbild. Wir haben es gebaut, weil die Alternative — der Wrapper, die Blackbox, das Governance-Cosplay — immer weiter Earnest-Vergleiche und Navy-Federal-Klagen produziert.

Wie baut man Fairness tatsächlich in ein Modell ein?

Diese Frage wird mir ständig gestellt, und ich glaube, man erwartet eine einfache Antwort. Die gibt es nicht. Aber mysteriös ist es auch nicht.

Fairness-Engineering bedeutet, in jeder Phase des Modelllebenszyklus mathematische Beschränkungen anzuwenden. Vor dem Training untersuchen Sie Ihre Daten auf Repräsentationslücken und nutzen Techniken wie synthetisches Oversampling, um unterrepräsentierte demografische Gruppen auszugleichen. Während des Trainings setzen Sie adversariales Debiasing ein — eine Technik, bei der ein sekundäres Modell versucht, die Ethnie des Antragstellers aus der Ausgabe des Primärmodells vorherzusagen. Gelingt ihm das, gibt das Primärmodell geschützte Informationen preis, und Sie trainieren so lange nach, bis der Gegenspieler scheitert.

Nach dem Training kalibrieren Sie die Entscheidungsschwellen, um Equalized Odds sicherzustellen — das heißt, das Modell ist über demografische Gruppen hinweg gleich treffsicher. Nicht gleich nachsichtig. Gleich treffsicher. Ein Modell, das jeden genehmigt, ist nicht fair. Ein Modell, das für jeden gleich häufig richtigliegt, schon.

Und dann ist da noch die Erklärbarkeit. Jede ablehnende Entscheidung, die unser System erzeugt, wird von SHAP-Werten begleitet — einer mathematisch rigorosen Attributionsmethode, die Ihnen genau sagt, welche Merkmale die Entscheidung getrieben haben und in welchem Ausmaß. Wir erzeugen kontrafaktische Erklärungen in Echtzeit: „Wäre Ihre Kreditausnutzung um 15 % niedriger oder Ihr Einkommen um 5.000 US-Dollar höher, wäre dieser Kredit genehmigt worden.“ Das ist keine Höflichkeit. Nach der aktuellen CFPB-Leitlinie nähert sich das einer Pflicht an.

Faire KI ist kein Modell, das es vermeidet, etwas Anstößiges zu sagen. Sie ist ein System, in dem jede Entscheidung mit Mathematik zerlegt, hinterfragt und verteidigt werden kann.

Für die vollständige technische Aufschlüsselung unserer Fairness-Engineering-Pipeline und -Architektur habe ich eine ausführliche Forschungsarbeit veröffentlicht, die tiefer geht, als ich es hier kann.

Die regulatorischen Mauern rücken näher

Lassen Sie mich die Landschaft für alle skizzieren, die glauben, sie hätten noch Zeit.

Die CFPB-Leitlinien von 2023 und 2025 zu Mitteilungen über ablehnende Entscheidungen haben Durchschlagskraft. SR 11-7 — der Standard der Federal Reserve für das Modellrisikomanagement — verlangt inzwischen dokumentierte konzeptionelle Fundiertheit, unabhängige Validierung durch Teams ohne Verbindung zur Entwicklung und regelmäßige Ergebnisanalysen. Das NIST AI Risk Management Framework 2.0, veröffentlicht 2025, führte das Konzept einer „AI Bill of Materials“ ein — ein vollständiges Verzeichnis jeder Datenquelle, jedes Modells (einschließlich Drittanbieter-APIs) und jeder Interaktion zwischen Komponenten.

Das sind keine Leitlinien, die Sie ignorieren können. Ein Bundesrichter hat gerade die Beweiserhebung zum Algorithmus von Navy Federal zugelassen. Die Generalstaatsanwaltschaft von Massachusetts hat Earnest nicht nur mit einer Geldstrafe belegt — sie hat das Unternehmen verpflichtet, seine Modell-Governance grundlegend zu überarbeiten, eine unabhängige Validierung einzuführen und sich einem laufenden Monitoring zu unterwerfen.

Die Botschaft ist klar: Wenn Sie Ihr Modell nicht erklären können, können Sie es nicht verteidigen. Und wenn Sie es nicht verteidigen können, werden Sie zahlen — mit Vergleichen, mit Prozesskosten, mit Reputationsschäden und mit dem Vertrauensverlust jener Gemeinschaften, denen Sie zu dienen vorgeben.

Warum die „Suche nach Alternativen“ die Anforderung ist, auf die niemand vorbereitet ist

Es gibt ein regulatorisches Konzept, das die Branche meiner Meinung nach stärker umgestalten wird als jedes andere — und fast niemand spricht darüber.

Nach dem geltenden Fair-Lending-Recht reicht es nicht aus, nachzuweisen, dass Ihr Modell treffsicher ist. Sie müssen aktiv nach weniger diskriminierenden Alternativen suchen — nach Modellen, die eine vergleichbare Vorhersageleistung bei geringerer Ungleichheitslücke erreichen. Kann ein Kläger nachweisen, dass eine solche Alternative existierte und Sie sie nicht genutzt haben, besteht Ihr Modell den rechtlichen Test nicht — unabhängig von seiner Treffsicherheit.

Denken Sie darüber nach, was das operativ bedeutet. Sie können nicht einfach ein Modell bauen, es auf Voreingenommenheit testen und ausliefern. Sie müssen mehrere Konfigurationen trainieren — unterschiedliche Merkmalssätze, unterschiedliche Algorithmen, unterschiedliche Schwellenwertkalibrierungen — und dokumentieren, warum Sie sich für diejenige entschieden haben, für die Sie sich entschieden haben. Sie brauchen Belege dafür, dass Sie nach einer faireren Option gesucht und sie entweder gefunden (und übernommen) haben oder nachgewiesen haben, dass keine wesentlich weniger diskriminierende Alternative existierte.

Wir haben drei Monate damit verbracht, unsere LDA-Suchpipeline zu bauen. Drei Monate, in denen mein Engineering-Team immer wieder fragte: „Denken wir hier zu kompliziert?“ Und dann kam der Earnest-Vergleich, und die Generalstaatsanwaltschaft führte ausdrücklich an, dass das Unternehmen es versäumt hatte, nach Alternativen zu suchen. Wir hatten nicht zu kompliziert gedacht. Die Branche hatte zu einfach gedacht.

Die Earnest-Lektion, die die meisten übersehen

Ich möchte mit etwas schließen, das mich seit Juli nicht loslässt.

Der Großteil der Kommentare zum Earnest-Vergleich konzentrierte sich auf die CDR-Variable. Und ja, das war die Schlagzeile. Aber das tiefere Versagen war keine schlechte Variable. Es war das Fehlen einer Architektur, die die schlechte Variable abgefangen hätte, bevor sie überhaupt in die Produktion gelangte.

Earnest hatte keine unabhängige Modellvalidierung. Sie hatten keine systematischen Proxy-Tests. Sie hatten keine prüfbare Protokollierung menschlicher Übersteuerungen. Sie hatten kein kontinuierliches Bias-Monitoring. Sie hatten ein Modell, ein Richtliniendokument und dazwischen eine Lücke, durch die man mühelos eine Sammelklage fahren konnte.

Die 2,5 Millionen US-Dollar waren nicht der Preis für den Bias. Sie waren der Preis dafür, KI ohne die Infrastruktur zu bauen, die erkennt, wann Bias vorliegt.

Das ist die Unterscheidung, auf die ich immer wieder zurückkomme. Die Frage lautet nicht „Hat Ihre KI einen Bias?“ — jedes auf historischen Daten trainierte Modell trägt die Fingerabdrücke historischer Ungleichheit. Die Frage lautet: Haben Sie die Architektur, um sie zu erkennen, zu messen, zu erklären und zu korrigieren, bevor eine Aufsichtsbehörde es für Sie tut?

Die meisten Kreditgeber würden, wenn sie ehrlich sind, mit Nein antworten.

Wir haben Veriprajna gebaut, weil wir glauben, dass die Antwort Ja lauten muss — nicht als Wunschbild, sondern als strukturelle Eigenschaft des Systems selbst. Fairness ist kein Feature, das man nach dem Launch anschraubt. Sie ist eine tragende Wand. Entfernen Sie sie, und das ganze Gebäude stürzt ein.

Die erste Welle der KI im Kreditgeschäft war von Geschwindigkeit und Skalierung geprägt. Die zweite Welle wird davon geprägt sein, ob Ihr System einer gerichtlichen Beweisanordnung standhält. Ich weiß, für welche ich baue.