Das Problem
Ein Bewerber bewarb sich über die Plattform von Workday auf mehr als 100 Stellen. Er wurde bei fast allen abgelehnt — oft innerhalb von Minuten, außerhalb der Geschäftszeiten. Kein Mensch hat je seinen Lebenslauf geprüft. Derek Mobley, ein afroamerikanischer Mann über 40 mit Behinderungen, reichte eine Klage ein, die das Arbeitsrecht in den Vereinigten Staaten grundlegend verändert hat. Im Mai 2025 ließ ein US-Bundesgericht eine landesweite Sammelklage zu, die potenziell Millionen von Bewerbern über 40 Jahren umfasst, denen durch die KI-Screening-Tools von Workday eine Einstellungsempfehlung verwehrt wurde.
Die Zahlen sind erschütternd. Während des relevanten Zeitraums belegten Workdays eigene Gerichtsakten, dass die Software rund 1,1 Milliarden Bewerbungsabsagen verarbeitete. Das ist kein Tippfehler. Milliarden automatisierter Entscheidungen, viele davon ohne maßgebliche menschliche Aufsicht.
Das hat sich für Ihr Unternehmen geändert: Im Juli 2024 urteilte Richterin Rita Lin am Bundesbezirksgericht für den nördlichen Bezirk von Kalifornien, dass KI-Anbieter wie Workday keine neutralen Softwarebereitsteller sind. Sie sind „Agenten“ (agents) der Arbeitgeber, die sie einsetzen. Das bedeutet, dass sie einer direkten Haftung nach Title VII, dem ADA und dem ADEA unterliegen — denselben Bundesgesetzen gegen Diskriminierung, die auch für Sie gelten. Wenn Ihr KI-Einstellungstool diskriminiert, können sowohl Sie als auch Ihr Anbieter zur Verantwortung gezogen werden. Das Gericht zog eine klare Grenze: Ein KI-System, das Kandidaten aktiv bewertet, einstuft und empfiehlt, übernimmt eine Kernfunktion der Personalauswahl und sortiert nicht bloß eine Tabellenkalkulation.
Warum das für Ihr Unternehmen von Bedeutung ist
Dieses Urteil verändert Ihr Risikoprofil auf drei konkrete Weisen.
Das finanzielle Haftungsrisiko ist immens und wächst weiter. Die Sammelklage gegen Workday erfasst jeden Bewerber über 40, dem seit September 2020 eine Empfehlung verwehrt wurde. Das Gericht erweiterte den Geltungsbereich im Juli 2025 auf Bewerber, die von HiredScore AI verarbeitet wurden — einer Technologie, die Workday übernommen hat. Ihr potenzielles Haftungsrisiko skaliert mit jeder einzelnen Bewerbung, die Ihre KI-Tools ablehnen.
Regulatorische Strafen sind bereits Realität. Das Local Law 144 von New York City schreibt jährliche unabhängige Bias-Audits für automatisierte Instrumente zur Beschäftigungsentscheidung vor. Die Strafen beginnen bei 500 $ für das erste Vergehen und steigen bei wiederholten Verstößen auf bis zu 1.500 $ pro Verstoß und Tag. Zahlreiche Städte und Bundesstaaten folgen dem Vorbild New Yorks.
Reputationsschäden sind die versteckten Kosten. Das Gericht kann Unternehmen dazu verpflichten, Millionen betroffener Bewerber zu benachrichtigen. Stellen Sie sich den Namen Ihres Unternehmens auf einer gerichtlich angeordneten Liste vor, die an jede Person verschickt wird, die Ihre KI abgelehnt hat. Der Leitfaden der EEOC vom Mai 2023 stellt Ihre Pflichten unmissverständlich klar: Sie haften für die Ergebnisse algorithmischer Instrumente, selbst wenn ein Dritter diese entwickelt oder betrieben hat.
Das ist das Fazit für Ihr Budget:
- 500 $–1.500 $ pro Tag an Strafen in NYC für versäumte Bias-Audits
- 1,1 Milliarden Absagen, die während des Prozesszeitraums über eine einzige Plattform verarbeitet wurden
- 100+ Absagen für einen einzelnen Bewerber, oft innerhalb von Minuten — das Muster, mit dem alles begann
- Jeder Bewerber über 40 seit September 2020 ist ein potenzieller Kläger in diesem Verfahren
Wenn Ihr Anbieter nicht erklären kann, warum ein Kandidat abgelehnt wurde — oder wenn er jegliche Haftung für Voreingenommenheit ausschließt —, trägt Ihr Unternehmen 100 % des Risikos.
Was tatsächlich unter der Haube passiert
Die meisten KI-Einstellungstools basieren auf großen Sprachmodellen (Large Language Models, LLMs) — Systemen, die darauf ausgelegt sind, das statistisch wahrscheinlichste nächste Wort vorherzusagen, und nicht darauf, faire Entscheidungen zu treffen. Man kann sie sich wie Autovervollständigungs-Engines in gigantischem Maßstab vorstellen. Sie sind auf Plausibilität getrimmt, nicht auf Richtigkeit. Wenn man eine dünne Anwendungsschicht um eines dieser Modelle legt und das Ganze als „Einstellungslösung“ bezeichnet, entstehen drei gefährliche Fehlermuster.
Erstens verlieren sie Informationen in der Mitte. Untersuchungen zeigen, dass standardmäßige KI-Modelle dem Anfang und dem Ende von Dokumenten große Aufmerksamkeit schenken, in der Mitte jedoch ein sogenanntes „Aufmerksamkeitstal“ (Attention Trough) entwickeln. Bei einem zehnseitigen Lebenslauf ist die statistische Wahrscheinlichkeit höher, dass entscheidende Zertifizierungen oder jüngste Erfolge auf den mittleren Seiten schlicht übersehen werden.
Zweitens erfinden sie Fakten. Wenn ein LLM eine bestimmte Qualifikation nicht findet, generiert es häufig eine plausible Annahme auf Basis des umgebenden Textes. Ihr System lehnt dann womöglich einen qualifizierten Kandidaten auf Grundlage einer „Tatsache“ ab, die in dessen eigentlicher Akte nirgends existiert.
Drittens diskriminieren sie über Proxy-Variablen. Ein KI-Modell muss das Alter einer Person nicht direkt sehen, um es zu erraten. Es lernt, dass eine @aol.com-E-Mail-Adresse, mehr als 15 Jahre Berufserfahrung, Verweise auf ältere Technologien wie Lotus Notes oder frühe Berufsbezeichnungen aus den 1990er-Jahren allesamt damit korrelieren, über 40 zu sein. Wenn das Modell mit Daten von betrieblichen „Leistungsträgern“ trainiert wird, die zufällig überwiegend jünger sind, interpretiert es diese Proxy-Signale als negative Indikatoren. Dadurch entsteht eine Rückkopplungsschleife: Das System reproduziert und verstärkt genau jene Verzerrungen, die es eigentlich beseitigen sollte.
Die EEOC nutzt die „Vier-Fünftel-Regel“ (Four-Fifths Rule), um auf Diskriminierung zu prüfen. Wenn die Auswahlquote für eine geschützte Gruppe unter 80 % der Quote der am stärksten ausgewählten Gruppe fällt, liegt ein nachteiliger Effekt (Adverse Impact) vor. Im Fall Workday ließen die Muster der Ablehnungen über verschiedene Altersgruppen hinweg genau diese Alarmglocken schrillen.
Was funktioniert (und was nicht)
Beginnen wir mit drei weit verbreiteten Ansätzen, die in regulierten Einstellungsumgebungen scheitern.
„Wir haben einen System-Prompt hinzugefügt, der der KI sagt, sie soll fair sein.“ System-Prompts sind Empfehlungen, keine verbindlichen Regeln. Sie lassen sich leicht aushebeln und bieten keinerlei rechtliche Verteidigungsgrundlage. Ein Richter wird „Wir haben der KI gesagt, sie soll nett sein“ nicht als Compliance-Strategie anerkennen.
„Wir führen einmal im Jahr ein Audit durch.“ Jährliche Audits erfassen Probleme erst, nachdem der Schaden bereits entstanden ist. Wenn Ihr Modell zwischen den Audits abweicht — und Modelldrift ist eine Realität —, häufen Sie an jedem Tag, an dem Sie nicht überwachen, zusätzliches Haftungspotenzial an.
„Unser Anbieter kümmert sich um die Compliance.“ Das Gericht urteilte in Mobley v. Workday, dass die Übertragung von Einstellungsfunktionen auf ein automatisiertes System die Haftungskette verlängert — und sie keineswegs beendet. Die Compliance Ihres Anbieters ist Ihre Compliance.
Was tatsächlich funktioniert, ist eine Architektur, die Sprachverarbeitung strikt von der Entscheidungsfindung trennt. So funktioniert sie in drei Schritten:
Eingabe und Translation. Eine spezialisierte KI liest den Lebenslauf oder ein Transkript und extrahiert konkrete Fakten: „Kandidat verfügt über 5 Jahre Python-Erfahrung.“ In dieser Phase prüfen Eingangs-Guardrails auf Probleme mit der Datenqualität, den Abfluss personenbezogener Daten und Versuche adversarialer Manipulation. Die KI fungiert als Übersetzer, nicht als Entscheidungsträger.
Strukturiertes Schließen. Diese extrahierten Fakten werden auf einen Knowledge Graph übertragen — eine strukturierte Landkarte, die definiert, wie Fähigkeiten, Rollen und Anforderungen zueinander in Beziehung stehen. Eine Rule-Engine wendet anschließend Ihre Geschäftslogik deterministisch an: WENN Berufserfahrung mindestens 5 Jahre UND Fähigkeit gleich Python, DANN qualifiziert gleich wahr (true). Die KI kann keine Richtlinien „halluzinieren“, da die Regeln im Code festgeschrieben sind und nicht durch Wahrscheinlichkeitsvorhersagen generiert werden.
Überprüfbare Ausgabe. Jede Empfehlung erzeugt einen lückenlosen Logikpfad (Logic Trail), der exakt aufzeigt, welche Regel durch welchen Datenpunkt in welchem Dokument ausgelöst wurde. Ausgangs-Guardrails scannen auf Verzerrungen, Fehler und Richtlinienverstöße, bevor ein Ergebnis den Personalverantwortlichen erreicht. Techniken wie SHAP — die jedem Faktor bei einer Entscheidung einen spezifischen Beitragswert zuweisen — ermöglichen es Ihnen, einer Aufsichtsbehörde oder einem Richter zu belegen, dass „Fähigkeit X einen Beitrag von +15 zur Bewertung dieses Kandidaten geleistet hat“ und kein anderer Faktor das Ergebnis beeinflusst hat.
Das ist der entscheidende Unterschied für Ihr Compliance-Team. Wenn eine Aufsichtsbehörde fragt: „Warum wurde diese Person abgelehnt?“, können Sie auf eine konkrete Regel verweisen, die auf eine konkrete Tatsache angewendet wurde. Sie müssen nicht im Nachhinein eine KI bitten, über ihre eigenen Beweggründe zu spekulieren.
Ihre Organisation sollte zudem adversariales Debiasing während des Modelltrainings implementieren. Bei dieser Technik lernt ein Sekundärmodell zu erkennen, ob die Ausgaben des Primärmodells geschützte Merkmale wie ethnische Herkunft oder Alter preisgeben. Hat das Sekundärmodell damit Erfolg, wird das Primärmodell penalisiert und neu trainiert. Das Ergebnis ist ein System, das diskriminierende Muster aktiv eliminiert, statt bloß darauf zu hoffen, dass sie nicht auftreten.
Etablieren Sie schließlich ein Three-Lines-of-Defense-Modell für das KI-Risikomanagement. Ihre Geschäftsbereiche verantworten das operative KI-Risiko im Alltag, einschließlich der Auswahl von Trainingsdaten und der Kandidatenanonymisierung. Eine Risiko- und Compliance-Funktion führt Modellregister und überwacht die Auswahlquoten kontinuierlich. Eine unabhängige Revisionsfunktion prüft alles — einschließlich der obligatorischen jährlichen Bias-Audits, die nach Gesetzen wie dem NYC Local Law 144 vorgeschrieben sind.
Der Übergang zur souveränen KI-Bereitstellung — der Betrieb von Modellen in der eigenen Infrastruktur statt über APIs von Drittanbietern — gibt Ihnen die Kontrolle über Datenherkunft und Rückverfolgbarkeit. Ihre proprietären Einstellungsdaten bleiben in Ihrem Besitz. Ihre Modelle verändern sich nicht unvorhersehbar, weil ein Anbieter ein Update eingespielt hat.
Die Branche für HR- und Talent-Technologie bewegt sich von der Automatisierung hin zur Verifikation. Die Unternehmen, die Fairness-Audits und Bias-Mitigierung in ihre Kernarchitektur einbetten — und nicht erst als nachträglichen Gedanken —, werden diejenigen sein, die auch nach dem nächsten Gerichtsurteil noch bestehen. Sie können die vollständige technische Analyse lesen oder die interaktive Version erkunden , um tiefere Einblicke in die rechtlichen Präzedenzfälle und die technische Architektur zu erhalten.
Wichtigste Erkenntnisse
- Ein US-Bundesgericht urteilte 2024, dass Anbieter von KI-Einstellungstools rechtlich als „Agenten“ gelten — wodurch sie nach Title VII, ADA und ADEA direkt für Diskriminierung haften.
- Workdays Plattform verarbeitete während des Prozesszeitraums rund 1,1 Milliarden Bewerbungsabsagen; eine landesweite Sammelklage erfasst nun potenziell Millionen von Bewerbern über 40.
- KI-Modelle diskriminieren über Proxy-Variablen wie E-Mail-Domains, Erfahrungsjahre und veraltete Technologieverweise — ohne das Alter eines Kandidaten jemals direkt zu sehen.
- Jährliche Bias-Audits allein genügen nicht; kontinuierliches Monitoring, deterministische Rule-Engines und prüfbare Logikpfade sind erforderlich, um Einstellungsentscheidungen vor Gericht zu verteidigen.
- Die Strafen nach dem NYC Local Law 144 reichen von 500 $ bis 1.500 $ pro Verstoß und Tag — die wahren Kosten liegen jedoch darin, dass Ihr Unternehmen in einer gerichtlich angeordneten Benachrichtigung an Millionen abgelehnter Bewerber namentlich genannt wird.
Fazit
Das Urteil im Fall Mobley v. Workday bedeutet: Die Diskriminierung durch Ihren KI-Anbieter ist ab sofort Ihre Diskriminierung. Jede automatisierte Absage, die Ihr Unternehmen nicht erklären kann, ist ein Haftungsrisiko. Fragen Sie Ihren Anbieter: Können Sie mir die exakte Regel zeigen, die angewendet auf den konkreten Datenpunkt zur Ablehnung geführt hat — und können Sie diesen Logikpfad vor Gericht vorlegen?