Das Profil eines Bewerbers, in sechs Richtungen gezogen von sechs Regulierungssiegeln: LL144, FEHA, Illinois, Texas, Colorado, EU.
Artificial IntelligenceComplianceHuman Resources

Wir bauten ein Bias-Audit für sechs KI-Recruiting-Gesetze. Es scheiterte in derselben Woche, in der wir es auslieferten.

Ashutosh SinghalAshutosh Singhal29. Mai 202612 min

Das Erste, was ich einer Chief People Officer im vergangenen Winter erklären musste, war, dass ihr Unternehmen nun auf eine Weise gegen das Gesetz verstieß, für die niemand in ihrem Team überhaupt die Worte hatte.

Sie verantwortete das Recruiting in New York, Chicago, Denver, Austin und einem Londoner Büro. Ihr Tech-Stack war unauffällig — ein Bewerbermanagementsystem, eine daraufgeschraubte KI-Screening-Ebene, ein Anbieter für Videointerviews, ein Terminplanungs-Chatbot. Standardbeschaffung von 2024. Das Problem war, dass zwischen Oktober 2025 und August 2026 sechs verschiedene Regierungen mehr oder weniger unabhängig voneinander entschieden, dass genau dieser Stack eine regulierte Hochrisiko-Aktivität sei. Und jede von ihnen formulierte die Regeln ein wenig anders.

So sieht KI-Recruiting-Compliance heute tatsächlich aus: nicht ein einzelnes Gesetz, das man befolgen muss, sondern ein Berg sich überlappender Vorschriften, die einander gelegentlich widersprechen und auf einer Recruiting-Pipeline liegen, die nie dafür gebaut wurde, geprüft zu werden. Als ich anfing, mich hineinzuwühlen, ging ich davon aus, dass die Aufgabe darin bestünde, ein gutes Bias-Audit durchzuführen. Ich lag falsch, und die Art, wie ich falsch lag, ist die ganze Geschichte.

Die CHRO, die vor dem Mittagessen sechs Regelwerken unterworfen war

Zeitleiste von sechs KI-Recruiting-Regimen mit Inkrafttretensdaten: FEHA, Illinois, Texas, Colorado, EU AI Act und LL144.

Lassen Sie mich darlegen, womit sie tatsächlich konfrontiert war, denn die Konvergenz ist der Teil, den man unterschätzt.

Kaliforniens FEHA-Änderungen zu automatisierten Entscheidungssystemen traten am 1. Oktober 2025 in Kraft — vier Jahre verpflichtende Aufbewahrung jedes Inputs, Outputs und Bias-Testergebnisses, und eine Haftung, die greift, ob die Diskriminierung beabsichtigt war oder nicht, für jeden Arbeitgeber, der in Kalifornien einstellt, unabhängig davon, wo er seinen Sitz hat. Illinois HB 3773 trat am 1. Januar 2026 in Kraft und verbietet ausdrücklich die Verwendung von Postleitzahlen als Stellvertreter für geschützte Gruppen. Texas TRAIGA trat am selben Tag in Kraft — nur dass Texas den Disparate Impact als Rechtstheorie bewusst verwarf und ausschließlich vorsätzliche Diskriminierung ahndet, mit Geldstrafen von 12.000 $ für einen heilbaren Verstoß bis zu 200.000 $ für einen nicht heilbaren — mit einem 60-Tage-Fenster zur Heilung, bevor die Strafe unumkehrbar wird, ein Detail, das verändert, wie man eine Meldung aus Texas gegenüber einer aus New York priorisiert. Colorados AI Act tritt am 30. Juni 2026 in Kraft. Der EU AI Act behandelt Recruiting ab dem 2. August 2026 als Hochrisiko nach Anhang III, mit Strafen von bis zu 35 Millionen € oder 7 % des weltweiten Jahresumsatzes.

Ein einziges Unternehmen mit Büros in diesen fünf Städten und London untersteht also sechs Regelwerken, drei davon bereits in Kraft, drei kurz vor der Aktivierung noch vor Ende des Sommers. Dieselbe Einstellungsentscheidung. Sechs verschiedene Definitionen dessen, was sie rechtswidrig macht.

Ein Unternehmen, das in New York, Chicago, Denver, Austin und London einstellt, betreibt nicht einen Recruiting-Prozess. Es betreibt einen Prozess, von dem sechs Regierungen jeweils glauben, er gehöre ihnen.

Und dann der Teil, der es im Raum still werden ließ: Das, worauf sich die meisten von ihnen verlassen hatten, um sicher zu bleiben, hatte gerade aufgehört zu funktionieren.

Ist „Unser Anbieter sagt, es sei kein AEDT" noch eine Verteidigung?

Zwei Jahre lang lautete die stille Strategie in New York etwas, das Forscher Null Compliance nannten — und hat man es einmal gesehen, sieht man es überall. New York Citys Local Law 144 überlässt es dem Arbeitgeber zu entscheiden, ob sein Tool eine Einstellungsentscheidung „wesentlich unterstützt". Also entschieden die Arbeitgeber, dass dem nicht so sei. Eine Studie von Cornell, Data & Society und Consumer Reports, die 2024 auf der FAccT vorgestellt wurde, befragte 391 NYC-Arbeitgeber, die diese Tools einsetzen, und stellte fest, dass nur 4,6 % das gesetzlich vorgeschriebene Bias-Audit veröffentlicht hatten. Nur 3,3 % hatten den Transparenzhinweis veröffentlicht. Der Rest hatte sich faktisch per Selbsteinstufung aus dem Anwendungsbereich herausdefiniert.

Es war ein Memo. Irgendwo in der Rechtsabteilung gab es ein einseitiges Memo aus 2024, das besagte: Unser Anbieter hat uns gesagt, dies sei kein AEDT, also gilt LL144 nicht. Dieses Memo war das Compliance-Programm.

Dann kam der 2. Dezember 2025. Der New York State Comptroller prüfte die Durchsetzung durch die Stadt und fand 17 potenzielle LL144-Verstöße in derselben Stichprobe von 32 Unternehmen, in der die stadteigene Behörde nur einen gefunden hatte. Fünfundsiebzig Prozent der Beschwerdeanrufe waren fehlgeleitet worden. Die Behörde räumte offiziell ein, dass ihrem Personal die technische Fachkenntnis fehle, diese Tools zu bewerten — und willigte ein, zu einer proaktiven, forschungsgestützten Durchsetzung überzugehen. Die Strafstruktur änderte sich nicht: bis zu 1.500 $ pro Tag und pro Verstoß. Betreibt man in New York ein einziges ungeprüftes Tool durchgehend, kommt man auf über eine halbe Million Dollar pro Jahr, bevor überhaupt jemand eine private Klage einreicht.

„Null Compliance" war nie eine Rechtsposition. Es war eine Wette darauf, dass niemand nachprüfte. Am 2. Dezember 2025 begann jemand nachzuprüfen.

Ich erinnere mich, dass ich an einem Sonntag das Prüf-PDF des Comptrollers las und dachte: Jedes einzelne dieser Selbsteinstufungs-Memos von 2024 wurde soeben zu einem Beweisstück im Discovery-Verfahren. Was sich, wie sich herausstellt, nicht als Metapher erweist.

Die Klagen, die still und leise neu schreiben, wer haftet

Denn das andere, was parallel geschieht, ist, dass Gerichte die Vorstellung demontieren, die Meinung des Anbieters schütze einen.

In Mobley v. Workday weigerte sich Richterin Rita F. Lin, den Fall abzuweisen, und stellte fest, dass ein KI-Recruiting-Anbieter als „Vertreter" (agent) des Arbeitgebers unmittelbar haftbar sein kann, wenn sein Tool Kandidaten empfiehlt oder herausfiltert — unabhängig davon, was das Memo des Arbeitgebers über die Funktion des Tools behauptet. Das Gericht erteilte im Mai 2025 die vorläufige Sammelzertifizierung, und das Opt-in-Fenster für Bewerber über 40 schloss am 7. März 2026. Dann ordnete die Richterin an, dass Workday eine vollständige Liste jedes Arbeitgebers vorlegt, der seine HiredScore-Screening-Produkte aktiviert hatte, und wies den Versuch zurück, die nach der Übernahme erworbenen Tools aus dem Verfahren herauszuhalten. Nach der eigenen Rechnung des Gerichts könnten über eine Milliarde Bewerber diese Pipeline durchlaufen haben.

Und am 20. Januar 2026 eröffnete sich eine neue Front. Kistler v. Eightfold stellt eine Frage, die niemand in der HR-Tech-Branche gestellt haben wollte: Sind diese Plattformen Auskunfteien (consumer reporting agencies) im Sinne des Fair Credit Reporting Act? Die Klage behauptet, Eightfold habe LinkedIn, GitHub und Stack Overflow gescrapt, aus „mehr als 1,5 Milliarden globalen Datenpunkten" Kandidatendossiers zusammengestellt und einen „Erfolgswahrscheinlichkeits"-Score von 0 bis 5 erzeugt — ohne Benachrichtigung des Kandidaten, ohne Offenlegung, ohne Widerspruchsverfahren. Gibt ein Gericht dem statt, schuldet jede ähnliche Plattform jedem bewerteten Kandidaten eine Adverse-Action-Mitteilung und einen Weg, sie anzufechten — und die gesetzlichen Schadenersätze nach dem FCRA reichen von 100 $ bis 1.000 $ pro Verbraucher und pro Verstoß. Multiplizieren Sie das mit jedem Kandidaten, den eine Plattform je bewertet hat.

Das also war die Landschaft, in der mein Mandant stand. Sechs Regelwerke, zwei aktive Klagen, die die Haftung neu definieren, eine Regulierungsbehörde, die gerade gelernt hatte zu prüfen. Mein Instinkt — und ich stehe dazu, denn er kostete mich einen Monat — war, dass die Antwort ein wirklich gutes universelles Bias-Audit sei.

Das universelle Audit, das nicht existieren konnte

Geteiltes Panel, das das Postleitzahlenfeld zeigt, das von Illinois HB 3773 verboten, aber von Artikel 10(3) des EU AI Act verlangt wird.

Was ich zuerst baute, ist beschreibenswert, denn genau an dieser Stelle brach der gesamte Ansatz zusammen.

Der Plan war elegant: eine strenge Adverse-Impact-Analyse, durchgeführt nach der Methodik, die unabhängige Prüfer wie DCI Consulting und ORCAA verwenden, die wir dann über alle sechs Rechtsordnungen abbilden würden. Einmal bestehen, gut dokumentieren, alle zufriedenstellen. Wir bauten die Pipeline, zogen die Einstellungsdaten heran, berechneten die Four-Fifths-Impact-Ratios, führten sogar die intersektionalen Auswertungen nach Rasse und Geschlecht durch, die New York ausdrücklich verlangt.

Dann setzte ich mich hin, um das eine Ergebnis den sechs Regelwerken gegenüberzustellen, und es fiel vor meinen Augen auseinander.

New York verlangt intersektionale Impact-Ratios. Colorado fordert „angemessene Sorgfalt" ganz ohne intersektionale Anforderung. Texas erkennt den Disparate Impact überhaupt nicht als Rechtstheorie an, sodass die gesamte statistische Übung dort rechtlich nebensächlich ist — es zählt allein der Vorsatz. Der EU AI Act hat keine Four-Fifths-Regel; er hat ein Gebot zur Datenrepräsentativität nach Artikel 10. Ein Audit, auf eine Weise durchgeführt, liefert ein Ergebnis, das für eine Rechtsordnung korrekt und für die anderen entweder unzureichend oder irrelevant ist.

Der tiefgreifendste — der, der mich wirklich innehalten ließ — war die Postleitzahl. Illinois HB 3773 verbietet ausdrücklich die Verwendung von Postleitzahlen als Stellvertreter für geschützte Gruppen; entfernt man sie, ist man konform. Aber Artikel 10(3) des EU AI Act verlangt, dass Trainingsdaten „relevant, repräsentativ und fehlerfrei" sind, und die geografische Abdeckung, die einen Datensatz repräsentativ macht, ist oft genau das, was Postleitzahlen kodieren. Entfernt man das Feld, scheitert man an Europas Repräsentativitätstest. Behält man es, scheitert man an Illinois.

Dasselbe Datenfeld ist in Illinois Schmuggelware und in Brüssel Pflichtnachweis. Es gibt keine Version des Datensatzes, die an beiden Orten zugleich sauber ist.

Man kann sich aus einem Widerspruch im Gesetz nicht heraus-auditieren. Ich hatte Wochen damit verbracht, ein Tool zu bauen, um eine Frage zu beantworten, und das eigentliche Problem war, dass die Frage sechs verschiedene korrekte Antworten hatte, von denen zwei sich gegenseitig ausschlossen. Das war die Wende. Das Produkt war keine bessere Audit-Engine. Das Produkt war das, was über den Audits steht und sie in Einklang bringt — und Ihnen ehrlich sagt, welche Konflikte sich nicht auflösen lassen, damit Ihr General Counsel eine rechtsstrategische Entscheidung treffen kann, statt so zu tun, als gäbe es den Konflikt nicht.

Die Gefährdung, die kein Bias-Audit erfasste

Sobald ich aufhörte, ein einziges Audit bauen zu wollen, begann ich die Lücken zu sehen, die die Audits nie abdeckten. Zwei davon sind gewaltig.

Die erste ist Barrierefreiheit, und sie ist ihr eigenes rechtliches Universum. Im März 2025 reichte die ACLU im Namen einer indigenen gehörlosen Bewerberin, „D.K.", eine Beschwerde ein, in der sie geltend machte, ein KI-gesteuertes Videointerview-Verfahren habe sie unter dem ADA, Title VII und Colorados Bürgerrechtsgesetz diskriminiert. Streicht man die Gesetze weg, ist der Schaden offensichtlich: Eine qualifizierte Kandidatin wurde herausgefiltert, weil die Maschine sie buchstäblich nicht hören konnte — und niemand in der Personalabteilung bekam die Ablehnung je zu Gesicht. Die technische Realität hinter dieser Behauptung ist brutal: Automatische Spracherkennung schneidet bei behinderter Sprache immer noch weit schlechter ab. OpenAIs Whisper-Modell hat bei mehrsprachiger und nicht-standardisierter Sprache eine etwa dreimal so hohe Wortfehlerrate, und selbst das siegreiche Team der 2025 Interspeech Speech Accessibility Project Challenge — trainiert an über 400 Stunden von mehr als 500 Sprechern mit Sprachbehinderungen — landete bei beeinträchtigter Sprache bei einer Wortfehlerrate von 8,11 %, immer noch ein Vielfaches des Standard-Englisch-Benchmarks. Ein Bias-Audit, das Impact-Ratios nach Rasse und Geschlecht prüft, wird ein Tool durchwinken, das eine gehörlose Kandidatin systematisch nicht verstehen kann, denn das ist eine andere Rechtstheorie mit einem anderen Test, den fast niemand durchführt. Ich behandle Barrierefreiheitstests inzwischen als eigene Disziplin mit eigenem Ergebnis, denn genau das sind sie.

Die zweite ist Sicherheit, und ich lernte, sie nach McHire auf den Tisch zu legen. Im Juni 2025 stellten die Forscher Ian Carroll und Sam Curry fest, dass McDonald's Recruiting-Plattform, aufgebaut auf Paradox.ai, die Datensätze von rund 64 Millionen Bewerbern offengelegt hatte — Namen, E-Mails, Telefonnummern, vollständige Chatbot-Interviewtranskripte. Die Ursache war ein Test-Admin-Konto aus 2019, bei dem Benutzername und Passwort beide 123456 lauteten, ohne Multi-Faktor-Authentifizierung, dazu ein API-Fehler, der es jedem erlaubte, Bewerber-IDs durchzuiterieren. Ihrem Compliance-Stack ist es egal, dass die Schwachstelle ein vergessenes Test-Konto eines Anbieters war. Die Pflicht zur Meldung der Datenpanne, die Gefährdung durch Sammelklagen, der Verlust der Rechtsgrundlage, diese Daten weiterzuverarbeiten — all das landet beim Arbeitgeber. Nach dieser Offenlegung sitzt der CISO bei jedem HR-Tech-Kauf mit am Tisch, und ein generisches SOC-2-Schreiben ist keine KI-bewusste Sicherheitsprüfung.

Warum können Sie dafür nicht einfach ein Tool kaufen?

Man fragt mich immer irgendeine Variante von: Kann ich dafür nicht einfach ein Tool kaufen? Und ich verstehe den Instinkt, denn der Markt ist voller glaubwürdig aussehender Optionen. Die ehrliche Antwort lautet nein, und es lohnt sich zu wissen, warum, bevor Sie Geld ausgeben.

Die spezialisierten Governance-Plattformen — FairNow, Holistic AI, Credo AI, das rund 45 Millionen Dollar eingesammelt hat — sind wirklich gut in dem, was sie tun. Aber jede liefert im Wesentlichen eine Methodik und läuft auf Ihren Daten; keine von ihnen sitzt zwischen Ihnen und Workday und arbeitet heraus, was Ihr tatsächlicher Anbietervertrag schützt und was nicht. Die unabhängigen Prüfer wie DCI und ORCAA liefern hervorragende Arbeit zu 50.000 bis 200.000 Dollar pro System und Jahr, aber es ist eine Momentaufnahme im Jahrestakt, keine ständige Antwort auf sechs sich bewegende Regelwerke. Und die Big Four werden das Mandat auf jeden Fall annehmen — für 500.000 bis mehrere Millionen Dollar — mit Beratungsteams, die keine Technologie bauen und nicht in die technischen Details eindringen können, warum sich Ihr Screening-Modell so verhält, wie es sich verhält.

Die Lücke ist kein fehlender Audit-Anbieter. Es ist, dass niemand auf Ihrer engeren Auswahl zugleich zwischen der CHRO, dem GC, dem CISO und jedem HR-Tech-Anbieter sitzen kann — und bereit ist, Ihnen zu sagen, wo das Gesetz schlicht nicht erfüllbar ist.

Was wir bei Veriprajna gebaut haben, ist genau das, was in dieser Lücke lebt: eine Praxis der jurisdiktionellen Abstimmung und AEDT-Due-Diligence, die jedes Tool inventarisiert, das Ihr Recruiting berührt, für jedes Regelwerk, unter das Sie fallen, das richtige Audit durchführt statt eines generischen, Barrierefreiheit und Sicherheit als eigene Disziplinen prüft und Ihrem General Counsel die Kostenzahlen und Prozesszeitpläne liefert, um das Budget gegenüber einem CFO zu verteidigen. Keine Versicherung, die Sie hoffentlich nie brauchen — sondern Dokumentation, über die Sie sehr froh sein werden, wenn New Yorks proaktive Durchsetzung oder Mobleys Discovery-Liste vor der Tür steht.

Die 120 Tage, die darüber entscheiden

Der Grund, warum ich dazu einen Countdown führe, ist keine Dramatik. Es ist, dass der Kalender gerade ungewöhnlich unerbittlich ist. Colorados Frist liegt etwa zwölf Wochen entfernt. Die Hochrisiko-Pflichten der EU treten rund vier Wochen danach in Kraft. New Yorks Durchsetzungshaltung hat sich bereits gedreht. Mobleys Discovery produziert die Arbeitgeberliste, während Sie das hier lesen.

Was mein eigenes Denken veränderte, und was ich einer CHRO oder einem General Counsel aus all dem mitgeben würde, ist eng und konkret: Der alte Schutzzug — den Anbieter das Tool aus dem Anwendungsbereich definieren lassen, ein Audit durchführen, das Memo ablegen — war nie ein Compliance-Programm. Es war eine Wette darauf, dass niemand mit technischem Sachverstand hinschaute. Jetzt schauen alle hin, aus sechs Richtungen, und zwei dieser Richtungen sind sich uneins darüber, was Sie überhaupt tun sollen. Die Arbeit besteht nicht mehr darin, ein Audit zu bestehen. Sie besteht darin, Regelwerk für Regelwerk genau zu wissen, wo Sie stehen — einschließlich der Stellen, an denen die ehrliche Antwort lautet, dass das Gesetz sich selbst widerspricht und jemand entscheiden muss, in welche Richtung er sich neigt. Das ist kein Tool, das man kauft. Es ist ein Urteil, das man sich durch die tatsächliche Arbeit verdienen muss. Wie wir das machen, sehen Sie hier.

Verwandte Forschung

KI-Einstellungs-Compliance & Bias-Audits für Arbeitgeber mit mehreren Rechtsräumen | VeriprajnaLösungsseite
The Algorithmic Ableism Crisis: Deep AI Governance for Enterprise Hiring | VeriprajnaInteraktives Whitepaper
The Algorithmic Accountability Mandate | VeriprajnaInteraktives Whitepaper
The Algorithmic Agent: AI Recruitment Liability & Deep AI Solutions | VeriprajnaInteraktives Whitepaper
The Architecture of Accountability: Enterprise AI After Eightfold | VeriprajnaInteraktives Whitepaper
Engineering Fairness in AI Recruitment: Causal AI vs Predictive AI | VeriprajnaInteraktives Whitepaper
The Deterministic Imperative: Engineering Regulatory Truth | VeriprajnaInteraktives Whitepaper
The Glass Box Paradigm: Fair AI Recruitment with Knowledge Graphs | VeriprajnaInteraktives Whitepaper
The Paradox of Default: Securing the Human-AI Frontier | VeriprajnaInteraktives Whitepaper
The Algorithmic Ableism Crisis: Deconstructing the Aon-ACLU Complaint and the Imperative for Deep AI GovernanceTechnische Vertiefung
The Algorithmic Accountability Mandate: Transforming Enterprise Talent Systems from Commodity Wrappers to High-Fidelity Deep AI SolutionsTechnische Vertiefung
The Algorithmic Agent: Navigating Liability and Technical Rigor in the Era of Deep AI RecruitmentTechnische Vertiefung
The Architecture of Accountability: Why Enterprise AI Requires Deep Engineering in the Wake of the Eightfold AI LitigationTechnische Vertiefung
Beyond the Mirror: Causal AI for Fair RecruitmentTechnische Vertiefung
The Deterministic Imperative: Engineering Regulatory Truth in the Age of Algorithmic AccountabilityTechnische Vertiefung
The Glass Box Paradigm: Fairness in Enterprise RecruitmentTechnische Vertiefung
The Paradox of Default: Securing the Human-AI Frontier in the Age of Agentic AutonomyTechnische Vertiefung

Auch veröffentlicht auf

Entwickeln Sie Ihre KI mit Zuversicht.

Arbeiten Sie mit einem Team zusammen, das über umfassende Erfahrung im Aufbau der nächsten Generation von Unternehmens-KI verfügt. Wir helfen Ihnen, eine KI-Strategie zu entwerfen, zu entwickeln und einzuführen, der Sie vertrauen können.

Veriprajna Deep-Tech-Beratung ist auf die Entwicklung sicherheitskritischer KI-Systeme für die Bereiche Gesundheitswesen, Finanzen und Regulierung spezialisiert. Unsere Architekturen werden anhand etablierter Protokolle validiert und mit umfassender Compliance-Dokumentation belegt.