Ein Gericht hat Millionen Bewerbern gerade gesagt, dass sie von Software diskriminiert worden sein könnten
Ich saß letztes Jahr in einer Hotellobby in Bangalore und wartete auf ein Meeting, das sich verspätete, während ich auf meinem Handy juristische Schriftsätze durchscrollte — so, wie normale Menschen durch Instagram scrollen —, als ich auf einen Absatz stieß, der mich meinen Kaffee abstellen ließ.
Ein Bundesrichter in Kalifornien hatte gerade entschieden, dass Workday, der 70-Milliarden-Dollar-HR-Software-Gigant, als Vertreter nach dem Antidiskriminierungsrecht des Bundes haftbar gemacht werden könnte. Kein Werkzeug. Keine neutrale Plattform. Ein Vertreter — dieselbe Rechtskategorie wie ein menschlicher Recruiter, der Lebensläufe aufgrund des Alters oder der Rasse einer Person aussortiert.
Der Kläger, Derek Mobley, ein afroamerikanischer Mann über 40 mit Behinderungen, war für mehr als 100 Stellen abgelehnt worden. Viele dieser Absagen kamen innerhalb von Minuten nach der Bewerbung, oft außerhalb der Geschäftszeiten. Kein Mensch hatte seinen Lebenslauf angesehen. Software entschied, dass er es nicht wert war, in Betracht gezogen zu werden, und tat dies immer und immer wieder mit algorithmischer Konsequenz.
Ich baue KI-Systeme. Mein Unternehmen, Veriprajna, entwirft kognitive Architekturen für Unternehmen — die Art von tiefer, deterministischer KI, die die schlampigen, probabilistischen Abkürzungen ersetzen soll, die der Großteil der Branche verkauft. Und als ich dieses Urteil las, war mein erster Gedanke nicht „Das ist schlecht für Workday." Er war: Der Großteil der KI-Recruiting-Branche ist auf demselben morschen Fundament gebaut, und fast niemand spricht darüber.
1,1 Milliarden Absagen und ein Richter, der es bemerkte
Lassen Sie mich Ihnen die Zahl nennen, die den Raum zum Schweigen brachte, als ich sie mit meinem Engineering-Team teilte.
Während des relevanten Zeitraums des Workday-Falls wurden etwa 1,1 Milliarden Bewerbungen abgelehnt — über die Software von Workday. Das ist kein Tippfehler. Milliarde, mit einem M.
Im Mai 2025 erteilte ein Bundesgericht die vorläufige Zulassung einer landesweiten Sammelklage wegen Altersdiskriminierung nach dem ADEA — dem Age Discrimination in Employment Act. Das bedeutet, dass jede Person über 40, der seit September 2020 eine Beschäftigungsempfehlung über die Plattform von Workday verweigert wurde, benachrichtigt werden und sich der Klage anschließen könnte. Bis Juli 2025 weitete das Gericht den Umfang aus und schloss auch Bewerber ein, die über HiredScore verarbeitet wurden, ein KI-Einstellungstool, das Workday übernommen hatte.
Wenn Software eine Milliarde Bewerbungen ablehnt und ein Gericht sagt „Diese Software ist rechtlich Ihr Vertreter", dann hat die gesamte HR-Tech-Branche ein strukturelles Problem, kein PR-Problem.
Ich erinnere mich an die Auseinandersetzung, die wir intern darüber hatten. Einer meiner Ingenieure — ein kluger Kopf mit tiefem ML-Hintergrund — sagte: „Aber Workday betreibt doch nur eine Empfehlungs-Engine. Das ist, als würde man Google für schlechte Suchergebnisse verantwortlich machen." Und ich sagte: „Nein. Das ist, als würde man eine Personalvermittlung verantwortlich machen, die man engagiert hat, um Kandidaten zu prüfen, und diese Personalvermittlung wirft jeden Lebenslauf von jedem weg, der vor 1995 seinen Abschluss gemacht hat."
Das Gericht zog genau diese Unterscheidung. Richterin Rita Lin trennte „einfache Werkzeuge" — Tabellenkalkulationen, E-Mail — von Systemen, die Kandidaten aktiv bewerten, einordnen und empfehlen. Workdays KI organisierte keine Daten, damit ein Mensch sie prüft. Sie erfüllte die traditionelle Arbeitgeberfunktion, zu entscheiden, wer weiterkommt und wer nicht. Das ist Stellvertretung. Das ist Haftung.
Wie lernt ein Algorithmus, altersdiskriminierend zu sein?
Das ist der Teil, der mich nachts wachhält, weil der Mechanismus so banal ist.
Niemand bei Workday — das glaube ich wirklich — hat sich hingesetzt und Code geschrieben, der sagt if age > 40: reject(). Das wäre auf comichafte Weise illegal und trivial nachweisbar. Das eigentliche Problem ist subtiler und, ehrlich gesagt, schwerer zu beheben.
Wenn man ein Machine-Learning-Modell mit den historischen Einstellungsdaten eines Unternehmens trainiert — seinen „erfolgreichen Mitarbeitern" —, füttert man es mit jedem Vorurteil, das diese früheren Einstellungsverantwortlichen je hatten. Wenn das Unternehmen historisch jüngere Arbeitskräfte für Engineering-Rollen eingestellt hat, lernt das Modell, dass jugendkorrelierte Signale „Erfolg" vorhersagen. Nicht das Alter direkt. Proxys.
Hier ist, was ein KI-Screening-System über Ihr Alter ableiten kann, ohne jemals Ihr Geburtsdatum zu sehen:
Ihre E-Mail-Domain. Eine @aol.com- oder @hotmail.com-Adresse korreliert mit einer älteren Nutzergruppe. Ihre Technologie-Referenzen — die Angabe von Lotus-Notes- oder COBOL-Expertise ordnet Sie einer bestimmten Ära zu. Die Gesamtzahl der Berufsjahre, wobei „15+ Jahre" zu einem zeitlichen Anker wird. Sogar Marker des Karriereverlaufs: ein Titel „Junior Programmer" aus den frühen 1990er-Jahren verrät dem Modell genau, wann Sie ins Berufsleben eingetreten sind.
Ich habe das mit meinem eigenen Team getestet. Wir bauten einen synthetischen Datensatz — gefälschte Lebensläufe mit kontrollierten Variablen — und ließen sie durch eine standardmäßige, transformerbasierte Screening-Pipeline laufen. Dem Modell war nie irgendetwas über das Alter mitgeteilt worden. Aber als wir die Auswahlraten mit der Four-Fifths-Rule der EEOC maßen — die eine nachteilige Auswirkung anzeigt, wenn die Auswahlrate einer geschützten Gruppe unter 80 % der Rate der höchsten Gruppe fällt —, waren die Ergebnisse für Bewerber über 40 verheerend. Auswahlraten, halb so hoch wie die jüngerer Bewerber. Impact Ratios um 0,50, deutlich unter dem Schwellenwert von 0,80.
Der Algorithmus muss Ihr Alter nicht kennen. Er braucht nur Ihren E-Mail-Anbieter, Ihren Wortschatz und Ihre Karriere-Zeitachse. Die Mathematik erledigt den Rest.
Niemand hat Diskriminierung programmiert. Die Trainingsdaten sind die Diskriminierung, kristallisiert in Gewichte und Parameter und in großem Maßstab zurückgeliefert.
Warum „Nimm doch einfach GPT" die falsche Antwort ist
Ich höre das ständig. Von Investoren, von potenziellen Kunden, von wohlmeinenden CTOs, die drei Blogbeiträge über KI-Transformation gelesen haben. „Warum wickelt ihr nicht einfach GPT-4 ein? Das ist gut genug."
Ein Investor sagte mir das während eines Pitchs direkt ins Gesicht. Er lehnte sich zurück, die Arme verschränkt, und sagte: „Ashutosh, OpenAI hat Milliarden dafür ausgegeben. Sie wollen mir erzählen, dass Ihr 40-Personen-Unternehmen etwas Besseres bauen wird?"
Ich sagte ihm, dass er die falsche Frage stelle. Die Frage ist nicht, ob GPT-4 „besser" darin ist, Text zu erzeugen. Natürlich ist es das. Die Frage ist, ob eine probabilistische Textgenerierungs-Engine Entscheidungen treffen sollte, die darüber bestimmen, ob eine 52-jährige Software-Ingenieurin ihre Familie ernähren kann.
Der Markt ist überschwemmt mit dem, was ich LLM-Wrapper nenne — dünne Anwendungsschichten, die die Ausgaben von Foundation-Modellen wie GPT-4 oder Claude neu verpacken und als „KI-Recruiting-Lösungen" verkaufen. In Demos wirken sie beeindruckend. In der Produktion scheitern sie katastrophal, und hier ist der Grund.
Ein LLM sagt das wahrscheinlichste nächste Token voraus. Das ist alles. Es ist eine ausgefeilte Autovervollständigungs-Engine. Es schlussfolgert nicht darüber, ob ein Kandidat eine Stellenanforderung erfüllt. Es erzeugt Text, der aussieht wie Schlussfolgern. Und im Recruiting ist die Lücke zwischen „sieht aus wie Schlussfolgern" und „tatsächlich Schlussfolgern" die Lücke zwischen Compliance und einer Sammelklage.
Es gibt ein gut dokumentiertes Phänomen namens Lost-in-the-Middle-Syndrom: Standard-Transformer-Architekturen zeigen hohe Genauigkeit, wenn sie Informationen am Anfang und am Ende ihres Kontextfensters verarbeiten, aber die Aufmerksamkeit sinkt in der Mitte deutlich ab. In einem 10-seitigen Lebenslauf werden kritische Zertifizierungen oder jüngste Erfolge, die in den mittleren Abschnitten vergraben sind, statistisch gesehen mit höherer Wahrscheinlichkeit übersehen. Nicht, weil das Modell entschieden hätte, dass sie unwichtig sind — sondern weil die Architektur buchstäblich nicht allem die gleiche Aufmerksamkeit schenken kann.
Ich habe über diese architektonische Einschränkung und unseren Ansatz zu ihrer Lösung in der interaktiven Version unserer Forschung geschrieben.
Und dann gibt es das ökonomische Problem. LLM-Wrapper stehen vor dem, was ich Moat-Absorption nenne — sobald Anbieter von Foundation-Modellen leistungsfähigere Basismodelle veröffentlichen, integrieren sie zwangsläufig die Funktionen, auf die sich Wrapper als ihr Wertversprechen stützen. Lebenslauf-Parsing, Sentiment-Analyse, einfaches Matching — OpenAI und Google werden diese irgendwann nativ anbieten. Ein Unternehmen, das lediglich eine API einwickelt, trainiert seinen eigenen Wettbewerbsvorteil mit jeder Kundeninteraktion weg.
Die Nacht, in der wir unser eigenes System zerlegten
Ich möchte Ihnen von einem Donnerstagabend vor etwa acht Monaten erzählen, denn er veränderte, wie ich über alles denke, was wir bauen.
Wir testeten einen Prototyp unseres Recruiting-Screening-Moduls — unsere neuro-symbolische Architektur, die ich gleich erklären werde — gegen einen Benchmark-Datensatz. Das System schnitt bei den Genauigkeitsmetriken hervorragend ab. Die Präzision war hoch. Der Recall war solide. Mein leitender ML-Ingenieur, der 14-Stunden-Tage daran gearbeitet hatte, strahlte praktisch.
Dann führte unsere Compliance-Analystin das Fairness-Audit durch.
Das System wies Verletzungen der demografischen Parität beim Behinderungsstatus auf. Keine gewaltigen — die Impact Ratio lag bei etwa 0,78, gerade eben unter dem Schwellenwert von 0,80. Aber sie war da. Unser eigenes System, dasjenige, von dem ich allen erzählt hatte, es sei „von Haus aus bias-resistent", produzierte diskriminierende Ergebnisse.
Der Raum wurde still. Mir wurde übel.
Wir verbrachten die nächsten drei Tage damit, die Pipeline auseinanderzunehmen. Der Schuldige entpuppte sich als ein Merkmal in unseren Trainingsdaten, das wir für neutral gehalten hatten: die Dauer von Beschäftigungslücken. Kandidaten mit Behinderungen haben statistisch gesehen mit höherer Wahrscheinlichkeit Beschäftigungslücken — wegen krankheitsbedingter Auszeiten, wegen barrierebedingter Jobwechsel, wegen Genesungsphasen. Unser Modell hatte gelernt, dass Lücken einen geringeren „Erfolg" vorhersagen, und es bestrafte Behinderung über einen Proxy.
Wir entdeckten die Verzerrung, weil wir danach suchten. Die meisten Unternehmen, die KI-Recruiting-Tools von der Stange nutzen, suchen nicht danach. Sie wissen nicht einmal, dass sie es sollten.
Wir behoben es mit adversarialem Debiasing — wir trainierten ein sekundäres „Gegner"-Modell, um aus der Ausgabe unseres Prädiktors geschützte Merkmale vorherzusagen, und bestraften dann den Prädiktor jedes Mal, wenn der Gegner Erfolg hatte. Es ist eine In-Processing-Technik, die das System zwingt, diskriminierende Muster zu verlernen, statt sie nur im Post-Processing zu maskieren.
Aber die Lehre war nicht technischer Natur. Die Lehre war: Wenn wir, ein Unternehmen, das von Fairness und Verifikation besessen ist, beinahe ein voreingenommenes System ausgeliefert hätten, was liefern dann all die anderen aus?
Was bedeutet „Deep AI" eigentlich für die Personalauswahl?
Wenn ich sage, dass wir „Deep AI" statt LLM-Wrapper bauen, meine ich nicht, dass wir tiefere neuronale Netze verwenden. Ich meine, dass wir tiefer in das Problem gehen.
Unsere Architektur ist neuro-symbolisch — sie kombiniert die linguistischen Fähigkeiten neuronaler Netze mit der logischen Strenge symbolischen Schließens. In der Praxis bedeutet das, dass das LLM in unserem System nicht der Entscheidungsträger ist. Es ist der Übersetzer.
So funktioniert es, ohne den Fachjargon:
Wenn ein Lebenslauf in unser System gelangt, extrahiert ein spezialisiertes Sprachmodell strukturierte Fakten — „diese Person hat 5 Jahre Python-Erfahrung", „diese Person besitzt eine PMP-Zertifizierung", „diese Person hat von 2018 bis 2022 bei Firma X gearbeitet". Das sind keine Interpretationen. Es sind Entitätsextraktionen, abgebildet auf einen Knowledge Graph, der die Beziehungen zwischen Fähigkeiten, Rollen und organisatorischen Anforderungen definiert.
Dann — und das ist der entscheidende Teil — bewertet eine deterministische Regel-Engine diese extrahierten Fakten anhand der Stellenanforderungen. Kein neuronales Netz. Keine Wahrscheinlichkeitsverteilung. Echte Logik: IF experience >= 5 AND skill == Python THEN eligible = TRUE. Das LLM kann die Richtlinie nicht halluzinieren, weil die Richtlinie in Code lebt, nicht in Gewichten.
Jede Empfehlung erzeugt einen prüfbaren Logikpfad. Sie können genau nachverfolgen, welche Regel durch welchen Datenpunkt in welchem Abschnitt der Akte des Kandidaten ausgelöst wurde. Wenn eine Regulierungsbehörde oder der Anwalt eines Klägers fragt „Warum wurde diese Person abgelehnt?" — haben Sie eine Antwort, die nicht „Das Modell dachte es sich so" lautet.
Wir sichern dies mit dem ab, was wir konstitutionelle Guardrails nennen — drei Schutzschichten, die vor, während und nach jeder Interaktion laufen. Input-Rails fangen adversariale Prompts und PII-Lecks ab, bevor sie die Kernlogik erreichen. Dialog-Rails erzwingen Gesprächsgrenzen. Output-Rails scannen jedes Ergebnis auf Halluzinationen, Toxizität oder Richtlinienverstöße, bevor irgendetwas einen menschlichen Recruiter erreicht.
Das ist nicht theoretisch. Für die vollständige technische Aufschlüsselung unserer Architektur und des rechtlichen Rahmens, der sie antreibt, siehe unser Forschungspapier.
Kann man KI-gestützte Personalauswahl wirklich fair machen?
Die Leute fragen mich das ständig, meist in einem skeptischen Ton, der andeutet, dass sie glauben, die Antwort sei nein.
Meine ehrliche Antwort: Man kann sie nicht perfekt fair machen. Fairness bei der Einstellung bringt inhärente Zielkonflikte mit sich — mathematische, nicht nur philosophische. Die Optimierung auf demografische Parität (gleiche Auswahlraten über Gruppen hinweg) kann mit der Gleichheit der Chancen (gleiche Richtig-Positiv- und Falsch-Positiv-Raten) kollidieren. Die Optimierung auf prädiktive Parität (die sicherstellt, dass ein hoher Score für jede Gruppe dasselbe bedeutet) kann mit beidem kollidieren.
Aber man kann sie dramatisch fairer als den Status quo machen, was entweder voreingenommene Menschen oder voreingenommene Algorithmen sind, die vorgeben, neutral zu sein. Und man kann sie auditierbar machen, was das Gesetz tatsächlich verlangt.
Wir verwenden SHAP — SHapley Additive exPlanations —, um jedem Merkmal in jeder Entscheidung einen Beitragswert zuzuweisen. „Fähigkeit X trug +15 zum Score dieses Kandidaten bei. Die Beschäftigungslücke trug -3 bei." Wir verwenden LIME — Local Interpretable Model-agnostic Explanations —, um zu testen, ob kleine Änderungen eine Entscheidung umkehren würden. Wenn die Änderung der Postleitzahl eines Kandidaten das Ergebnis ändert, stimmt etwas nicht.
Wir erzeugen kontrafaktische Erklärungen: „Dieser Kandidat wurde nicht ausgewählt, weil ihm die Zertifizierung Y fehlte. Hätte er die Zertifizierung Y, hätte er über dem Schwellenwert gelegen." Das ist keine Blackbox. Das ist eine Glassbox, und genau das verlangt die Leitlinie der EEOC vom Mai 2023.
Das Drei-Verteidigungslinien-Modell, das den meisten Unternehmen fehlt
Hier ist etwas, das mich schockierte, als ich anfing, mit HR-Teams von Großunternehmen über ihre KI-Tools zu sprechen: Die meisten von ihnen haben keine Ahnung, welche Modelle sie betreiben.
Ich meine das wörtlich. Ich saß in einem Meeting mit dem CHRO eines Fortune-500-Unternehmens — jemand, der für Einstellungsentscheidungen verantwortlich ist, die jährlich Zehntausende von Menschen betreffen — und fragte: „Können Sie mir die Auswahlraten nach demografischer Gruppe für Ihr KI-Screening-Tool nennen?" Leerer Blick. „Können Sie mir sagen, welches Modell es verwendet?" Längerer leerer Blick. „Können Sie mir sagen, wer es auf Verzerrungen validiert hat?" Sie sagte: „Ich glaube, das übernimmt der Anbieter."
Der Anbieter „übernimmt" es. Derselbe Anbieter, der nach dem Workday-Präzedenzfall nun potenziell als Ihr Vertreter haftet. Derselbe Anbieter, der mit ziemlicher Sicherheit eine Klausel in seinem Vertrag hat, die jede Verantwortung für diskriminierende Ergebnisse ausschließt.
Enterprise-KI im Recruiting erfordert das, was Risikomanagement-Fachleute ein Modell der drei Verteidigungslinien nennen:
Erste Linie: die Geschäftsbereiche, die KI bauen und einsetzen. Sie sind verantwortlich für die Auswahl der Trainingsdaten, für Blind-Hiring-Techniken, die Namen und Abschlussjahre anonymisieren, und für die tägliche Überwachung.
Zweite Linie: Risiko- und Compliance-Aufsicht. Modellregister — ein zentrales Inventar jedes KI-Modells, seines Zwecks, seiner Datenquellen, seiner Risikostufe. Kontinuierliche Überwachung der Auswahlraten und Impact Ratios. Anbieterprüfung, die Dokumentation von Bias-Tests verlangt, nicht nur Marketing-Präsentationen.
Dritte Linie: unabhängige Prüfung. Das Local Law 144 von New York City schreibt bereits jährliche Bias-Audits durch unabhängige Dritte für automatisierte Beschäftigungsentscheidungs-Tools vor. Die Strafen beginnen bei 500 $ für den ersten Verstoß und steigen auf 1.500 $ pro Verstoß und Tag. Aber die eigentlichen Kosten sind nicht die Geldstrafe — es ist das, was passiert, wenn ein Gericht anordnet, den Namen Ihres Unternehmens an Millionen potenziell geschädigter Bewerber zu senden, was genau das ist, was die Sammelklagen-Zulassung im Fall Workday ermöglicht.
Warum „souveräne KI" die Zukunft der Personalauswahl in Unternehmen ist
Der Workday-Fall beschleunigt einen Wandel, den ich seit zwei Jahren beobachte: die Bewegung hin zu dem, was ich souveräne KI im Enterprise-Recruiting nenne.
Unternehmen werden sich der Tatsache bewusst, dass das Senden ihrer proprietären Einstellungsdaten an eine Drittanbieter-API bedeutet, dass diese Daten verwendet werden könnten, um die nächste Generation des Modells eines anderen zu trainieren. Sie erkennen, dass, wenn eine öffentliche API aktualisiert wird — was ohne Vorankündigung geschieht —, ihre sorgfältig validierte Screening-Pipeline über Nacht abdriften und für dieselben Kandidaten unterschiedliche Ergebnisse liefern kann. Sie verstehen, dass universellen LLMs die domänenspezifischen Knowledge Graphs fehlen, die für eine akkurate professionelle Bewertung nötig sind.
Die Unternehmen, mit denen ich spreche, wollen zunehmend Eigentümer ihrer Modelle sein. Sie in ihren eigenen Virtual Private Clouds betreiben. Kontrollieren, wann und wie sie aktualisiert werden. Vollständige Prüfpfade pflegen, die nicht vom Wohlwollen eines Anbieters abhängen.
Genau dahin steuern wir bei Veriprajna. Wir verkaufen keinen API-Zugang. Wir bauen kognitive Architektur, die institutionelles Wissen, Compliance-Regeln und deterministische Logik in Systeme kodiert, die KI als leistungsstarke Schnittstelle nutzen — nicht als fehlbares Orakel, das lebensverändernde Entscheidungen auf Basis statistischer Stimmungen trifft.
Der Gedanke, der mich nicht loslässt
Ich komme immer wieder auf Derek Mobley zurück. Über 100 Bewerbungen. Von Software abgelehnt, oft innerhalb von Minuten, mitten in der Nacht. Kein Mensch hat jemals seine Qualifikationen angesehen. Niemand hat ihm je gesagt, warum.
Und er ist kein Einzelfall. Er ist nur derjenige, der geklagt hat.
Es gibt Millionen von Menschen — qualifizierte, erfahrene, fähige Menschen —, die durch Algorithmen aus Jobchancen herausgefiltert wurden, die auf historischen Vorurteilen trainiert, ohne angemessene Tests eingesetzt und ohne sinnvolle Aufsicht betrieben wurden. Sie erhielten kein Absageschreiben, das erklärte, dass ihre @hotmail.com-E-Mail-Adresse mit einer Altersgruppe korrelierte, die das Modell zu bestrafen gelernt hatte. Sie bekamen nur Schweigen oder eine Standard-E-Mail und machten mit der nächsten Bewerbung weiter.
Das Workday-Urteil löst dieses Problem nicht. Aber es tut etwas fast genauso Wichtiges: es macht das Problem teuer. Und in Unternehmenssoftware werden teure Probleme behoben.
Die Frage ist nicht mehr, ob KI bei der Einstellung eingesetzt werden sollte. Sie ist, ob die KI, die Sie einsetzen, eine Zeugenvernehmung überstehen kann.
Ich baue KI beruflich, und ich glaube zutiefst an ihr Potenzial, die Einstellung fairer, effizienter und menschlicher zu machen. Aber nur, wenn wir aufhören, Recruiting-KI wie ein Konsumprodukt zu behandeln, und anfangen, sie als das zu behandeln, was sie ist: ein folgenschweres Entscheidungssystem, das über die Existenzgrundlage von Menschen bestimmt und in einem der am stärksten regulierten Bereiche des amerikanischen Rechts operiert.
Die Ära der Blackbox ist vorbei. Bauen Sie entsprechend.
