KI-Einstellungstools können behinderte Bewerber diskriminieren

Das Problem

Das KI-Einstellungstool von Aon bewertete autistische Bewerber bei „Lebhaftigkeit" niedrig. Im Mai 2024 reichte die ACLU eine formelle Beschwerde bei der Federal Trade Commission gegen Aon Consulting ein. Die ACLU behauptete, dass Aon seine KI-gestützten Einstellungsbewertungen als „vorurteilsfrei" vermarktete und behauptete, sie würden „die Vielfalt verbessern" ohne „nachteilige Auswirkungen". In Wirklichkeit sieben diese Tools wahrscheinlich qualifizierte Bewerber aufgrund von Rasse und Behinderung aus.

Folgendes ist geschehen. Aon entwickelte einen Persönlichkeitstest namens ADEPT-15, der 15 Merkmale misst, darunter „Positivität", „emotionales Bewusstsein" und „Lebhaftigkeit". Die ACLU stellte fest, dass diese Merkmale eng mit den klinischen Diagnosekriterien für Autismus und psychische Erkrankungen übereinstimmen. Wenn Sie als „zurückhaltend" statt „kontaktfreudig" bewertet werden, stuft der Algorithmus Sie herab. Er fragt nicht nach Ihrer Behinderung. Er muss es nicht. Die Mathematik übernimmt die Diskriminierung automatisch.

Aon setzte außerdem ein Videointerview-Tool namens vidAssess-AI ein. Es verwendet die Verarbeitung natürlicher Sprache – Software, die gesprochene Wörter interpretiert –, um Bewerber anhand derselben Persönlichkeitsmerkmale zu bewerten. Bei einer Person mit Autismus, deren Sprache eine flache Intonation oder untypische Pausen aufweist, kann die KI diese Muster als „mangelndes Selbstvertrauen" interpretieren. Das Tool erzeugte, was die Beschwerde als „doppelte Benachteiligung" beschreibt: Bewerber wurden anhand ihrer Antworten und anhand einer maschineninterpretierten Version ihrer Persönlichkeit beurteilt, die durch voreingenommene Sprachmodelle gefiltert wurde.

Diese Beschwerde wurde vom Autistic Self-Advocacy Network und anderen Bürgerrechtsgruppen unterstützt. Es handelt sich nicht um eine Randklage. Sie ist ein Signal dafür, dass die Ära des unkontrollierten algorithmischen Einstellens vorbei ist. Wenn Ihr Unternehmen KI zur Vorauswahl von Bewerbern einsetzt, müssen Sie verstehen, was hier schiefgelaufen ist.

Warum das für Ihr Unternehmen wichtig ist

Das finanzielle und rechtliche Risiko durch voreingenommene KI-Einstellungstools ist groß und wächst. Betrachten Sie die Zahlen:

• Die EEOC erwirkte im Geschäftsjahr 2024 Hunderte von Millionen Dollar an finanzieller Entschädigung für Diskriminierungsopfer. Algorithmische Voreingenommenheit ist inzwischen eine der obersten Durchsetzungsprioritäten.
• Die FTC verhängte gegen DoNotPay eine Geldstrafe von 193.000 $ wegen unbelegter Behauptungen über seine KI-Fähigkeiten. Die Behörde hat die Befugnis, Unternehmen dauerhaft vom Verkauf von Hochrisiko-Software auszuschließen.
• Bis 2027 wird die globale Talentwirtschaft einen Wert von 30 Milliarden $ haben. Unternehmen, die nicht nachweisen können, dass ihre Einstellungstools fair sind, verlieren den Zugang zu Spitzenkandidaten.
• Aons ADEPT-15-Test greift auf eine Datenbank mit 350.000 einzigartigen Items zurück, um die Persönlichkeit zu bewerten. Der Umfang des Systems macht es nahezu unmöglich, es ohne spezialisierte Werkzeuge zu prüfen.

Ihr rechtliches Risiko endet nicht beim Anbieter. Die EEOC hat klargestellt, dass Arbeitgeber rechtlich für Diskriminierung verantwortlich sind, die durch KI-Tools verursacht wird, die sie von Dritten kaufen. Der Kauf eines „vorurteilsfreien" Tools überträgt Ihre Haftung nicht. Er erhöht sie.

Folgendes bedeutet dies für Ihre Organisation:

• Prozessrisiko: Sammelklagen und EEOC-Beschwerden, die auf Ihren Einstellungsprozess abzielen, nicht nur auf das Produkt Ihres Anbieters.
• Regulatorische Geldstrafen: Die Initiative „Operation AI Comply" der FTC setzt aktiv die Belegpflichten für KI-Behauptungen durch.
• Reputationsschaden: Eine öffentliche Beschwerde, die Ihr Unternehmen mit Diskriminierung aufgrund von Behinderung in Verbindung bringt, kann die Arbeitgebermarke über Nacht untergraben.
• Talentverlust: Neurodivergente Personen zeichnen sich oft durch Mustererkennung, Detailgenauigkeit und kreative Problemlösung aus. Eine voreingenommene Vorauswahl siebt genau die Menschen aus, die Innovation vorantreiben.

Wenn Ihr KI-Anbieter keinen empirischen Nachweis erbringen kann, dass seine Tools nicht diskriminieren, tragen Sie ein unquantifiziertes Risiko in Ihrer Bilanz.

Was tatsächlich unter der Haube geschieht

Stellen Sie sich die meisten KI-Einstellungstools wie einen Zerrspiegel vor. Sie spiegeln etwas Reales wider – Ihre Qualifikationen –, aber die Spiegelung wird durch die Form des Spiegels verzerrt. Die „Form" ist in diesem Fall die Trainingsdaten, die überwiegend neurotypische Verhaltensmuster widerspiegeln.

Das grundlegende Versagen ist etwas, das als „rekursive Voreingenommenheitsschleife" bezeichnet wird. Modelle des maschinellen Lernens trainieren mit historischen Einstellungsdaten. Diese Daten spiegeln jahrzehntelange Präferenzen für neurotypische Kommunikationsstile wider. Wenn die KI eingesetzt wird, fließen ihre Entscheidungen in zukünftige Trainingsdatensätze zurück. Bewerber, die früheren erfolgreichen Einstellungen „ähneln", werden im Algorithmus bevorzugt. Alle anderen werden aussortiert. Die Voreingenommenheit verstärkt sich im Laufe der Zeit.

Forschung an der Duke University ergab, dass große Sprachmodelle – die KI-Maschinen hinter vielen Einstellungstools – neurodivergente Begriffe systematisch mit negativer Bedeutung assoziieren. Der Satz „Ich habe Autismus" wird von diesen Modellen als negativer angesehen als „Ich bin ein Bankräuber". Wenn dieselben Sprachmodelle Einstellungstools über eine API-Verbindung antreiben, betten sie diskriminierende Assoziationen in Ihren Rekrutierungsprozess ein. Der Entwickler hat dies nie beabsichtigt. Die Daten haben es automatisch getan.

Aons ADEPT-15 veranschaulicht dies genau. Es ordnet 15 Persönlichkeitskonstrukte entlang Polaritäten wie „Zurückhaltend vs. Kontaktfreudig" und „Stoisch vs. Mitfühlend" ein. Die ACLU verglich diese Konstrukte mit dem Autismus-Spektrum-Quotienten (AQ), einem klinischen Standard-Screening-Instrument mit 50 Items. Die Überschneidung ist unbestreitbar. Wenn ein Einstellungsalgorithmus Fragen stellt, die klinische Kriterien widerspiegeln – „Ich konzentriere mich intensiv auf Details" oder „Ich arbeite lieber allein" –, schafft er einen verborgenen Pfad zwischen Behinderungsstatus und Einstellungsergebnis. Der Algorithmus fragt nie nach einer Diagnose. Er muss es nicht.

Ein einfacher „Wrapper" – ein Tool, das Ihre Daten durch ein Foundation-Modell wie GPT-4 leitet und die Ausgabe präsentiert – kann dies nicht beheben. Wrapper erben die Voreingenommenheiten ihrer zugrunde liegenden Modelle. Ihnen fehlt die Fähigkeit, zwischen echten beruflichen Qualifikationen und Rauschen zu unterscheiden, das mit geschützten Merkmalen korreliert.

Was funktioniert (und was nicht)

Drei gängige Ansätze, die scheitern:

• „Wir haben mit Big Data trainiert, also ist es fair." Mehr Daten bedeuten nicht weniger Voreingenommenheit. Wenn Ihre Trainingsdaten 30 Jahre neurotypische Einstellungspräferenzen widerspiegeln, wird Ihr Modell diese Präferenzen im großen Maßstab replizieren.
• „Unser Anbieter hat uns eine Model Card gegeben." Vom Anbieter bereitgestellte Dokumentation ist keine unabhängige Prüfung. Der Fall Aon zeigt, dass Marketingbehauptungen über „keine nachteiligen Auswirkungen" direkt im Widerspruch dazu stehen können, wie das Tool tatsächlich funktioniert.
• „Wir haben geschützte Felder aus der Eingabe entfernt." Das Entfernen des Behinderungsstatus aus den Daten hilft nicht, wenn Merkmale wie „Lebhaftigkeit" und „emotionales Bewusstsein" als Stellvertreter dienen. Der Algorithmus findet die Hintertür.

Was tatsächlich funktioniert, ist ein dreistufiger Ansatz, der die Verbindung zwischen geschützten Merkmalen und Einstellungsentscheidungen durchbricht:

1. Die verborgenen Pfade abbilden (Eingabe). Verwenden Sie Structural Causal Modeling – eine Methode, die diagrammatisch darstellt, wie verschiedene Datenpunkte sich gegenseitig beeinflussen –, um jeden Weg zu identifizieren, über den der Behinderungsstatus das Einstellungsergebnis beeinflussen könnte. Dies ist keine statistische Prüfung. Es ist eine kausale Karte Ihrer gesamten Bewertungspipeline. Ihr Ziel ist es, Stellvertretervariablen zu finden, bevor die Regulierungsbehörden sie für Sie finden.

2. Geschützte Informationen aus der Modelllogik entfernen (Verarbeitung). Setzen Sie Adversarial Debiasing ein – eine Technik, bei der ein zweites KI-Modell versucht, das geschützte Merkmal eines Bewerbers aus den internen Daten des primären Modells zu erraten. Wenn das zweite Modell erfolgreich ist, gibt das primäre Modell immer noch geschützte Informationen preis. Das System bestraft das primäre Modell und zwingt es, voreingenommene Muster zu verlernen. Dies ist besonders wirksam bei Video- und Persönlichkeitsbewertungen, bei denen Verhaltenssignale als Behinderungsstellvertreter dienen.

3. Jede Entscheidung mit kontrafaktischer Simulation testen (Ausgabe). Generieren Sie synthetische Variationen der Daten eines echten Bewerbers. Ändern Sie nur das sensible Attribut – zum Beispiel den Wechsel von neurotypischen zu neurodivergenten Sprachmustern –, während alle anderen Variablen konstant gehalten werden. Wenn sich die Empfehlung der KI ändert, haben Sie einen Fairness-Fehler. Dies verschafft Ihrem Compliance-Team einen konkreten Prüfpfad für jede Einstellungsentscheidung.

Der Prüfpfad ist das, was für Ihre Rechts- und Compliance-Teams am wichtigsten ist. Statistiken auf Gruppenebene – „10 % unserer Einstellungen sind behindert" – reichen nicht aus. Sie benötigen Belege auf individueller Ebene, dass jeder Bewerber gleich behandelt wurde. Kontrafaktische Simulation liefert dies. Wenn die EEOC oder FTC fragt, warum Ihr System einen bestimmten Bewerber abgelehnt hat, können Sie die Mathematik zeigen.

Gemäß dem NIST AI Risk Management Framework sollten Organisationen im Bereich HR- und Talenttechnologie eine „adaptive" Reife anstreben. Dies bedeutet einen dokumentierten Prozess zur Verfolgung von Diskriminierungsdrift – dem Phänomen, bei dem KI-Modelle im Laufe der Zeit voreingenommener werden, während sie mit realen Daten interagieren. Jährliche unabhängige Voreingenommenheitsprüfungen, nicht Selbstberichte der Anbieter, sind unerlässlich. Jede automatisierte Bewertung sollte eine klare Option für Bewerber enthalten, ohne Nachteil eine menschliche Alternative anzufordern.

Sie können die vollständige technische Analyse lesen für einen tieferen Einblick in die kausale Modellierung und die Methoden des Adversarial Debiasing. Eine interaktive Schritt-für-Schritt-Führung steht Ihrem Team ebenfalls zur Verfügung.