Der Einstellungsalgorithmus, der versehentlich zur medizinischen Untersuchung wurde

Ein Freund von mir — brillanter Softwareentwickler, einer der besten Musterdenker, die ich je getroffen habe — erzählte mir, dass er von elf Unternehmen in Folge abgelehnt worden war. Nicht nach den technischen Runden. Davor. Er kam nie über das anfängliche "Persönlichkeitsassessment" hinaus.

Er ist Autist. Und jedes einzelne dieser Unternehmen nutzte irgendeine Version desselben KI-gestützten Screening-Tools.

Ich musste immer wieder an dieses Gespräch denken, als die ACLU im Mai 2024 eine förmliche Beschwerde bei der Federal Trade Commission gegen Aon Consulting einreichte. Der Vorwurf war in seiner Genauigkeit verblüffend: Aons Suite von KI-Einstellungstools — vermarktet als "vorurteilsfrei" und diversitätsfördernd — funktionierte wahrscheinlich als verdecktes Behinderungs-Screening. Die Tools maßen Eigenschaften wie "Lebhaftigkeit", "Positivität" und "emotionales Bewusstsein". Eigenschaften, die nicht nur vage Persönlichkeitsdimensionen sind. Sie sind nahezu perfekte Spiegelbilder der klinischen Kriterien, die zur Diagnose von Autismus verwendet werden.

Als ich die vollständige Beschwerde las — um elf Uhr nachts an meinem Schreibtisch, mit einer kalten Tasse Chai —, fügte sich etwas zusammen, das mich seit Jahren beschäftigt hatte. Die KI-Einstellungsbranche hat kein Voreingenommenheitsproblem. Sie hat ein Architekturproblem. Und keine noch so große "Responsible AI"-Markenbildung wird das beheben.

Das Versprechen, das zerbrach

Fast ein Jahrzehnt lang war das Verkaufsargument der KI-Einstellungsanbieter verführerisch und einfach: Menschen sind voreingenommen, Algorithmen nicht. Lassen Sie die Maschine entscheiden, und Sie erhalten fairere Ergebnisse.

Ich habe früh an eine Version davon geglaubt. Als ich Veriprajna gründete, war ich wirklich überzeugt, dass man, wenn man Entscheidungsfindung formalisieren könnte — das Bauchgefühl herausnehmen, die "Culture-Fit"-Ahnungen, die unbewusste Vorliebe für Menschen, die einen an sich selbst erinnern —, etwas erreichen würde, das der Meritokratie näherkommt. Die Mathematik würde uns befreien.

Die KI-Einstellungsbranche hat kein Voreingenommenheitsproblem. Sie hat ein Architekturproblem.

Dann begann ich zu untersuchen, was diese Tools tatsächlich messen. Und mir wurde klar, dass die Mathematik genau die Vorurteile kodierte, die sie zu beseitigen behauptete — sie übersetzte sie nur in eine Sprache, die objektiv aussah.

Aons Flaggschiff-Persönlichkeitstool ADEPT-15 bewertet Kandidaten anhand von fünfzehn Dimensionen. Dinge wie "Lebhaftigkeit" (sind Sie kontaktfreudig oder zurückhaltend?), "Bewusstsein" (können Sie zwischen den Zeilen lesen?), "Gelassenheit" (sind Sie unter Druck ruhig oder leidenschaftlich?) und "Flexibilität" (bevorzugen Sie Routine oder Veränderung?). Das Tool verwendet ein Forced-Choice-Format — Sie wählen zwischen zwei Aussagen — und passt sich in Echtzeit an Ihre vorherigen Antworten an.

Auf dem Papier klingt das ausgefeilt. In der Praxis fragt es: wie neurotypisch sind Sie?

Was passiert, wenn ein Einstellungstool eine klinische Diagnose spiegelt?

Das ist der Teil, der mich in jener Nacht wachhielt. Ich rief den Autismus-Spektrum-Quotienten auf — ein klinisches Standard-Screening-Instrument — und legte ihn neben Aons ADEPT-15-Konstruktdefinitionen. Die Überschneidung war nicht subtil. Sie war strukturell.

Der AQ misst soziale Fähigkeiten, Aufmerksamkeitsverlagerung, Detailgenauigkeit, Kommunikation und Vorstellungskraft. ADEPT-15 misst "Lebhaftigkeit", "Flexibilität", "Struktur", "Bewusstsein" und "Durchsetzungsvermögen". Das sind keine entfernten Verwandten. Es sind dieselben Konstrukte in anderen Kleidern.

Wenn ein Algorithmus jemanden dafür bestraft, "zurückhaltend" statt "kontaktfreudig" zu sein, misst er nicht die Eignung für den Job. Er misst soziale Performance. Und für jemanden, dessen Gehirn soziale Informationen anders verarbeitet — einen Autisten, jemanden mit ADHS, jemanden mit sozialer Angst —, ist diese Messung eine als Test getarnte Falle.

Die Beschwerde der ACLU bringt es unverblümt auf den Punkt: Diese Assessments "folgen eng den Diagnosekriterien für Autismus und psychische Gesundheit". Nach dem Americans with Disabilities Act dürfen Arbeitgeber keine medizinischen Untersuchungen im Rahmen des Einstellungsprozesses durchführen, sofern diese nicht in direktem Bezug zur Tätigkeit stehen. Wenn ein Persönlichkeitstest funktional nicht von einem klinischen Screening-Instrument zu unterscheiden ist, was genau ist er dann?

Ich erinnere mich, dass ich das gegenüber einem Kollegen ansprach, der Jahre in der Arbeits- und Organisationspsychologie verbracht hatte. Seine erste Reaktion war defensiv — "Das sind validierte psychometrische Instrumente." Meine Antwort: validiert gegen was? Gegen eine normative Stichprobe, die überwiegend neurotypisch war? Das ist keine Validierung. Das ist ein Zirkelschluss im Laborkittel.

Das Problem mit dem Video-Interview ist schlimmer, als Sie denken

Aons zweites Tool, vidAssess-AI, legt das Persönlichkeitsmodell über asynchrone Video-Interviews. Kandidaten nehmen sich selbst auf, während sie Fragen beantworten. Eine NLP-Engine transkribiert ihre Sprache, analysiert den Inhalt und bewertet ihn anhand des ADEPT-15-Persönlichkeitsframeworks.

Und hier wird es wirklich alarmierend. Modelle zur Verarbeitung natürlicher Sprache werden auf riesigen Textdatensätzen trainiert, die überwiegend neurotypische Kommunikationsmuster widerspiegeln. Den Rhythmus typischer Sprache. Die erwarteten Kadenzen von Selbstsicherheit. Die "normale" Art, eine Erzählung zu strukturieren.

Mein Team verbrachte Wochen damit zu testen, wie unterschiedliche Sprechmuster mit kommerziellen NLP-Systemen interagieren. Flache Intonation — häufig bei autistischen Sprechern — wird als "mangelnder Enthusiasmus" markiert. Untypische Pausen werden als "Unsicherheit" interpretiert. Nichtlineares Erzählen — die Art, wie viele Menschen mit ADHS ihre Gedanken auf natürliche Weise ordnen, zwischen verbundenen Ideen springend, bevor sie zum Ausgangspunkt zurückkehren — wird als "unstrukturiertes Denken" registriert.

Wenn ein Algorithmus jemanden dafür bestraft, "zurückhaltend" statt "kontaktfreudig" zu sein, misst er nicht die Eignung für den Job. Er misst soziale Performance.

Nichts davon hat irgendetwas damit zu tun, ob jemand den Job machen kann. Alles davon hat alles damit zu tun, ob jemand Neurotypizität überzeugend vor der Kamera darbietet.

Forschung der Duke University ergab, dass große Sprachmodelle neurodivergente Begriffe systematisch mit negativen Konnotationen assoziieren. In einigen Modellen wird "Ich habe Autismus" negativer bewertet als "Ich bin ein Bankräuber". Wenn dieselben Modelle über API-Integrationen Einstellungstools antreiben, tragen sie diese Assoziationen direkt in den Screening-Prozess. Kein Entwickler hat es beabsichtigt. Die Architektur hat es garantiert.

Ich habe über die technischen Mechanismen dahinter ausführlicher in der interaktiven Version unserer Forschung geschrieben, aber die Kurzfassung lautet: Man kann emergenten Ableismus nicht mit einem Wrapper um ein voreingenommenes Modell beheben. Die Voreingenommenheit ist kein Fehler. Sie ist ein Merkmal dessen, wie das System gebaut wurde.

Warum ich aufgehört habe, an "vorurteilsfrei" zu glauben

Es gab einen Moment — und ich kann ihn genau verorten —, in dem sich mein Denken darüber von "wir brauchen bessere Voreingenommenheitstests" zu "das gesamte Paradigma ist falsch" verschob.

Wir führten ein internes Audit der Einstellungspipeline eines Kunden durch. Standardkram: Prüfungen der demografischen Parität, Adverse-Impact-Verhältnisse, die Kennzahlen, die alle verwenden. Die Zahlen sahen sauber aus. Die Einstellungsquoten über die demografischen Gruppen hinweg lagen in akzeptablen Bereichen. Der Kunde war zufrieden. Sein Rechtsteam war zufrieden.

Dann stellte eine meiner Ingenieurinnen, Priya, eine Frage, die den Raum zum Stillstand brachte: "Was, wenn die Menschen, die aussortiert worden wären, sich überhaupt nie beworben haben?"

Sie hatte recht. Wir maßen Fairness unter den Menschen, die das Persönlichkeits-Screening durchlaufen hatten. Aber das Screening selbst hatte den Kandidatenpool bereits gefiltert. Wir prüften die Überlebenden und nannten es Gerechtigkeit.

In diesem Moment verstand ich den grundlegenden Fehler im "Wrapper"-Ansatz für KI-Fairness. Ein Wrapper nimmt ein bestehendes Foundation-Modell — GPT-4, was auch immer —, leitet Daten hindurch und präsentiert die Ausgabe. Man kann Voreingenommenheitsprüfungen obendrauf setzen. Man kann die Ergebnisse nachbearbeiten. Aber die internen Repräsentationen des Modells haben die Vorurteile seiner Trainingsdaten bereits kodiert. Man klebt einen Fairness-Aufkleber auf eine grundlegend unfaire Maschine.

Die Einstellungsdaten, mit denen diese Modelle trainiert werden, spiegeln jahrzehntelange neurotypische Präferenzen wider. Wenn das Modell in Betrieb geht, fließen seine Entscheidungen in künftige Trainingsdatensätze zurück. Zurückhaltende Kandidaten werden abgelehnt, also lernt das Modell, dass "zurückhaltend" eine Ablehnung vorhersagt, also lehnt es noch mehr zurückhaltende Kandidaten ab. Die Schleife zieht sich enger. Die Voreingenommenheit verstärkt sich. Und das Dashboard sagt, alles sei in Ordnung.

Wie baut man tatsächlich eine Einstellungs-KI, die nicht diskriminiert?

Das ist die Frage, die zu beantworten ich die letzten Jahre verbracht habe. Nicht "wie macht man KI weniger voreingenommen" — dieser Rahmen akzeptiert die aktuelle Architektur und versucht, sie zu flicken. Die eigentliche Frage lautet: Wie baut man Systeme, in denen sich die Voreingenommenheit nicht verstecken kann?

Der Ansatz, den wir bei Veriprajna entwickelt haben, beruht auf einer zentralen Erkenntnis: Korrelation ist der Ort, an dem sich Diskriminierung versteckt. Herkömmliches maschinelles Lernen findet Muster in Daten. Wenn ein neurotypischer Kommunikationsstil damit korreliert, eingestellt zu werden, wird das Modell den Kommunikationsstil als Stellvertreter für Einstellungswürdigkeit verwenden. Es weiß nicht, dass es diskriminiert. Es optimiert nur.

Um das zu durchbrechen, braucht man kausales Schließen, nicht nur statistischen Musterabgleich.

Wir verwenden etwas namens Causal Representation Learning. Statt zu fragen "welche Merkmale sagen den Einstellungserfolg voraus?", fragen wir "welche Merkmale sagen den Einstellungserfolg voraus, die nicht kausal einem geschützten Merkmal nachgelagert sind?" Das ist eine grundlegend andere Frage, und sie erfordert eine grundlegend andere Architektur.

Stellen Sie es sich so vor. Denken Sie sich das Profil eines Kandidaten als ein Netz verbundener Attribute. Manche Verbindungen sind legitim — Berufsjahre hängen mit dem Kompetenzniveau zusammen. Aber manche Verbindungen verlaufen durch geschütztes Terrain — der Kommunikationsstil hängt mit dem Neurotyp zusammen, der damit zusammenhängt, wie ein Persönlichkeitstest einen bewertet, was damit zusammenhängt, ob man ein Vorstellungsgespräch bekommt. Causal Representation Learning kartiert diese Pfade und durchtrennt die unrechtmäßigen mathematisch.

Wir kombinieren das mit adversarialem Training — einer Technik, bei der wir zwei Modelle gegeneinander antreten lassen. Ein Modell versucht, die Arbeitsleistung vorherzusagen. Das andere versucht, aus den internen Repräsentationen des ersten Modells den Behinderungsstatus des Kandidaten zu erraten. Wenn der Gegenspieler Erfolg hat, bedeutet das, dass der Prädiktor geschützte Informationen durchsickern lässt, und das System bestraft ihn dafür. Über die Trainingszyklen hinweg lernt der Prädiktor, Entscheidungen zu treffen, die sich wirklich nicht rückwärts entschlüsseln lassen, um den Neurotyp einer Person offenzulegen.

Man kann emergenten Ableismus nicht mit einem Wrapper um ein voreingenommenes Modell beheben. Die Voreingenommenheit ist kein Fehler. Sie ist ein Merkmal dessen, wie das System gebaut wurde.

Und dann gibt es das kontrafaktische Testen — der Teil, den ich intellektuell am ehrlichsten finde. Wir nehmen die Daten eines echten Kandidaten, erzeugen einen synthetischen Zwilling, bei dem sich nur das geschützte Merkmal ändert, und prüfen, ob die Empfehlung des Modells gleich bleibt. Nicht "sind die Statistiken auf Gruppenebene ausgewogen?", sondern "würde diese konkrete Person ein anderes Ergebnis erhalten, wenn sie nicht autistisch wäre?". Das ist die Frage, die der ADA tatsächlich stellt. Das ist die Frage, die die meisten Einstellungs-KIs nicht beantworten können.

Eine vollständige technische Aufschlüsselung dieser Methoden — die Mathematik hinter interventioneller Invarianz, die adversarialen Verlustfunktionen, die strukturellen kausalen Modelle — finden Sie in unserem technischen Forschungspapier.

Die Regulierungsbehörden warten nicht mehr

Eines hat die Aon-Beschwerde unmissverständlich klargemacht: Die Ära des "erst schnell handeln, später prüfen" ist vorbei.

Die Initiative "Operation AI Comply" der FTC hat bereits zu Durchsetzungsmaßnahmen gegen Unternehmen geführt, die unbelegte KI-Behauptungen aufstellen. DoNotPay wurde mit einer Geldstrafe von 193.000 US-Dollar belegt, weil es zu viel darüber versprochen hatte, was sein KI-Rechtstool leisten könne. Rytr wurde wegen der Generierung gefälschter Bewertungen ins Visier genommen. Die FTC hat es unmissverständlich gesagt: Wenn Sie behaupten, Ihr Tool sei "vorurteilsfrei", sollten Sie besser die empirischen Belege haben, um es zu beweisen. "Wir haben es mit Big Data trainiert" ist kein Beleg. Es ist ein Geständnis.

Die EEOC hat unterdessen algorithmische Diskriminierung zu einer obersten Durchsetzungspriorität gemacht. Ihre Position ist eindeutig: Arbeitgeber sind rechtlich für Diskriminierung verantwortlich, die durch die von ihnen erworbenen KI-Tools verursacht wird, selbst wenn der Anbieter ihnen in Sachen Fairness ein X für ein U vorgemacht hat. Man kann seine bürgerrechtlichen Verpflichtungen nicht an einen Softwarevertrag auslagern.

Manchmal fragen mich Leute, ob dieser regulatorische Druck die KI-Einführung im Recruiting verlangsamen wird. Ich halte das für die falsche Frage. Der Druck wird die Einführung schlechter KI verlangsamen. Er wird den Markt für Tools beschleunigen, die Fairness tatsächlich nachweisen können — nicht mit Marketingtexten, sondern mit prüfbaren Belegen. Unternehmen, die in eine rigorose Architektur investiert haben, werden einen enormen Vorteil haben. Unternehmen, die Wrapper gekauft haben, werden eine enorme Rechnung vom Anwalt haben.

Gestalten für Gehirne, die anders funktionieren

Unter den technischen und rechtlichen Argumenten liegt ein tieferes Problem, und es ist dasjenige, das mir am meisten am Herzen liegt.

Die meiste Einstellungs-KI basiert auf dem, was Behinderungsforscher das "medizinische Defizit"-Modell nennen — der Annahme, dass neurodivergente Merkmale Abweichungen von einer Norm sind, die erkannt und aussortiert werden müssen. Die gesamte Architektur setzt voraus, dass es eine "richtige" Art gibt, wie ein Gehirn zu funktionieren hat, und die Aufgabe des Algorithmus ist es, Kandidaten zu finden, deren Gehirne auf diese Weise arbeiten.

Das ist nicht nur ethisch bankrott. Es ist strategisch idiotisch.

Neurodivergente Menschen glänzen häufig genau bei den Fähigkeiten, nach denen Unternehmen händeringend suchen: tiefe Mustererkennung, anhaltende Detailgenauigkeit, kreatives Problemlösen, das aus konventionellen Rahmen ausbricht. Ein Einstellungssystem, das nach "Lebhaftigkeit" und "sozialer Kühnheit" screent, filtert systematisch genau die Menschen heraus, die am ehesten sehen, was alle anderen übersehen.

Bei Veriprajna haben wir begonnen, das zu bauen, was ich als zeitlich elastische Assessment-Systeme bezeichne. Statt jeden Kandidaten mit einer neurotypischen Grundlinie zu vergleichen — durchschnittliche Reaktionszeit, typische Sprechkadenz, erwarteter emotionaler Ausdruck —, ermittelt das System in den frühen Phasen der Interaktion eine individuelle Grundlinie. Es lernt, wie "normal" für diese Person aussieht, nicht für einen abstrakten Durchschnitt.

Wir setzen uns außerdem nachdrücklich für das ein, was selbstverständlich sein sollte: Jedes automatisierte Assessment muss eine klare, sanktionsfreie Option enthalten, eine menschliche Alternative anzufordern. Der ADA verlangt angemessene Vorkehrungen. Aber über die rechtliche Konformität hinaus ist es einfach gute Ingenieurskunst. Jedes System, das zusammenbricht, wenn ein Nutzer nach einer anderen Schnittstelle fragt, ist ein fragiles System.

Die Frage, die niemand beantworten will

Wenn ich diese Arbeit präsentiere, gibt es immer einen Moment unbehaglicher Stille. Meist kommt er, nachdem ich darauf hinweise, dass dieselben KI-Tools, mit denen Fortune-500-Unternehmen ihre "Diversität verbessern", möglicherweise systematisch Menschen mit Behinderung ausschließen. Jemand im Raum — meist jemand, der den Vertrag mit dem Anbieter unterschrieben hat — rutscht auf seinem Stuhl hin und her.

Die unbequeme Wahrheit ist, dass die meisten Unternehmen ihre Einstellungs-KI nie auf Behinderungsvoreingenommenheit geprüft haben. Sie haben auf rassische und geschlechtsbezogene Ungleichheiten geprüft, weil das die Kennzahlen sind, auf die sich die Regulierungsbehörden historisch konzentriert haben. Aber Neurodivergenz? Die taucht im Dashboard nicht einmal auf.

Die Aon-Beschwerde ändert das. Nicht weil Aon außergewöhnlich schlecht wäre — das Unternehmen steht stellvertretend für einen branchenweiten Ansatz. Sie ändert die Dinge, weil sie den Mechanismus benennt. Sie zeigt genau, wie ein "Persönlichkeitsassessment" zu einem Behinderungs-Screening wird. Und wenn man es einmal gesehen hat, kann man es nicht mehr ungesehen machen.

Jedes Unternehmen, das Persönlichkeits-Proxy-Algorithmen zum Screening von Kandidaten einsetzt, filtert systematisch genau die Talente heraus, die Innovation vorantreiben.

Ich denke an meinen Freund — den brillanten Ingenieur, der nicht am Persönlichkeits-Screening vorbeikam. Schließlich wurde er von einem Unternehmen eingestellt, das stattdessen ein Live-Fachassessment durchführte. Innerhalb von sechs Monaten hatte er ihre gesamte Datenpipeline neu gestaltet. Die elf Unternehmen, die ihn abgelehnt hatten, verpassten nicht nur eine gute Einstellung. Ihnen wurde von einem Algorithmus gesagt, dass es sich nicht lohne, mit ihm zu sprechen.

Das ist kein Voreingenommenheitsproblem. Das ist ein kaputtes System, das sich selbst einredet, dass es funktioniert.

Wohin das als Nächstes führt

Die Aon-ACLU-Beschwerde ist nicht das Ende von etwas. Sie ist der Beginn einer Abrechnung, die neu gestalten wird, wie jedes Unternehmen über KI bei Personalentscheidungen denkt.

Wenn diese Welle aus Durchsetzung und Rechtsstreitigkeiten ihren Höhepunkt erreicht, werden diejenigen Unternehmen noch stehen, die KI-Governance als Ingenieursdisziplin behandelt haben, nicht als PR-Übung. Diejenigen, die kausale Logik statt Korrelation verlangten. Diejenigen, die auf individuelle Fairness prüften, nicht nur auf demografische Parität. Diejenigen, die für das gesamte Spektrum menschlicher Kognition entworfen haben, nicht nur für den Ausschnitt, der zufällig zu den Trainingsdaten passt.

Ich habe Veriprajna nicht gegründet, um Compliance-Tools zu bauen. Ich habe es gegründet, weil ich glaube, dass KI der mächtigste Gleichmacher in der Geschichte des Recruitings sein kann — aber nur, wenn wir sie richtig bauen. Keine Wrapper um voreingenommene Modelle. Keine als Psychometrie verkleideten Persönlichkeits-Proxys. Tiefe Systeme, die den Unterschied verstehen zwischen dem, was ein Mensch leisten kann, und der Art, wie sein Gehirn zufällig verdrahtet ist.

Der Algorithmus, der meinen Freund elf Mal ablehnte, war nicht böse. Er war nur oberflächlich. Und beim Einstellen ist oberflächlich dasselbe wie diskriminierend.

Wir können tiefer bauen. Wir müssen es.