Eine KI riet einer gehörlosen Frau, „aktives Zuhören zu üben.“ In diesem Moment wusste ich: Diese Branche ist kaputt.

Ich saß spät an einem Dienstagabend in meinem Homeoffice und scrollte durch die Beschwerde, die die ACLU gegen Intuit und HireVue eingereicht hatte, als ich auf die Zeile stieß, die mich meinen Laptop weglegen und einfach nur an die Wand starren ließ.

Eine gehörlose indigene Frau – in den Unterlagen als D.K. bezeichnet – war aufgefordert worden, für eine Beförderung ein automatisiertes Videointerview zu absolvieren. Sie hatte bereits positive Bewertungen, jährliche Boni und eine Erfolgsbilanz vorzuweisen, die die Beförderung eigentlich zur Selbstverständlichkeit hätten machen müssen. Doch das KI-System, das ihr Interview verarbeitete, erzeugte eine Rückmeldung, die diese Branche über Jahre hinweg verfolgen wird: Es riet ihr, „aktives Zuhören zu üben.“

Sie ist gehörlos.

Das System wusste es nicht. Das System kümmerte es nicht. Das System tat, was jedes große Sprachmodell tut – es glich Muster mit einem Trainingsdatensatz ab, der überwältigend aus hörenden, neurotypischen, Standard-amerikanisches-Englisch sprechenden Menschen aufgebaut war, und es entschied, dass jeder, der nicht wie dieser Datensatz klang, mangelhaft sei. Nicht anders. Mangelhaft.

Ich habe jahrelang bei Veriprajna KI-Systeme gebaut, die dafür konzipiert sind, folgenschwere Entscheidungen über Menschen zu treffen. Und ich kann Ihnen mit absoluter Gewissheit sagen: Das war kein Fehler. Das war die Architektur, die genau so funktionierte, wie sie entworfen wurde. Das ist das Problem.

Was ist D.K. tatsächlich passiert?

Es lohnt sich, bei den Fakten zu verweilen, denn sie legen etwas Tieferes offen als ein einzelnes Softwareversagen.

D.K. hatte eine angemessene Vorkehrung angefordert – konkret eine von Menschen erstellte Echtzeit-Übersetzung mit Kommunikationszugang (Communication Access Realtime Translation, CART) durch eine Schriftdolmetscherin, um sie durch das Videointerview zu begleiten. Stattdessen erhielt sie automatische Untertitel. Wenn Sie jemals zugesehen haben, wie automatische Untertitel eine Sprecherin mit einem leichten regionalen Akzent verstümmeln, stellen Sie sich vor, was passiert, wenn die Sprecherin das hat, was Linguisten einen „gehörlosen Akzent“ nennen – Sprechmuster, die durch ein Leben der Kommunikation ohne auditives Feedback geprägt sind.

Das automatische Spracherkennungssystem konnte ihre Sprache nicht verarbeiten. Das Transkript, das es erzeugte, war praktisch Müll. Und dann analysierte eine zweite KI-Schicht dieses Müll-Transkript auf „Führungsqualitäten“ und „Kommunikationsfähigkeiten“ und kam zu dem Schluss, dass sie noch nicht bereit für eine Führungsposition sei.

Das ist es, was ich in Gesprächen mit meinem Team begann, kaskadierendes Versagen zu nennen – wenn ein Fehler in einer KI-Schicht nicht nur bestehen bleibt, sondern sich verstärkt, während er durch die nachfolgenden Schichten läuft. Ein schlechtes Transkript speist eine schlechte Analyse, die eine schlechte Empfehlung speist. Bis ein Mensch das Ergebnis zu sehen bekommt, sieht es sauber aus. Ein Score. Ein Ranking. Eine Absage. Niemand sieht die 78 % Wortfehlerrate, die darunterliegt.

Wenn das zugrunde liegende Transkript eine Fehlerrate von 78 % aufweist, analysiert jedes darauf aufbauende Modell nicht die Bewerberin – es analysiert Rauschen.

Diese Zahl ist nicht hypothetisch. Forschung zu ASR-Systemen, die gehörlose Sprecher mit durchschnittlicher bis geringer Sprachverständlichkeit verarbeiten, zeigt durchweg Wortfehlerraten zwischen 77 % und 78 %. Zum Vergleich: Sprecher des Standard-amerikanischen Englisch erreichen 10–18 %. Das System würde für D.K. niemals funktionieren. Es war von Grund auf darauf ausgelegt, sie auszuschließen.

Warum hat jedes KI-Einstellungstool dieses Problem?

Hier muss ich ehrlich sein über die Branche, in der ich arbeite.

Die überwiegende Mehrheit der „KI-Einstellungslösungen“, die derzeit auf dem Markt sind, sind das, was wir Wrapper-Produkte nennen. Es sind dünne Benutzeroberflächen, die auf universell einsetzbaren großen Sprachmodellen aufbauen – GPT-4, Claude, Gemini. Das Unternehmen fügt eine hübsche Oberfläche hinzu, ein paar HR-spezifische Prompts, vielleicht ein Dashboard mit Diagrammen, und verkauft es als „KI-gestützte Talent-Intelligenz“.

Ich habe Unternehmenskäufern gegenübergesessen, die aufrichtig nicht den Unterschied zwischen einem Wrapper und einem eigens gebauten System erkennen konnten. Und warum sollten sie auch? Das Marketing sieht identisch aus. Die Demos sind ausgefeilt. Das Wrapper-Unternehmen sagt „wir nutzen fortschrittliche KI“ und das Deep-AI-Unternehmen sagt „wir nutzen fortschrittliche KI“, und das Beschaffungsteam entscheidet sich für dasjenige mit dem niedrigeren Preisschild.

Der Unterschied zeigt sich erst, wenn jemand wie D.K. zur Tür hereinkommt.

Universell einsetzbare LLMs erben jede Verzerrung, die in den internetweiten Datensätzen steckt, mit denen sie trainiert wurden. Wenn jahrzehntelange Einstellungsdaten eine Vorliebe für Bewerber widerspiegeln, die auf eine bestimmte Weise sprechen, auf eine bestimmte Weise aussehen, sich auf eine bestimmte Weise präsentieren, hinterfragt das Modell dieses Muster nicht – es optimiert darauf hin. Das ist kein Fehler in der Schlussfolgerung des Modells. Das ist buchstäblich das, wozu das Modell gebaut wurde: Muster finden und replizieren.

Ich erinnere mich an eine hitzige Diskussion mit einem meiner Entwickler – ich nenne ihn Ravi – darüber, ob adversariales Entzerren den Rechenaufwand wert sei. Sein Standpunkt war pragmatisch: „Die meisten Bewerber lösen die Randfälle nicht aus. Wir fügen Latenz für ein Szenario hinzu, das vielleicht 2 % der Interviews betrifft.“ Meine Antwort war unverblümt: „Wenn dein System für 98 % der Menschen perfekt funktioniert und die anderen 2 % systematisch diskriminiert, hast du kein gutes Produkt mit Randfällen gebaut. Du hast eine Bürgerrechtsverletzung mit einer hohen Trefferquote gebaut.“

Ravi kam zur Einsicht. Aber ich denke viel über dieses Gespräch nach, denn ich weiß, dass es gerade jetzt in jedem KI-Unternehmen stattfindet, und in den meisten von ihnen gewinnen die Ravis.

Wie baut man tatsächlich KI, die nicht diskriminiert?

Die technische Antwort ist wichtig, aber ich möchte sie so erklären, wie ich sie einem Freund erklären würde, nicht so, wie ich sie in ein Spezifikationsdokument schreiben würde.

Die Grundidee hinter dem, was wir bei Veriprajna bauen, ist etwas, das man adversariales Entzerren nennt. Stellen Sie sich vor, Sie trainieren zwei KI-Modelle gleichzeitig. Das erste Modell – dasjenige, das Sie eigentlich interessiert – versucht vorherzusagen, ob eine Bewerberin in einer Rolle erfolgreich sein wird. Das zweite Modell ist ein Gegenspieler. Seine einzige Aufgabe besteht darin, die internen Repräsentationen des ersten Modells zu betrachten und zu versuchen, die ethnische Herkunft, das Geschlecht, den Behinderungsstatus oder ein anderes geschütztes Merkmal der Bewerberin zu erraten.

Dann bestrafen Sie das erste Modell jedes Mal, wenn der Gegenspieler Erfolg hat.

Über Tausende von Trainingszyklen lernt das Hauptmodell, Vorhersagen zu treffen, die tatsächlich blind gegenüber geschützten Merkmalen sind – nicht weil Sie diese Datenpunkte aus der Eingabe entfernt hätten (das ist der naive Ansatz, und er funktioniert nicht, weil Stellvertretermerkmale bestehen bleiben), sondern weil das interne Schlussfolgern des Modells gezwungen wurde, Wege zu seinen Schlüssen zu finden, die nicht durch demografische Informationen führen.

Kontrafaktische Fairness bedeutet zu beweisen, dass der Score einer Bewerberin identisch bliebe, wenn ihre geschützten Merkmale – ethnische Herkunft, Geschlecht, Behinderung – anders wären. Das ist keine Wunschvorstellung. Es ist ein mathematischer Test.

Das unterscheidet sich grundlegend von dem, was ein Wrapper leisten kann. Man kann adversariales Entzerren nicht auf einen GPT-API-Aufruf aufschrauben. Man kann die internen Repräsentationen eines Modells, das man nicht kontrolliert, nicht nachträglich prüfen. Man schickt lediglich Text an eine Blackbox und hofft, dass das Ergebnis nicht diskriminierend ist. Hoffnung ist keine Compliance-Strategie.

Ich habe über die vollständige technische Architektur geschrieben – einschließlich des multimodalen Fusionsansatzes und der formalen Fairness-Metriken – in unserem interaktiven Whitepaper, falls Sie tiefer einsteigen möchten.

Der Modalitätskollaps, der D.K. zum Verhängnis wurde

Es gibt ein spezifisches technisches Versagen im HireVue-Fall, das die meisten Berichte meiner Meinung nach übersehen haben, und es ist eines, das mich nachts wachhält.

Das System litt unter dem, was Forscher Modalitätskollaps nennen. In einem multimodalen KI-System – einem, das Video, Audio und Text gleichzeitig verarbeitet – trägt jeder Kanal (oder jede „Modalität“) zur endgültigen Bewertung bei. Theoretisch ist das robuster als ein Einkanalsystem. Wenn das Audio verrauscht ist, kann das Video ausgleichen. Wenn das Transkript verstümmelt ist, können die visuellen Hinweise die Lücken füllen.

In der Praxis scheint HireVues System übermäßig auf den Audiokanal gesetzt zu haben. Als D.K.s Sprache nicht den Mustern entsprach, die das Modell erwartete, trug das Audiosignal nicht nur einen niedrigen Score bei – es dominierte die gesamte Bewertung. Der visuelle Kanal, der ihr Engagement, ihre Souveränität, ihre Ausdrucksstärke hätte erfassen können, wurde übertönt.

Wir lösen das mit etwas, das wir Modalitäts-Fusion mit kollaborativem Entzerren nennen. Wenn unser System erkennt, dass eine Modalität Ausgaben mit geringer Zuverlässigkeit erzeugt – etwa, dass die ASR mit einem nicht standardmäßigen Akzent kämpft –, kennzeichnet es das Problem nicht nur. Es erhöht automatisch das Gewicht der anderen Modalitäten. Die schriftlichen Antworten bekommen mehr Einfluss. Die visuellen Verhaltenshinweise bekommen mehr Einfluss. Der degradierte Audiokanal bekommt weniger.

Aber hier ist der Teil, der meiner Meinung nach am wichtigsten ist, und er ist überhaupt nicht technisch: Wenn die Zuverlässigkeit unseres Systems unter einen Schwellenwert fällt, leitet es an einen Menschen weiter. Nicht als nachträglicher Einfall. Nicht als „Eskalationspfad“, der in einem Einstellungsmenü vergraben ist. Als grundlegende architektonische Entscheidung.

D.K. bat um eine menschliche Schriftdolmetscherin. Sie wurde abgelehnt. In unserem System hätte sie nicht fragen müssen. Das System hätte seine eigene Grenze erkannt und automatisch einen Menschen hinzugezogen.

KI sollte wissen, wann sie versagt. Die Tatsache, dass HireVues System selbstbewusst ein Transkript mit einer Fehlerrate von 78 % bewertet hat, sagt Ihnen alles darüber, wie diese Werkzeuge gebaut sind – und für wen sie gebaut sind.

Was passiert, wenn das Gesetz aufholt?

Jahrelang agierte die KI-Einstellungsbranche in einem regulatorischen Vakuum. Unternehmen konnten einsetzen, was immer sie wollten, nichts prüfen und in ihren Nutzungsbedingungen jede Haftung ausschließen. Diese Ära geht zu Ende, und zwar schnell.

Der Colorado Artificial Intelligence Act (SB 24–205), der Anfang 2026 in Kraft tritt, begründet etwas Beispielloses: eine gesetzliche „Sorgfaltspflicht der angemessenen Umsicht“ für jeden, der hochriskante KI-Systeme entwickelt oder einsetzt. Einstellungs- und Beförderungsentscheidungen werden ausdrücklich als hochriskant eingestuft. Das Gesetz verlangt jährliche Folgenabschätzungen, die auf algorithmische Diskriminierung prüfen. Nicht freiwillig. Keine „bewährte Praxis“. Verpflichtend.

New York Citys Local Law 144 verlangt bereits unabhängige Bias-Audits für automatisierte Werkzeuge zur Personalentscheidung. Ähnliche Gesetzgebung schreitet in Kalifornien und Illinois voran. Der EU AI Act stuft Rekrutierungs-KI als hochriskant ein und erlegt Transparenz- und menschliche Aufsichtsanforderungen auf, die durch umsatzbasierte Bußgelder abgesichert sind.

Und dann gibt es noch Mobley v. Workday, vielleicht der folgenreichste Fall, von dem die meisten Menschen noch nie gehört haben. Ein Bundesgericht ließ eine Sammelklage zu und entschied, dass ein KI-Anbieter als „Beauftragter“ oder „indirekter Arbeitgeber“ behandelt werden kann, wenn seine Software Funktionen erfüllt, die traditionell von einem menschlichen Einstellungsverantwortlichen übernommen werden. Dieses eine Urteil zerschlug die Haftungs-Brandmauer, auf die sich jedes Wrapper-Unternehmen verlässt – die Vorstellung, dass der Anbieter das Werkzeug bereitstellt, aber der Arbeitgeber das gesamte Risiko trägt.

Ein potenzieller Investor sagte mir vor etwa einem Jahr, dass Compliance-orientierte KI „ein Nischengeschäft“ sei. Dass der Markt Geschwindigkeit und Skalierung wolle, nicht Prüfbarkeit. Ich sagte ihm, dass der Markt kurz davor stünde, sich in die Prüfbarkeit hineinklagen zu lassen. Ich denke, die ACLU-Beschwerde hat den Punkt bewiesen.

Für die detaillierte regulatorische Analyse und das vollständige Rahmenwerk dafür, wie sich Unternehmen vorbereiten sollten, finden Sie die technische Vertiefung hier.

„Aber unser System hat den Bias-Audit bestanden“

Die Leute fragen mich das ständig – wenn ein System einen jährlichen Bias-Audit besteht, ist das nicht genug?

Nein. Und hier ist der Grund.

Die meisten Bias-Audits prüfen auf disparate Auswirkung mithilfe der Vier-Fünftel-Regel: Wenn die Auswahlquote für eine geschützte Gruppe unter 80 % der Quote der am häufigsten ausgewählten Gruppe fällt, liegt ein Problem vor. Das ist eine nützliche Untergrenze, aber eine miserable Obergrenze. Ein System kann die Vier-Fünftel-Regel in der Gesamtheit bestehen und dennoch systematisch bei bestimmten intersektionalen Gruppen versagen – etwa gehörlosen indigenen Frauen –, weil die Stichprobengrößen zu klein sind, um die statistische Schwelle auszulösen.

D.K. scheiterte nicht an einem System, das grundsätzlich gegen Frauen oder grundsätzlich gegen indigene Menschen voreingenommen war. Sie scheiterte an einem System, das ihre spezifische Kombination aus Identität und Kommunikationsstil nicht verarbeiten konnte. Aggregierte Fairness-Metriken hätten es niemals erfasst.

Deshalb nutzen wir die SHAP-Analyse (SHapley Additive exPlanations) als kontinuierliche Überwachungsschicht, nicht als einmaliges Häkchen pro Jahr. SHAP erlaubt es uns, jede einzelne Entscheidung in ihre beitragenden Merkmale zu zerlegen. Wenn eine Bewerberin niedrig bewertet wird, können wir genau sehen, welche Merkmale diesen Score verursacht haben. Und wenn diese Merkmale eher mit geschützten Attributen korrelieren als mit berufsrelevanten Kompetenzen – wenn „Prosodie“ oder „Sprechkadenz“ die Hauptarbeit leistet statt „Problemlösungsfähigkeit“ oder „Fachwissen“ –, kennzeichnet sich das System in Echtzeit selbst zur Nachbesserung.

Der Unterschied zwischen einem Bias-Audit und kontinuierlicher Erklärbarkeitsüberwachung ist der Unterschied zwischen einer jährlichen Vorsorgeuntersuchung und einem Herzmonitor. Das eine sagt Ihnen, was bereits schiefgelaufen ist. Das andere erkennt das Problem, solange noch Zeit zum Handeln bleibt.

Der wahre Preis dafür, das falsch zu machen

Ich möchte mit etwas schließen, das nicht um Technologie oder Regulierung geht.

Als D.K. ihre Beförderung verweigert wurde, verletzte das Unternehmen nicht nur ihre Rechte. Es verlor eine leistungsstarke Mitarbeiterin, die sich Boni und positive Bewertungen erarbeitet hatte – jemanden, der nach jedem menschlichen Maßstab bereit für die Rolle war. Die KI schützte das Unternehmen nicht vor einer schlechten Einstellung. Sie schützte das Unternehmen vor einer großartigen.

Jedes Mal, wenn ein voreingenommenes System eine qualifizierte Bewerberin aussortiert – wegen eines Akzents, einer Behinderung, eines Namens, eines Sprechmusters, das nicht zu den Trainingsdaten passt –, sieht sich das Unternehmen nicht nur einem rechtlichen Risiko gegenüber. Es verliert den Menschen. Es verliert die Perspektive, den Problemlösungsansatz, die gelebte Erfahrung, die keine noch so aufwendige „Culture-Fit“-Optimierung nachbilden kann.

Ich habe Veriprajna auf einer Überzeugung aufgebaut, die ich heute stärker vertrete als zu Beginn: Die Unternehmen, die das nächste Jahrzehnt dominieren werden, sind diejenigen, die herausfinden, wie man KI als Brücke zu Talenten nutzt, die man sonst übersehen würde, nicht als Filter, der sie aussortiert. Die Wrapper-Ära bricht unter dem Gewicht ihrer eigenen Klagen zusammen. Die Blackbox-Ära wird aus der Existenz weggesetzgebt.

Was an ihre Stelle tritt, muss von grundlegend anderer Art sein, nicht bloß in Abstufungen. Kein besserer Wrapper. Kein sorgfältiger geprompteter GPT-Aufruf. Eine grundlegend andere Architektur – eine, die weiß, wann sie sich irrt, erklärt, warum sie richtig liegt, und einen Menschen hinzuzieht, wenn keines von beidem sicher ist.

KI sollte eine Brücke zu Talenten sein, keine Barriere davor. Jedes System, das nicht zwischen einer Behinderung und einem Mangel unterscheiden kann, hat kein Recht, Entscheidungen über die Karrieren von Menschen zu treffen.

Die Ära des „Einsetzen und Haftung ausschließen“ ist vorbei. Was als Nächstes kommt, ist schwerer, langsamer und teurer zu bauen – und das Einzige, was tatsächlich funktionieren wird.