L'algorithme de recrutement devenu, par accident, un examen médical

Un ami à moi — brillant ingénieur logiciel, l'un des meilleurs penseurs par motifs que j'aie jamais rencontrés — m'a raconté qu'il avait été recalé par onze entreprises d'affilée. Pas après les épreuves techniques. Avant. Il n'a jamais réussi à dépasser l'« évaluation de personnalité » initiale.

Il est autiste. Et chacune de ces entreprises utilisait une variante du même outil de présélection alimenté par l'IA.

Je repensais sans cesse à cette conversation lorsque, en mai 2024, l'ACLU a déposé une plainte officielle auprès de la Federal Trade Commission contre Aon Consulting. L'accusation était saisissante de précision : la gamme d'outils de recrutement par IA d'Aon — présentés comme « sans biais » et favorisant la diversité — fonctionnait probablement comme un filtre de handicap dissimulé. Ces outils mesuraient des traits comme la « vivacité », la « positivité » et la « conscience émotionnelle ». Des traits qui ne sont pas de simples dimensions vagues de la personnalité. Ce sont des reflets quasi parfaits des critères cliniques utilisés pour diagnostiquer l'autisme.

En lisant la plainte dans son intégralité, assis à mon bureau à onze heures du soir avec une tasse de chai froide, quelque chose s'est mis en place, quelque chose qui me tracassait depuis des années. L'industrie du recrutement par IA n'a pas un problème de biais. Elle a un problème d'architecture. Et aucune campagne d'image autour de l'« IA responsable » n'y changera quoi que ce soit.

La promesse qui s'est brisée

Pendant près d'une décennie, l'argument des fournisseurs d'outils de recrutement par IA a été aussi séduisant que simple : les humains sont biaisés, pas les algorithmes. Laissez la machine décider, et vous obtiendrez des résultats plus équitables.

J'ai adhéré à une version de cette idée à mes débuts. Quand j'ai lancé Veriprajna, je croyais sincèrement que si l'on parvenait à formaliser la prise de décision — en éliminant l'intuition, les impressions de « compatibilité culturelle », la préférence inconsciente pour les gens qui vous ressemblent —, on obtiendrait quelque chose de plus proche de la méritocratie. Les mathématiques allaient nous libérer.

L'industrie du recrutement par IA n'a pas un problème de biais. Elle a un problème d'architecture.

Puis j'ai commencé à examiner ce que ces outils mesurent réellement. Et j'ai compris que les mathématiques encodaient précisément les biais qu'elles prétendaient éliminer — en les traduisant simplement dans un langage qui paraissait objectif.

L'outil de personnalité phare d'Aon, ADEPT-15, évalue les candidats selon quinze dimensions. Des critères comme la « Vivacité » (êtes-vous extraverti ou réservé ?), la « Conscience » (savez-vous lire entre les lignes ?), le « Sang-froid » (êtes-vous calme sous pression ou passionné ?) et la « Flexibilité » (préférez-vous la routine ou le changement ?). L'outil utilise un format à choix forcé — vous choisissez entre deux affirmations — et s'adapte en temps réel en fonction de vos réponses précédentes.

Sur le papier, cela paraît sophistiqué. En pratique, cela revient à demander : à quel point êtes-vous neurotypique ?

Que se passe-t-il quand un outil de recrutement reflète un diagnostic clinique ?

C'est ce qui m'a tenu éveillé cette nuit-là. J'ai ouvert le Quotient du Spectre Autistique — un outil de dépistage clinique standard — et je l'ai placé à côté des définitions de construits d'ADEPT-15 d'Aon. Le chevauchement n'était pas subtil. Il était structurel.

L'AQ mesure les compétences sociales, le déplacement de l'attention, l'attention aux détails, la communication et l'imagination. ADEPT-15 mesure la « Vivacité », la « Flexibilité », la « Structure », la « Conscience » et l'« Assertivité ». Ce ne sont pas de lointains cousins. Ce sont exactement les mêmes construits sous un autre habillage.

Quand un algorithme pénalise quelqu'un parce qu'il est « réservé » plutôt qu'« extraverti », il ne mesure pas l'aptitude au poste. Il mesure la performance sociale. Et pour quelqu'un dont le cerveau traite l'information sociale différemment — une personne autiste, une personne atteinte de TDAH, une personne souffrant d'anxiété sociale —, cette mesure est un piège déguisé en test.

La plainte de l'ACLU le dit sans détour : ces évaluations « suivent de près les diagnostics d'autisme et de santé mentale ». En vertu de l'Americans with Disabilities Act, les employeurs ne peuvent pas administrer d'examens médicaux dans le cadre du processus de recrutement à moins qu'ils ne soient directement liés au poste. Si un test de personnalité est fonctionnellement indiscernable d'un outil de dépistage clinique, qu'est-il exactement ?

Je me souviens d'en avoir parlé avec un collègue qui avait passé des années en psychologie du travail et des organisations. Sa première réaction fut défensive : « Ce sont des instruments psychométriques validés. » Ma réponse : validés par rapport à quoi ? Par rapport à un échantillon normatif en écrasante majorité neurotypique ? Ce n'est pas de la validation. C'est du raisonnement circulaire en blouse blanche.

Le problème de l'entretien vidéo est pire que vous ne le pensez

Le deuxième outil d'Aon, vidAssess-AI, superpose le modèle de personnalité à des entretiens vidéo asynchrones. Les candidats s'enregistrent en train de répondre à des questions. Un moteur de traitement du langage naturel transcrit leur discours, en analyse le contenu et le note selon le cadre de personnalité ADEPT-15.

C'est là que cela devient véritablement alarmant. Les modèles de traitement du langage naturel sont entraînés sur d'immenses corpus de textes qui reflètent en écrasante majorité des schémas de communication neurotypiques. Le rythme de la parole typique. Les cadences attendues de l'assurance. La manière « normale » de structurer un récit.

Mon équipe a passé des semaines à tester comment différents schémas de parole interagissent avec les systèmes de TAL commerciaux. Une intonation plate — fréquente chez les locuteurs autistes — est signalée comme un « manque d'enthousiasme ». Des pauses atypiques sont interprétées comme de l'« incertitude ». Un récit non linéaire — la façon dont beaucoup de personnes atteintes de TDAH organisent naturellement leurs pensées, sautant d'une idée reliée à une autre avant d'y revenir — est enregistré comme une « pensée désorganisée ».

Quand un algorithme pénalise quelqu'un parce qu'il est « réservé » plutôt qu'« extraverti », il ne mesure pas l'aptitude au poste. Il mesure la performance sociale.

Rien de tout cela n'a le moindre rapport avec la capacité de quelqu'un à faire le travail. Tout cela a en revanche tout à voir avec sa capacité à performer la neurotypie de manière convaincante devant la caméra.

Des recherches menées à l'Université Duke ont révélé que les grands modèles de langage associent systématiquement les termes liés à la neurodivergence à des connotations négatives. Dans certains modèles, « je suis autiste » obtient un score plus négatif que « je suis un braqueur de banque ». Lorsque ces mêmes modèles alimentent des outils de recrutement via des intégrations d'API, ils transportent ces associations directement dans le processus de présélection. Aucun développeur ne l'a voulu. L'architecture l'a garanti.

J'ai écrit plus en détail sur les mécanismes techniques de tout cela dans la version interactive de notre étude, mais en résumé, voici l'essentiel : on ne peut pas corriger un capacitisme émergent avec une surcouche autour d'un modèle biaisé. Le biais n'est pas un bug. C'est une caractéristique de la façon dont le système a été conçu.

Pourquoi j'ai cessé de croire au « sans biais »

Il y a eu un moment — et je peux le situer avec précision — où ma réflexion est passée de « il nous faut de meilleurs tests de biais » à « le paradigme tout entier est faux ».

Nous menions un audit interne sur le pipeline de recrutement d'un client. Du classique : vérifications de parité démographique, ratios d'impact défavorable, les indicateurs que tout le monde utilise. Les chiffres semblaient impeccables. Les taux d'embauche entre les groupes démographiques se situaient dans des fourchettes acceptables. Le client était satisfait. Son équipe juridique était satisfaite.

Puis l'une de mes ingénieures, Priya, a posé une question qui a figé la salle : « Et si les personnes qui auraient été éliminées n'avaient jamais postulé au départ ? »

Elle avait raison. Nous mesurions l'équité parmi les personnes ayant franchi le filtre de personnalité. Mais ce filtre avait déjà écrémé le vivier de candidats. Nous auditions les survivants et nous appelions cela de l'équité.

C'est alors que j'ai compris le défaut fondamental de l'approche « surcouche » de l'équité en IA. Une surcouche prend un modèle de fondation existant — GPT-4, peu importe —, y fait passer les données et en présente le résultat. On peut ajouter des contrôles de biais par-dessus. On peut post-traiter les résultats. Mais les représentations internes du modèle ont déjà encodé les biais de ses données d'entraînement. On colle une étiquette d'équité sur une machine fondamentalement inéquitable.

Les données de recrutement sur lesquelles ces modèles s'entraînent reflètent des décennies de préférence neurotypique. Une fois le modèle déployé, ses décisions viennent nourrir les futurs jeux de données d'entraînement. Les candidats réservés sont rejetés, si bien que le modèle apprend que « réservé » prédit le rejet, et il rejette donc davantage de candidats réservés. La boucle se resserre. Le biais s'amplifie. Et le tableau de bord affiche que tout va bien.

Comment construire concrètement une IA de recrutement qui ne discrimine pas ?

C'est la question à laquelle j'ai passé ces dernières années à tenter de répondre. Non pas « comment rendre l'IA moins biaisée » — cette formulation accepte l'architecture actuelle et cherche à la rafistoler. La vraie question est : comment construire des systèmes où le biais ne peut pas se cacher ?

L'approche que nous avons développée chez Veriprajna repose sur une intuition fondamentale : c'est dans la corrélation que se cache la discrimination. L'apprentissage automatique traditionnel trouve des motifs dans les données. Si un style de communication neurotypique est corrélé au fait d'être embauché, le modèle utilisera le style de communication comme approximation de l'employabilité. Il ne sait pas qu'il discrimine. Il ne fait qu'optimiser.

Pour briser ce cercle, il faut un raisonnement causal, et pas seulement une mise en correspondance statistique de motifs.

Nous utilisons ce qu'on appelle l'apprentissage de représentations causales. Au lieu de demander « quelles caractéristiques prédisent la réussite d'un recrutement ? », nous demandons « quelles caractéristiques prédisent la réussite d'un recrutement sans être causalement en aval d'une caractéristique protégée ? » C'est une question fondamentalement différente, et elle exige une architecture fondamentalement différente.

Voyez cela ainsi. Imaginez le profil d'un candidat comme un réseau d'attributs interconnectés. Certaines connexions sont légitimes — les années d'expérience sont reliées au niveau de compétence. Mais certaines connexions traversent un territoire protégé — le style de communication est relié au neurotype, qui est relié à la note qu'un test de personnalité vous attribue, qui est reliée au fait d'obtenir ou non un entretien. L'apprentissage de représentations causales cartographie ces chemins et sectionne mathématiquement ceux qui sont illégitimes.

Nous associons cela à l'entraînement adversarial — une technique où nous opposons deux modèles l'un à l'autre. Un modèle tente de prédire la performance au poste. L'autre tente de deviner le statut de handicap du candidat à partir des représentations internes du premier modèle. Si l'adversaire réussit, c'est que le prédicteur laisse fuir des informations protégées, et le système le pénalise. Au fil des cycles d'entraînement, le prédicteur apprend à prendre des décisions qu'on ne peut réellement pas rétro-concevoir pour révéler le neurotype de quelqu'un.

On ne peut pas corriger un capacitisme émergent avec une surcouche autour d'un modèle biaisé. Le biais n'est pas un bug. C'est une caractéristique de la façon dont le système a été conçu.

Et puis il y a le test contrefactuel — la partie que je trouve la plus intellectuellement honnête. Nous prenons les données d'un candidat réel, générons un jumeau synthétique où seule la caractéristique protégée change, et vérifions si la recommandation du modèle reste la même. Non pas « les statistiques au niveau du groupe sont-elles équilibrées ? » mais « cette personne précise obtiendrait-elle un résultat différent si elle n'était pas autiste ? ». C'est la question que l'ADA pose réellement. C'est la question à laquelle la plupart des IA de recrutement sont incapables de répondre.

Pour l'analyse technique complète de ces méthodes — les mathématiques derrière l'invariance interventionnelle, les fonctions de perte adversariales, les modèles causaux structurels —, consultez notre article de recherche technique.

Les régulateurs n'attendent plus

Une chose que la plainte contre Aon a rendue parfaitement claire : l'ère du « aller vite et auditer plus tard » est révolue.

L'initiative « Operation AI Comply » de la FTC a déjà donné lieu à des mesures coercitives contre des entreprises formulant des allégations non fondées sur l'IA. DoNotPay a écopé d'une amende de 193 000 $ pour avoir surpromis ce que son outil juridique par IA pouvait faire. Rytr a été visée pour avoir généré de faux avis. La FTC a été explicite : si vous affirmez que votre outil est « sans biais », vous avez intérêt à disposer des preuves empiriques pour le démontrer. « Nous l'avons entraîné sur du big data » n'est pas une preuve. C'est un aveu.

L'EEOC, de son côté, a fait de la discrimination algorithmique une priorité majeure d'application de la loi. Sa position est limpide : les employeurs sont juridiquement responsables des discriminations causées par les outils d'IA qu'ils achètent, même si le fournisseur leur a vendu du vent au sujet de l'équité. On ne peut pas sous-traiter ses obligations en matière de droits civiques à un contrat logiciel.

On me demande parfois si cette pression réglementaire va ralentir l'adoption de l'IA dans le recrutement. Je pense que c'est une mauvaise question. Cette pression ralentira la mauvaise adoption de l'IA. Elle accélérera le marché des outils capables de démontrer réellement leur équité — non pas avec des slogans marketing, mais avec des preuves auditables. Les entreprises qui ont investi dans une architecture rigoureuse bénéficieront d'un avantage considérable. Celles qui ont acheté des surcouches se retrouveront avec une facture juridique considérable.

Concevoir pour des cerveaux qui fonctionnent différemment

Sous les arguments techniques et juridiques se cache un enjeu plus profond, et c'est celui qui me tient le plus à cœur.

La plupart des IA de recrutement reposent sur ce que les chercheurs en études du handicap appellent le modèle du « déficit médical » — l'hypothèse selon laquelle les traits neurodivergents sont des écarts par rapport à une norme qu'il faut détecter et éliminer. Toute l'architecture présuppose qu'il existe une façon « correcte » pour un cerveau de fonctionner, et que le rôle de l'algorithme est de trouver les candidats dont le cerveau fonctionne ainsi.

Ce n'est pas seulement moralement indéfendable. C'est stratégiquement stupide.

Les personnes neurodivergentes excellent souvent précisément dans les capacités dont les entreprises disent avoir désespérément besoin : reconnaissance approfondie des motifs, attention soutenue aux détails, résolution créative de problèmes qui s'affranchit des cadres conventionnels. Un système de recrutement qui filtre selon la « vivacité » et l'« audace sociale » écarte systématiquement les personnes les plus susceptibles de voir ce que tous les autres manquent.

Chez Veriprajna, nous avons commencé à construire ce que je conçois comme des systèmes d'évaluation temporellement élastiques. Au lieu de comparer chaque candidat à une référence neurotypique — temps de réponse moyen, cadence de parole typique, expression émotionnelle attendue —, le système établit une référence individuelle dès les premières étapes de l'interaction. Il apprend à quoi ressemble la « normalité » pour cette personne, et non pour une moyenne abstraite.

Nous plaidons aussi avec force pour ce qui devrait être une évidence : toute évaluation automatisée doit inclure une option claire et sans pénalité pour demander une alternative humaine. L'ADA exige un aménagement raisonnable. Mais au-delà de la conformité juridique, c'est tout simplement de la bonne ingénierie. Tout système qui se casse lorsqu'un utilisateur demande une interface différente est un système fragile.

La question à laquelle personne ne veut répondre

Quand je présente ces travaux, il y a toujours un moment de silence gêné. Il survient généralement après que j'ai fait remarquer que les mêmes outils d'IA que les entreprises du Fortune 500 utilisent pour « améliorer la diversité » excluent peut-être systématiquement les candidats handicapés. Quelqu'un dans la salle — d'ordinaire la personne qui a signé le contrat avec le fournisseur — s'agite sur son siège.

La vérité qui dérange, c'est que la plupart des entreprises n'ont jamais audité leur IA de recrutement pour détecter les biais liés au handicap. Elles ont vérifié les disparités raciales et de genre parce que ce sont les indicateurs sur lesquels les régulateurs se sont historiquement concentrés. Mais la neurodivergence ? Elle ne figure même pas dans le tableau de bord.

La plainte contre Aon change la donne. Non pas parce qu'Aon serait un cas particulièrement mauvais — l'entreprise est représentative d'une approche répandue dans tout le secteur. Elle change les choses parce qu'elle nomme le mécanisme. Elle montre exactement comment une « évaluation de personnalité » devient un filtre de handicap. Et une fois que vous l'avez vu, vous ne pouvez plus ne pas le voir.

Toute entreprise qui utilise des algorithmes se servant de la personnalité comme approximation pour présélectionner ses candidats écarte systématiquement les talents mêmes qui font avancer l'innovation.

Je pense à mon ami — le brillant ingénieur qui n'arrivait pas à passer le filtre de personnalité. Il a fini par être embauché par une entreprise qui procédait plutôt à une évaluation technique en direct. En moins de six mois, il avait entièrement repensé leur pipeline de données. Les onze entreprises qui l'ont recalé n'ont pas seulement raté une bonne recrue. Un algorithme leur avait dit qu'il ne valait pas la peine qu'on lui parle.

Ce n'est pas un problème de biais. C'est un système défaillant qui se persuade qu'il fonctionne.

La suite des événements

La plainte Aon-ACLU n'est pas la fin de quelque chose. C'est le début d'une remise en question qui va transformer la manière dont chaque entreprise envisage l'IA dans les décisions relatives au capital humain.

Lorsque cette vague de mesures coercitives et de litiges atteindra son sommet, les entreprises encore debout seront celles qui auront traité la gouvernance de l'IA comme une discipline d'ingénierie, et non comme un exercice de communication. Celles qui auront exigé une logique causale plutôt que de la corrélation. Celles qui auront audité l'équité individuelle, et pas seulement la parité démographique. Celles qui auront conçu pour tout le spectre de la cognition humaine, et pas uniquement pour la tranche qui se trouve correspondre aux données d'entraînement.

Je n'ai pas lancé Veriprajna pour construire des outils de conformité. Je l'ai lancée parce que je crois que l'IA peut être le plus puissant facteur d'égalité de l'histoire du recrutement — mais seulement si nous la construisons correctement. Pas des surcouches posées sur des modèles biaisés. Pas des variables de substitution de la personnalité déguisées en psychométrie. Des systèmes profonds qui comprennent la différence entre ce qu'une personne est capable de faire et la manière dont son cerveau se trouve être câblé.

L'algorithme qui a recalé mon ami onze fois n'était pas malveillant. Il était simplement superficiel. Et en matière de recrutement, superficiel équivaut à discriminatoire.

Nous pouvons construire plus en profondeur. Nous le devons.