L'outil de recrutement par IA qui a appris à être sexiste — et ce qu'il m'a enseigné pour en concevoir des équitables

Il y a quelques mois, j'étais assis en face du DRH d'une entreprise technologique de taille moyenne qui m'a affirmé, avec une fierté sincère, qu'ils avaient « résolu le problème des biais » dans leur processus de recrutement. Ils avaient acheté un outil de présélection propulsé par l'IA. Il analysait les CV, classait les candidats et avait réduit leur délai de recrutement de 40 %.

J'ai posé une seule question : « Que prédit cet outil au juste ? »

Silence. Puis : « Comment ça ? Il prédit qui embaucher. »

« Non, ai-je répondu. Il prédit qui vous auriez embauché. En s'appuyant sur une décennie de données où votre équipe d'ingénierie était composée à 84 % d'hommes. »

Il a blêmi. Il avait dépensé six chiffres sur un outil qui automatisait précisément le biais qu'il croyait éliminer.

Cette conversation me hante, car ce n'est pas un cas isolé. C'est la norme. Toute la première génération d'outils de recrutement par IA — et je parle de l'écrasante majorité de ce qui est actuellement sur le marché — repose sur une prémisse si fondamentalement viciée qu'elle prêterait à rire si les conséquences ne touchaient pas le gagne-pain de vraies personnes. Ces outils utilisent l'IA prédictive entraînée sur des données de recrutement historiques. Ils apprennent qui a été embauché par le passé. Puis ils reproduisent ce schéma à grande échelle, avec une efficacité impitoyable, en éliminant la seule chose qui aurait pu nous sauver : le recruteur humain occasionnel qui regardait un candidat atypique et se disait, vous savez quoi, tentons notre chance.

Chez Veriprajna, nous concevons les systèmes de recrutement par IA différemment. Nous utilisons l'IA causale — non pas pour prédire qui aurait été embauché, mais pour prédire qui va réellement être performant. Ensuite, nous mettons cette prédiction à l'épreuve en posant une question que la plupart des systèmes d'IA ne peuvent même pas analyser : Si ce candidat appartenait à un groupe démographique différent, notre réponse changerait-elle ?

Si c'est le cas, le modèle échoue. Nous revenons en arrière et le corrigeons.

Voici l'histoire de la raison pour laquelle cette distinction compte plus que tout ce qui se passe actuellement dans les technologies RH.

L'« adéquation culturelle » n'est que de l'homophilie avec un meilleur marketing

Avant d'aborder la technologie, je dois parler du problème humain — car le problème de l'IA en découle.

Il existe en sociologie un concept appelé l'homophilie : la tendance des gens à s'associer, à créer des liens avec et à préférer ceux qui leur ressemblent. C'est l'un des phénomènes les mieux documentés en sciences sociales. Et c'est le moteur invisible qui régit la plupart des décisions de recrutement dans le monde.

L'homophilie explique pourquoi un responsable du recrutement qui a joué au rugby revalorise inconsciemment le candidat qui mentionne le rugby. Elle explique pourquoi l'« adéquation culturelle » — cette expression sacrée et incontestable dans le vocabulaire de tout recruteur — se traduit presque toujours par « cette personne me ressemble ». Des chercheurs de Berkeley ont constaté que les recruteurs confondent régulièrement « aptitudes de communication » et « parle comme moi ». Un candidat issu d'un milieu socioéconomique différent qui emploie un registre linguistique différent se voit pénalisé pour son « manque de raffinement ». Le contenu de ses réponses ne compte quasiment pas.

Je me souviens d'une vive dispute avec un conseiller principal au tout début de Veriprajna. Il soutenait que l'adéquation culturelle était un critère de recrutement légitime — que les équipes ont besoin de cohésion, de valeurs partagées, d'un langage commun. Je n'étais pas en désaccord avec le principe. J'étais en désaccord avec l'exécution. Car lorsque les chercheurs étudient réellement ce qui se passe dans les organisations qui optimisent pour l'« adéquation culturelle », ils découvrent quelque chose de troublant : ces organisations tombent dans ce que les spécialistes des réseaux appellent les pièges d'homophilie. Une fois que la représentation des minorités descend en dessous d'environ 25 %, la majorité embauche la majorité, et la composition démographique se fige. L'innovation stagne. La pensée de groupe s'installe. L'organisation devient un jeu de miroirs.

L'« adéquation culturelle » ressemble à un critère de recrutement. En pratique, c'est un mécanisme pour cloner l'équipe existante — et l'appeler stratégie.

La solution n'est pas d'abolir le concept d'alignement culturel. C'est de passer de l'« adéquation culturelle » à l'« apport culturel » — recruter des personnes qui remettent en question les présupposés plutôt que de les confirmer. Mais ce changement exige quelque chose que la plupart des recruteurs humains ne peuvent pas faire de façon fiable : évaluer la contribution potentielle d'un candidat tout en étant véritablement aveugle à ses signaux démographiques.

Ce qui nous amène à l'audition à l'aveugle.

Ce que les orchestres ont compris dans les années 1970

Dans les années 1970, les grands orchestres symphoniques américains étaient très majoritairement masculins. La sagesse dominante voulait que les femmes manquent de « capacité pulmonaire » ou de « tempérament » pour certains instruments. Puis les orchestres ont commencé à placer les candidats derrière un paravent. Les juges pouvaient entendre la musique — le véritable moteur causal de la performance — mais ne pouvaient pas voir le musicien.

Le recrutement de femmes a bondi.

Le paravent n'a pas changé la qualité de la musique. Il a changé la qualité de l'écoute. Il a contraint les évaluateurs à réagir au signal (le son) plutôt qu'au bruit (l'apparence).

Cette analogie est devenue fondamentale dans ma façon de penser ce que nous construisons. À l'ère numérique, on ne peut pas placer chaque candidat à un emploi derrière un paravent physique. Mais on peut concevoir une IA qui fonctionne comme un paravent mathématique — qui évalue les moteurs causaux de la performance professionnelle tout en étant, de façon prouvable, aveugle aux attributs protégés comme le genre, l'origine ethnique ou l'âge.

Le problème, c'est que l'IA standard fait l'inverse. Elle agit comme une vitre transparente. Chaque biais des données historiques la traverse directement.

Pourquoi l'IA d'Amazon pénalisait-elle le mot « féminin » ?

Le récit édifiant le plus célèbre du recrutement par IA est l'outil de recrutement interne d'Amazon, abandonné en 2018. Le système avait été entraîné sur une décennie de CV soumis à l'entreprise. Comme le secteur technologique penche fortement du côté masculin, les données d'entraînement reflétaient ce déséquilibre.

L'IA, faisant exactement ce pour quoi elle avait été conçue — trouver des schémas qui prédisent le fait d'« être embauché » —, a appris que les signaux à connotation masculine étaient corrélés au succès au recrutement. Elle pénalisait les CV contenant le mot « féminin », comme dans « capitaine du club d'échecs féminin ». Elle rétrogradait les diplômées de deux universités exclusivement féminines. Personne ne l'avait programmée pour être sexiste. Elle a simplement découvert qu'être un homme était un fort prédicteur d'être embauché chez Amazon, et elle a optimisé pour ce schéma.

Être fidèle au passé, c'est être injuste envers l'avenir. Si la « précision » signifie prédire la décision humaine, alors une « bonne » IA est nécessairement une IA biaisée.

C'est là l'échec fondamental de l'apprentissage par imitation — entraîner l'IA à imiter les recruteurs humains. Si les recruteurs étaient biaisés (et à cause de l'homophilie, ils l'étaient), l'IA devient ce que j'ai commencé à appeler une « capsule de biais ». Elle cristallise une décennie de préjugés et l'applique à la vitesse de la machine à chaque nouveau candidat.

Amazon a au moins eu l'intégrité de mettre fin au projet. La plupart des entreprises qui utilisent des outils similaires ne savent même pas qu'elles ont le problème.

Et GPT dans tout ça ? Le piège du wrapper de LLM

Après l'éclatement de l'affaire Amazon, je pensais que le secteur allait rectifier le tir. Au lieu de cela, l'essor de l'IA générative a produit quelque chose sans doute pire encore : un déferlement d'outils de recrutement « propulsés par l'IA » qui ne sont que de fines interfaces — des wrappers — construits par-dessus des grands modèles de langage généralistes comme GPT-4 ou Claude.

J'ai perdu le compte du nombre d'investisseurs et de partenaires potentiels qui m'ont dit : « Utilisez simplement GPT. Affinez-le sur quelques données de recrutement. Lancez-le. » À chaque fois, j'ai la même réponse : savez-vous sur quoi GPT a été entraîné ?

L'internet ouvert. La somme totale des textes humains — y compris leurs biais, leurs stéréotypes et leurs préjugés. Des chercheurs de l'université de Washington ont constaté que lorsque les LLM présélectionnent des CV, les noms associés aux personnes blanches sont préférés 85 % du temps, même lorsque les qualifications sont identiques. Dans certaines itérations de test, les noms d'hommes noirs n'ont jamais été classés premiers. Le modèle associe certains noms à la « compétence » à partir de schémas statistiques présents dans ses données d'entraînement. Un wrapper ne peut pas facilement désactiver cela, car le biais est tissé dans la compréhension fondamentale du langage par le modèle.

Et cela, avant même d'en arriver aux hallucinations. Les LLM sont des générateurs de texte probabilistes, pas des moteurs de logique. Ils peuvent inventer des compétences qu'un candidat n'a pas, ou en omettre qu'il possède, parce que le modèle optimise pour un texte qui semble plausible, et non pour l'exactitude factuelle. Dans un contexte de conformité — où un candidat rejeté pourrait porter plainte —, « l'IA a halluciné que vous n'aviez pas une certification requise » n'est pas une défense juridique viable.

Vient ensuite le problème de la boîte noire. Demandez à un wrapper pourquoi il a classé le candidat A avant le candidat B, et il pourra générer une explication à l'air assuré. Mais cette explication est une rationalisation a posteriori, et non un compte rendu causal de la décision. Sous la loi locale 144 de New York et le règlement sur l'IA de l'UE, cette opacité est de plus en plus non conforme.

J'ai écrit sur ce problème — et sur notre approche pour le résoudre — dans la version interactive de nos recherches.

La mauvaise question contre la bonne question

Voici le nœud de toute l'affaire.

L'IA de recrutement standard demande : « En s'appuyant sur l'historique, cette personne sera-t-elle embauchée ? »

Nous demandons : « Cette personne sera-t-elle performante ? »

Ces questions semblent similaires. Elles sont diamétralement opposées.

La première question s'entraîne sur la décision du recruteur — une décision contaminée par l'homophilie, le biais d'affinité et l'appariement de schémas à la composition démographique de l'équipe existante. La seconde question s'entraîne sur les résultats commerciaux : la fidélisation au-delà de 18 mois, l'atteinte des indicateurs clés de performance, les évaluations de performance, l'amélioration de la production de l'équipe.

Lorsque l'on s'entraîne sur les résultats plutôt que sur les décisions, quelque chose de remarquable se produit. Si des candidats issus de la diversité ont historiquement été performants mais rarement embauchés — ce qui est précisément ce que montrent les données dans de nombreuses organisations —, un modèle fondé sur les résultats apprend à les valoriser. Un modèle fondé sur l'imitation apprend à les ignorer.

Ce n'est pas une distinction subtile. C'est la différence entre automatiser le passé et concevoir l'avenir.

Comment rendre une IA prouvablement équitable ?

Bien. Nous nous entraînons donc sur les résultats plutôt que sur les décisions. C'est nécessaire, mais pas suffisant. Car même les données de résultats peuvent porter des traces de biais structurels — si des employés issus de la diversité ont reçu moins de ressources, de moins bonnes missions ou moins de mentorat, leurs résultats pourraient être artificiellement diminués.

C'est ici que nous passons de l'IA prédictive à l'IA causale, et plus précisément à un cadre appelé l'équité contrefactuelle.

L'idée, enracinée dans l'« échelle de la causalité » de Judea Pearl, est d'une simplicité trompeuse. L'apprentissage automatique standard opère au niveau 1 de l'échelle de Pearl : l'association. Il voit des schémas. « Les personnes présentant le trait X ont tendance à obtenir le résultat Y. » Utile, mais aveugle à la différence entre corrélation et causalité.

L'IA causale opère au niveau 3 : les contrefactuels. Elle peut imaginer des réalités alternatives. « Si ce candidat avait été un homme au lieu d'une femme, toutes choses égales par ailleurs, la prédiction du modèle changerait-elle ? »

Si la réponse est oui, le modèle est inéquitable. Point final.

Nous mettons cela en œuvre à l'aide de modèles causaux structurels — des graphes transparents qui cartographient les relations de cause à effet entre les variables. Contrairement aux réseaux de neurones en boîte noire, un modèle causal structurel nous permet de voir exactement quels chemins relient les entrées aux sorties, et pourquoi.

Voici un exemple concret qui a tenu mon équipe éveillée tard un soir. Nous construisions un modèle et avons remarqué que le « code postal » était un fort prédicteur de la fidélisation. C'est logique — les longs trajets épuisent les gens. Mais le code postal est aussi corrélé à l'origine ethnique dans la plupart des villes américaines. Un modèle standard utiliserait le code postal sans discernement, discriminant de fait selon l'origine ethnique tout en paraissant utiliser une variable « neutre ».

Notre modèle causal structurel cartographie les deux chemins :

• Chemin légitime : Code postal → Temps de trajet → Fidélisation
• Chemin fallacieux : Code postal → Données démographiques → Biais historique

Nous bloquons mathématiquement le second chemin tout en préservant le premier. Le modèle ne peut utiliser le code postal que dans la mesure où il prédit le temps de trajet. S'il commence à utiliser le code postal pour inférer l'origine ethnique, la pénalité entre en jeu.

La question n'est pas de savoir si votre IA utilise directement des attributs protégés. C'est de savoir si elle utilise des variables de substitution qui réintroduisent ces attributs par la porte dérobée.

Entraîner le modèle à désapprendre ses propres préjugés

Comment faisons-nous réellement respecter cela pendant l'entraînement ? Grâce à une technique appelée débiaisage antagoniste — en substance, une pénalité d'équité intégrée au processus d'apprentissage du modèle.

Pendant l'entraînement, le modèle optimise simultanément deux objectifs concurrents. Premièrement : maximiser la précision dans la prédiction de la performance professionnelle. Deuxièmement : minimiser la capacité à prédire les attributs protégés du candidat (origine ethnique, genre, âge) à partir de la représentation interne du modèle.

Nous introduisons un « antagoniste » — un modèle secondaire dont l'unique tâche est d'essayer de deviner les données démographiques du candidat à partir des sorties du modèle principal. Si le modèle principal commence à s'appuyer sur des variables de substitution comme « lacrosse » (un indicateur du statut socioéconomique, lui-même corrélé à l'origine ethnique) ou certains noms d'université, l'antagoniste détecte qu'il peut désormais deviner plus facilement les données démographiques. Cela déclenche une pénalité, augmentant le coût de l'état actuel du modèle principal.

Pour minimiser la perte totale, le modèle est contraint de trouver des caractéristiques qui prédisent la performance sans révéler les données démographiques. Les compétences. L'expérience. Les résultats objectifs aux tests. Les véritables moteurs causaux.

J'explique parfois cela avec une analogie idiote que mon équipe déteste : c'est comme dresser un chien à rapporter le journal. Si le chien rapporte le journal mais le déchire, pas de récompense. Au bout du compte, le chien apprend à rapporter sans déchirer. Notre modèle apprend à prédire sans discriminer.

Avant le déploiement, nous exécutons des milliers de simulations contrefactuelles. Nous prenons le CV d'un vrai candidat, générons un « jumeau synthétique » avec un nom et des pronoms différents mais des compétences et une expérience identiques, et faisons passer les deux dans le modèle. Si les scores divergent, le modèle échoue à l'audit. Nous itérons jusqu'à ce qu'ils convergent. Pour la décomposition technique complète de ce processus, consultez notre article de recherche.

Pourquoi tout cela importe-t-il sur le plan juridique ?

Parce que les murs réglementaires se resserrent, et la plupart des entreprises ne sont pas prêtes.

La loi locale 144 de New York, en vigueur depuis 2023, interdit l'utilisation d'outils de recrutement automatisés à moins qu'ils n'aient fait l'objet d'un audit de biais indépendant au cours de l'année écoulée. La loi impose le calcul de ratios d'impact — comparant les taux de sélection entre les groupes démographiques. De nombreux fournisseurs de solutions en boîte noire échouent à ces audits, car ils ne peuvent pas contrôler la manière dont leurs modèles pondèrent les différentes caractéristiques. Ils s'efforcent de corriger le biais après coup, ce qui revient à essayer de « décuire » un gâteau.

Le règlement sur l'IA de l'UE va plus loin, classant l'IA de recrutement comme « à haut risque » — le même palier réglementaire que les dispositifs médicaux. Cela impose des exigences strictes en matière de gouvernance des données, de supervision humaine et d'absence démontrable de biais. Les solutions de type wrapper qui traitent les données via des API tierces se heurtent ici à un problème existentiel : les données quittent votre infrastructure, le modèle est opaque et vous ne pouvez pas garantir la conformité.

Nos modèles sont prêts pour l'audit dès leur conception. Parce que la pénalité d'équité durant l'entraînement est mathématiquement plus stricte que ce que la loi exige, la conformité est un sous-produit naturel, et non une réflexion après coup. Et parce que le graphe causal est transparent, nous pouvons montrer à un auditeur — ou à un tribunal — exactement quels facteurs ont motivé une décision donnée et prouver que les attributs protégés avaient un poids nul.

Les gens me demandent parfois si toute cette ingénierie de l'équité se fait au détriment de la performance. C'est l'objection la plus courante que j'entends, généralement formulée ainsi : « N'y a-t-il pas un compromis entre équité et précision ? »

Il n'y en a pas. Ou plus précisément : il y a un compromis entre l'équité et l'illusion de précision. Un modèle « précis » pour prédire des décisions humaines biaisées n'est pas réellement précis pour prédire la performance professionnelle. Il est précis pour prédire les préjugés. Lorsque l'on élimine le biais et que l'on s'entraîne sur des résultats réels, on ne perd pas de pouvoir prédictif — on le redirige vers ce qui compte vraiment.

Le principe Moneyball appliqué au recrutement

Dans une étude de cas portant sur l'attrition des employés, l'inférence causale a révélé que le « manque d'opportunités de formation » — et non le salaire — était le véritable moteur du départ. L'entreprise est intervenue avec des programmes de formation plutôt que des augmentations généralisées, réduisant l'attrition de 23,9 % pour une fraction du coût. C'est là toute la puissance de se demander pourquoi plutôt que simplement quoi.

Des entreprises comme Unilever et Hilton, qui sont passées à des modèles de recrutement fondés sur les données et les résultats, ont déclaré avoir réduit leur délai de recrutement jusqu'à 90 % tout en augmentant simultanément la diversité. L'équité et l'efficacité ne sont pas en tension. Ce sont des résultats corrélés d'un système qui mesure réellement les bonnes choses.

Je considère cela comme le principe Moneyball appliqué aux RH. Les recruteurs traditionnels surévaluent le pedigree — les diplômes de l'Ivy League, les employeurs de marque — de la même manière que les recruteurs de baseball surévaluaient jadis la moyenne au bâton. L'IA causale trouve l'équivalent du pourcentage de présence sur base : les signaux sous-évalués qui prédisent réellement les résultats gagnants. En supprimant le biais de l'« adéquation culturelle », vous élargissez le vivier de talents pour y inclure des personnes très performantes que toutes les autres entreprises négligent systématiquement.

L'équité n'est pas un impôt sur la performance. C'est à quoi ressemble la performance lorsque l'on cesse de confondre pedigree et potentiel.

Le passage où j'avoue ce qui est difficile

Je mentirais si je disais que c'était facile à construire, ou facile à vendre.

La technologie est difficile. Les modèles causaux exigent une expertise métier pour être construits — il faut comprendre la structure causale réelle de la performance professionnelle dans un rôle donné, et non simplement jeter des données à un algorithme. Se tromper sur cette structure signifie bloquer des chemins légitimes ou en laisser des fallacieux ouverts. Nous avons eu des débats internes qui ont duré des jours pour déterminer si une variable particulière était un prédicteur légitime ou une variable de substitution. Il n'y a pas de raccourci. Il faut réfléchir.

Le cycle de vente est difficile lui aussi. Les responsables du recrutement se fient à leur instinct. Ils croient être de bons juges de caractère. Dire à quelqu'un que son « instinct » relève en réalité d'un appariement de schémas à son propre profil démographique ne vous rend pas populaire lors des dîners. Nous avons appris à positionner la technologie non pas comme une accusation, mais comme un outil d'aide à la décision — un « contrôle des biais » analogue à un correcteur orthographique. Il n'écrit pas le livre à votre place. Il garantit que vous ne commettez pas d'erreurs évitables.

Et la maturité des données est un véritable défi. L'IA causale a besoin de données robustes, et les groupes minoritaires sont souvent sous-représentés dans les jeux de données historiques. Nous y remédions par la génération de données synthétiques — en utilisant des GAN pour créer des points de données respectueux de la vie privée qui imitent les propriétés statistiques des groupes sous-représentés, garantissant que le modèle dispose de suffisamment d'exemples pour apprendre des frontières de décision équitables pour tout le monde.

Rien de tout cela n'est aussi simple que d'envelopper un appel d'API à GPT et de lancer un produit. Mais la version simple ne fonctionne pas. Elle échoue simplement en silence, à grande échelle, de manières qui abîment la vie de vraies personnes.

Le paravent, pas le miroir

La première génération d'IA dans le recrutement était un miroir. Elle nous renvoyait nos biais, amplifiés par l'automatisation, et nous appelions cela de l'intelligence.

La prochaine génération doit être un paravent — comme celui de ces auditions d'orchestre. Non pas un outil qui regarde les candidats et voit des données démographiques. Un outil qui écoute la musique.

Nous n'y sommes pas encore en tant que secteur. Le marché reste dominé par des outils qui optimisent pour le mauvais objectif, construits sur des modèles incapables de s'expliquer, vendus à des entreprises qui ne savent pas quelles questions poser. Mais l'environnement réglementaire évolue. Les preuves s'accumulent. Et les organisations qui comprendront cela les premières auront accès à un vivier de talents que leurs concurrents excluent algorithmiquement.

Je n'ai pas fondé Veriprajna parce que je pensais que l'équité était un simple atout secondaire. Je l'ai fondée parce que j'ai regardé les données et j'ai réalisé que le biais n'est pas seulement un échec éthique — c'est un échec de prédiction. Chaque fois qu'un modèle rejette un candidat qualifié à cause d'un nom, d'un code postal ou d'un loisir corrélé au « mauvais » groupe démographique, il fait une mauvaise prédiction. Il laisse de la performance sur la table. Il choisit le confort plutôt que la précision.

La question n'est pas de savoir si l'IA va transformer le recrutement. C'est de savoir si nous l'utiliserons pour démultiplier nos meilleurs instincts ou nos pires.

Je sais pour quel camp je construis.