Un tribunal vient de dire à des millions de candidats qu'un logiciel a peut-être exercé une discrimination à leur encontre

L'an dernier, j'étais assis dans le hall d'un hôtel à Bangalore, attendant une réunion qui prenait du retard, faisant défiler des dossiers juridiques sur mon téléphone — comme les gens normaux font défiler Instagram — lorsque je suis tombé sur un paragraphe qui m'a fait poser ma tasse de café.

Un juge fédéral de Californie venait de statuer que Workday, le géant du logiciel RH valorisé à 70 milliards de dollars, pouvait être tenu responsable en tant qu'agent au regard de la loi fédérale anti-discrimination. Pas un outil. Pas une plateforme neutre. Un agent — la même catégorie juridique qu'un recruteur humain qui écarte des CV en fonction de l'âge ou de l'origine d'une personne.

Le plaignant, Derek Mobley, un homme afro-américain de plus de 40 ans en situation de handicap, avait été rejeté de plus de 100 emplois. Beaucoup de ces refus sont survenus en quelques minutes après la candidature, souvent en dehors des heures de bureau. Aucun humain n'avait examiné son CV. Un logiciel avait décidé qu'il ne valait pas la peine d'être considéré, et il l'a fait encore et encore avec une constance algorithmique.

Je construis des systèmes d'IA. Mon entreprise, Veriprajna, conçoit des architectures cognitives pour les entreprises — le genre d'IA profonde et déterministe censée remplacer les raccourcis bâclés et probabilistes que vend la majeure partie du secteur. Et lorsque j'ai lu cette décision, ma première pensée n'a pas été « c'est mauvais pour Workday. » C'était : la majeure partie du secteur du recrutement par IA repose sur les mêmes fondations pourries, et presque personne n'en parle.

1,1 milliard de refus et un juge qui l'a remarqué

Laissez-moi vous donner le chiffre qui a figé la salle lorsque je l'ai partagé avec mon équipe d'ingénieurs.

Durant la période concernée par l'affaire Workday, environ 1,1 milliard de candidatures ont été rejetées par le logiciel de Workday. Ce n'est pas une faute de frappe. Milliard, avec un M.

En mai 2025, un tribunal fédéral a accordé la certification préliminaire d'une action collective à l'échelle nationale pour discrimination fondée sur l'âge en vertu de l'ADEA — l'Age Discrimination in Employment Act. Cela signifie que toute personne de plus de 40 ans à qui une recommandation d'embauche a été refusée via la plateforme de Workday depuis septembre 2020 pourrait être notifiée et pourrait se joindre à l'affaire. En juillet 2025, le tribunal a élargi le champ pour inclure les candidats traités via HiredScore, un outil de recrutement par IA que Workday avait acquis.

Lorsqu'un logiciel rejette un milliard de candidatures et qu'un tribunal déclare « ce logiciel est juridiquement votre agent », l'ensemble du secteur des technologies RH a un problème structurel, pas un problème de communication.

Je me souviens du débat que nous avons eu en interne à ce sujet. L'un de mes ingénieurs — un type brillant, avec une solide expérience en ML — a dit : « Mais Workday fait juste tourner un moteur de recommandation. C'est comme reprocher à Google d'afficher de mauvais résultats de recherche. » Et j'ai répondu : « Non. C'est comme reprocher à une agence de recrutement que vous avez engagée pour présélectionner des candidats d'avoir jeté tous les CV de quiconque a obtenu son diplôme avant 1995. »

Le tribunal a établi exactement cette distinction. La juge Rita Lin a séparé les « simples outils » — tableurs, courriels — des systèmes qui notent, classent et recommandent activement des candidats. L'IA de Workday n'organisait pas des données pour qu'un humain les examine. Elle exerçait la fonction traditionnelle de l'employeur consistant à décider qui avance et qui non. C'est de l'agentivité. C'est de la responsabilité.

Comment un algorithme apprend-il à être âgiste ?

C'est la partie qui m'empêche de dormir la nuit, car le mécanisme est si banal.

Personne chez Workday — je le crois sincèrement — ne s'est assis pour écrire du code disant if age > 40: reject(). Ce serait illégal de façon caricaturale et trivialement détectable. Le vrai problème est plus subtil et, honnêtement, plus difficile à corriger.

Lorsque vous entraînez un modèle d'apprentissage automatique sur les données historiques d'embauche d'une entreprise — ses « employés performants » — vous lui transmettez tous les biais qu'ont jamais eus ces anciens responsables du recrutement. Si l'entreprise a historiquement embauché des travailleurs plus jeunes pour des postes d'ingénierie, le modèle apprend que les signaux corrélés à la jeunesse prédisent la « réussite ». Pas l'âge directement. Des indicateurs indirects.

Voici ce qu'un système de présélection par IA peut déduire de votre âge sans jamais voir votre date de naissance :

Votre domaine de messagerie. Une adresse @aol.com ou @hotmail.com est corrélée à une population d'utilisateurs plus âgée. Vos références technologiques — mentionner une expertise en Lotus Notes ou en COBOL vous rattache à une époque précise. Le nombre total d'années d'expérience, où « plus de 15 ans » devient un repère temporel. Même les marqueurs de progression de carrière : un intitulé de « programmeur junior » du début des années 1990 indique au modèle exactement quand vous êtes entré sur le marché du travail.

J'ai testé cela avec ma propre équipe. Nous avons construit un jeu de données synthétique — de faux CV avec des variables contrôlées — et les avons passés dans un pipeline de présélection standard basé sur des transformeurs. Le modèle n'avait jamais reçu la moindre information sur l'âge. Mais lorsque nous avons mesuré les taux de sélection à l'aide de la règle des quatre cinquièmes de l'EEOC — qui signale un impact défavorable lorsque le taux de sélection d'un groupe protégé tombe en dessous de 80 % du taux du groupe le plus élevé — les résultats pour les candidats de plus de 40 ans étaient catastrophiques. Des taux de sélection deux fois inférieurs à ceux des candidats plus jeunes. Des ratios d'impact autour de 0,50, bien en dessous du seuil de 0,80.

L'algorithme n'a pas besoin de connaître votre âge. Il lui suffit de connaître votre fournisseur de messagerie, votre vocabulaire et le déroulé de votre carrière. Les mathématiques font le reste.

Personne n'a programmé la discrimination. Les données d'entraînement sont la discrimination, cristallisée en poids et en paramètres, puis restituée à grande échelle.

Pourquoi « utilisez simplement GPT » est la mauvaise réponse

On me le dit sans arrêt. Des investisseurs, des clients potentiels, des directeurs techniques bien intentionnés qui ont lu trois articles de blog sur la transformation par l'IA. « Pourquoi ne pas simplement encapsuler GPT-4 ? C'est bien suffisant. »

Un investisseur m'a dit cela en face lors d'une présentation. Il s'est adossé, les bras croisés, et a dit : « Ashutosh, OpenAI a dépensé des milliards là-dessus. Tu me dis que ton entreprise de 40 personnes va construire quelque chose de meilleur ? »

Je lui ai dit qu'il posait la mauvaise question. La question n'est pas de savoir si GPT-4 est « meilleur » pour générer du texte. Bien sûr qu'il l'est. La question est de savoir si un moteur probabiliste de génération de texte devrait prendre des décisions qui déterminent si une ingénieure logicielle de 52 ans peut nourrir sa famille.

Le marché est inondé de ce que j'appelle des encapsuleurs de LLM — de fines couches applicatives qui reconditionnent les sorties de modèles de fondation comme GPT-4 ou Claude et les vendent comme des « solutions de recrutement par IA ». Elles font forte impression en démo. Elles échouent de manière catastrophique en production, et voici pourquoi.

Un LLM prédit le prochain jeton le plus probable. C'est tout. C'est un moteur de saisie automatique sophistiqué. Il ne raisonne pas sur la question de savoir si un candidat satisfait à une exigence de poste. Il génère du texte qui ressemble à du raisonnement. Et dans le recrutement, l'écart entre « ressemble à du raisonnement » et « raisonne réellement » est l'écart entre la conformité et une action collective en justice.

Il existe un phénomène bien documenté appelé le syndrome du perdu au milieu : les architectures de transformeurs standard affichent une grande précision lorsqu'elles traitent l'information au début et à la fin de leur fenêtre de contexte, mais l'attention chute considérablement au milieu. Dans un CV de 10 pages, des certifications essentielles ou des réalisations récentes enfouies dans les sections centrales ont statistiquement plus de chances d'être négligées. Non parce que le modèle a décidé qu'elles n'étaient pas importantes — mais parce que l'architecture est littéralement incapable de prêter une attention égale à tout.

J'ai écrit sur cette limitation architecturale et sur notre approche pour la résoudre dans la version interactive de nos recherches.

Et puis il y a le problème économique. Les encapsuleurs de LLM sont confrontés à ce que j'appelle l'absorption des barrières concurrentielles — à mesure que les fournisseurs de modèles de fondation publient des modèles de base plus performants, ils intègrent inévitablement les fonctionnalités sur lesquelles les encapsuleurs fondent leur proposition de valeur. L'analyse de CV, l'analyse des sentiments, l'appariement de base — OpenAI et Google finiront par les proposer nativement. Une entreprise qui se contente d'encapsuler une API dilapide son propre avantage concurrentiel à chaque interaction client.

La nuit où nous avons cassé notre propre système

Je veux vous parler d'un jeudi soir il y a environ huit mois, parce que cela a changé ma façon de penser tout ce que nous construisons.

Nous testions un prototype de notre module de présélection au recrutement — notre architecture neuro-symbolique, que je vais expliquer dans un instant — face à un jeu de données de référence. Le système obtenait de superbes performances sur les indicateurs de précision. La précision était élevée. Le rappel était solide. Mon ingénieur ML principal, qui travaillait 14 heures par jour là-dessus, rayonnait littéralement.

Puis notre analyste conformité a lancé l'audit d'équité.

Le système présentait des violations de la parité démographique sur le statut de handicap. Pas énormes — le ratio d'impact était d'environ 0,78, juste en dessous du seuil de 0,80. Mais il était là. Notre propre système, celui dont je disais à tout le monde qu'il était « résilient aux biais par conception », produisait des résultats discriminatoires.

La salle est devenue silencieuse. Je me suis senti mal.

Nous avons passé les trois jours suivants à démonter le pipeline. Le coupable s'est avéré être une caractéristique de nos données d'entraînement que nous avions supposée neutre : la durée des interruptions d'emploi. Les candidats en situation de handicap sont statistiquement plus susceptibles d'avoir des interruptions d'emploi — pour un congé médical, pour des transitions professionnelles liées à l'accessibilité, pour des périodes de rétablissement. Notre modèle avait appris que les interruptions prédisaient une moindre « réussite », et il pénalisait le handicap par indicateur indirect.

Nous avons détecté le biais parce que nous le cherchions. La plupart des entreprises qui utilisent des outils de recrutement par IA sur étagère ne le cherchent pas. Elles ne savent même pas qu'elles le devraient.

Nous l'avons corrigé grâce au débiaisage antagoniste — en entraînant un second modèle « adversaire » à prédire des caractéristiques protégées à partir de la sortie de notre prédicteur, puis en pénalisant le prédicteur chaque fois que l'adversaire réussit. C'est une technique intégrée au traitement qui force le système à désapprendre les schémas discriminatoires plutôt que de simplement les masquer en post-traitement.

Mais la leçon n'était pas technique. La leçon était la suivante : si nous, une entreprise obsédée par l'équité et la vérification, avons failli livrer un système biaisé, que livrent donc tous les autres ?

Que signifie réellement l'« IA profonde » pour le recrutement ?

Quand je dis que nous construisons de l'« IA profonde » plutôt que des encapsuleurs de LLM, je ne veux pas dire que nous utilisons des réseaux de neurones plus profonds. Je veux dire que nous allons plus en profondeur dans le problème.

Notre architecture est neuro-symbolique — elle combine les capacités linguistiques des réseaux de neurones avec la rigueur logique du raisonnement symbolique. En pratique, cela signifie que le LLM de notre système n'est pas le décideur. C'est le traducteur.

Voici comment cela fonctionne, sans le jargon :

Lorsqu'un CV entre dans notre système, un modèle de langage spécialisé en extrait des faits structurés — « cette personne a 5 ans d'expérience en Python », « cette personne détient une certification PMP », « cette personne a travaillé chez l'entreprise X de 2018 à 2022 ». Ce ne sont pas des interprétations. Ce sont des extractions d'entités, mises en correspondance avec un graphe de connaissances qui définit les relations entre les compétences, les rôles et les exigences organisationnelles.

Ensuite — et c'est la partie cruciale — un moteur de règles déterministe évalue ces faits extraits par rapport aux exigences du poste. Pas un réseau de neurones. Pas une distribution de probabilité. De la logique réelle : IF experience >= 5 AND skill == Python THEN eligible = TRUE. Le LLM ne peut pas halluciner la politique parce que la politique réside dans le code, pas dans des poids.

Chaque recommandation génère une trace logique auditable. Vous pouvez retracer exactement quelle règle a été déclenchée, par quel point de donnée, dans quelle section du dossier du candidat. Quand un régulateur ou l'avocat d'un plaignant demande « pourquoi cette personne a-t-elle été rejetée ? », vous avez une réponse qui n'est pas « le modèle l'a jugé ainsi ».

Nous sécurisons cela avec ce que nous appelons des garde-fous constitutionnels — trois couches de protection qui s'exécutent avant, pendant et après chaque interaction. Les garde-fous d'entrée interceptent les invites antagonistes et les fuites de données personnelles avant qu'elles n'atteignent la logique centrale. Les garde-fous de dialogue imposent les limites de la conversation. Les garde-fous de sortie analysent chaque résultat à la recherche d'hallucinations, de toxicité ou de violations de politique avant que quoi que ce soit n'atteigne un recruteur humain.

Ce n'est pas théorique. Pour l'analyse technique complète de notre architecture et du cadre juridique qui la sous-tend, consultez notre document de recherche.

Peut-on vraiment rendre le recrutement par IA équitable ?

Les gens me le demandent tout le temps, généralement sur un ton sceptique qui laisse entendre qu'ils pensent que la réponse est non.

Ma réponse honnête : vous ne pouvez pas le rendre parfaitement équitable. L'équité dans le recrutement implique des arbitrages inhérents — mathématiques, pas seulement philosophiques. Optimiser pour la parité démographique (des taux de sélection égaux entre les groupes) peut entrer en conflit avec l'égalité des chances (des taux de vrais positifs et de faux positifs égaux). Optimiser pour la parité prédictive (garantir qu'un score élevé signifie la même chose pour chaque groupe) peut entrer en conflit avec les deux.

Mais vous pouvez le rendre considérablement plus équitable que le statu quo, qui est soit des humains biaisés, soit des algorithmes biaisés se faisant passer pour neutres. Et vous pouvez le rendre auditable, ce que la loi exige réellement.

Nous utilisons SHAP — SHapley Additive exPlanations — pour attribuer une valeur de contribution à chaque caractéristique de chaque décision. « La compétence X a contribué à hauteur de +15 au score de ce candidat. L'interruption d'emploi a contribué à hauteur de -3. » Nous utilisons LIME — Local Interpretable Model-agnostic Explanations — pour tester si de petits changements feraient basculer une décision. Si changer le code postal d'un candidat change le résultat, quelque chose ne va pas.

Nous générons des explications contrefactuelles : « Ce candidat n'a pas été retenu parce qu'il lui manquait la certification Y. S'il avait eu la certification Y, il aurait obtenu un score supérieur au seuil. » Ce n'est pas une boîte noire. C'est une boîte de verre, et c'est ce qu'exigent les directives de l'EEOC de mai 2023.

Le modèle des trois lignes de défense que la plupart des entreprises n'ont pas

Voici quelque chose qui m'a choqué lorsque j'ai commencé à discuter avec des équipes RH d'entreprise de leurs outils d'IA : la plupart d'entre elles n'ont aucune idée des modèles qu'elles font tourner.

Je le dis littéralement. J'étais en réunion avec la DRH d'une entreprise du Fortune 500 — une personne responsable de décisions d'embauche affectant des dizaines de milliers de personnes chaque année — et j'ai demandé : « Pouvez-vous me donner les taux de sélection par groupe démographique de votre outil de présélection par IA ? » Regard vide. « Pouvez-vous me dire quel modèle il utilise ? » Regard vide plus prolongé. « Pouvez-vous me dire qui l'a validé pour les biais ? » Elle a répondu : « Je crois que c'est le fournisseur qui s'en charge. »

Le fournisseur « s'en charge ». Le même fournisseur qui, selon la jurisprudence Workday, est désormais potentiellement responsable en tant que votre agent. Le même fournisseur qui a presque certainement une clause dans son contrat déclinant toute responsabilité pour les résultats discriminatoires.

L'IA d'entreprise dans le recrutement exige ce que les professionnels de la gestion des risques appellent un modèle à trois lignes de défense :

Première ligne : les unités opérationnelles qui construisent et déploient l'IA. Elles sont responsables de la sélection des données d'entraînement, des techniques de recrutement en aveugle qui anonymisent les noms et les années d'obtention de diplôme, ainsi que du suivi au quotidien.

Deuxième ligne : la supervision des risques et de la conformité. Des registres de modèles — un inventaire central de chaque modèle d'IA, de sa finalité, de ses sources de données, de son niveau de risque. Un suivi continu des taux de sélection et des ratios d'impact. Une évaluation des fournisseurs qui exige une documentation des tests de biais, pas seulement des présentations marketing.

Troisième ligne : l'audit indépendant. La Local Law 144 de New York impose déjà des audits annuels des biais par des tiers indépendants pour les outils automatisés de décision en matière d'emploi. Les sanctions commencent à 500 $ pour la première infraction et grimpent jusqu'à 1 500 $ par violation et par jour. Mais le vrai coût n'est pas l'amende — c'est ce qui se produit lorsqu'un tribunal ordonne que le nom de votre entreprise soit envoyé à des millions de candidats potentiellement lésés, ce qui est précisément ce que permet la certification de l'action collective Workday.

Pourquoi l'« IA souveraine » est l'avenir du recrutement en entreprise

L'affaire Workday accélère une mutation que j'observe depuis deux ans : le mouvement vers ce que j'appelle l'IA souveraine dans le recrutement en entreprise.

Les entreprises prennent conscience du fait qu'envoyer leurs données d'embauche propriétaires à une API tierce signifie que ces données pourraient servir à entraîner la prochaine génération du modèle de quelqu'un d'autre. Elles réalisent que lorsqu'une API publique est mise à jour — ce qui arrive sans préavis —, leur pipeline de présélection soigneusement validé peut dériver du jour au lendemain, produisant des résultats différents pour les mêmes candidats. Elles comprennent que les LLM à usage général ne disposent pas des graphes de connaissances spécifiques au domaine nécessaires à une évaluation professionnelle précise.

Les entreprises avec lesquelles je discute veulent de plus en plus posséder leurs modèles. Les faire tourner dans leurs propres clouds privés virtuels. Contrôler quand et comment ils sont mis à jour. Conserver des traces d'audit complètes qui ne dépendent pas de la bonne volonté d'un fournisseur.

C'est là que nous nous dirigeons chez Veriprajna. Nous ne vendons pas d'accès à une API. Nous construisons une architecture cognitive qui encode le savoir institutionnel, les règles de conformité et la logique déterministe dans des systèmes qui utilisent l'IA comme une interface puissante — pas comme un oracle faillible prenant des décisions qui changent des vies sur la base de vagues intuitions statistiques.

La pensée dont je n'arrive pas à me défaire

Je reviens sans cesse à Derek Mobley. Plus de 100 candidatures. Rejeté par un logiciel, souvent en quelques minutes, au milieu de la nuit. Aucun humain n'a jamais examiné ses qualifications. Personne ne lui a jamais dit pourquoi.

Et il n'a rien d'exceptionnel. Il est simplement celui qui a intenté un procès.

Il y a des millions de personnes — qualifiées, expérimentées, compétentes — qui ont été écartées d'opportunités d'emploi par des algorithmes entraînés sur des préjugés historiques, déployés sans tests adéquats et exploités sans supervision réelle. Elles n'ont pas reçu de lettre de refus expliquant que leur adresse e-mail @hotmail.com était corrélée à une tranche d'âge que le modèle avait appris à pénaliser. Elles n'ont eu que du silence, ou un e-mail type, et sont passées à la candidature suivante.

La décision Workday ne résout pas ce problème. Mais elle fait quelque chose de presque aussi important : elle rend le problème coûteux. Et dans le logiciel d'entreprise, les problèmes coûteux finissent par être réglés.

La question n'est plus de savoir si l'IA devrait être utilisée dans le recrutement. C'est de savoir si l'IA que vous utilisez peut survivre à une déposition sous serment.

Je construis de l'IA pour gagner ma vie, et je crois profondément en son potentiel pour rendre le recrutement plus équitable, plus efficace et plus humain. Mais seulement si nous cessons de traiter l'IA de recrutement comme un produit grand public et commençons à la traiter pour ce qu'elle est : un système de décision à fort enjeu qui détermine les moyens de subsistance des gens, opérant dans l'un des domaines les plus lourdement réglementés du droit américain.

L'ère de la boîte noire est révolue. Construisez en conséquence.