Le biais de l'IA dans la sélection des locataires a coûté 2,2 M$ — votre système sera-t-il le prochain ?

Le problème

Mary Louis et Monica Douglas, deux femmes noires bénéficiaires de bons de logement financés par l'État fédéral, ont déposé des demandes de location d'appartement et ont été rejetées. Non pas par un propriétaire — par un algorithme. SafeRent Solutions a développé un système de notation appelé « Registry ScorePLUS » qui évaluait les locataires sur une échelle de 200 à 800. Le système s'appuyait lourdement sur l'historique de crédit et les dettes non liées au logement. Mais il ignorait totalement un fait crucial : les bons de logement garantissent un flux de revenus régulier. Les locataires bénéficiant de bons sont statistiquement susceptibles de continuer à payer leur loyer à temps, car l'État en couvre directement une partie.

L'algorithme a traité ces candidates comme des profils à haut risque alors qu'elles présentaient en réalité un faible risque. Il leur a attribué une mauvaise note parce que leurs profils de crédit étaient différents de ceux des locataires à revenus plus élevés — et non parce qu'elles étaient de mauvaises locataires. En mai 2022, Louis et Douglas ont intenté une action collective alléguant que le système créait un impact disparate sur les candidats noirs et hispaniques. En novembre 2024, un tribunal a approuvé un accord de règlement de 2,275 millions de dollars.

Votre entreprise ne sélectionne peut-être pas de locataires. Mais si vous utilisez un quelconque système d'IA qui note, classe ou recommande des décisions concernant des personnes, la logique sous-jacente à cette affaire s'applique directement à vous. Le tribunal a statué que l'éditeur du logiciel — et pas seulement le propriétaire — partage la responsabilité juridique des résultats discriminatoires. Cette seule décision judiciaire a tout changé.

Pourquoi cela concerne votre entreprise

L'exposition financière s'étend ici bien au-delà de la sélection des locataires. Le règlement de SafeRent comprenait 1,175 million de dollars d'indemnisation directe pour les candidats lésés et 1,1 million de dollars d'honoraires d'avocat. Les plaignantes nommées ont reçu 10 000 dollars chacune, créant une incitation financière évidente pour que des particuliers engagent de futures poursuites. Le tribunal a également imposé une injonction de cinq ans exigeant des changements de pratiques continus sous le contrôle du tribunal.

Mais ces montants financiers ne sont qu'un début. Voici ce qui devrait préoccuper votre équipe de direction :

• Votre fournisseur d'IA peut être tenu pour responsable. Le tribunal a rejeté l'argument de SafeRent selon lequel l'entreprise n'était qu'un fournisseur de technologie « neutre ». Si un propriétaire s'appuie principalement sur un score tiers, le fournisseur de ce score fait partie intégrante de la chaîne de décision et partage l'exposition juridique.
• L'intention n'a aucune importance. Les directives du HUD de mai 2024 ont confirmé que la norme juridique applicable est celle de l'« impact disparate ». Votre système peut violer le Fair Housing Act même si personne n'avait l'intention de discriminer — seuls les résultats comptent.
• Les scores de crédit véhiculent un biais caché. En octobre 2021, le score de crédit médian des consommateurs blancs était de 725. Pour les consommateurs hispaniques, il était de 661. Pour les consommateurs noirs, il était de 612. Lorsque votre IA traite l'historique de crédit comme neutre, elle encode de manière rigide des disparités raciales dans vos décisions.
• Les régulateurs surveillent de près. Le HUD et le DOJ appliquent activement le Fair Housing Act aux concepteurs d'algorithmes. Le futur règlement européen sur l'IA (EU AI Act) classera les systèmes de notation du logement et de crédit parmi les systèmes à « haut risque », exigeant une conformité formelle d'ici 2025-2026.

Si votre système d'IA ne peut pas prouver qu'il a recherché une méthode moins biaisée pour atteindre le même objectif commercial, vous êtes exposé.

Ce qui se passe réellement sous le capot

Considérez un modèle de filtrage par IA traditionnel comme un responsable du recrutement qui ne lirait que les CV issus d'une seule université. Ce responsable ne cherche pas à être injuste. Mais parce que cette université n'admettait historiquement qu'une seule catégorie démographique, les résultats s'avèrent discriminatoires. Le même phénomène se produit lorsque l'IA s'appuie sur des caractéristiques de données — les variables individuelles qu'un modèle utilise pour formuler des prédictions — qui véhiculent des biais historiques.

Le modèle de SafeRent utilisait l'historique de crédit comme variable clé. Les scores de crédit reflètent des décennies d'accès inégal aux services bancaires, aux prêts et à la constitution d'un patrimoine. Lorsque l'algorithme a accordé un poids prépondérant au crédit tout en attribuant un poids nul aux revenus issus des bons de logement, il a créé ce que les régulateurs appellent un problème de « variable proxy » (ou variable de substitution). Cette variable semble neutre du point de vue de la race sur le papier. En pratique, elle correspond presque directement à l'appartenance raciale.

C'est précisément là que de nombreux systèmes d'IA échouent aujourd'hui. Les grands modèles de langage, ou LLM — la technologie au cœur d'outils comme ChatGPT — sont confrontés à ce problème d'une manière différente. Ils sont souvent incapables d'expliquer leur raisonnement dans un format conforme aux exigences légales de divulgation. Le Fair Credit Reporting Act exige des « Reason Codes » (codes de motif) spécifiques lorsqu'une demande est refusée. Un LLM pourrait générer une explication d'apparence plausible qui est en réalité inventée de toutes pièces. Dans les décisions réglementées, une réponse fausse formulée avec assurance est pire qu'une absence totale de réponse.

Le véritable danger réside dans ce que les chercheurs appellent la « dérive des données » (data drift) — lorsque le monde évolue mais que votre modèle n'est pas mis à jour. Les taux d'utilisation des bons de logement varient. La démographie évolue. Un modèle conçu à partir de données de 2019 peut produire des résultats discriminatoires en 2025 simplement parce que la population sous-jacente a changé. Sans surveillance continue, vous ne détecterez cette dérive que lorsqu'une action en justice vous y contraindra.

Ce qui fonctionne (et ce qui ne fonctionne pas)

Tout d'abord, trois approches courantes qui échouent dans les environnements réglementés :

« Nous auditons une fois par an. » Les audits annuels statiques d'équité passent à côté des biais en temps réel. Les données socioéconomiques changent constamment, et un audit irréprochable en janvier n'a plus aucune valeur en juillet.

« Notre IA explique ses décisions. » De nombreux outils basés sur des LLM produisent des explications qui semblent raisonnables mais qui peuvent être hallucinées — c'est-à-dire que le système génère un texte plausible qui ne reflète pas la manière dont la décision a réellement été prise. Il s'agit d'une source de responsabilité juridique, non d'une fonctionnalité.

« Nous avons supprimé la race des données d'entrée. » Supprimer un attribut protégé n'élimine pas les variables de substitution comme le score de crédit, le code postal ou l'historique d'endettement. Ces variables peuvent reconstituer les profils raciaux avec une précision élevée.

Voici ce qui fonctionne réellement — une architecture en trois étapes qui intègre l'équité au cœur du système plutôt que de la plaquer a posteriori :

1. Pré-traitement : Corriger les données avant l'entraînement. Cela implique de rééchantillonner les groupes sous-représentés et de repondérer les données afin que les populations historiquement défavorisées soient équitablement représentées. Dans le contexte de SafeRent, cela consisterait à suréchantillonner les bénéficiaires de bons de logement solvables pour corriger des décennies de biais liés au crédit.

2. Traitement intermédiaire : Contraindre le modèle pendant l'entraînement. Au lieu d'optimiser uniquement la précision, vous ajoutez une « pénalité d'équité » au processus d'apprentissage du modèle. Une technique clé est le débiaisage contradictoire (adversarial debiasing) — où un modèle secondaire tente de prédire la race d'une personne à partir des sorties du modèle principal. Si le modèle secondaire y parvient, le modèle principal est pénalisé et contraint d'apprendre des caractéristiques qui prédisent réellement la tenue du bail indépendamment de la race.

3. Post-traitement : Aligner les résultats sur des normes équitables. Après l'entraînement, vous ajustez les seuils de décision à l'aide d'une méthode appelée Equalized Odds (égalité des chances), qui garantit que les taux de faux positifs et de faux négatifs sont identiques pour tous les groupes démographiques. Cela empêche votre système de rejeter des candidats qualifiés issus des minorités plus fréquemment que des candidats majoritaires tout aussi qualifiés.

L'avantage de la piste d'audit est ce qui compte le plus pour vos équipes juridiques et de conformité. Lorsque vous intégrez des métriques d'équité — telles que le ratio d'impact disparate (Disparate Impact Ratio), que les régulateurs signalent dès qu'il passe sous 0,8 — directement dans votre tableau de bord de surveillance, vous détectez la « dérive d'équité » en temps réel. Vous n'attendez pas une poursuite judiciaire. Vous l'interceptez, la documentez et la corrigez. Cette documentation devient votre moyen de défense le plus solide si les régulateurs se manifestent. Votre système doit produire une piste logique claire pour chaque décision, montrant quelles variables ont pesé, quel était leur poids respectif et pourquoi le résultat constituait l'option la moins discriminatoire disponible.

L'accord de règlement de SafeRent exige désormais que des experts des droits civiques valident les modèles de l'entreprise — ce qui revient à une recherche obligatoire d'alternatives moins biaisées. Si vous menez cette recherche de manière proactive, vous gardez une longueur d'avance tant sur les régulateurs que sur les plaignants. Si vous attendez, vous deviendrez la prochaine étude de cas.