Votre système d'octroi de crédit par IA peut-il surmonter un audit de biais ?

Le problème

En 2022, Navy Federal Credit Union a rejeté plus de la moitié des demandes de prêt hypothécaire présentées par des emprunteurs noirs, alors qu'elle approuvait 77 % de celles émanant de candidats blancs. Cet écart de 29 points de pourcentage était le plus important parmi les 50 premiers prêteurs hypothécaires du pays. Parallèlement, Earnest Operations LLC a versé 2,5 millions de dollars dans le cadre d'un accord amiable en juillet 2025, après que l'État du Massachusetts a établi que ses modèles d'octroi de crédit par IA pénalisaient de manière disproportionnée les emprunteurs noirs, hispaniques et non-citoyens.

Il ne s'agit pas d'incidents isolés. Ce sont les signes avant-coureurs d'un problème structurel à l'échelle de l'ensemble du secteur. Si votre établissement a recours à la prise de décision automatisée pour le crédit — ce qui est le cas de la quasi-totalité des prêteurs —, vous êtes confronté à la même exposition.

Le problème fondamental chez Earnest résidait dans une variable appelée le taux de défaut de cohorte (Cohort Default Rate ou CDR). Cet indicateur mesure le taux moyen de défaut de paiement sur les prêts accordés aux étudiants d'établissements spécifiques. Il paraît neutre en apparence. Pourtant, les universités historiquement noires (HBCU) affichent des taux de défaut plus élevés en raison de décennies de sous-financement systémique et d'inégalités de patrimoine. En intégrant le CDR dans son modèle avec un coefficient de pondération, Earnest a pénalisé individuellement les candidats pour les désavantages historiques de leur établissement — quelle que soit leur situation financière personnelle. Sur le papier, l'algorithme semblait neutre sur le plan racial. En pratique, il encodait une discrimination.

Chez Navy Federal, le problème s'avérait encore plus difficile à cerner. Lorsque les chercheurs ont neutralisé plus d'une douzaine de variables — revenu, ratio d'endettement, valeur du bien immobilier, quartier —, les candidats noirs avaient toujours plus de deux fois plus de risques de voir leur demande refusée que les candidats blancs présentant un profil identique. Un élément au sein de l'algorithme de souscription de la coopérative de crédit générait un biais que les critères de solvabilité traditionnels ne pouvaient expliquer.

Pourquoi cela concerne votre entreprise

Les répercussions financières sont déjà là. Earnest a déboursé 2,5 millions de dollars pour clore une seule enquête au niveau d'un État. Navy Federal est visée par des recours collectifs consolidés et des enquêtes parlementaires du Congrès. En mai 2024, un juge fédéral a statué que les plaintes pour impact disparate à l'encontre de Navy Federal pouvaient suivre leur cours, ouvrant la voie à la communication préalable de preuves (discovery) sur la logique interne des modèles de la coopérative de crédit.

Voici ce que cela implique pour votre établissement :

• L'application de la réglementation devient ciblée et exigeante. Le CFPB exige désormais des « motifs précis et exacts » pour toute décision défavorable. Vous ne pouvez pas indiquer à un candidat qu'il a été refusé pour « revenus insuffisants » si le motif réel découle d'un signalement algorithmique sur une variable non traditionnelle. Invoquer que « l'algorithme a décidé » ne constitue pas une défense juridique admissible.
• Une simple disparité statistique suffit désormais à franchir le cap de la requête en irrecevabilité. Les tribunaux font désormais peser la charge de la preuve sur votre établissement. Celui-ci doit démontrer que son processus de souscription est à la fois indispensable et constitue l'option disponible la moins discriminatoire.
• Le fossé entre directives formelles et pratiques réelles constitue un facteur de responsabilité. Earnest disposait de règles internes imposant la supervision de cadres dirigeants pour toute dérogation aux modèles. Les enquêteurs ont constaté que les souscripteurs contournaient fréquemment les modèles et appliquaient des normes arbitraires sans aucune trace écrite. Cette rupture a rendu le système impossible à auditer et indéfendable.
• Les référentiels nationaux mettent en lumière les anomalies. Selon les données nationales du CFPB, le taux de refus moyen s'élève à 5,6 % pour les candidats blancs contre 16,2 % pour les candidats noirs — soit un écart de 10,6 points. L'écart observé chez Navy Federal était près de trois fois supérieur. Si vos indicateurs dépassent les moyennes nationales, les régulateurs le remarqueront immédiatement.

Votre conseil d'administration, votre direction juridique et vos autorités de tutelle poseront tous la même question : êtes-vous en mesure d'expliquer comment votre IA prend ses décisions d'octroi de crédit ? Si vous ne pouvez y répondre clairement, vous encourez le même niveau de risque auquel sont aujourd'hui confrontées Earnest et Navy Federal.

Ce qui se passe réellement sous le capot

La plupart des outils d'IA d'octroi de crédit actuels sont ce que le secteur nomme des « wrappers » (surcouches). Cela revient à apposer une nouvelle étiquette sur un produit générique. Ces systèmes récupèrent vos données, les transmettent à un grand modèle de langage (LLM) généraliste comme GPT-4 ou Gemini, puis restituent un résultat. Ils paraissent sophistiqués. Sous le capot, ils sont dépourvus des règles métier propres au secteur, des couches de transparence et du raisonnement causal qu'exigent les régulateurs financiers.

Voici l'incompatibilité fondamentale : les services financiers exigent une logique déterministe — les mêmes entrées doivent systématiquement produire la même sortie. En revanche, les LLM sont probabilistes. Ils prédisent le mot suivant dans une séquence. Ils n'extraient pas des faits vérifiés et n'effectuent pas de calculs actuariels. Dans un contexte de souscription de crédit, un LLM peut générer une « hallucination » — une justification fabriquée de refus de prêt qui paraît plausible mais ne s'appuie sur aucun élément du dossier financier effectif du candidat.

Ce risque n'a rien de théorique. Lorsque le chatbot d'Air Canada a inventé de toutes pièces une politique tarifaire pour cause de deuil qui n'existait pas, la compagnie aérienne a été tenue pour responsable. Le même principe juridique s'applique à vos décisions de crédit.

Les plateformes d'IA génériques manquent également de la contextualisation métier indispensable pour interpréter correctement les pièces de prêts hypothécaires, les déclarations de revenus et les relevés bancaires. Faute d'un entraînement ciblé sur le secteur, ces modèles interprètent mal la structure des revenus et les flux de trésorerie, ce qui conduit à rejeter à tort des emprunteurs pourtant parfaitement solvables. De plus, dans la mesure où les LLM sont entraînés sur de vastes volumes de textes en ligne imprégnés de préjugés historiques, ils peuvent associer certaines nationalités ou professions à un profil de solvabilité dégradé — même lorsque le dossier individuel d'un candidat est exemplaire.

Le plus grave : rien de tout cela n'apparaît lors d'un audit de surface. Le biais réside dans ce que les chercheurs désignent comme « l'espace latent » du modèle — cette couche dissimulée où se structurent les corrélations. Sans les outils appropriés, vous ne le décèlerez pas avant qu'un régulateur ou l'avocat d'un plaignant ne le mette en évidence.

Ce qui fonctionne (et ce qui ne fonctionne pas)

Examinons d'abord les démarches qui échouent à l'analyse :

• « Nous avons retiré la variable raciale du modèle. » Supprimer le champ relatif à la race ne supprime nullement les biais raciaux. Des variables de substitution (proxies) comme les taux de défaut des établissements scolaires, les codes postaux et les profils d'achat véhiculent le même signal discriminant. Earnest n'a jamais demandé leur race aux candidats, et s'est pourtant rendue coupable de discrimination.
• « Nous faisons appel à un fournisseur d'IA tiers reconnu. » Déléguer votre IA n'externalise en rien votre responsabilité juridique. Le CFPB tient le prêteur pour responsable, et non le prestataire. Si le modèle de votre fournisseur est incapable d'expliciter ses décisions, le manquement à la conformité vous incombe entièrement.
• « Notre équipe traite manuellement les cas limites. » Les dérogations humaines non structurées ne font qu'aggraver la situation. Les souscripteurs d'Earnest contournaient le modèle sans consigner leurs motifs, créant un dispositif hybride où coexistaient biais algorithmique et biais humain — sans qu'aucun des deux ne soit auditable.

Ce qui fonctionne, en revanche, c'est une architecture en couches qui segmente les différentes natures de décisions selon leurs impératifs propres :

1. Entrée : validation des données avant tout accès par l'IA. Chaque élément de donnée fait l'objet de vérifications portant sur l'exactitude, l'exhaustivité, la cohérence, la fraîcheur temporelle, la pertinence et la représentativité. Cela évite que des données polluées n'engendrent des résultats biaisés. Votre système doit maîtriser son lignage des données (data lineage) — c'est-à-dire l'origine exacte de chaque entrée et la manière dont elle a été traitée.

2. Traitement : le bon modèle pour la tâche appropriée. Les vérifications strictes de conformité — telles que les conditions de résidence — sont exécutées par des moteurs de règles déterministes qui fournissent systématiquement la même réponse. La notation de crédit structurée s'appuie sur des modèles interprétables comme les arbres de décision boostés par gradient (gradient-boosted decision trees). Les LLM ne prennent en charge que les tâches non structurées telles que l'analyse documentaire, et ils sont ancrés dans les dossiers réels des candidats via une méthode appelée génération augmentée par récupération (Retrieval-Augmented Generation ou RAG) — où l'on transmet à l'IA les documents sources authentiques au lieu de la laisser deviner.

3. Sortie : chaque décision s'accompagne d'une explication. Des outils d'explicabilité tels que SHAP (SHapley Additive exPlanations) — une méthode issue de la théorie des jeux qui attribue un score de contribution spécifique à chaque facteur d'entrée — génèrent des justifications directement auditables pour chaque décision défavorable. Mieux encore, le système formule des explications contrefactuelles : « Si votre utilisation du crédit était inférieure de 15 % ou si vos revenus étaient supérieurs de 5 000 $, ce prêt aurait été accordé. » C'est précisément ce niveau d'exigence et de détail qu'impose désormais le CFPB.

L'avantage de la piste d'audit est ce qui relie l'ensemble. Chaque dérogation humaine est enregistrée avec une justification obligatoire. Une surveillance continue trace à la fois la dérive du modèle (model drift) — lorsque les données entrantes s'écartent du jeu d'entraînement — et la dérive des biais, déclenchant des alertes en temps réel dès que votre ratio d'impact disparate tombe en deçà des seuils réglementaires acceptables. Votre équipe de conformité dispose d'un historique défendable, et non d'une boîte noire. Et lorsque les autorités de régulation viennent vous interroger, vous pouvez leur montrer avec exactitude comment chaque décision a été prise, vérifiée et documentée.

Le cadre de gestion des risques liés à l'IA du NIST (NIST AI Risk Management Framework 2.0) préconise désormais un « inventaire des composants d'IA » (AI Bill of Materials ou AI BOM) — un inventaire exhaustif de vos sources de données, modèles et composants tiers. Si vous êtes dans l'incapacité d'en fournir un aujourd'hui, votre établissement présente une lacune de gouvernance que les régulateurs recherchent tout particulièrement.