Une amende de 2,5 millions de dollars a révélé le vrai problème de l'IA dans le crédit — et ce n'est pas celui que vous croyez

J'étais assis dans mon bureau à domicile, un jeudi soir de juillet 2025, en train de parcourir le communiqué de presse du procureur général du Massachusetts au sujet d'Earnest Operations, quand j'ai ressenti quelque chose que je n'attendais pas : du soulagement.

Pas parce qu'un prêteur avait écopé d'une amende de 2,5 millions de dollars pour discrimination pilotée par l'IA envers des emprunteurs noirs et hispaniques. Cela, c'était révoltant. Le soulagement venait d'autre chose — de la précision des accusations. Le bureau du procureur général ne s'est pas contenté de dire « votre IA est biaisée ». Il a nommé la variable exacte. Il a retracé le mécanisme exact. Il a montré, dans un détail minutieux, comment une donnée apparemment neutre — le Cohort Default Rate de l'université d'un emprunteur — était devenue un canal de discrimination raciale inscrit dans le code.

Depuis des années, mon équipe chez Veriprajna et moi-même soutenons que la façon dont la plupart des fintechs déploient l'IA dans le crédit est architecturalement défaillante. Pas seulement éthiquement discutable — structurellement incapable d'équité. Le règlement Earnest a été la première action coercitive majeure à nous donner raison, dans le langage que les régulateurs emploient réellement.

Et ce ne sera pas la dernière.

La variable qui semblait innocente

Voici ce qu'a fait Earnest, et je veux que vous preniez le temps d'y réfléchir, parce que c'est plus subtil que « l'algorithme était raciste ».

Earnest a construit un modèle de refinancement de prêts étudiants propulsé par l'IA. L'une des entrées était le Cohort Default Rate, ou CDR — un indicateur qui mesure la fréquence à laquelle les diplômés d'un établissement donné font défaut sur leurs prêts fédéraux. Sur le papier, cela paraît raisonnable. Les établissements affichant des taux de défaut élevés produiraient des emprunteurs qui peinent à rembourser. Pourquoi ne pas en tenir compte ?

Parce que le CDR ne mesure pas la solvabilité individuelle. Il mesure des résultats institutionnels. Et ces résultats sont façonnés par des décennies de sous-financement systémique, d'écarts de patrimoine intergénérationnels et de ségrégation raciale dans l'enseignement supérieur. Les Historically Black Colleges and Universities affichent des CDR plus élevés non pas parce que leurs diplômés sont moins capables, mais parce que le système a donné à ces établissements — et à leurs étudiants — moins de moyens pour travailler.

Quand vous pénalisez un individu pour l'histoire statistique de son établissement, vous ne prédisez pas le risque. Vous le perpétuez.

Le procureur général du Massachusetts a allégué que le pouvoir prédictif du CDR ne provenait d'aucun signal relatif à l'emprunteur, mais de sa corrélation avec la race et la classe socio-économique. Un diplômé noir d'une HBCU au crédit irréprochable, aux revenus solides et sans le moindre paiement manqué obtiendrait un score inférieur à celui d'un diplômé blanc d'une université d'État bien financée — à cause de l'endroit où il avait étudié, et non de ce qu'il avait fait ensuite.

Je me souviens d'avoir sorti les documents du règlement et de les avoir lus à voix haute à ma cofondatrice au téléphone. « Ils avaient aussi des règles éliminatoires », lui ai-je dit. « Des barrières codées en dur qui refusaient automatiquement quiconque n'avait pas au moins une green card. » Il y a eu un long silence. « Le biais était donc dans l'architecture dès le départ », a-t-elle répondu. Oui. Dès la toute première ligne de l'arbre de décision.

Pourquoi personne ne l'a-t-il vu ?

C'est la partie qui m'a tenu éveillé cette nuit-là. Earnest avait des politiques internes. L'entreprise avait des exigences de supervision des modèles. Elle avait des processus de revue par la direction pour les exceptions.

Rien de tout cela n'a fonctionné.

L'enquête a révélé que les souscripteurs contournaient régulièrement le modèle ou appliquaient des critères arbitraires sans documentation. Le garde-fou de l'humain dans la boucle — la chose que toute entreprise d'IA invoque quand les régulateurs frappent à la porte — n'était que du théâtre. Il n'y avait aucune journalisation cohérente. Aucune revue indépendante. Aucune piste d'audit capable de vous dire pourquoi un contournement particulier avait eu lieu.

J'ai vu ce schéma tant de fois que nous lui avons donné un nom en interne : le cosplay de gouvernance. L'institution a toutes les bonnes politiques sur le papier. L'organigramme montre une équipe conformité. La présentation au conseil d'administration mentionne l'« IA responsable ». Mais quand on ouvre le capot, il n'existe aucun mécanisme reliant la politique au code. L'algorithme tourne dans un univers ; le cadre de gouvernance existe dans un autre.

L'affaire Earnest l'a rendu explicite. À la fois le biais algorithmique et le biais humain non surveillé coexistaient dans le même système, ce qui le rendait — comme je l'ai écrit dans notre analyse interactive de l'affaire — fondamentalement impossible à auditer et à défendre.

Que se passe-t-il quand l'écart atteint 29 points de pourcentage ?

Si Earnest était le cas au scalpel — précis, au niveau de la variable, traçable — alors Navy Federal Credit Union est la massue.

En 2022, Navy Federal, la plus grande credit union des États-Unis, a approuvé environ 77 % des demandeurs blancs de prêts hypothécaires conventionnels. Pour les demandeurs noirs ? 48,5 %. Soit un écart de près de 29 points de pourcentage — le plus large parmi les 50 principaux prêteurs hypothécaires du pays.

La défense de Navy Federal était prévisible : « Les données publiques HMDA n'incluent ni les scores de crédit ni les liquidités disponibles. On ne peut pas tirer de conclusions sans le tableau complet. » C'est la même défense vers laquelle se tourne chaque institution. Et elle aurait peut-être fonctionné il y a dix ans.

Elle n'a pas fonctionné cette fois-ci. Lorsque des chercheurs indépendants ont contrôlé plus d'une douzaine de variables — revenu, ratio d'endettement, valeur du bien, caractéristiques du quartier — les demandeurs noirs demeuraient plus de deux fois plus susceptibles d'être refusés que les demandeurs blancs au profil identique.

Je me souviens d'avoir présenté ces chiffres lors d'une conférence fintech l'an dernier. Un membre du public — un VP risques chez un prêteur de taille moyenne — a levé la main et a dit : « Mais il y a peut-être quelque chose dans les données que nous ne voyons pas. Un facteur légitime. » Je lui ai demandé : « Si votre modèle produit un écart racial de 29 points qui persiste après avoir contrôlé toutes les variables que vous pouvez nommer, à quel moment cessez-vous de chercher des explications innocentes pour commencer à regarder le modèle ? »

Il n'avait pas de réponse. La plupart du secteur non plus.

En mai 2024, un juge fédéral a statué que les plaintes pour impact disparate contre Navy Federal pouvaient passer à la phase de communication des pièces. Cela signifie que les plaignants pourront examiner la logique interne de l'algorithme de souscription de la credit union. L'époque du « notre modèle est propriétaire et trop complexe à expliquer » est révolue.

La disparité statistique suffit désormais à elle seule à survivre à une requête en rejet. La charge s'est déplacée : prouvez que votre processus est équitable, ou affrontez la communication des pièces.

Pourquoi les wrappers LLM échouent-ils systématiquement au test d'équité ?

C'est ici que je dois être franc sur une chose que beaucoup de gens dans l'IA n'ont pas envie d'entendre.

L'architecture dominante dans l'IA fintech aujourd'hui — ce que j'appelle le modèle « wrapper » — est structurellement incapable de satisfaire les normes réglementaires qui existent déjà, sans parler de celles qui arrivent en 2026.

Un wrapper prend vos données, les transmet à un grand modèle de langage tiers comme GPT-4 ou Gemini, et renvoie un résultat. C'est rapide à construire. Ça fait de superbes démos. Et c'est une bombe à retardement en matière de conformité.

Les LLM prédisent le token suivant dans une séquence. Ils ne récupèrent pas de faits. Ils n'effectuent pas de calculs actuariels. Ils ne raisonnent pas sur la causalité. Quand vous demandez à un LLM d'évaluer une demande de prêt, il génère un texte qui ressemble à une évaluation de crédit. Mais il peut fabriquer une justification de refus qui n'a aucun fondement dans le dossier réel du demandeur. Le secteur appelle cela une hallucination. Les régulateurs appellent cela une infraction.

Le CFPB a été sans ambiguïté : les créanciers doivent fournir des « motifs exacts et précis » pour les décisions défavorables. Vous ne pouvez pas dire à un demandeur refusé que « l'algorithme en a décidé ainsi », ni invoquer une catégorie vague comme l'« historique d'achats » quand le véritable déclencheur était une donnée non traditionnelle sur laquelle le modèle s'est fixé. « L'algorithme en a décidé ainsi » n'est pas une déclaration juridiquement défendable — le Bureau l'a dit explicitement.

Et il y a un problème plus profond. Les LLM sont entraînés sur Internet. Internet est saturé de biais historiques — raciaux, de genre, socio-économiques. Quand votre wrapper utilise un LLM pour « évaluer » l'historique professionnel ou le récit d'un emprunteur, le modèle peut appliquer les stéréotypes enfouis dans ses données d'entraînement. Certaines nationalités, certaines professions, certains codes postaux portent un poids invisible dans l'espace latent du modèle. Non pas parce que quelqu'un a programmé le biais. Parce que les données d'entraînement sont le biais.

Je me suis disputé à ce sujet avec un investisseur, au tout début. Il m'a dit : « Utilisez simplement GPT avec un bon prompt. Vous compliquez tout. » J'ai sorti une démo où nous faisions passer la même demande de prêt dans un wrapper avec deux versions — l'une avec un nom connoté comme blanc, l'autre avec un nom connoté comme noir. Les résultats n'étaient pas identiques. Le ton changeait. Le vocabulaire du risque changeait. Pas de façon spectaculaire. De façon subtile. Le genre de subtilité qui, à l'échelle de millions de décisions, produit un écart de 29 points.

Il a cessé d'argumenter.

Que signifie réellement « Deep AI » ?

J'emploie le terme « Deep AI » non pas comme un argument marketing — même si je comprends le scepticisme — mais comme une distinction technique par rapport à ce que construit la majeure partie du secteur.

Un système Deep AI pour le crédit n'appelle pas un modèle unique pour renvoyer une réponse. C'est une architecture multicouche où différents types d'intelligence traitent différents types de décisions, et où chaque couche est auditable.

Les moteurs de règles déterministes gèrent ce qui doit être correct à 100 % — exigences de résidence, seuils réglementaires, contrôles de conformité stricts. Ils ne sont pas probabilistes. C'est de la logique. Ils n'hallucinent pas.

Les modèles à gradient boosting comme XGBoost gèrent le scoring de crédit structuré — le type de données tabulaires où l'interprétabilité et la stabilité comptent davantage que l'aisance linguistique. Ces modèles sont ennuyeux. Ils sont aussi fiables, explicables et bien compris des régulateurs.

Les LLM affinés sont utilisés — mais uniquement pour ce dans quoi ils sont réellement bons : extraire des entités de documents non structurés, analyser des déclarations fiscales, lire des relevés bancaires. Et ils sont ancrés par Retrieval-Augmented Generation, ce qui signifie que le modèle ne peut référencer que les documents réels du demandeur, et non les associations vagues de ses données d'entraînement.

Au-dessus de tout cela se trouve une couche de surveillance continue qui suit la dérive des modèles, la dérive des biais et les taux d'hallucination en temps réel. Quand le Disparate Impact Ratio — le rapport entre les taux d'approbation des groupes protégés et des groupes témoins — passe sous le seuil de 0,8 (la règle des quatre cinquièmes que les régulateurs utilisent comme signal d'alerte), le système alerte avant même qu'une plainte humaine ne survienne.

Ce n'est pas une aspiration. Nous l'avons construit parce que l'alternative — le wrapper, la boîte noire, le cosplay de gouvernance — continue de produire des règlements comme celui d'Earnest et des procès comme celui de Navy Federal.

Comment intégrer concrètement l'équité par l'ingénierie dans un modèle ?

On me pose constamment cette question, et je crois qu'on s'attend à une réponse simple. Elle ne l'est pas. Mais elle n'a rien de mystérieux non plus.

L'ingénierie de l'équité consiste à appliquer des contraintes mathématiques à chaque étape du cycle de vie du modèle. Avant l'entraînement, vous examinez vos données à la recherche de lacunes de représentation et utilisez des techniques comme le suréchantillonnage synthétique pour équilibrer les groupes démographiques sous-représentés. Pendant l'entraînement, vous déployez le débiaisement adversarial — une technique où un modèle secondaire tente de prédire la race du demandeur à partir de la sortie du modèle principal. S'il y parvient, le modèle principal laisse fuiter des informations protégées, et vous le réentraînez jusqu'à ce que l'adversaire échoue.

Après l'entraînement, vous calibrez les seuils de décision pour garantir des chances égalisées — c'est-à-dire que le modèle soit aussi précis pour tous les groupes démographiques. Pas aussi indulgent. Aussi précis. Un modèle qui approuve tout le monde n'est pas équitable. Un modèle qui voit juste au même taux pour tout le monde, si.

Et puis il y a l'explicabilité. Chaque décision défavorable que notre système génère s'accompagne de valeurs SHAP — une méthode d'attribution mathématiquement rigoureuse qui vous dit exactement quelles variables ont motivé la décision, et dans quelle mesure. Nous générons des explications contrefactuelles en temps réel : « Si votre taux d'utilisation du crédit était inférieur de 15 %, ou votre revenu supérieur de 5 000 $, ce prêt aurait été approuvé. » Ce n'est pas une amabilité. Selon les orientations actuelles du CFPB, cela s'approche d'une obligation.

Une IA équitable n'est pas un modèle qui évite de dire quoi que ce soit d'offensant. C'est un système où chaque décision peut être décomposée, contestée et défendue avec des mathématiques.

Pour le détail technique complet de notre pipeline et de notre architecture d'ingénierie de l'équité, j'ai publié un article de recherche détaillé qui va plus loin que je ne peux le faire ici.

Les murs réglementaires se resserrent

Laissez-moi esquisser le paysage pour ceux qui croient avoir le temps.

Les orientations du CFPB de 2023 et 2025 sur les notifications de décision défavorable ont du mordant. SR 11-7 — la norme de gestion du risque de modèle de la Réserve fédérale — exige désormais une solidité conceptuelle documentée, une validation indépendante par des équipes sans lien avec le développement, et une analyse régulière des résultats. Le NIST AI Risk Management Framework 2.0, publié en 2025, a introduit la notion d'« AI Bill of Materials » — un inventaire complet de chaque source de données, de chaque modèle (y compris les API tierces) et de chaque interaction entre composants.

Ce ne sont pas des orientations que vous pouvez ignorer. Un juge fédéral vient d'autoriser la communication des pièces sur l'algorithme de Navy Federal. Le procureur général du Massachusetts ne s'est pas contenté d'infliger une amende à Earnest — il a exigé que l'entreprise refonde la gouvernance de ses modèles, mette en place une validation indépendante et se soumette à une surveillance continue.

Le message est clair : si vous ne pouvez pas expliquer votre modèle, vous ne pouvez pas le défendre. Et si vous ne pouvez pas le défendre, vous paierez — en règlements, en frais de contentieux, en atteinte à votre réputation, et en érosion de la confiance des communautés que vous prétendez servir.

Pourquoi la « recherche d'alternatives » est l'exigence à laquelle personne n'est prêt

Il y a un concept réglementaire qui, selon moi, remodèlera le secteur plus que tout autre, et dont presque personne ne parle.

Selon le droit actuel du crédit équitable, il ne suffit pas de démontrer que votre modèle est précis. Vous devez activement rechercher des alternatives moins discriminatoires — des modèles qui atteignent une performance prédictive comparable avec un écart de disparité plus faible. Si un plaignant peut démontrer qu'une telle alternative existait et que vous ne l'avez pas utilisée, votre modèle échoue au test juridique, quelle que soit sa précision.

Réfléchissez à ce que cela signifie sur le plan opérationnel. Vous ne pouvez pas vous contenter de construire un seul modèle, de le tester pour détecter les biais et de le mettre en production. Vous devez entraîner plusieurs configurations — jeux de variables différents, algorithmes différents, calibrages de seuils différents — et documenter pourquoi vous avez choisi celle que vous avez retenue. Il vous faut la preuve que vous avez cherché une option plus équitable et que vous l'avez soit trouvée (et adoptée), soit que vous avez prouvé qu'aucune alternative significativement moins discriminatoire n'existait.

Nous avons passé trois mois à construire notre pipeline de recherche d'alternatives moins discriminatoires (LDA). Trois mois durant lesquels mon équipe d'ingénierie n'a cessé de demander : « Est-ce qu'on se prend trop la tête ? » Et puis le règlement Earnest est tombé, et le bureau du procureur général a expressément cité le manquement de l'entreprise à rechercher des alternatives. Nous ne nous prenions pas trop la tête. C'est le secteur qui ne se la prenait pas assez.

La leçon d'Earnest que la plupart des gens ratent

Je veux conclure sur quelque chose qui me travaille depuis juillet.

L'essentiel des commentaires sur le règlement Earnest s'est concentré sur la variable CDR. Et oui, c'était le titre. Mais l'échec plus profond n'était pas une mauvaise variable. C'était l'absence d'une architecture qui aurait intercepté la mauvaise variable avant qu'elle n'atteigne la production.

Earnest n'avait pas de validation indépendante des modèles. L'entreprise n'avait pas de tests systématiques des variables de substitution. Elle n'avait pas de journalisation auditable des contournements humains. Elle n'avait pas de surveillance continue des biais. Elle avait un modèle, un document de politique, et entre les deux un écart assez large pour y faire passer un recours collectif.

Les 2,5 millions de dollars n'étaient pas le coût du biais. C'était le coût de construire de l'IA sans l'infrastructure permettant de savoir quand le biais existe.

C'est la distinction à laquelle je reviens sans cesse. La question n'est pas « votre IA est-elle biaisée ? » — tout modèle entraîné sur des données historiques porte les empreintes des inégalités historiques. La question est : avez-vous l'architecture nécessaire pour le détecter, le mesurer, l'expliquer et le corriger avant qu'un régulateur ne le fasse à votre place ?

La plupart des prêteurs, s'ils sont honnêtes, répondraient non.

Nous avons créé Veriprajna parce que nous croyons que la réponse doit être oui — non pas comme une aspiration, mais comme une propriété structurelle du système lui-même. L'équité n'est pas une fonctionnalité que l'on ajoute après le lancement. C'est un mur porteur. Retirez-le, et tout l'édifice s'écroule.

La première vague de l'IA dans le crédit a été définie par la vitesse et l'échelle. La seconde sera définie par la capacité de votre système à survivre à une citation à comparaître. Je sais pour laquelle je construis.