Une recommandation de prêt par IA exige une règle de validation distincte

Une recommandation de prêt peut sembler raisonnable tout en contredisant la politique qu’elle est censée suivre. Je veux que la décision de publier cette recommandation repose sur un fondement vérifiable distinct. Si l’explication et l’autorisation d’agir proviennent de la même réponse, un réviseur doit démêler les deux avant de pouvoir décider de ce qui peut être validé.

La question de conception est de savoir ce qui doit se passer lorsqu’une recommandation de l’IA échoue à un contrôle. Demander au modèle de réessayer peut réparer une réponse incomplète. Retenir la recommandation peut s’avérer nécessaire lorsqu’elle enfreint une règle. Ce sont deux interventions différentes, aux coûts distincts. Une frontière utile rend cette différence visible avant que l’une ou l’autre ne devienne une habitude automatique.

Une explication raisonnable peut appuyer un résultat erroné

Dans The Validation Firewall de Veriprajna, une sortie de modèle conservée recommande l’approbation d’un demandeur de prêt synthétique dont le score de crédit est de 559. La politique configurée exige au moins 620. La recommandation échoue également aux critères de ratio dette/revenu, de ratio prêt/valeur et de défauts de paiement récents fixés par la politique.

Il s’agit de réponses de modèle mises en cache sur des dossiers synthétiques, rejouées à travers les contrôles sans nouvelle inférence. Elles illustrent le comportement de cet exemple, et non un benchmark de précision du modèle ni des données probantes issues des clients d’un prêteur. Le flux de travail d’emprunt et l’acheminement sont simulés.

L’explication est instructive. Elle indique que la politique fournie ne transmet pas les clés de motifs principaux autorisés nécessaires pour motiver un refus. Cela révèle une véritable limite du contrat d’entrée : le prompt du modèle dans la démo fournit les critères de crédit mais omet la liste des motifs autorisés qu’il ordonne au modèle d’utiliser. La réponse du modèle mérite d’être comprise dans ce contexte. Elle ne constitue pas une base équitable pour classer les modèles.

Elle ne rend pas non plus l’approbation cohérente avec les critères de crédit encodés. L’absence d’instructions pour expliquer un refus ne modifie ni le score de crédit du demandeur ni le seuil minimal de la politique. Une réponse peut identifier un problème tout en recommandant un résultat qui contrevient à une autre exigence.

Je préfère ici une évaluation de politique distincte car elle préserve cette distinction. Le modèle peut expliquer pourquoi sa tâche était difficile. Le contrôle peut montrer pourquoi cette recommandation ne satisfait pas la règle fournie. Un réviseur peut inspecter les deux sans considérer une explication persuasive comme une autorisation de modifier la règle.

Cette séparation rend également la correction plus précise. Améliorer la liste des motifs dans le prompt ajuste le contrat de réponse. Modifier un seuil de politique est une décision différente qui exige sa propre justification. Demander sans cesse une explication plus convaincante ne permet pas d’établir quelle politique doit s’appliquer.

La nouvelle tentative et la révision résolvent des problèmes différents

Considérez un flux de production hypothétique appliquant ce schéma. Une réponse de refus arrive sans le motif structuré requis. Une option consiste à demander une réponse corrigée en fournissant les instructions manquantes. Une autre est de l’envoyer directement à un réviseur. La première peut convenir pour un problème de formatage ou d’entrée réparable ; la seconde réserve l’attention humaine aux cas où la décision sous-jacente requiert un jugement clinique.

Je privilégie une nouvelle tentative encadrée lorsque le défaut est précis, que l’entrée peut être corrigée et que la réponse de remplacement sera soumise aux mêmes contrôles. La réponse initiale doit rester consultable aux côtés de celle qui la remplace. Sinon, une réponse ultérieure irréprochable peut masquer l’échec du contrat d’origine. Il s’agit d’une recommandation de conception, non d’une capacité de nouvelle tentative ou de conservation de versions démontrée par ce prototype.

L’approbation qui enfreint la politique appelle un traitement différent. Une nouvelle tentative peut produire une recommandation conforme, mais l’approbation initiale doit rester bloquée. La condition de validation doit se référer à un résultat fraîchement vérifié. Elle ne saurait être : « le modèle a répondu deux fois » ou « l’explication semble meilleure à présent ». Si le dossier exige une dérogation à la règle, une procédure d’exception formelle doit apporter cette autorité.

Ce choix a un coût. Tout bloquer pour une révision humaine sature la capacité des réviseurs et retarde des dossiers qu’une entrée corrigée pourrait résoudre. Réessayer à chaque échec consomme du calcul et risque d’engendrer une succession d’alternatives plausibles sans trancher la règle directrice. La ligne de démarcation utile consiste à déterminer si le défaut peut être corrigé dans le cadre du contrat de décision existant ou s’il exige que quelqu’un modifie ce contrat.

Les résultats effectifs du prototype sont plus resserrés. Un contrôle échoué de gravité bloquante produit BLOCK. Un échec de gravité escalade produit ESCALATE si aucun blocage n’est prioritaire. Réussir les quatre contrôles individuels produit AUTO-CLEAR. Ces libellés enregistrent le résultat de la barrière configurée. Ils ne démontrent ni une révision humaine achevée ni l’autorisation de publier une décision d’octroi de crédit en production.

Un contrôle validé exige une déclaration de couverture

La difficulté suivante concerne ce qu’un résultat validé peut raisonnablement signifier. Un contrôle externe peut être déterministe tout en laissant des questions capitales sans réponse. La rigueur de la règle ne garantit pas l’exhaustivité de sa couverture.

Par exemple, cette démo compare les entrées de preuves valeur-champ fournies avec une recommandation au dossier synthétique. C’est précieux lorsqu’une valeur citée est fausse. Cependant, une liste de preuves vide valide ce contrôle. Elle n’inspecte pas chaque assertion de l’explication et ne garantit pas que chaque champ nécessaire a été cité.

Je souhaite donc qu’une règle de validation déclare à la fois le prédicat qu’elle évalue et les preuves qu’elle exige. Dans un flux hypothétique où une décision doit obligatoirement reposer sur un revenu vérifié, l’absence de mention du revenu exige un traitement explicite. Le concepteur pourrait exiger le champ avant validation, orienter les preuves manquantes vers un réviseur, ou restreindre la portée de la tâche afin que la recommandation n’ait aucune autorité sur cette décision. Un simple contrôle de cohérence ne peut choisir entre ces politiques.

Exiger davantage de preuves implique son propre arbitrage. Cela peut rendre les omissions visibles, mais alourdit aussi le contrat de réponse et la charge de maintenance. Les preuves exigées doivent découler des conséquences de la décision. Demander tous les champs existants crée du bruit ; ne demander que ce que le modèle veut bien fournir laisse à ce dernier la maîtrise de la couverture du contrôle.

AUTO-CLEAR doit se lire avec ce périmètre précis. Cela signifie que les contrôles individuels mis en œuvre ont réussi, et cela peut s’appliquer à un refus appuyé par la politique aussi bien qu’à une approbation. Cela n’établit pas qu’un prêt doive être accordé, que chaque fait soit exact ou que toutes les obligations légales aient été respectées.

Une validation globale ne peut résoudre un échec individuel

Le même lot de modèles conservé offre un test révélateur pour l’interprétation des tableaux de bord. Chacun de ses deux groupes synthétiques compte cinq approbations prévues sur six dossiers. Leur ratio de taux d’approbation prévu est de 1.00, de sorte que le filtrage de portefeuille configuré est validé. Pourtant, l’approbation contraire à la politique reste bloquée au niveau individuel.

Il n’y a aucune contradiction. Le panneau de portefeuille compare des taux de groupe entre recommandations prévues. Le contrôle individuel compare une recommandation précise avec la politique configurée. L’un ne saurait se substituer à l’autre. Avec seulement six dossiers synthétiques par groupe, la validation agrégée ne peut pas non plus établir un traitement équitable ou un comportement fiable hors de cet exemple.

Je maintiens ces questions bien distinctes lors de la lecture d’un tableau de bord de validation. Un unique résumé vert invite les lecteurs à lui attribuer une portée bien plus large que ce que justifie le calcul sous-jacent. Un meilleur dossier de révision précise à quelle question chaque résultat répond, les dossiers inclus et les conditions non résolues. Le rapport explicatif de la démo montre comment ces constats individuels et le filtrage de portefeuille s’articulent côte à côte.

Voici ma présentation détaillée des exemples synthétiques et des constats de leurs contrôles distincts.

Pour une équipe choisissant l’emplacement d’une frontière de validation, mon critère est de savoir si un réviseur peut rattacher l’autorisation à une règle précise, aux preuves requises et à une étape suivante traçable. L’explication du modèle peut enrichir ce dossier. Elle ne doit en aucun cas acquérir le pouvoir d’assouplir une règle violée simplement en décrivant pourquoi il était difficile de la respecter.