Le tableau de bord vert a menti : ce que la validation de l'IA d'entreprise doit réellement tester
J'ai passé une bonne partie de ma carrière à être la personne dans la salle dont le rôle est de dire « non, ce modèle n'est pas encore validé ». Dans la banque, cette fonction porte un nom aride — la validation indépendante des modèles au titre de SR 11-7, les lignes directrices de la Réserve fédérale et de l'OCC qui encadrent le risque de modèle depuis 2011. Le travail est exactement aussi passionnant qu'il en a l'air. On lit l'annexe des limites que personne d'autre ne lit. On demande au fournisseur comment le modèle se comporte sur les cas qui ne figurent pas dans la démo. Et de temps à autre, on se retrouve devant un comité d'audit, face à un tableau de bord entièrement vert, d'un vert rassurant — chaque case cochée, chaque politique cartographiée, chaque statut de conformité au niveau attendu — tout en sachant, avec un serrement au cœur, que ce vert ne vous dit presque rien quant à savoir si la chose fonctionne réellement.
C'est de cet écart que traite tout cet essai, et c'est pourquoi nous avons bâti la pratique de validation de l'IA d'entreprise de Veriprajna autour d'une seule idée peu à la mode : il faut tester les réponses, pas le processus. Un tableau de bord de gouvernance certifie qu'une procédure a été suivie. Il ne certifie pas que votre IA a donné la bonne réponse pour cet assuré, ce prêt, cette loi. On confond constamment les deux en conseil d'administration, et cette confusion coûte cher.
Laissez-moi vous montrer à quel point.
Klarna a économisé 40 % — puis a perdu 99 millions de dollars
En 2024, Klarna a annoncé au monde que son assistant IA avait remplacé 700 agents du service client. L'assistant traitait environ les deux tiers des conversations dans 35 langues. Le coût par transaction est passé de 0,32 $ à 0,19 $ — environ 40 % — et les gros titres se sont écrits tout seuls. C'était l'avenir : plus léger, plus rapide, moins cher.
À la mi-2025, l'entreprise réaffectait des ingénieurs logiciels et des spécialistes du marketing pour armer les centres d'appels. Les scores de CSAT avaient chuté de 22 %. Les clients se heurtaient à ce que la presse a appelé une « boucle kafkaïenne » sur les cas difficiles — débits contestés, remboursements litigieux, clôtures de compte. Le premier trimestre 2025 de Klarna s'est soldé par une perte nette de 99 millions de dollars, contre 47 millions l'année précédente, malgré une croissance du chiffre d'affaires de 15 %. Le PDG a admis que l'automatisation à grande échelle avait « entraîné une baisse de la qualité de service ».
Voici la partie qu'il m'a fallu du temps à intégrer, et c'est l'inverse de la leçon que la plupart des gens en ont tirée. L'IA de Klarna fonctionnait. Elle a réellement permis d'économiser sur les réinitialisations de mot de passe et les questions de statut de commande. L'échec ne tenait pas à ce que l'IA soit mauvaise. L'échec, c'est que personne n'a validé si elle pouvait gérer les 20 % d'interactions qui portent l'essentiel du poids financier et réputationnel — les litiges, les cas limites, ce qui se transforme en attrition et en réclamations. Un filtre de toxicité aurait laissé passer chacune de ces conversations défaillantes. L'IA était polie pendant qu'elle échouait.
L'IA n'a rien dit d'offensant. Elle était simplement incapable de gérer un remboursement multidevise impliquant un vol annulé et un débit contesté — et c'était là les 20 % qui comptaient.
Klarna n'est pas une exception. C'est la version visible de quelque chose qui se produit discrètement dans chaque entreprise à laquelle je parle. Entre 70 % et 85 % des projets d'IA d'entreprise n'atteignent jamais la production — un chiffre auquel RAND, Gartner, BCG et McKinsey sont tous arrivés de façon indépendante. L'étude NANDA du MIT en 2025 a révélé que 95 % des pilotes d'IA n'avaient produit aucun impact mesurable sur le compte de résultat. McKinsey a rapporté que 42 % des entreprises avaient abandonné la plupart de leurs initiatives d'IA en 2025, contre 17 % l'année précédente. Les pilotes font de superbes démos. Ils meurent au contact des cas que la démo n'a jamais montrés.
Nous avons d'abord construit la mauvaise chose
Je veux être honnête sur la façon dont nous en sommes venus à tester les réponses plutôt que le processus, car nous n'y sommes pas parvenus par ingéniosité. Nous y sommes parvenus en livrant quelque chose qui ne fonctionnait pas et en le regardant échouer devant un client.
Notre première version d'une couche de validation de l'IA était, avec le recul, exactement ce que le marché vendait déjà. Nous avions assemblé un cadre de garde-fous respectable — modération de contenu, détection des données personnelles, contrôles anti-jailbreak — greffé une surveillance de la dérive et de l'équité, et présenté le tout sous forme d'une vue de conformité impeccable. Entrées analysées. Sorties analysées pour la toxicité et les fuites de données personnelles. Un tableau de bord qui passait au vert. J'en étais fier. Cela ressemblait à de la gouvernance.
Nous l'avons mis à l'épreuve dans un pilote au sein d'un flux de travail financier réglementé, et dès les premières semaines l'IA a produit une réponse qui était assurée, bien formatée, exempte de toute toxicité, sans aucune fuite de données personnelles — et tout simplement fausse au regard d'une règle métier. Notre système l'a laissée passer. Chaque contrôle que nous avions construit était au vert. L'erreur se trouvait dans le fond de la réponse, à un endroit qu'aucun de nos garde-fous ne surveillait, parce qu'aucun d'eux ne comprenait le domaine assez bien pour savoir que la réponse était fausse.
C'est ce mois-là que j'ai cessé de croire à la catégorie dans laquelle nous nous étions inscrits. J'avais passé des années en validation de modèles à le savoir dans le contexte bancaire, et j'avais tout de même construit un outil qui commettait l'erreur même que j'avais passé ma carrière à débusquer. La sécurité n'est pas l'exactitude. La sûreté n'est pas l'exactitude. Un tableau de bord vert n'est pas l'exactitude.
Une IA protégée contre l'injection de requête peut tout de même mal calculer une provision, citer une loi abrogée ou approuver un prêt qui enfreint les règles de prêt équitable. La sûreté et l'exactitude sont des problèmes différents, et presque personne ne teste le second.
Pourquoi les outils dont vous avez entendu parler s'arrêtent-ils là où ils s'arrêtent ?
Il existe désormais un véritable marché d'outils d'IA, bien financé, croissant à un taux annuel composé d'environ 45 %, et je ne veux pas lui faire de tort. La plupart de ces produits font bien le travail qui est le leur. Le problème, c'est que leur véritable travail n'est pas celui que la plupart des acheteurs croient acheter.
Les plateformes de gouvernance — Credo AI, watsonx.governance d'IBM, ModelOp — cartographient vos initiatives d'IA par rapport aux cadres réglementaires et suivent le statut de conformité. Credo AI a été classée n° 6 en IA appliquée sur la liste 2026 de Fast Company, aux côtés de Google, Nvidia et Anthropic ; c'est un travail sérieux. Mais la conformité aux politiques n'est pas l'exactitude des sorties. Un tableau de bord de conformité au vert signifie que la paperasse est en règle, pas que l'IA donne les bonnes réponses pour votre cas d'usage spécifique.
Les outils de surveillance — Arthur, Galileo, Arize — observent en temps réel des métriques au niveau du modèle : dérive, équité, latence, distributions de tokens. Utile. Mais ils surveillent le comportement agrégé du modèle, non pas si un calcul d'assurance précis est correct compte tenu des conditions de couverture d'un assuré donné. Les outils de sécurité vont une couche plus loin — Cisco a payé environ 400 millions de dollars pour Robust Intelligence en octobre 2024 et l'a intégré à Cisco AI Defense, en faisant correspondre les détections à OWASP et MITRE ATLAS. C'est nécessaire. Il s'agit là encore de savoir si le modèle peut être attaqué, pas s'il a raison.
Il y a ensuite les cadres de garde-fous, NeMo Guardrails de NVIDIA et consorts, qui excellent dans la modération de contenu, la détection des données personnelles et le filtrage thématique — et dont NVIDIA elle-même prend soin de préciser qu'ils ne peuvent pas tout attraper, car les mécanismes d'autocontrôle dépendent des modèles mêmes qu'ils sont censés surveiller. Et il y a les Big Four, qui vous vendront une stratégie de gouvernance pour un montant compris entre 500 000 et 5 millions de dollars sur 6 à 18 mois et vous remettront un PowerPoint et une liste restreinte de fournisseurs à la fin — un cadre, pas un système opérationnel qui vous dit que votre IA a tort un mardi.
Chacun d'eux a une colonne où son utilité s'arrête. Empilez-les tous et vous aurez couvert la politique, la sécurité, la dérive et la sûreté du contenu. Vous n'avez toujours pas répondu à la question qui détermine réellement si le déploiement vit ou meurt : la réponse est-elle correcte pour ce cas ?
Le problème des 69 %
Si vous voulez le chiffre qui a rendu tout cela concret pour moi, le voici. Sur les tâches de diligence raisonnable juridique, des tests indépendants ont situé les taux d'erreur de l'IA entre 69 % et 88 % — bien au-dessus de ce que suggèrent les tests de référence des fournisseurs. Prenez le temps d'y réfléchir. Pas 6,9 %. Soixante-neuf à quatre-vingt-huit.
Et ce ne sont pas des erreurs qu'un garde-fou attrape, car elles ne sont ni offensantes ni non sécurisées. Elles sont fausses de la manière que seule une personne connaissant le domaine peut déceler. Fin 2025, on comptait plus de 729 incidents documentés d'hallucinations d'IA dans des dépôts judiciaires — contre 280 l'année précédente. Les tribunaux ont commencé à sanctionner. Dans une affaire, Doiban c. OLCC, la sanction s'est élevée à 500 $ pour chacune des 15 citations inventées, plus 1 000 $ pour le temps passé par l'avocat de la partie adverse à traquer des affaires fantômes qui n'existaient pas. L'un des plus grands cabinets d'avocats américains a enregistré trois incidents distincts d'hallucination en six mois.
Ce sont des professionnels, qui vérifient leur travail, dans un domaine où avoir tort a des conséquences — et l'IA a tout de même fabriqué de la jurisprudence de façon assez convaincante pour se retrouver dans un dépôt judiciaire. Voilà la texture de l'échec. Elle est fluide, plausible et fausse, et elle réside précisément dans la connaissance du domaine que la surveillance générique n'a aucun moyen d'évaluer.
Que validez-vous quand le fournisseur refuse d'ouvrir la boîte ?
Dans les secteurs réglementés, cela cesse d'être un problème d'ingénierie intéressant pour devenir un problème juridique. Si un modèle influence la souscription, le provisionnement ou le capital, SR 11-7 dans la banque américaine — et le pilier 2 de Solvabilité II pour les assureurs européens — exige qu'il soit validé de manière indépendante, documenté et surveillé en continu. Cette obligation s'applique désormais aussi aux grands modèles de langage ; un régulateur se moque que votre modèle se trouve être un LLM.
Et voici l'impasse à laquelle je me heurtais sans cesse. La validation SR 11-7 repose traditionnellement sur la compréhension du modèle — ses hypothèses, ses rouages internes, ses limites. Mais les fournisseurs de LLM ne vous diront pas comment le modèle fonctionne. J'ai l'e-mail dans mes archives, formulé de diverses manières : nous ne pouvons pas divulguer les rouages internes du modèle. Vous êtes légalement tenu de valider quelque chose que le fournisseur refuse d'ouvrir.
La seule issue à cette impasse est de cesser d'essayer d'inspecter les poids et de commencer à évaluer les sorties par rapport à la vérité terrain du domaine. Vous constituez un ensemble de cas dont vous connaissez la bonne réponse — la manière dont une provision pour sinistres à développement long doit être établie lorsque la sous-limite d'une police et une exclusion de garantie interagissent, ce que signifie une loi abrogée, comment s'applique une règle de prêt équitable — et vous testez si l'IA les traite correctement, à grande échelle, en continu, chaque fois que le modèle est mis à jour ou réajusté. Vous validez le comportement que vous pouvez voir, parce que c'est de toute façon le comportement dont font l'expérience le régulateur et le client. C'est le cœur de ce que nous construisons désormais, et c'est la seule approche qui fonctionne, que le fournisseur ouvre la boîte ou non.
Quand vous ne pouvez pas voir à l'intérieur du modèle, la couche de sortie est le seul endroit honnête où il reste à valider — et, commodément, c'est la seule couche que votre client et votre régulateur touchent réellement.
Pourquoi « il suffit d'acheter une plateforme » a cessé d'être la réponse
Une révolte silencieuse est en cours dans la manière dont les entreprises construisent l'IA, et elle touche directement à la validation. Le rapport 2026 de Retool sur le « construire ou acheter » a révélé que 35 % des équipes ont déjà remplacé au moins un outil SaaS par une solution développée sur mesure, et que 78 % prévoient d'en construire davantage. Les solutions sur mesure, alignées sur une logique métier spécifique, affichent un rendement 3 à 5 fois supérieur à celui des enveloppes génériques — en partie parce qu'environ 65 % du coût d'un logiciel survient après le déploiement, dans l'intégration, la maintenance et tout ce que l'enveloppe ne faisait pas tout à fait.
Mais il y a un piège que le camp du « construisez-le vous-même » passe sous silence. Construire une validation sur mesure correctement exige des équipes d'infrastructure ML dont la plupart des entreprises ne disposent pas. Le paysage réel n'est donc pas enveloppe contre sur-mesure. Il s'agit de trois options : une enveloppe générique qui ne comprend pas votre domaine, un projet à faire soi-même pour lequel vous n'avez pas les effectifs, ou des systèmes d'experts du domaine construits pour votre secteur spécifique par des gens qui ont déjà réalisé ce travail de validation. Cette troisième option est l'espace que nous avons décidé d'occuper. Pas un tableau de bord sous licence. Pas une plateforme à doter en personnel. Une couche de validation construite autour de la vérité réelle de votre domaine.
« L'outil de gouvernance que nous avons déjà acheté ne couvre-t-il pas cela ? »
On me pose une version de cette question en permanence, généralement avec une note d'espoir, parce que le budget a déjà été dépensé. La réponse honnête, c'est que votre outil de gouvernance couvre la gouvernance — et la gouvernance est véritablement nécessaire. Gardez-le. Il ne valide simplement pas l'exactitude, et il n'a jamais été conçu pour cela.
La deuxième chose qu'ils demandent concerne l'IA qu'ils ne peuvent pas voir — l'IA fantôme. Celle-ci empêche les responsables des risques de dormir, et les chiffres leur donnent raison : 78 % des employés utilisent des outils d'IA que leur employeur n'a pas fournis, et 77 % d'entre eux ont introduit des informations sensibles ou propriétaires dans ces outils. Samsung et Amazon ont tous deux découvert leur propre code propriétaire présent dans des services d'IA publics. La violation moyenne liée à l'IA fantôme coûte 4,63 millions de dollars. La formulation même de Gartner est la plus inconfortable — la grande majorité de l'activité d'IA non autorisée provient de violations de politiques internes, de partages excessifs et de mésusages, non d'attaquants externes. Votre plateforme de gouvernance ne peut pas gouverner ce qu'elle ne voit pas, et la validation doit commencer par découvrir ce qui tourne réellement.
La troisième question est celle qui arrive le plus vite. Gartner prévoit que 40 % des applications d'entreprise intégreront des agents d'IA autonomes d'ici la fin 2026 — des agents qui ne se contentent pas de répondre, ils agissent : modifier des bases de données, exécuter des transactions, envoyer des communications aux clients. Seul un tiers environ des organisations font état d'une gouvernance mature pour tout cela. Lorsqu'un agent peut entreprendre une action irréversible, la question de la validation passe de « a-t-il dit la bonne chose » à « a-t-il fait la bonne chose », et une mauvaise action que vous ne pouvez pas annuler est une catégorie de risque différente d'une phrase erronée. La surveillance conçue pour les chatbots n'a jamais été prévue pour cela.
Le tableau des sanctions que personne ne veut sur la diapositive du conseil
Je terminerai par le chiffre qui tend à clore le débat, parce qu'il rend le coût de ne pas valider lisible pour un directeur financier d'une manière que les taux d'erreur ne permettent pas.
À compter du 2 août 2026, la plupart des obligations restantes du règlement européen sur l'IA entrent en vigueur — les règles relatives aux systèmes à haut risque, les exigences de transparence au titre de l'article 50. La sanction pour pratiques interdites peut atteindre 35 millions d'euros ou 7 % du chiffre d'affaires mondial ; la non-conformité à haut risque, jusqu'à 15 millions d'euros ou 3 %. La Finlande est devenue le premier État membre doté de pouvoirs d'exécution pleinement opérationnels en janvier 2026. Ce n'est plus une note pour l'avenir. C'est une ligne budgétaire assortie d'une date.
Additionnez le reste de la facture pour avoir fait l'impasse sur la validation : 4,63 millions de dollars par violation liée à l'IA fantôme, plus d'un million de dollars par heure lors d'une panne d'IA majeure, 99 millions de dollars quand la qualité de service s'effondre discrètement, des sanctions à six chiffres par incident d'hallucination, et une amende de l'UE mesurée en points de chiffre d'affaires mondial. Face à tout cela, le coût de valider correctement votre IA — tester les réponses, par rapport à votre domaine, en continu — est une erreur d'arrondi. Pourtant, la plupart des entreprises traitent encore la validation comme une case à cocher une seule fois, non comme une discipline qu'elles exercent.
Le tableau de bord vert leur disait que tout allait bien. Le problème, c'est que le tableau de bord évaluait la mauvaise chose. Il vérifiait qu'ils avaient suivi le processus — la seule chose facile à auditer et sans risque à assumer, ce qui explique précisément pourquoi elle survit dans les présentations du conseil bien après avoir cessé de signifier quoi que ce soit. Il ne s'est jamais demandé une seule fois si la réponse était juste — et l'exactitude de la réponse était la seule chose qui importait au client, au régulateur et à la colonne des pertes. Si vous voulez voir comment nous testons cela à la place, nous avons décrit notre approche ici.
Je garde encore la liste de contrôle à quatre piliers de SR 11-7 là où je peux la voir, et le quatrième pilier est la surveillance — qui ne signifie quelque chose que si vous surveillez la bonne chose. Un tableau de bord qui évalue votre processus restera au vert pendant que votre IA rate discrètement le remboursement multidevise, la provision contestée, la loi abrogée. Celui de Klarna était vert lui aussi, jusqu'au trimestre où l'entreprise a perdu 99 millions de dollars. La validation qui vous protège réellement, c'est le travail ingrat que j'accomplis depuis toujours dans ma carrière : rassembler les cas dont vous connaissez déjà la bonne réponse, et vérifier — encore et encore, chaque fois que le modèle change — si la machine continue de les traiter correctement.
