L'amende de 400 000 $ qui devrait terrifier toutes les entreprises d'IA — et ce que je construis à la place

J'étais au téléphone avec un client bancaire potentiel lorsque la SEC a lancé les mesures coercitives contre Delphia et Global Predictions. 18 mars 2024. La responsable de la conformité du client a littéralement interrompu notre conversation pour lire le communiqué de presse à voix haute. Quand elle a terminé, il y a eu un long silence. Puis elle a dit : « Donc, en gros, la SEC vient de nous dire que tout ce que notre fournisseur d'IA actuel nous a promis est un procès en puissance. »

Elle n'avait pas tort. La SEC venait d'infliger à deux sociétés de conseil en investissement des amendes cumulées de 400 000 $ pour ce que les régulateurs ont officiellement baptisé AI washing — le fait de formuler des affirmations fausses et trompeuses au sujet de leur utilisation de l'intelligence artificielle. L'une de ces sociétés, Delphia, affirmait à ses clients depuis 2019 qu'elle utilisait l'apprentissage automatique pour analyser leurs habitudes de dépenses et leur activité sur les réseaux sociaux afin de « prédire quelles entreprises et quelles tendances sont sur le point de percer ». La réalité ? Elle n'avait jamais intégré la moindre de ces données à son processus d'investissement. Pas une seule fois. Elle commercialisait une capacité qui, littéralement, n'existait pas.

Cet appel téléphonique a changé la trajectoire de mon entreprise. Non pas parce que ces mesures coercitives m'ont surpris — j'observais depuis des mois cette collision entre le battage médiatique autour de l'IA et la réalité réglementaire. Ce qui a changé, c'est l'urgence. Soudain, chaque banque, chaque système de santé, chaque cabinet d'avocats à qui je parlais ne demandait plus « comment adopter l'IA ? ». Ils demandaient « comment prouver que notre IA fait réellement ce que nous disons qu'elle fait ? »

Cette question — comment concevoir une vérité prouvable au sein d'un système d'IA — est celle à laquelle je m'efforce obsessionnellement de répondre depuis.

Qu'est-ce que l'AI washing, exactement, et pourquoi devriez-vous vous en soucier ?

Pensez au greenwashing, mais appliqué aux algorithmes. Une entreprise appose « propulsé par l'IA » sur ses supports marketing, regarde son cours de bourse grimper ou son portefeuille de clients se remplir, et personne ne se demande si la technologie sous-jacente fonctionne réellement comme annoncé. La SEC a emprunté le terme délibérément — les mécanismes de tromperie sont identiques.

Delphia affirmait utiliser un « modèle algorithmique prédictif » alimenté par l'apprentissage automatique. La SEC l'a examinée, lui a ordonné de cesser de mentir en 2021, et elle a continué de le faire pendant deux années supplémentaires. Cela lui a valu une pénalité de 225 000 $ et un blâme. Global Predictions, de son côté, se présentait comme « le premier conseiller financier IA réglementé » et promettait des « prévisions expertes pilotées par l'IA ». Lorsque les régulateurs ont demandé la documentation technique étayant ces affirmations, la société n'a pas pu la produire. 175 000 $ de plus envolés.

La SEC n'a pas eu besoin d'une nouvelle législation spécifique à l'IA pour poursuivre ces affaires. Elle a utilisé les mêmes lois anti-fraude qui existent depuis des décennies. Si vous mentez sur ce que fait votre technologie, vous commettez une fraude. La partie « IA » n'a aucune importance.

Voici ce qui distingue cette affaire d'une simple tape sur les doigts réglementaire : le président de la SEC, Gary Gensler, a clairement indiqué qu'il s'agissait du début, et non d'un cas isolé. Et la SEC n'est pas seule. La FTC a lancé « Operation AI Comply » et s'en est prise à DoNotPay — l'entreprise qui se présentait comme « le premier avocat robot au monde » — parce qu'elle ne pouvait pas étayer ses affirmations selon lesquelles son IA pouvait remplacer un avocat humain. Le ministère de la Justice a annoncé qu'il évaluerait la gestion des risques liés à l'IA dans le cadre des évaluations de conformité des entreprises et qu'il demanderait des sanctions plus lourdes pour les délits facilités par un usage abusif de l'IA.

Trois agences fédérales, toutes convergentes vers le même message : prouvez-le ou payez-le.

La nuit où j'ai compris que la plupart des IA d'entreprise reposent sur du sable

Je me souviens d'une soirée en particulier — mon équipe et moi évaluions un « outil de recherche juridique propulsé par l'IA » d'un concurrent, qu'un client envisageait d'adopter. Nous lui avons posé une question simple sur une décision récente d'une cour d'appel fédérale. L'outil a renvoyé une réponse magnifiquement mise en forme, avec trois citations de jurisprudence. Ton assuré. Langage professionnel. Un seul problème : l'une des citations était entièrement fabriquée. L'affaire n'existait pas. Les deux autres existaient, mais disaient l'inverse de ce que l'outil prétendait.

Mon cofondateur m'a regardé et m'a dit : « Ce truc écrit comme un avocat et raisonne comme un perroquet. »

C'est là le problème technique de fond, et ce n'est pas un bug — c'est l'architecture. La plupart des grands modèles de langage fonctionnent par prédiction du token suivant. Ils calculent la probabilité du mot qui devrait venir ensuite, compte tenu de tout ce qui précède. Les mathématiques sont élégantes : une fonction softmax appliquée aux scores de sortie du modèle, qui sélectionne la continuation la plus probable. Mais « le plus probable » et « vrai » sont deux choses fondamentalement différentes. Le modèle n'a aucune notion interne de la vérité. Il n'a jamais lu un texte de loi et ne l'a jamais compris. Il a traité des milliards de tokens et appris quels mots ont tendance à apparaître à proximité d'autres mots.

Pour générer des textes marketing ou résumer des comptes rendus de réunion, cela convient. Pour dire à une banque si une transaction respecte la réglementation anti-blanchiment, ou pour dire à un médecin si une interaction médicamenteuse est dangereuse, « statistiquement plausible » est juridiquement identique à « faux ».

Dans les environnements réglementés, « globalement correct » n'est pas un niveau de qualité — c'est une catégorie de responsabilité juridique.

Et pourtant, la grande majorité des « solutions d'IA » vendues aujourd'hui aux entreprises sont ce que le secteur appelle par euphémisme des « wrappers ». On prend une API publique d'OpenAI ou d'Anthropic, on y ajoute un peu d'ingénierie de prompts et une interface utilisateur soignée, et on l'expédie. Le wrapper n'a aucun moyen de vérifier son propre raisonnement. Il ne peut pas prouver d'où viennent ses réponses. Il se contente de relayer ce que génère le modèle de base, hallucinations comprises.

J'ai écrit en détail sur ce problème dans la version interactive de notre recherche — l'écart entre ce que ces systèmes prétendent et ce qu'ils peuvent faire sur le plan architectural est vertigineux.

Pourquoi le RAG échoue-t-il pour les décisions à fort enjeu ?

Quand j'explique ce problème à des publics techniques, quelqu'un finit inévitablement par dire : « Mais et le RAG ? » La génération augmentée par récupération (Retrieval-Augmented Generation) — l'approche qui consiste à donner au modèle l'accès à une base de documents pour qu'il puisse chercher les informations au lieu de les inventer. C'est le pansement préféré du secteur.

Voici le problème. Le RAG vectoriel standard fonctionne en convertissant votre question et vos documents en représentations mathématiques (des vecteurs), puis en trouvant les documents les « plus proches » de votre question dans cet espace abstrait. C'est une recherche par similarité sémantique. Et pour de nombreuses applications, cela fonctionne raisonnablement bien.

Mais « raisonnablement bien » s'effondre dans les domaines où les relations entre les éléments d'information comptent autant que l'information elle-même. Prenez la recherche juridique. Une décision de justice ne fait pas qu'exister — elle cite d'autres décisions, en infirme certaines, en confirme d'autres, et opère au sein d'une hiérarchie juridictionnelle précise. Lorsque vous demandez à une IA juridique « ce précédent fait-il toujours jurisprudence ? », une recherche vectorielle peut faire remonter l'affaire parce que les mots correspondent. Mais elle n'a aucun moyen de vous dire que la décision a été infirmée par une juridiction supérieure six mois plus tard. Elle ne sait pas distinguer une citation d'un désaveu.

Mon équipe s'est disputée là-dessus pendant des semaines. Un ingénieur voulait continuer à améliorer notre récupération vectorielle — de meilleurs embeddings, de meilleures stratégies de découpage, un reclassement plus sophistiqué. Une autre insistait sur le fait que le problème n'était pas la qualité de la récupération, mais l'architecture de la récupération. Que tout le paradigme consistant à « trouver le document le plus proche » était erroné pour les domaines où les relations entre les documents portent le sens.

Elle avait raison. Et c'est cette discussion qui nous a poussés vers le GraphRAG.

Que se passe-t-il lorsque vous construisez une IA capable de prouver son raisonnement ?

Le GraphRAG — plus précisément ce que nous appelons le GraphRAG à citations imposées (Citation-Enforced GraphRAG) — remplace la recherche sémantique approximative par un graphe de connaissances structuré. Au lieu de vecteurs flottant dans un espace abstrait, vous construisez une carte explicite des connexions entre les informations. Dans un graphe de connaissances juridique, une décision de justice est un nœud. Sa relation avec d'autres décisions est une arête — CITE, INFIRME, CONFIRME, INTERPRÈTE. Les textes de loi sont reliés aux affaires qui les interprètent. Les hiérarchies juridictionnelles y sont encodées directement.

Lorsque l'IA génère une réponse, elle ne se contente pas de trouver un texte « similaire ». Elle parcourt des chemins vérifiés dans le graphe. Si elle affirme que l'affaire A étaye la proposition B, il doit exister un lien réel et auditable dans le graphe qui les relie. Nous utilisons un décodage contraint par le graphe pour empêcher physiquement le modèle de produire une citation qu'il ne peut pas vérifier. Le modèle ne peut littéralement pas halluciner une citation, parce que l'architecture ne le lui permet pas.

C'est ce que j'entends par IA déterministe. Pas « probablement juste ». Prouvablement fondée.

La différence entre le RAG vectoriel et le GraphRAG n'est pas une amélioration incrémentale — c'est la différence entre deviner quel livre est pertinent et lire réellement les notes de bas de page.

Nous associons cela à une orchestration multi-agents. Au lieu d'un seul modèle qui fait tout — recherche, vérification, rédaction — nous utilisons des agents spécialisés. Un agent de recherche récupère l'information brute. Un agent de vérification la recoupe avec le graphe de connaissances. Un agent rédacteur produit le résultat en n'utilisant que des faits vérifiés. Ces agents s'exécutent selon ce que nous appelons un schéma de réflexion cyclique (Cyclic Reflection Pattern), qui passe les brouillons en revue de manière itérative à la recherche d'hallucinations, avant qu'aucun humain n'en voie le résultat.

C'est plus lent qu'un wrapper. C'est plus coûteux à construire. Et c'est la seule architecture à laquelle je confierais une décision susceptible de finir devant un régulateur.

Le problème de souveraineté des données dont personne ne veut parler

Il y a une autre dimension à cette question que la conversation sur l'AI washing ignore le plus souvent : l'endroit où résident les données.

Un client du secteur de la santé m'a un jour demandé sans détour : « Si nous utilisons votre système, où vont nos données patients ? » Quand je lui ai répondu qu'elles ne quittaient jamais son infrastructure, il a paru soulagé. Puis il m'a dit que son fournisseur précédent — une entreprise d'IA bien connue — n'avait pas pu répondre clairement à cette question. Les données partaient vers le cloud du fournisseur, étaient traitées sur une infrastructure partagée, et les conditions d'utilisation du fournisseur l'autorisaient techniquement à les utiliser pour améliorer ses modèles.

Pour une entreprise qui traite des données régies par HIPAA, le RGPD ou le CCPA, ce n'est pas une zone grise. C'est une violation.

Nous déployons sur une infrastructure souveraine — entièrement auto-hébergée dans les locaux du client, ou au sein de son propre cloud privé (VPC), où les instances d'IA sont isolées de l'internet public. Cela exige un investissement initial plus important. Le client a besoin de GPU et d'une infrastructure spécialisée. Mais il obtient quelque chose qu'aucune API publique ne peut offrir : zéro fuite de données et une auditabilité complète. Chaque requête, chaque réponse, chaque version de modèle — le tout au sein de son cadre de gouvernance.

Pour l'architecture technique complète de la façon dont nous construisons cela — y compris le schéma du graphe de connaissances, le cadre d'orchestration multi-agents et notre approche du déploiement souverain — voir notre analyse technique approfondie.

Comment gouverner réellement l'IA sans se noyer dans la conformité ?

Je me suis assis dans des conseils d'administration où les dirigeants traitent la gouvernance de l'IA comme une case à cocher. On choisit un cadre, on remplit les formulaires, on passe à autre chose. Cette approche vous vaudra une amende.

Deux cadres se sont imposés comme les standards du secteur, et ils servent des objectifs différents. Le NIST AI Risk Management Framework est un guide tactique volontaire — il vous aide à identifier les risques, à les mesurer et à mettre en place des processus internes. Il est rapide à implémenter et excellent pour développer ce que j'appelle les « muscles du risque IA » au sein de votre organisation. Mais il repose sur l'auto-déclaration. Personne ne vérifie que vous avez réellement fait ce que vous avez dit.

ISO/IEC 42001 est la norme internationale certifiable. Un auditeur tiers examine votre système de management de l'IA, puis vous certifie — ou non. Cette certification compte lorsqu'un régulateur, un client ou un acquéreur demande : « prouvez que votre gouvernance de l'IA est réelle. »

Le bon calcul consiste à séquencer les deux : utiliser le NIST pour mettre en place rapidement des contrôles internes agiles, puis mettre en correspondance ces contrôles avec les exigences de l'ISO 42001 en vue d'une certification formelle. L'un vous donne de la vitesse, l'autre vous donne la preuve.

Et sous ces deux cadres émerge une exigence dont la plupart des entreprises n'ont même pas encore entendu parler : la nomenclature IA (AI Bill of Materials, AIBOM). Voyez cela comme une étiquette nutritionnelle pour votre système d'IA. C'est un enregistrement lisible par machine de tout ce qui a servi à le construire — jeux de données d'entraînement, modèles de base, bibliothèques tierces, dépendances d'infrastructure. Lorsqu'un auditeur demande « quelles données ont entraîné ce modèle ? » ou « quelle version de PyTorch tournait au moment où cette décision a été prise ? », l'AIBOM répond instantanément.

Nous générons automatiquement des AIBOM dans le cadre de notre pipeline de déploiement. Chaque version de modèle remonte aux versions exactes du code et des jeux de données. Ce n'est pas un travail glamour. Mais c'est ce qui fait la différence entre réussir un audit et s'échiner à reconstituer une documentation qui aurait dû exister dès le premier jour.

L'investisseur qui m'a dit de « simplement utiliser GPT »

Je dois raconter cette histoire, parce qu'elle capture exactement l'état d'esprit que la répression de l'AI washing vise à punir.

Au tout début de la vie de Veriprajna, je faisais un pitch à un investisseur. Je lui ai expliqué notre architecture — les graphes de connaissances, la vérification multi-agents, le modèle de déploiement souverain. Il a écouté poliment, puis a dit : « Pourquoi ne pas simplement encapsuler GPT-4, facturer moins cher et passer à l'échelle plus vite ? Personne n'ira auditer le backend. »

Je lui ai répondu que la SEC venait précisément d'infliger une amende à deux entreprises pour cette logique-là. Il a haussé les épaules.

Six mois plus tard, l'une des entreprises de son portefeuille — une fintech « propulsée par l'IA » — a reçu une demande d'information réglementaire au sujet de ses affirmations marketing. Elle n'a pas pu produire de documentation démontrant que son IA faisait réellement ce que son pitch deck prétendait. Aux dernières nouvelles, elle s'échinait à recruter des consultants en conformité à des tarifs d'urgence.

On me demande toujours si l'environnement répressif va s'assouplir — si une nouvelle administration ou un changement de priorités pourrait rendre l'AI washing moins risqué. Ma réponse honnête : cela n'a pas d'importance. La SEC a utilisé le droit anti-fraude existant. La FTC a utilisé l'article 5 du FTC Act, en vigueur depuis 1914. Les procureurs généraux des États disposent de leurs propres lois de protection des consommateurs. Même si les priorités fédérales en matière de répression changent, l'infrastructure juridique permettant de poursuivre la tromperie liée à l'IA est permanente et multicouche.

L'AI washing n'est pas une mode réglementaire. C'est de la fraude déguisée en blouse blanche, et tous les échelons de l'État disposent désormais des outils et de l'appétit nécessaires pour la poursuivre.

La question la plus importante est de savoir ce qu'il advient du marché. Lorsque des entreprises réussissent grâce à des capacités d'IA fabriquées de toutes pièces, elles faussent la concurrence et érodent la confiance dont les entreprises d'IA légitimes ont besoin pour opérer. Chaque wrapper vendu comme de l'« IA avancée » rend plus difficile, pour les entreprises qui font de la véritable ingénierie, d'expliquer pourquoi leurs solutions coûtent plus cher et prennent plus de temps à construire.

À quoi ressemble réellement un système d'IA digne de confiance ?

Si l'on met de côté les cadres et les acronymes, construire une IA capable de résister à l'examen réglementaire se résume à quatre choses.

Concevoir le déterminisme. Dépassez les sorties probabilistes pour aller vers des architectures — systèmes neuro-symboliques, graphes de connaissances, décodage contraint par le graphe — capables de prouver leur raisonnement. Si votre IA ne peut pas montrer son cheminement, elle n'est pas prête pour les environnements réglementés.

Architecturer la souveraineté. Déployez au sein d'une infrastructure que vous contrôlez. Si les données sensibles de votre client transitent par une infrastructure publique partagée, vous avez créé un risque de conformité qu'aucune ingénierie de prompts ne pourra corriger.

Standardiser la gouvernance. Adoptez des cadres certifiables. Tenez à jour des nomenclatures IA (AI Bills of Materials). Faites de la documentation un processus continu et automatisé, et non une course annuelle.

Valider en continu. Mettez en place du red-teaming adversarial, suivez les taux d'hallucination et les taux d'ancrage comme des KPI, et gardez des humains dans la boucle pour les décisions à fort enjeu. Le modèle qui était exact au moment du déploiement dérivera. Surveillez-le comme vous surveilleriez un algorithme de trading — parce que les conséquences d'une défaillance sont comparables.

Les 400 000 $ d'amendes de la SEC étaient une erreur d'arrondi pour le secteur financier. Le message derrière ces amendes, non. Nous sommes sortis de l'ère où l'on pouvait commercialiser des capacités d'IA que l'on ne possédait pas, déployer des boîtes noires dans des workflows réglementés et supposer que personne ne vérifierait. Chaque système d'IA d'entreprise fonctionne désormais sous une charge de la preuve implicite : pouvez-vous démontrer que cela fait ce que vous prétendez ?

J'ai fondé Veriprajna — le nom combine « Veri » (vérité) et « Prajna » (sagesse) — parce que je crois que la crise de crédibilité du secteur de l'IA est fondamentalement une crise d'architecture. Vous ne pouvez pas résoudre un problème de vérité avec un système qui n'a jamais été conçu pour se soucier de la vérité. Il faut l'y intégrer par l'ingénierie, depuis le graphe de connaissances jusqu'à chaque agent, chaque boucle de vérification, chaque décision de déploiement.

Les entreprises qui comprennent cela construiront une IA qui fonctionne réellement. Celles qui ne le comprennent pas continueront d'encapsuler des API, de rédiger des pitch decks impressionnants et d'espérer que personne ne regardera sous le capot. Les régulateurs regardent, maintenant. Et ils ne vont pas s'arrêter.