Le chiffre le plus dangereux de l'IA aujourd'hui, c'est 99,999 %

J'étais en visioconférence avec le DSI d'un hôpital l'an dernier lorsqu'il a affiché le pitch deck d'un fournisseur en partageant son écran. La diapositive sept comportait un seul chiffre, centré, en police 72 points : taux d'hallucination < 0,001 %. En dessous, en plus petit : « cliniquement validé ».

Il m'a regardé à travers la webcam et m'a dit : « Ashutosh, dois-je y croire ? »

Je lui ai répondu que je ne savais pas — mais que le chiffre lui-même devrait l'inquiéter, et non le rassurer. Un taux d'hallucination inférieur à un sur cent mille, pour un système qui résume des notes cliniques désordonnées, contradictoires, manuscrites et dictées, à travers des dizaines de spécialités ? Ce n'est pas une affirmation d'exactitude. C'est un tour de magie. Et d'après mon expérience, quand quelqu'un vous montre un tour de magie lors d'un rendez-vous commercial, vous feriez bien de vérifier vos poches ensuite.

Quelques mois plus tard, le procureur général du Texas a rendu cet instinct officiel. En septembre 2024, l'État a conclu un règlement historique avec Pieces Technologies, une entreprise d'IA de santé basée à Dallas, à propos de ce que le procureur qualifiait d'affirmations trompeuses sur l'exactitude — y compris ce fameux taux d'hallucination critique de 0,001 %. Ce fut la première action coercitive de ce type contre une entreprise d'IA générative dans le secteur de la santé, et elle n'a nécessité aucune nouvelle loi spécifique à l'IA. Juste la bonne vieille Texas Deceptive Trade Practices Act, la même loi utilisée pour poursuivre des concessionnaires automobiles véreux.

Ce règlement a changé ma façon de concevoir tout ce que nous construisons chez Veriprajna. Non pas parce que nous faisions quelque chose de mal, mais parce qu'il a cristallisé une idée que je peinais à formuler auprès des clients : le problème avec l'IA d'entreprise n'est pas que les modèles hallucinent. C'est que l'industrie a bâti toute une stratégie de mise sur le marché autour de la prétention qu'ils ne le font pas.

Que signifie réellement un taux d'hallucination de 0,001 % ?

Laissez-moi vous expliquer le calcul, car c'est là que le tour de magie s'effondre.

Les grands modèles de langage sont des systèmes probabilistes. Ils ne « savent » pas les choses comme une base de données les sait. Ils prédisent le mot suivant — ou plus précisément, le token suivant — à partir de motifs appris pendant l'entraînement. La probabilité de toute sortie générée est le produit des probabilités de chaque token individuel de la séquence. Chaque token est un minuscule pari, et la sortie finale est une longue chaîne de minuscules paris multipliés entre eux.

Or, affirmer un taux d'hallucination critique inférieur à 0,001 % signifie que moins de 1 sortie sur 100 000 contient une erreur suffisamment grave pour causer un préjudice clinique. Pour valider une telle affirmation avec la moindre confiance statistique, il faudrait un jeu de données de référence énorme et parfaitement annoté — des dizaines de milliers de résumés cliniques, chacun révisé par des experts du domaine qui s'accordent sur ce qui compte comme « critique ». Ce jeu de données n'existe pas. Ni pour Pieces Technologies, ni pour personne. Les notes cliniques sont trop idiosyncrasiques, trop spécifiques à chaque spécialité, trop dépendantes du style de chaque médecin et des antécédents du patient.

Quand quelqu'un revendique 99,999 % d'exactitude sur une tâche où même les experts humains ne s'accordent pas sur ce à quoi ressemble la « bonne réponse », il n'a pas résolu le problème. Il l'a évacué par définition.

L'enquête du procureur général du Texas a conclu que les métriques utilisées par Pieces étaient « probablement inexactes » et potentiellement trompeuses pour les hôpitaux déployant l'outil — parmi lesquels Houston Methodist, Parkland Hospital, Children's Health System of Texas et Texas Health Resources. Quatre grands systèmes hospitaliers. De vrais patients. De vraies notes cliniques résumées par un système dont les affirmations d'exactitude ne pouvaient résister à un examen réglementaire.

La nuit où j'ai cessé de faire confiance aux benchmarks

Je veux vous raconter un moment qui a reconfiguré ma pensée à ce sujet.

Nous menions une évaluation interne d'un pipeline de résumé clinique — pas pour un client, juste pour notre propre R&D. Mon équipe avait construit ce que nous pensions être un solide système fondé sur le RAG. La génération augmentée par récupération (retrieval-augmented generation), pour les non-initiés, est une technique où, au lieu de demander au modèle de répondre de mémoire, vous récupérez d'abord des documents pertinents dans une base de connaissances et les fournissez au modèle comme contexte. C'est censé ancrer la sortie dans des faits.

Nos métriques internes étaient excellentes. Des scores de fidélité supérieurs à 95 %. Une précision de récupération dans le haut des 90 %. Nous étions satisfaits. Puis l'une de nos ingénieures — Priya, qui a cette manie exaspérante d'avoir raison sur des choses que personne n'a envie d'entendre — a suggéré de procéder autrement. Au lieu de mesurer par rapport à notre propre jeu de test, elle a extrait cinquante vrais comptes rendus de sortie d'un jeu de données public et a fait réviser indépendamment les versions générées par l'IA par deux médecins.

Les résultats sont arrivés un jeudi soir. Je m'en souviens parce que je préparais le dîner et que mon téléphone a vibré avec un message Slack de Priya qui disait simplement : « Tu devrais regarder ça avant demain ».

Les médecins ont signalé des problèmes dans 23 résumés sur 50. Pas des erreurs catastrophiques dans la plupart des cas — un dosage de médicament repris d'une admission précédente au lieu de l'actuelle, un détail d'antécédent familial attribué au mauvais membre de la famille, une valeur de laboratoire correcte dans sa tendance mais erronée dans le chiffre. Mais en contexte clinique, « correct dans la tendance mais erroné dans le chiffre » peut faire la différence entre une sortie sans danger et une réhospitalisation.

Nos métriques automatisées étaient passées à côté de presque tout. Le système générait un texte linguistiquement fluide et sémantiquement similaire au matériau source — ce qui est exactement ce que les métriques mesuraient. Mais il ne générait pas un texte qui soit cliniquement sûr, ce qui était pourtant ce qui comptait vraiment.

C'est cette nuit-là que j'ai cessé de faire confiance aux benchmarks comme indicateur de la qualité. Et c'est pourquoi l'affaire Pieces m'a autant touché lorsqu'elle a éclaté. Je savais exactement comment une entreprise pouvait regarder ses propres chiffres, y croire sincèrement, et se tromper malgré tout de façon dangereuse.

Pourquoi le Texas a-t-il utilisé une loi de protection des consommateurs — et non une loi sur l'IA ?

C'est la partie qui devrait empêcher tout fournisseur d'IA de dormir.

Le procureur général du Texas n'a pas attendu que le Congrès adopte une réglementation sur l'IA. Il n'a invoqué aucune théorie juridique inédite. Il a utilisé la Texas Deceptive Trade Practices–Consumer Protection Act — une loi en vigueur depuis des décennies — et l'a appliquée aux affirmations d'exactitude de l'IA de la même manière qu'elle s'appliquerait à une entreprise mentant sur la consommation de carburant d'une voiture.

L'engagement de conformité volontaire (Assurance of Voluntary Compliance) qui en résulte enferme Pieces Technologies dans une période de cinq ans de transparence renforcée. L'entreprise doit désormais divulguer les définitions et les méthodes de calcul derrière toute métrique d'exactitude qu'elle met en avant. Elle doit informer ses clients des « usages nuisibles ou potentiellement nuisibles connus ou raisonnablement connaissables » de ses produits. Elle doit fournir une documentation sur ses données d'entraînement et ses types de modèles. Et elle doit répondre aux demandes d'information du bureau du procureur général dans un délai de 30 jours.

Ce n'est pas une simple tape sur les doigts. C'est un modèle à suivre.

La première grande action coercitive contre l'IA dans le secteur de la santé n'a nécessité aucune nouvelle législation. La loi existante de protection des consommateurs a suffi — et chaque État en possède une.

J'ai parlé à des équipes juridiques d'entreprise qui se croyaient à l'abri parce qu'« il n'y a pas encore de loi sur l'IA ». Cette hypothèse est fausse. Si vous formulez une affirmation sur la performance de votre système d'IA, et que cette affirmation est trompeuse, vous êtes déjà exposé en vertu du droit existant. Le règlement Pieces vient de le prouver.

J'ai écrit sur l'ensemble des implications réglementaires — y compris les obligations spécifiques prévues par le règlement — dans la version interactive de nos travaux de recherche. Si vous travaillez dans les achats, le juridique ou la conformité, cela mérite une lecture attentive.

Le problème des wrappers

Voici ce qui, selon moi, a réellement mal tourné, sur le plan architectural — et pourquoi cela dépasse largement le cas de Pieces Technologies.

La plupart des produits d'IA d'entreprise commercialisés aujourd'hui sont ce que l'industrie appelle des « wrappers ». Un wrapper prend l'entrée d'un utilisateur, l'envoie à l'API d'un modèle de fondation — GPT-4, Claude, Gemini — et affiche la réponse avec une mise en forme légère et peut-être quelques guardrails ajoutés à la va-vite. C'est rapide à construire, rapide à livrer et rapide à vendre. C'est aussi fondamentalement fragile.

Un wrapper ne comprend pas vos données. Il ne maintient pas le contexte à travers le dossier longitudinal d'un patient. Il ne sait pas que le Dr Ramirez en cardiologie rédige ses notes différemment du Dr Chen en oncologie. Il n'a pas accès au savoir institutionnel qu'une infirmière avec vingt ans d'expérience porte dans sa tête. Il se contente de prédire des tokens.

Je me suis un jour disputé avec un investisseur à ce sujet — une dispute animée. Il avait vu une démo d'un outil de documentation clinique fondé sur un wrapper et était convaincu qu'il était « suffisamment bon ». Ses mots exacts : « Ashutosh, utilise simplement GPT. Affine-le un peu. Livre-le. Le marché n'attendra pas. »

Je lui ai dit que le marché n'attendrait pas, mais que les régulateurs, eux, attendraient. Et les patients aussi. Et les procès aussi.

Il n'a pas investi. Je ne regrette pas cette conversation.

L'alternative — ce que nous construisons chez Veriprajna et ce vers quoi je pense que l'industrie doit évoluer — c'est l'intégration profonde. Cela signifie intégrer le modèle dans le véritable tissu de données de l'entreprise. Cela signifie utiliser le RAG non pas comme une fonctionnalité pour cocher une case, mais comme un authentique mécanisme d'ancrage, avec des pipelines de récupération ajustés au domaine précis. Cela signifie un fine-tuning sur des corpus spécifiques au domaine. Cela signifie une supervision humaine à plusieurs niveaux où les humains ont réellement l'autorité et le contexte nécessaires pour détecter les erreurs.

La recherche le confirme. Des études montrent que 65 % des développeurs signalent que l'IA « perd le contexte pertinent » lors de tâches complexes — et cela dans l'ingénierie logicielle, où l'enjeu est un build cassé, pas un patient cassé. Dans le secteur de la santé, la perte de contexte n'est pas un bug. C'est un événement de sécurité.

Ce qui fonctionne vraiment : l'IA adversariale et le problème des 3,7 heures

Je reconnaîtrai un mérite à Pieces Technologies : leur architecture incluait un module de détection adversariale. L'idée est solide — utiliser un second modèle d'IA pour surveiller le premier, en analysant les résumés générés à la recherche d'écarts avec les données cliniques source. Leur article technique montrait que le module adversarial était 7,5 fois plus efficace pour détecter les hallucinations cliniquement significatives que l'échantillonnage aléatoire.

C'est un résultat réel. Ce n'est pas non plus suffisant.

Voici pourquoi. Lorsque le module adversarial signalait une erreur, le résumé concerné était acheminé vers un médecin certifié pour révision. Le temps médian pour y remédier ? 3,7 heures. Pour une note de suivi classée à la fin d'un service, c'est peut-être acceptable. Pour un compte rendu de sortie qui détermine si un patient rentre chez lui aujourd'hui ou reste une nuit de plus, 3,7 heures représentent une éternité. Pour un outil d'aide à la décision clinique en temps réel — le genre que tout le monde se précipite pour construire — c'est inutile.

C'est ce que j'appelle le problème de la vitesse d'intervention, et c'est un problème que l'industrie n'a pas résolu. Vous pouvez construire le meilleur système de détection d'hallucinations au monde, mais si la boucle de correction est plus lente que le flux de travail clinique, c'est la sortie non corrigée que le médecin voit au moment décisif.

La détection sans correction opportune n'est qu'une documentation de l'échec.

Chez Veriprajna, nous avons commencé à réfléchir à cela par paliers. Tous les cas d'usage de l'IA ne comportent pas le même risque, et tous n'exigent pas la même rapidité d'intervention humaine. Planification administrative ? Auditez-la chaque semaine. Documentation clinique ? Révisez-la avant qu'elle n'atteigne le dossier. Aide à la décision en temps réel ? L'humain doit être dans la boucle avant que la sortie ne soit générée, et non après.

Le cadre AI Safety Level qui émerge dans le secteur de la santé cartographie bien cela — du niveau 1 (tâches administratives à faible impact) jusqu'au niveau 5 (interaction autonome avec le patient). La plupart des organisations avec lesquelles je discute déploient des outils de niveau 3 et 4 avec une supervision de niveau 1. C'est l'écart que les régulateurs vont continuer à combler.

Pourquoi seules 5 % des entreprises tirent-elles une réelle valeur de l'IA ?

Il existe une statistique issue de la recherche sur l'IA d'entreprise qui me hante : seules 5 % des entreprises tirent de l'IA une valeur commerciale mesurable à grande échelle. Pas 50 %. Pas 25 %. Cinq pour cent.

Les entreprises de ces 5 % partagent un schéma commun. Elles consacrent 70 % de leur effort de mise en œuvre à la transformation organisationnelle — refonte des flux de travail, redéfinition des rôles, changement de la façon dont les décisions sont prises. Vingt pour cent vont à la pile technologique. Dix pour cent vont à l'algorithme lui-même.

Tous les autres inversent ce ratio. Ils passent des mois à choisir le bon modèle, des semaines à construire le pipeline, et approximativement zéro temps à se demander si les humains en aval font réellement confiance à la sortie de l'IA, la comprennent, ou peuvent la superviser efficacement.

J'ai vu cela de mes propres yeux. Nous avons travaillé avec une équipe qui avait construit un système techniquement élégant — belle architecture, code propre, benchmarks impressionnants. Mais les cliniciens pour qui il avait été conçu ne l'utilisaient pas. Non pas parce qu'il était mauvais, mais parce que personne ne leur avait demandé ce dont ils avaient besoin. L'outil générait des résumés dans un format qui ne correspondait pas à leur flux de travail existant. Il faisait remonter des informations qu'ils connaissaient déjà et enfouissait celles dont ils avaient réellement besoin. C'était une solution à un problème défini par des ingénieurs, et non par les personnes qui faisaient le travail.

Nous avons passé trois semaines simplement à observer le personnel clinique travailler, avant d'écrire la moindre ligne de code pour la refonte. C'est ça, les 70 % qui comptent.

Pour la ventilation technique complète des cadres d'évaluation, des architectures de détection adversariale et des schémas de ROI qui séparent les 5 % des 95 %, consultez notre article de recherche détaillé.

Comment les entreprises devraient-elles réellement évaluer les affirmations d'exactitude de l'IA ?

On me pose constamment cette question, alors laissez-moi être direct.

Premièrement, exigez des définitions. Quand un fournisseur vous dit que son taux d'hallucination est de X %, demandez : qu'est-ce qui compte comme une hallucination ? Qui a annoté le jeu de test ? Quelle était sa taille ? A-t-il été évalué par des experts du domaine ou par un autre modèle d'IA ? S'ils ne peuvent pas répondre clairement à ces questions, le chiffre n'a aucun sens.

Deuxièmement, examinez le cadre d'évaluation. Le meilleur que j'aie vu pour la santé est Med-HALT — le Medical Domain Hallucination Test. Il ne se contente pas de mesurer si le modèle donne la bonne réponse. Il teste si le modèle peut résister à la tentation de donner une réponse assurément fausse. L'un de ses sous-tests, le False Confidence Test, présente au modèle une question accompagnée d'une « bonne » réponse suggérée qui est en réalité fausse, puis vérifie si le modèle s'y rallie. Un autre test, appelé « None of the Above » (Aucune de ces réponses), vérifie si le modèle peut reconnaître quand aucune des options proposées n'est correcte — une compétence essentielle, car en médecine, « je ne sais pas » est souvent la réponse la plus sûre.

Troisièmement, insistez pour obtenir ce que le cadre FAIR-AI appelle une « étiquette IA » — une divulgation standardisée qui indique à l'utilisateur final sur quelles données le modèle a été entraîné, quels sont ses modes de défaillance connus, et quelle version est actuellement déployée. Voyez cela comme une étiquette nutritionnelle pour l'IA. Si un fournisseur refuse de vous en fournir une, demandez-vous ce qu'il cache.

La question n'est pas « quelle est l'exactitude de votre IA ? ». C'est « comment le savez-vous — et pouvez-vous le prouver à un régulateur ? »

Le règlement a tout changé. La plupart des gens ne l'ont pas encore remarqué.

Voici ce qui, selon moi, va se produire au cours des deux prochaines années, et je le dis en tant que quelqu'un qui construit les systèmes qui seront soumis à ces règles.

Le règlement du Texas va être reproduit. D'autres procureurs généraux d'État observent. La FTC observe. Le schéma est établi : il n'est pas nécessaire d'avoir une loi sur l'IA pour réglementer les affirmations relatives à l'IA. Il suffit d'une loi de protection des consommateurs et d'un fournisseur qui a trop promis.

Les achats en entreprise vont changer. Les systèmes hospitaliers et les grands acheteurs vont commencer à exiger des audits indépendants par des tiers sur les affirmations d'exactitude de l'IA avant de signer des contrats. Le règlement le permet explicitement comme alternative à l'auto-déclaration, et les acheteurs avisés vont l'exiger.

Le modèle du wrapper va mourir — lentement, puis d'un seul coup. Non pas parce que les wrappers ne fonctionnent pas pour les applications à faible enjeu (ils fonctionnent), mais parce que le coût réglementaire du déploiement d'un système non ancré dans un environnement à fort enjeu est sur le point de devenir prohibitif. Les entreprises qui survivront seront celles qui ont investi dans l'intégration profonde quand c'était difficile, et non celles qui ont livré vite en espérant que personne ne vérifierait.

Et l'affirmation des 0,001 % ? Elle va devenir un récit édifiant — l'équivalent, pour l'IA d'entreprise, de la « goutte de sang unique » de Theranos. Un chiffre si parfait qu'il aurait dû servir d'avertissement.

Je repense parfois à ce DSI d'hôpital. Celui qui m'a montré la diapositive avec le grand chiffre. Il n'a pas acheté ce système. Il m'a dit plus tard que quelque chose dans la précision de l'affirmation le dérangeait — c'était trop propre, trop assuré pour une technologie qu'il savait fondamentalement probabiliste.

Il avait raison d'être dérangé. Le plus difficile dans l'IA d'entreprise n'est pas de construire un système qui fonctionne. C'est de construire un système qui vous dit honnêtement quand il ne fonctionne pas. C'est désormais la norme. Pas 99,999 %. Pas un chiffre sur une diapositive. La norme, c'est : pouvez-vous montrer votre démarche, l'assumer, et accepter les conséquences quand vous vous trompez ?

C'est vers cela que nous œuvrons. Pas une IA parfaite. Une IA honnête. Et je pense que cela comptera bien plus que le taux d'hallucination de quiconque.