Quatre-vingt-dix pour cent des médecins font confiance à leur IA clinique. Ils n'en détectent qu'un tiers des erreurs dangereuses.

La première version de notre outil de sécurité de l'IA clinique fonctionnait à merveille. C'était bien là le problème.

Nous l'avions conçu pour faire la chose évidente : détecter les hallucinations. On le braque sur un scribe ambiant ou un outil de rédaction du portail patient, on lui donne la sortie de l'IA, et il signale les affirmations factuellement fausses. Il a repéré les mauvais noms de médicaments. Il a repéré les valeurs de laboratoire impossibles. Il a repéré un dosage erroné d'un ordre de grandeur. Je me souviens d'en avoir été véritablement satisfait — nous trouvions des erreurs, la démo faisait mouche, les chiffres semblaient nets.

Puis un conseiller clinique du projet, un hospitalier qui avait passé deux décennies dans les services, m'a fait parcourir un exemple auquel je repense encore. Une IA avait rédigé une réponse MyChart à un patient l'interrogeant sur son traitement. Le brouillon disait de continuer la metformine et notait allègrement que la dernière HbA1c était de 6,8 %. Chaque fait qu'il contenait était vrai. La note était empathique, bien structurée, exactement ce qu'un bon médecin écrirait. Notre outil l'a laissée passer sans le moindre signalement.

La créatinine du patient n'avait cessé de grimper au fil de trois consultations. Une créatinine en hausse signifie une fonction rénale en déclin, et une fonction rénale en déclin rend la metformine dangereuse. L'IA ne savait pas qu'il fallait regarder. Et — c'est la partie qui a réorganisé ma façon de penser la sécurité de l'IA clinique — pas plus que le médecin chargé de la relire, qui parcourt un brouillon fluide, aimable et cohérent sur le plan factuel dans les dix ou quinze secondes qu'un clinicien débordé lui accorde avant de cliquer sur envoyer.

Notre détecteur d'hallucinations résolvait le mauvais problème. Les erreurs qui nuisent aux patients ne sont généralement pas celles qui sont manifestement fausses. Ce sont celles qui sont localement correctes et contextuellement mortelles. On ne peut pas atteindre la sécurité à force de vérification des faits, car le danger réside dans ce que l'IA n'a pas dit.

C'est cet échec qui a poussé Veriprajna à cesser de construire un détecteur d'hallucinations pour commencer à bâtir une infrastructure de sécurité indépendante pour l'ensemble de la pile d'IA qu'un système de santé exploite réellement. Cet essai porte sur ce que nous avons découvert en examinant honnêtement cette pile.

Le chiffre qui devrait empêcher chaque CMIO de dormir

En avril 2024, The Lancet Digital Health a publié une étude qui constitue selon moi le résultat le plus important et le moins assimilé de l'IA en santé. Des chercheurs ont fait relire par des médecins des réponses rédigées par l'IA à des messages de patients. 7,1 % de ces brouillons présentaient un risque grave de préjudice pour le patient. 0,6 % présentaient un risque de décès.

Voici la partie qui compte plus que le taux d'erreur. Les médecins, faisant exactement ce que nous leur demandons — relire le travail de l'IA — ont manqué 66,6 % des brouillons dangereux. Entre un tiers et près de la moitié des brouillons erronés sont partis entièrement non modifiés. Et interrogés, 90 % de ces mêmes médecins ont déclaré faire confiance aux performances de l'outil.

Quatre-vingt-dix pour cent de confiance, et un tiers des erreurs dangereuses détectées. Cet écart n'est pas un problème de formation. C'est le résultat prévisible du fait de demander à un humain d'auditer une machine qui écrit plus couramment que lui.

C'est le biais d'automatisation, et ce n'est pas un défaut de caractère chez les médecins. C'est une propriété de l'interaction. Lorsqu'un brouillon est bien écrit et empathique, la qualité de la prose se substitue à la vérification indépendante dans l'esprit du lecteur. Mieux l'IA écrit, moins l'humain vérifie. Nous déployons des outils dont la plus grande force — un langage fluide et assuré — est précisément le mécanisme qui désarme le filet de sécurité que nous avons construit autour d'eux.

ECRI, l'organisme à but non lucratif dédié à la sécurité des patients qui publie la liste annuelle des principaux dangers des technologies de santé, a classé le risque diagnostique piloté par l'IA comme le danger numéro un pour 2025 comme pour 2026. Pas dans le top dix. Numéro un, deux années de suite.

« Lu et relu » est une fiction juridique

L'AB 3030 de Californie, entrée en vigueur en janvier 2025, oblige les systèmes de santé à divulguer le recours à l'IA dans les communications cliniques avec les patients. Elle comporte une exemption qui semble raisonnable : si un praticien agréé lit et relit la sortie de l'IA, aucune divulgation n'est requise. La logique veut qu'un humain dans la boucle rende la contribution de l'IA invisible et sûre.

Les données du Lancet démolissent cette logique. Si les médecins manquent les deux tiers des erreurs dangereuses, alors « lu et relu » n'est, pour une large part des cas, qu'un tampon de complaisance. L'exemption présuppose une qualité de relecture que le biais d'automatisation rend impossible à grande échelle. Les infractions atteignent 25 000 $ par incident pour un établissement, plus une exposition disciplinaire pour le médecin dont le nom figure sur la note.

Je passe beaucoup de temps avec des directeurs de l'information médicale, et c'est là que la conversation devient généralement inconfortable. Le cadre juridique présume que la relecture humaine est significative. La réalité clinique, c'est qu'une relecture significative exige un échafaudage technique que les éditeurs d'IA n'ont pour la plupart pas construit — mise en évidence de l'incertitude, liens de citation renvoyant à la source, flux de confirmation active qui forcent le médecin à s'arrêter sur les affirmations qui comptent. Quelques éditeurs ont commencé à le construire — Linked Evidence d'Abridge fait remonter chaque ligne d'une note générée jusqu'au segment audio exact qui l'a produite — ce qui prouve seulement que la capacité existe et que la plupart des outils n'en font toujours pas une priorité. Sans cet échafaudage, « un humain l'a relu » est une case à cocher de conformité, pas un contrôle de sécurité.

L'éditeur a dit 0,001 %. Le procureur général du Texas a dit : prouvez-le.

Chaque éditeur d'IA clinique met en avant un chiffre de précision. La première chose que j'ai apprise en auditant ces outils, c'est que ce chiffre est un artefact marketing tant qu'on ne sait pas comment il a été calculé.

En septembre 2024, le procureur général du Texas a conclu un accord avec Pieces Technologies au sujet de son allégation commerciale d'un « taux d'hallucination critique » inférieur à 0,001 %. Le logiciel de Pieces était déployé dans quatre grands hôpitaux du Texas — Houston Methodist, Children's Health, Texas Health Resources et Parkland. Ce qui frappe dans cette affaire, c'est que le procureur général n'a eu besoin d'aucune loi spécifique à l'IA. La législation existante sur la protection des consommateurs a suffi à contester une allégation de précision que l'entreprise ne pouvait étayer.

Le règlement — une Assurance de conformité volontaire de cinq ans — oblige désormais Pieces à divulguer, à chaque client, comment ses indicateurs sont définis et calculés, sur quelles données le modèle a été entraîné, et quels usages nuisibles elle connaît. C'est un modèle pour toute l'industrie.

Un taux d'hallucination sans dénominateur n'est pas une mesure. C'est une publicité.

Comparez 0,001 % à ce que nous et d'autres constatons réellement sur le terrain. Lors d'un pilote au premier trimestre 2025, un assistant de sortie IA a recommandé un médicament pour un patient explicitement répertorié comme allergique à cette classe de médicaments. Son taux réel d'affirmations erronées cliniquement significatives était de 0,98 % — douze fois les 0,08 % revendiqués par l'éditeur. Même catégorie de produit, un écart d'un ordre de grandeur entre la diapositive et le patient. Le MIT Media Lab a constaté que, sans atténuation, les modèles atteignent des taux d'hallucination supérieurs à 60 % sur des cas cliniques. La réponse honnête, c'est que le chiffre phare de quiconque ne signifie rien tant qu'on ne demande pas : calculé sur quel jeu de données, validé par qui, sur quelle période, et — la question que presque personne ne pose — pour quelles catégories démographiques de patients ?

Cette dernière question s'est avérée être celle qui cachait des morts.

Le biais qu'on ne peut pas voir parce que l'appareil le dissimule

Il y a un fait que j'aimerais voir mieux connu en dehors des soins intensifs. L'oxymètre de pouls — la petite pince au bout du doigt du patient qui lit la saturation en oxygène du sang, l'un des chiffres les plus fiables de la médecine — est systématiquement moins précis sur les peaux foncées.

Les patients noirs ont environ trois fois plus de risques de présenter une hypoxémie occulte : un taux d'oxygène sanguin dangereusement bas que l'appareil lit comme normal. La surestimation va de 0,6 à 1,5 point de pourcentage, ce qui paraît négligeable jusqu'à ce que ce soit la différence entre « admettre en réanimation » et « renvoyer chez soi ». Dans les données pédiatriques, l'appareil a manqué une faible oxygénation chez 7 % des enfants aux teintes de peau les plus foncées et 0 % chez les plus claires. La FDA a publié un projet de recommandation en janvier 2025 conseillant aux fabricants de tester sur au moins 150 participants diversifiés en utilisant l'échelle Monk Skin Tone, contre une norme antérieure d'à peine dix.

Superposez maintenant l'IA à une mesure déjà biaisée au niveau du capteur. Le modèle hérite du biais et le blanchit à travers une sortie assurée. C'est la partie de la sécurité de l'IA clinique que les éditeurs sont le moins outillés pour déceler chez eux-mêmes, car la détecter exige de stratifier délibérément les performances par race, sexe et âge — puis d'en publier les écarts.

Le modèle de sepsis d'Epic est la mise en garde que j'apporte à chaque discussion sur la gouvernance. Le développeur a rapporté une AUC — une mesure standard de précision prédictive où 1,0 est parfait et 0,5 revient à tirer à pile ou face — de 0,76 à 0,83. Lorsque l'Université du Michigan l'a validé en externe sur ses propres patients, ils ont obtenu 0,63. La sensibilité était de 33 %, ce qui signifie qu'il manquait les deux tiers des cas de sepsis. Sa valeur prédictive positive était de 12 %, ce qui signifie que 88 % de ses alertes étaient de fausses alertes. Et il était mal calibré pour les patients noirs et hispaniques, dont l'incidence du sepsis est près de deux fois plus élevée. Un modèle entraîné sur le jugement clinique historique apprend les angles morts cliniques historiques, puis les renvoie aux cliniciens en revêtant l'autorité d'un algorithme. Epic a révisé en profondeur le modèle en 2022, et une validation prospective multicentrique de sa deuxième version a été publiée dans JAMA Network Open en février 2026 — ce qui est précisément le point. C'est la validation externe, post-déploiement, qui détecte l'écart que masque une allégation d'AUC initiale, et ici il a fallu des années et des chercheurs extérieurs pour l'imposer.

La version la plus extrême de ce phénomène apparaît dans les soins maternels. Les femmes noires meurent en couches à un taux de 42,8 à 50,3 pour 100 000 naissances vivantes, contre 13 à 14,5 pour les femmes blanches. Une étude californienne a constaté que les systèmes d'alerte précoce par IA manquaient 40 % des cas de morbidité sévère chez les patientes noires. Lorsque le système d'alerte est aveugle à la population la plus à risque, il ne se contente pas d'échouer de manière neutre — il creuse l'écart qu'on l'avait vendu pour combler.

Pourquoi ne peut-on pas simplement tester le modèle pour détecter les biais et passer à autre chose ?

On me demande pourquoi les systèmes de santé ne se contentent pas d'effectuer un contrôle d'équité et de certifier le modèle. Je pensais autrefois que c'était un problème de ressources. C'est plus profond que cela, et c'est mathématique.

Il existe un résultat appelé théorème d'impossibilité de Chouldechova. En clair : deux définitions raisonnables de l'équité — la parité démographique (le modèle signale chaque groupe au même taux) et l'égalité des chances (le modèle est également précis au sein de chaque groupe) — ne peuvent être satisfaites simultanément, sauf dans des cas triviaux. Il faut choisir quel type d'équité on optimise, et ce choix a des conséquences cliniques.

« Nous avons testé les biais » n'a aucun sens sans nommer le critère. Tout éditeur incapable de vous dire quelle définition de l'équité il a choisie en a bien choisi une et ne vous le dit pas.

C'est pourquoi un véritable audit de biais n'est pas un certificat ponctuel. Ce sont des tableaux de performance stratifiés par sous-groupe, des courbes de calibration par catégorie démographique, et un indice de stabilité de la population — un indicateur de dérive — suivi par site de déploiement, car un modèle équitable à Boston peut dériver hors calibration à Houston à mesure que la composition des patients change. Les étiquettes de vérité terrain arbitrées par des experts pour ce travail coûtent de 50 à 200 $ par cas. C'est une infrastructure coûteuse, spécialisée et permanente. C'est aussi la seule chose qui se dresse entre une décision d'achat et un rapport d'autopsie.

Personne ne possède la pile entière

Le problème structurel sur lequel je butais sans cesse est le suivant : un système de santé de taille moyenne à grande fait tourner entre cinq et quinze outils d'IA à la fois. Un scribe ambiant (Abridge dans les quarante et quelques hôpitaux d'UPMC, ou DAX Copilot de Nuance intégré au DSE), un modèle de sepsis d'Epic, un rédacteur de portail patient, un algorithme de triage, un assistant de codage. Chacun a sa propre allégation de précision, son propre profil de sécurité, ses propres angles morts et son propre tableau de bord. Aucun éditeur ne fournit de gouvernance transversale à ces outils, parce qu'aucun éditeur ne les vend tous.

Et la gouvernance qui existe est plus mince que ne le laissent penser les organigrammes. Les données 2026 de Censinet montrent que 84 % des systèmes de santé disposent d'un comité de gouvernance de l'IA — mais que seuls 59 % ont un processus d'approbation formel et documenté avant qu'un outil d'IA ne soit mis en service. Les DSI siègent dans 63 % de ces comités ; le CMIO, la personne cliniquement responsable lorsque l'outil se trompe, ne siège que dans 45 %. Pendant ce temps, les cliniciens adoptent des outils de leur propre initiative — l'IA fantôme — plus vite qu'aucun comité ne peut les examiner.

C'est la lacune que Veriprajna a été conçue pour combler, et c'est pourquoi j'ai cessé de décrire ce que nous faisons comme de la « détection d'hallucinations ». Nous réalisons une évaluation indépendante et neutre vis-à-vis des éditeurs de l'IA qu'un système de santé a réellement déployée : nous soumettons les outils à des tests d'intrusion comme le ferait un adversaire ou un mauvais jour, nous validons les allégations de précision des éditeurs par rapport au véritable dénominateur, nous menons les audits de biais que la plupart des équipes informatiques n'ont pas la capacité de mener, et nous transformons l'AB 3030, l'AI Act du Colorado et les règles à haut risque de l'AI Act de l'UE en contrôles opérationnels plutôt qu'en angoisses juridiques. Une seule couche de sécurité qui s'étend à travers chaque outil.

« N'est-ce pas simplement freiner l'innovation ? »

C'est l'objection que j'entends le plus souvent, généralement de la part de quelqu'un qui a vu la documentation ambiante devenir une catégorie de 600 millions de dollars en une seule année et qui ne veut pas être le dirigeant qui a dit non.

Je soutiendrais le contraire. La sécurité indépendante est ce qui rend une adoption rapide survivable. Les systèmes de santé qui se brûlent ne sont pas les prudents — ce sont ceux qui ont déployé sur la foi d'un diaporama d'éditeur et ont découvert l'écart entre 0,08 % et 0,98 % après qu'un patient a été blessé. L'investissement moyen dans l'IA de santé rapporte environ 3,20 $ pour chaque dollar, réalisé en moins de 14 mois. Ce ROI s'évapore la première fois qu'un outil non vérifié génère une plainte pour faute professionnelle — et les plaintes liées à l'IA ont déjà augmenté de 14 % depuis 2022, concentrées en radiologie, cardiologie et oncologie. La vérification n'est pas l'impôt sur l'innovation. C'est l'assurance qui vous permet de continuer à innover après que la première chose a mal tourné.

La deuxième objection : notre propre équipe informatique ne peut-elle pas s'en charger ? Parfois, en partie. Mais la valeur d'une évaluation indépendante tient précisément à son indépendance — la même raison pour laquelle on ne laisse pas une entreprise auditer ses propres comptes. Un éditeur ne va pas se soumettre à un test d'intrusion jusqu'à obtenir un chiffre moins flatteur, et une équipe interne qui a défendu un achat a un intérêt discret à ce qu'il réussisse. Quelqu'un sans position dans l'affaire pose les questions que tous les autres ont une raison d'éviter.

Ce que je dirais à un CMIO aujourd'hui

La question qui, selon moi, comptait autrefois était cette IA fonctionne-t-elle ? Je me trompais. Chaque éditeur vous montrera qu'elle fonctionne. La question qui compte est pouvez-vous prouver qu'elle fonctionne — pour chaque catégorie démographique de patients — le jour où un régulateur, l'avocat d'un plaignant ou un journaliste vous le demande ?

Pour l'instant, la plupart des systèmes de santé ne le peuvent pas. Ils ont des chiffres de précision qu'ils ne peuvent pas reproduire, un comité de gouvernance sans référent clinique, et un parc d'outils qu'aucune partie indépendante n'a jamais testés ensemble. Le brouillon fluide continuera d'être validé d'un clic. L'alerte de sepsis continuera de crier au loup 88 % du temps. L'oxymètre de pouls continuera d'afficher normal sur le patient qui ne l'est pas.

J'ai bâti la pratique de sécurité de l'IA en santé de Veriprajna parce que l'exemple de la metformine ne m'a jamais quitté. La note était parfaite. Tout ce qu'elle contenait était vrai. Et elle aurait pu tuer quelqu'un — non pas parce que l'IA était stupide, mais parce qu'elle était convaincante, et que personne n'était outillé pour vérifier ce qu'elle n'avait pas dit. La sécurité dans l'IA clinique ne consiste pas à repérer l'erreur évidente. Elle consiste à bâtir l'infrastructure pour repérer l'erreur invisible, avant que le patient ne le fasse.