Votre médecin a laissé une IA vous écrire un message qui pourrait vous tuer — et personne ne vous l'a dit

J'étais en visioconférence avec le directeur technique d'un système de santé l'année dernière quand il a dit quelque chose qui m'a glacé.

« On a maintenant GPT qui rédige les messages du portail patient. Les médecins adorent. Ça leur fait gagner des heures chaque semaine. On en a pratiquement fini avec le déploiement de l'IA. »

Fini. Ce mot m'est resté dans la poitrine comme une pierre. Parce que je venais de finir de lire une étude — publiée dans The Lancet Digital Health en avril 2024 par des chercheurs de la Harvard Medical School, de Yale et de l'Université du Wisconsin — qui racontait une tout autre histoire. Dans cette étude, GPT-4 a rédigé 156 messages de portail patient au sein d'un dossier médical électronique simulé. 7,1 % de ces brouillons présentaient un risque de préjudice grave. L'un d'eux — 0,6 % — présentait un risque direct de décès.

Et voici le chiffre qui m'a fait poser mon café et relire le paragraphe trois fois : les vingt médecins de premier recours en exercice qui ont examiné ces brouillons rédigés par l'IA ont laissé passer en moyenne 66,6 % des erreurs dangereuses.

Le directeur technique n'était pas négligent. Il faisait ce que tout le secteur faisait — envelopper un modèle de langage à usage général dans une fine couche logicielle, le pointer vers les messages des patients et faire confiance au regard d'un médecin en bout de chaîne pour rattraper tout ce qui déraillait.

J'ai passé ces dernières années à construire chez Veriprajna des systèmes d'IA conçus pour être ancrés — arrimés à des connaissances vérifiées, et non à la simple probabilité statistique. Et cette étude a cristallisé une chose que je défendais dans des salles où les gens ne voulaient pas l'entendre : le « humain dans la boucle » n'est pas un mécanisme de sécurité. C'est une prière.

Que se passe-t-il quand l'IA rédige la réponse de votre médecin ?

Laissez-moi brosser le tableau des raisons pour lesquelles cette technologie existe, car le besoin est réel et urgent.

Les médecins de premier recours aux États-Unis consacrent en moyenne 10 heures par mois rien qu'à répondre aux messages du portail patient. C'est du travail non rémunéré, soit dit en passant — historiquement non facturable. C'est l'un des principaux moteurs de la crise du burn-out qui pousse des médecins à quitter complètement la médecine.

Alors quand des outils d'IA sont apparus, capables de rédiger des réponses empathiques, détaillées et grammaticalement soignées aux questions des patients — des réponses qui obtenaient souvent un score supérieur en qualité perçue à ce que des médecins surmenés écrivaient à 23 heures — l'adoption a été rapide. MyChart d'Epic a intégré la rédaction par IA. Des start-up ont levé des centaines de millions. Les systèmes de santé ont célébré les gains d'efficacité.

Et je comprends. Sincèrement. Le problème du burn-out n'est pas abstrait pour moi. Je me suis assis en face de médecins qui décrivaient leur boîte de réception comme un second emploi à temps plein, un travail qui les faisait détester les patients qu'ils étaient venus aider en choisissant la médecine.

Mais l'efficacité sans l'exactitude en santé n'est pas de l'innovation. C'est de la négligence qui attend son plaignant.

L'étude du Lancet qui aurait dû être une alarme incendie

L'étude d'avril 2024 n'était pas un petit projet pilote ni une tribune d'opinion. C'était une simulation transversale avec des cliniciens en exercice examinant des brouillons générés par IA dans un environnement de DME réaliste. Les chercheurs ont délibérément semé dans certains brouillons des erreurs — le genre d'erreurs que les LLM produisent réellement — puis ont observé ce qui se passait.

Ce qui s'est passé était accablant.

90 % des médecins examinateurs ont déclaré faire confiance à la performance de l'outil d'IA. Ils ont trouvé qu'il réduisait leur charge cognitive — 80 % étaient d'accord sur ce point. Les brouillons étaient fluides, empathiques, bien structurés. Ils donnaient l'impression d'être justes.

Mais seulement un médecin sur vingt a repéré les quatre brouillons intentionnellement erronés. Un seul. Et entre 35 % et 45 % des brouillons erronés ont été transmis aux patients sans la moindre modification.

Quand un brouillon d'IA se lit mieux que ce qu'un médecin épuisé écrirait à la fin d'une garde de 12 heures, l'instinct n'est pas de l'examiner attentivement. C'est de cliquer sur « envoyer ».

Ce phénomène porte un nom : le biais d'automatisation — la tendance bien documentée des humains à trop se fier aux suggestions automatisées, en leur appliquant un examen critique moins poussé qu'à leur propre travail ou à celui d'un collègue. Les chercheurs du Lancet ont constaté que la corrélation était statistiquement significative (p < 0,001) : plus le brouillon de l'IA paraissait bon en surface, plus un médecin risquait de manquer une erreur clinique enfouie.

Les erreurs n'étaient pas des fautes de frappe. C'étaient des défaillances de raisonnement clinique. L'IA fabriquait des informations médicales. Elle faisait référence à des protocoles obsolètes. Dans le cas signalé comme un risque de décès, elle n'a pas dit à un patient présentant un symptôme potentiellement mortel de se rendre aux urgences — générant à la place une réponse calme, rassurante et mortellement erronée qualifiant la situation de non urgente.

Je reviens sans cesse à ce cas précis. Le message se lisait probablement à merveille. Chaleureux. Empathique. Détaillé. Et si un patient avait suivi ses conseils, il aurait pu mourir chez lui en attendant un rendez-vous le lundi.

Pourquoi le « médecin dans la boucle » continue-t-il d'échouer ?

J'ai eu un débat à ce sujet avec un collègue qui conçoit des outils d'IA clinique. Sa position était simple : « Le médecin vérifie tout. C'est ça, le filet de sécurité. »

Je lui ai posé une question : « Si tu donnais à un médecin une pile de 50 messages, dont 48 parfaitement corrects, et que tu lui disais que c'est l'IA qui les a tous écrits — avec quelle attention penses-tu qu'il lirait le message numéro 37 ? »

Il a marqué une pause.

C'est là le problème central. Le modèle de l'humain dans la boucle suppose que l'attention humaine est constante, que la fatigue ne dégrade pas la vigilance et que la qualité de la prose de l'IA n'influence pas la profondeur de l'examen. Chacune de ces hypothèses est fausse, et les données du Lancet le prouvent.

Le « humain dans la boucle » n'est pas un mécanisme de sécurité quand l'humain a été psychologiquement conditionné à faire confiance à la machine.

Il y a aussi un problème architectural plus profond. Les LLM standards sont auto-régressifs — ils prédisent le mot suivant à partir de la probabilité statistique, et non d'un raisonnement médical structuré. Ils ne « comprennent » pas qu'un symptôme est urgent. Ils ne « savent » pas qu'une recommandation a été mise à jour le mois dernier. Ils génèrent un texte qui sonne comme celui d'un clinicien compétent parce qu'ils ont été entraînés sur des millions d'exemples de cliniciens compétents en train d'écrire. Mais sonner juste et être juste sont des choses dangereusement différentes en médecine.

J'ai écrit en profondeur sur cette lacune architecturale dans la version interactive de nos recherches, mais la version courte est la suivante : un LLM n'a pas de modèle du patient. Il a un modèle du langage. Et ce ne sont pas la même chose.

La Californie vient de faire de ça le problème de tout le monde

Pendant que la communauté de recherche tirait la sonnette d'alarme, le législateur californien rédigeait une loi. L'Assembly Bill 3030, signé en septembre 2024, entre en vigueur le 1er janvier 2025. Il exige de chaque établissement de santé, clinique et cabinet médical de Californie qu'il informe les patients chaque fois que de l'IA générative est utilisée pour communiquer des informations cliniques.

Les messages écrits doivent comporter un avertissement en haut. Les messages audio nécessitent une divulgation verbale au début et à la fin. Les communications vidéo et par chat nécessitent des avertissements affichés tout du long.

C'est là que ça devient intéressant — et là où je pense que la plupart des systèmes de santé interprètent mal la loi.

L'AB 3030 comporte une exemption : si un professionnel agréé a « lu et vérifié » la communication générée par IA, les obligations de divulgation ne s'appliquent pas. Sur le papier, cela ressemble à un laissez-passer. Gardez le médecin dans la boucle, sautez l'avertissement, entretenez l'illusion que chaque message est personnellement rédigé.

Mais associez cette exemption aux données du Lancet — 66 % des erreurs manquées, 35 à 45 % des brouillons dangereux envoyés sans modification — et vous avez une bombe à retardement juridique. Un système de santé qui prétend que ses médecins ont « lu et vérifié » les brouillons de l'IA alors que ces médecins manquent manifestement les deux tiers des erreurs n'est pas conforme. Il est exposé.

J'ai dit au directeur technique lors de cet appel : « L'exemption n'est pas un bouclier. C'est un accélérateur de responsabilité — à moins que la technologie n'aide activement l'examinateur à repérer ce que son cerveau est câblé pour manquer. »

Qu'est-ce qui cloche vraiment dans l'approche du « wrapper de LLM » ?

La plupart des start-up d'IA en santé construisent en ce moment ce que j'appelle des wrappers — de fines couches logicielles qui font transiter les données des patients vers une API de LLM commerciale et renvoient la réponse avec un peu de mise en forme. Elles sont rapides à construire, faciles à démontrer et fondamentalement inadaptées à un usage clinique.

Trois problèmes rendent les wrappers dangereux :

Les dates de coupure des connaissances sont des tueurs invisibles. Les LLM publics sont entraînés sur des jeux de données statiques. Ils ignorent la recommandation qui a changé le trimestre dernier, l'interaction médicamenteuse signalée le mois dernier ou les résultats de laboratoire du patient de ce matin. Un wrapper qui n'intègre pas de données cliniques en temps réel génère des réponses dans le vide — un vide dont le médecin qui examine le brouillon ne soupçonne peut-être même pas l'existence.

La prédiction de tokens n'est pas du raisonnement clinique. Quand GPT-4 écrit « vous devriez poursuivre votre traitement actuel », il n'évalue pas votre fonction rénale, vos interactions médicamenteuses ou votre dernier bilan sanguin. Il prédit quels mots sont statistiquement susceptibles de suivre les mots précédents. En radiologie, en oncologie, dans tout domaine exigeant une interprétation diagnostique nuancée, cet écart entre la fluidité linguistique et l'exactitude médicale est l'endroit où les patients sont blessés.

La sécurité est une réflexion après coup. De nombreuses interfaces de LLM à usage général ne sont pas intrinsèquement conformes à la HIPAA. Sans un masquage rigoureux des données et un accord de sous-traitance (Business Associate Agreement) en bonne et due forme, chaque message de patient acheminé via une API commerciale est une violation potentielle de la vie privée. Et les attaques par injection de prompt — où des entrées adverses trompent le modèle pour lui faire révéler du contexte interne ou des données de patients — restent une vulnérabilité largement non traitée dans les architectures de type wrapper.

Comment construire une IA vraiment sûre pour les patients ?

C'est ici que je passe de critique à bâtisseur, car la critique sans alternatives n'est que du bruit.

Chez Veriprajna, nous développons ce que je conçois comme de l'IA ancrée — des systèmes où le modèle de langage n'est jamais l'unique source de vérité. Il est toujours relié à des connaissances cliniques vérifiées, et il est toujours transparent quant à l'origine de ses réponses.

La couche de récupération change tout

La génération augmentée par récupération (RAG) en est le fondement. Avant que l'IA ne génère le moindre mot d'une réponse au patient, elle récupère d'abord des documents pertinents dans un corpus vérifié : les notes cliniques du patient, les recommandations institutionnelles en vigueur, la littérature évaluée par les pairs. Le modèle conditionne alors sa réponse à ce contexte récupéré, et non uniquement à ses données d'entraînement.

Ce n'est pas un petit ajustement. C'est une architecture fondamentalement différente. Un système fondé sur le RAG peut citer ses sources — « D'après vos résultats de laboratoire du 12 mars et les recommandations ACC/AHA en vigueur... » — ce qui transforme l'examen du médecin de « est-ce que ça sonne juste ? » à « est-ce que la source est correcte ? ». La seconde question est bien plus facile à répondre, même à 23 heures un jeudi soir.

Les graphes de connaissances donnent à l'IA ce que les wrappers ne pourront jamais offrir : des relations

La couche suivante, ce sont les graphes de connaissances médicales — des réseaux structurés qui représentent les connaissances cliniques non pas sous forme de texte, mais sous forme de concepts interconnectés. Un graphe de connaissances ne sait pas seulement que la metformine est un médicament contre le diabète. Il connaît le mécanisme d'action de la metformine, ses contre-indications en cas d'altération de la fonction rénale, ses interactions avec les produits de contraste et le seuil précis de DFGe en dessous duquel elle doit être interrompue.

Des systèmes comme MediGRAF utilisent des bases de données orientées graphe comme Neo4j pour combiner des requêtes structurées précises avec la récupération narrative, atteignant un rappel de 100 % sur les requêtes cliniques factuelles tout en maintenant les normes de sécurité pour l'inférence complexe. Quand j'ai vu ces chiffres de rappel pour la première fois, j'étais sceptique — nous avons donc soumis l'approche à des tests de résistance sur les cas limites qui avaient fait trébucher chaque système de type wrapper que nous avions évalué. Le graphe a tenu.

Pour le détail technique complet de ces approches architecturales — pipelines RAG, intégration de graphes de connaissances, modélisation au niveau des concepts — consultez notre article de recherche détaillé.

Le problème des tests dont personne ne veut parler

Je me souviens d'une démonstration d'une start-up d'IA en santé — soignée, impressionnante, le genre de chose qui pousse les investisseurs à sortir leur chéquier. L'IA a rédigé un message pour un patient sur la gestion d'un nouveau diagnostic de diabète. C'était chaleureux, complet, concret.

J'ai demandé : « Que se passe-t-il si je dis au système que je suis allergique au médicament qu'il vient de recommander ? »

Le fondateur a marqué une pause. « Le médecin repérerait ça. »

Le revoilà. La prière.

Construire une IA clinique sûre exige des tests adverses — non pas comme une réflexion après coup, mais comme un processus continu et automatisé. Chez Veriprajna, nous utilisons des cadres comme Med-HALT (Medical Domain Hallucination Test), conçu spécifiquement pour identifier les hallucinations des IA de santé grâce à des techniques comme le False Confidence Test, où le modèle est mis au défi d'évaluer une mauvaise réponse suggérée au hasard, et le Fake Questions Test, qui détermine si le modèle sait identifier des requêtes médicales fabriquées.

Nous menons aussi du red teaming automatisé — des attaques simulées qui sondent les vulnérabilités d'injection de prompt, les tentatives d'extraction de données de patients par questionnement indirect et les schémas de jailbreak qui cherchent à contourner les garde-fous cliniques. Tous les jours. Pas chaque trimestre. Pas avant une mise en production. Tous les jours.

Si votre système d'IA n'a pas été attaqué par une red team cette semaine, vous ne savez pas s'il est sûr. Vous savez qu'il était sûr la dernière fois que vous avez vérifié.

Une conclusion de recherches récentes qui me hante : des modèles « spécialisés en médecine » comme MedGemma n'ont atteint que 28 à 61 % d'exactitude sur certains benchmarks, tandis que des modèles de raisonnement plus généralistes les ont surpassés. L'implication est contre-intuitive mais importante — la sécurité en IA clinique émerge de capacités de raisonnement sophistiquées, et non d'un simple affinage propre au domaine. Coller une étiquette médicale sur un modèle ne le rend pas médicalement sûr.

Le paysage de la faute professionnelle se déplace sous les pieds de tout le monde

Voici une conversation que j'ai eue avec trois directeurs juridiques d'hôpitaux différents au cours de l'année écoulée, et elle se déroule à peu près de la même façon à chaque fois.

Moi : « Si votre IA rédige un message qui nuit à un patient, et que le médecin examinateur a manqué l'erreur, qui est responsable ? »

Eux : « Le médecin. C'est lui qui l'a vérifié et approuvé. »

Moi : « Et si l'avocat du plaignant démontre que votre système a été conçu d'une manière qui a psychologiquement conditionné le médecin à manquer des erreurs — que la fluidité de l'IA a créé un faux sentiment de sécurité — cela change-t-il votre analyse ? »

Silence.

Les règles de l'art en médecine évoluent pour tenir compte de l'IA. Les tribunaux commencent à reconnaître que ne pas utiliser un outil d'IA validé qui aurait pu prévenir une erreur pourrait constituer un manquement à l'obligation de diligence. Mais l'inverse émerge aussi : utiliser un outil d'IA non validé, ou utiliser un outil validé d'une manière qui sape la supervision humaine, crée sa propre responsabilité.

La dérive du modèle aggrave cela. Les systèmes d'IA se dégradent avec le temps à mesure qu'ils sont réentraînés sur de nouvelles données. Le modèle qui a réussi votre évaluation de sécurité il y a six mois n'est peut-être pas le modèle qui génère les messages des patients aujourd'hui. Sans journaux d'audit sous contrôle de version indiquant exactement quel modèle a produit quelle sortie et quelles étapes de raisonnement il a suivies, un système de santé n'a aucune position défendable devant un tribunal.

Certains nouveaux produits d'assurance responsabilité professionnelle commencent à couvrir les réclamations liées à l'IA, mais ils comportent généralement de faibles plafonds et exigent une preuve documentée de supervision humaine — la supervision même que l'étude du Lancet a montrée peu fiable.

« Mais les patients préfèrent les messages de l'IA »

Les gens me contredisent avec cet argument, et je veux le traiter honnêtement car les données sont réelles. Des études ont montré que les patients notent les messages rédigés par l'IA plus haut en empathie et en détail que ceux écrits par les médecins. Ce n'est pas rien. Dans un système de santé où les patients se sentent ignorés, une IA qui prend le temps d'expliquer, de reconnaître, de rassurer — cela a une valeur réelle.

Mais voici ce que la recherche montre aussi : les taux de satisfaction des patients baissent lorsque les patients apprennent que l'IA a été impliquée. Il y a un biais d'automatisation inversé à l'œuvre — les patients accordent de la valeur à la conviction que leur médecin s'engage personnellement dans leurs soins. La relation clinique compte pour eux, et ils sentent quand elle a été intermédiée, même si l'intermédiation a produit un « meilleur » message.

Cela me dit quelque chose d'important sur la place de l'IA dans ce flux de travail. Elle ne devrait pas écrire à la place du médecin comme un prête-plume. Elle devrait faire le travail structuré, récupérable et vérifiable — extraire les résultats de laboratoire, vérifier les recommandations, signaler les interactions — afin que le médecin ait la disponibilité d'écrire une réponse véritablement personnelle au patient qui en a besoin.

Le but de l'IA clinique n'est pas de remplacer la voix du médecin. C'est de redonner au médecin le temps de l'utiliser.

Où tout cela nous mène

Je ne vais pas conclure par un « seul l'avenir le dira » prudent ni par un discours commercial mielleux pour mon entreprise. Je vais vous dire ce que je crois.

La génération actuelle d'outils d'IA de messagerie aux patients causera des préjudices. Pas « pourrait » — causera. Le calcul est simple : un taux de préjudice grave de 7,1 % dans les brouillons de l'IA, un taux d'erreurs manquées de 66 % par les médecins examinateurs, à l'échelle de millions de messages de portail patient par mois dans le système de santé américain. Les incidents vont s'accumuler. Les procès suivront. Et la réponse réglementaire sera brutale et punitive, car les preuves que c'était prévisible sont déjà publiées dans The Lancet.

Les systèmes de santé qui l'évitent ne sont pas ceux qui avancent lentement. Ce sont ceux qui avancent différemment. Cela signifie des architectures RAG ancrées dans des connaissances médicales vérifiées. Des graphes de connaissances qui donnent à l'IA un raisonnement clinique structuré au lieu d'une prédiction statistique de mots. Des tests adverses menés en continu, et non de façon cérémonielle. Et des interfaces d'examen conçues pour contrer le biais d'automatisation, non pour l'exploiter.

Nous avons créé Veriprajna pour faire ce travail — non pas parce que nous avons vu une opportunité de marché, mais parce que j'ai vu des gens intelligents et bien intentionnés déployer des systèmes qui pouvaient nuire aux patients, et l'écart entre ce qu'ils construisaient et ce que les preuves exigeaient était indéfendable.

La première règle de la médecine est primum non nocere — d'abord, ne pas nuire. Nous avons passé les deux dernières années à construire une IA qui prend cette règle comme une contrainte d'ingénierie, non comme un slogan marketing. La technologie pour bien faire les choses existe. Les recherches prouvant que l'approche actuelle est dangereuse existent. La seule question qui reste est de savoir si le secteur agira sur la base des preuves avant que les preuves n'agissent sur le secteur.