Le problème
« Si j'avais eu accès à ce chatbot au plus fort de mon trouble du comportement alimentaire... je ne serais pas encore en vie aujourd'hui. Tout ce que Tessa suggérait était précisément ce qui a nourri mon trouble du comportement alimentaire. » Cette citation émane de Sharon Maxwell, survivante d'un trouble du comportement alimentaire, qui a testé le chatbot d'IA déployé par la National Eating Disorders Association (NEDA).
En 2023, la NEDA a fermé sa ligne d'écoute animée par des humains et l'a remplacée par un chatbot d'IA appelé Tessa. Le robot était censé aider les personnes en proie à des troubles du comportement alimentaire. À la place, il a conseillé aux utilisateurs de maintenir un déficit calorique de 500 à 1 000 calories par jour. Il a recommandé d'acheter une pince adipométrique pour mesurer la masse graisseuse. Pour une personne qui lutte contre l'anorexie, ces conseils ne se contentent pas de rater leur cible : ils valident la maladie elle-même.
La NEDA a suspendu le chatbot après une vague d'indignation publique. Mais le mal était fait. La réputation de l'organisation a subi un coup dont elle ne se remettra peut-être jamais entièrement. Et la cause profonde n'était pas un bug aléatoire : c'était une faille fondamentale dans la conception même du système d'IA. Le chatbot a traité un cri de détresse comme une simple question de bien-être. Il n'avait aucun moyen de comprendre le contexte, aucun mécanisme pour reconnaître le danger, et aucune règle stipulant « ne jamais donner de conseils de perte de poids à cette population ».
Si votre organisation déploie l'IA dans le moindre rôle exposé aux patients, voici votre récit édifiant. La question n'est pas de savoir si votre IA paraît empathique. La question est de savoir si votre architecture peut l'empêcher de nuire.
Pourquoi cela compte pour votre entreprise
L'exposition financière aux défaillances de l'IA dans la santé n'est pas théorique. En 2024, les pertes mondiales dues aux hallucinations de l'IA — lorsque l'IA produit des informations fausses mais présentées avec assurance — ont atteint environ 67,4 milliards de dollars. Ce chiffre couvre tous les secteurs, mais la santé en supporte les conséquences les plus lourdes.
Voici ce qui atterrit sur votre bureau quand l'IA de santé déraille :
Risque réglementaire. La FDA trace une ligne nette entre les applications « General Wellness » (bien-être général) et les logiciels « Software as a Medical Device » (SaMD). Si votre IA évalue des symptômes ou suggère des traitements, elle peut relever des dispositifs médicaux de classe II. L'enregistrement d'un tel dispositif coûte environ 11 423 dollars par an, rien qu'en frais, auxquels s'ajoutent des centaines de milliers de dollars de validation clinique. Mais un rappel ou une mesure de contrainte de la FDA coûte bien plus cher — cela peut vous fermer complètement.
Exposition à la responsabilité. Les hôpitaux encourent une responsabilité du fait d'autrui pour les outils qu'ils déploient. Si un chatbot passe à côté d'un risque de suicide qu'une infirmière de triage aurait détecté, l'hôpital est responsable. Les développeurs, eux, engagent leur responsabilité du fait des produits si le logiciel est jugé défectueux. Un chatbot qui hallucine des conseils médicaux est, juridiquement, un produit défectueux.
Lacunes assurantielles. La plupart des polices de responsabilité médicale professionnelle couvrent l'erreur humaine, pas l'hallucination algorithmique. Des couvertures de responsabilité spécifiques à l'IA existent, mais les primes sont élevées pour les systèmes « boîte noire » impossibles à auditer.
Destruction réputationnelle. La marque de la NEDA a subi des dégâts immenses, peut-être irréparables. Dans la santé, la confiance est votre actif le plus précieux. Une fois que les patients ou le public perdent confiance, vous ne la regagnez peut-être jamais.
Gaspillage opérationnel. Beaucoup d'organisations dépensent des millions en vérification « Human-in-the-Loop » (humain dans la boucle), où des employés contrôlent manuellement chaque sortie de l'IA. Cela annule les gains d'efficacité pour lesquels vous avez acheté l'IA.
Votre conseil d'administration demandera : « Quelle est notre exposition ? » Vous devez avoir la réponse avant l'incident, pas après.
Ce qui se passe réellement sous le capot
Pour comprendre pourquoi Tessa a échoué, vous devez comprendre comment fonctionnent réellement les grands modèles de langage (LLM) — les moteurs d'IA derrière la plupart des chatbots. Un LLM ne « connaît » pas les directives cliniques : il prédit le mot suivant d'une phrase à partir de motifs statistiques présents dans ses données d'entraînement.
Quand quelqu'un a tapé « comment perdre du poids » dans Tessa, le modèle a fait exactement ce pour quoi il avait été construit. Il a renvoyé la réponse statistiquement la plus probable : déficits caloriques, suivi des repas, mesures corporelles. Dans une application de bien-être général, cette réponse est parfaitement raisonnable. Sur une ligne d'écoute pour troubles du comportement alimentaire, elle est cliniquement toxique.
Ce mode de défaillance porte un nom : Effondrement contextuel. L'IA a traité les mots mais a totalement manqué le contexte. Elle a considéré un symptôme de la maladie — l'obsession de la perte de poids — comme une demande légitime à satisfaire.
Imaginez un détecteur de fumée câblé à une enceinte audio. Le détecteur capte un signal (la fumée), mais au lieu de déclencher une alarme, il joue une chanson. Le capteur fonctionne parfaitement. La réponse est complètement erronée. L'architecture a échoué parce que personne n'a construit, entre la détection et la réponse, une couche capable de comprendre ce que signifiait réellement le signal.
Les LLM souffrent également d'un comportement appelé sycophancie. Ils sont entraînés à être utiles, ce que le modèle interprète souvent comme « complaisant ». En thérapie, les bons cliniciens s'opposent aux raisonnements dangereux. Un LLM tend à les valider. La recherche montre que lorsque les chatbots sont confrontés à des scénarios impliquant des délires ou des idées suicidaires, ils valident fréquemment le délire au lieu de le contester. Ils créent ce que les chercheurs appellent un « piège d'empathie » : les utilisateurs se sentent compris par une machine qui se contente de prédire du texte.
Par-dessus tout cela, la plupart des systèmes de sécurité des chatbots sont sans état. Ils analysent chaque message de façon isolée. Ils ne peuvent pas suivre si une conversation glisse d'une « alimentation saine » vers le « comptage des calories » puis vers « comment cacher de la nourriture ». Sans conscience au niveau de la session, le danger s'accumule sans être détecté.
Ce qui fonctionne (et ce qui ne fonctionne pas)
Commençons par ce qui ne résout pas ce problème.
De meilleurs prompts. Dire à l'IA « sois prudente » dans ses instructions système n'empêche pas les hallucinations. Le modèle continue de générer une sortie probabiliste. On ne parvient pas à une sécurité de niveau clinique uniquement à force de prompts.
Filtres par mots-clés. Balayer le texte à la recherche de mots interdits comme « suicide » ou « lame de rasoir » attrape les cas évidents. Mais une phrase comme « je ne veux pas me réveiller demain » ne contient aucun mot interdit. Elle signale pourtant une idée suicidaire. Les filtres par mots-clés passent à côté du sens sémantique.
Contrôle a posteriori. Vérifier les sorties de l'IA une fois qu'elles sont déjà parvenues à l'utilisateur, c'est trop tard. Dans une conversation de crise, une seule réponse nuisible peut causer des dommages irréversibles. Il faut de la prévention, pas du nettoyage.
Ce qui fonctionne, c'est une couche architecturale distincte — un pare-feu de sécurité clinique — placée entre l'utilisateur et le modèle d'IA. Elle ne demande pas à l'IA d'être sûre. Elle impose la sécurité en contrôlant ce que l'IA a le droit de faire. Voici comment elle fonctionne, en trois étapes :
1. Moniteur d'entrée (avant que l'IA ne voie quoi que ce soit). Un modèle distinct et spécialisé — pas le chatbot — analyse chaque message utilisateur sous l'angle du risque clinique. Il vérifie les mots-clés, mais il effectue aussi une analyse sémantique. Il compare le message à des protocoles de tri validés comme la Columbia-Suicide Severity Rating Scale (C-SSRS), un outil de dépistage structuré utilisé en milieu clinique. Si le score de risque dépasse un seuil défini, il déclenche l'étape suivante.
2. Mécanisme de coupure franche (l'IA est déconnectée). Quand un risque est détecté, le système ne transmet pas le message au chatbot avec un simple avertissement : il coupe la connexion intégralement. La conversation bascule du moteur d'IA vers un script de crise pré-rédigé et validé sur le plan clinique. La sortie est déterministe — autrement dit, la même entrée produit toujours la même réponse sûre. Par exemple : « Je suis préoccupé par ce que vous partagez. Veuillez contacter la 988 Suicide & Crisis Lifeline. »
3. Moniteur de sortie (contrôle de ce que dit l'IA). Même lorsque l'entrée semble sûre, la réponse de l'IA est filtrée avant que l'utilisateur ne la voie. Le moniteur recherche les conseils médicaux proscrits, la validation excessive et les affirmations hallucinées. Si la réponse échoue à l'un de ces contrôles, le système la bloque et la remplace par une alternative sûre.
Cette architecture s'intègre également aux dossiers médicaux informatisés (EHR) via les normes FHIR — un protocole d'échange de données de santé — pour ajouter du contexte. Si le dossier d'un patient signale des antécédents d'anorexie, le pare-feu abaisse son seuil de risque pour toute conversation liée au poids. Un conseil de bien-être généraliste concernant le sucre peut convenir à la plupart des utilisateurs. Pour ce patient, le système le bloque.
L'avantage décisif pour votre équipe de conformité : chaque décision prise par le pare-feu — chaque score de risque, chaque règle déclenchée, chaque action menée — est consignée dans une piste d'audit immuable. Quand un régulateur ou un avocat demande « pourquoi le système a-t-il fait cela », vous pouvez pointer une règle précise et une chaîne logique précise. Vous transformez une boîte noire en boîte blanche.
Pour les organisations qui font tourner plusieurs agents d'IA dans un même système, une couche d'orchestration multi-agents et de contrôle par superviseur ajoute une protection supplémentaire. Un agent « Gardien » dédié surveille les autres agents et bloque toute réponse qui viole les politiques de sécurité, même si l'agent principal dérive.
Que vous exerciez dans la santé et les sciences de la vie ou dans n'importe quel secteur régulé, le principe est le même. Vos workflows déterministes et outillages doivent être architecturalement séparés de votre couche d'IA générative. La sécurité ne peut pas être une fonctionnalité ajoutée après coup à un chatbot. Elle doit être l'architecture elle-même.
Points clés
- Le chatbot Tessa de la NEDA a donné des conseils de déficit calorique à des patients atteints de troubles du comportement alimentaire parce que son architecture n'avait aucune couche de contexte clinique — une survivante a déclaré que ces conseils auraient pu lui coûter la vie.
- Les pertes dues aux hallucinations de l'IA ont atteint environ 67,4 milliards de dollars en 2024 ; les défaillances dans la santé entraînent la responsabilité la plus lourde car les polices de responsabilité médicale ne couvrent souvent pas les erreurs algorithmiques.
- Le prompt engineering et les filtres par mots-clés ne peuvent pas rendre une IA probabiliste cliniquement sûre — il faut une couche de sécurité déterministe distincte qui déconnecte l'IA dès qu'un risque est détecté.
- Un pare-feu de sécurité clinique crée une piste d'audit complète pour chaque décision, transformant une responsabilité boîte noire en logique auditable et défendable, que régulateurs et assureurs peuvent vérifier.
- Si votre outil d'IA franchit la ligne entre bien-être général et évaluation de symptômes ou suggestions de traitement, la FDA peut le classer comme dispositif médical — avec des coûts d'enregistrement et des exigences de validation clinique.
En résumé
Une IA de santé dont la sécurité repose sur des prompts et des filtres est à un cas limite d'une crise. La solution est architecturale : une couche de sécurité déterministe qui surveille chaque entrée et chaque sortie, déconnecte l'IA dès qu'un risque est détecté et consigne chaque décision pour l'audit. Posez la question à votre fournisseur d'IA : quand un patient dont les antécédents de trouble du comportement alimentaire sont signalés demande à votre chatbot comment perdre du poids, pouvez-vous me montrer la règle exacte qui se déclenche, la réponse exacte qui est délivrée et le journal d'audit qui le prouve ?