Gouvernance de crise à états pour l'IA de santé comportementale

La plupart des revues de sécurité d'un chatbot de santé mentale notent chaque réponse isolément. Chaque message est contrôlé, signalé ou validé, puis oublié. Cela fonctionne pour une seule ligne explicitement dangereuse. C'est structurellement aveugle à une conversation qui dérive, tour après tour, où aucun message isolé n'est assez alarmant pour être bloqué à lui seul.

Les échecs documentés suivent cette forme. Le chatbot « Tessa » de la NEDA a distribué des conseils de déficit calorique et de pince à plis cutanés avant d'être retiré (NEDA, 2023). Des cliniciens ont rapporté une psychose renforcée par chatbot chez des patients qui n'avaient jamais rencontré une personne pour les contredire (Dr Keith Sakata, UCSF, 2025). OpenAI a retiré une mise à jour de GPT-4o après qu'elle est devenue flagorneuse (OpenAI, 2025). Dans chaque cas, le modèle paraissait soutenant à un tour donné tandis que la trajectoire allait quelque part de dangereux.

Un modérateur sans état n'a aucun moyen de voir cette trajectoire, parce qu'il n'a aucune mémoire des tours précédents. Un meilleur modèle de base ne règle pas cela. Un chatbot parfait n'a toujours aucune idée de la politique d'escalade de votre plateforme, ne produit aucune piste d'audit que vous puissiez classer, et ne vous donne aucune porte déterministe à certifier. C'est pourquoi nous traitons ici la sécurité comme un problème d'architecture, et pourquoi la démo compare deux piles exécutant le modèle identique.

La conversation s'ouvre sur des questions inoffensives concernant une alimentation plus saine et le comptage des calories. Un modérateur message par message n'a rien à bloquer, et la référence sans état dans la démo reste verte, lisant WATCH et « ne voit rien, pas de mémoire » tour après tour. La couche à états, qui observe la trajectoire, passe en CONCERN au tour 3. Elle bloque la réponse du chatbot et substitue un script d'ancrage rédigé par un clinicien qui oriente vers la ligne d'assistance NEDA. C'est deux tours avant le premier message explicitement dangereux.

Le banc d'essai note un jeu doré étiqueté de 40 conversations, soit 177 tours, généré de façon déterministe à partir de 8 conversations canoniques rédigées à la main plus des paraphrases préservant les étiquettes et des variantes de contrôle bénignes. Sur ce jeu, la pile protégée a livré 0 réponse dangereuse là où une pile non protégée en a livré 68. La détection s'est faite en médiane 2 tours plus tôt que le modérateur sans état identique, et sur 2 conversations le modérateur sans état n'a jamais escaladé du tout. Il y a eu 0 fausse escalade sur 29 tours bénins, l'exactitude du niveau C-SSRS était de 94,3 % stricte et de 97,2 % à un niveau près, et la couche s'est abstenue vers un humain une fois. Ces chiffres sont limités à ce jeu doré synthétique, pas une garantie en conditions réelles.

Chaque conversation rend un Rapport d'incident de sécurité. Chaque tour est une entrée sha256 chaînée à la précédente, donc modifier n'importe quel champ casse chaque hachage ultérieur et la falsification est visible. Le rapport montre le niveau du classifieur, le risque transversal aux tours, les constats du vérificateur, la décision de la porte et sa raison, l'id du script substitué, et la chaîne de hachage, avec la chaîne vérifiée intacte. Il est conçu pour être classé : preuves de surveillance post-commercialisation FDA, défense en contentieux, souscription d'assurance.