J'ai conçu un contrôle d'IA clinique qui bloque une phrase exacte
J'ai trouvé un taux d'HbA1c correct de 6.8% à côté du conseil de poursuivre la metformine dans un brouillon synthétique de portail patient. Ce même dossier synthétique indique un eGFR de 28. Quand j'ai rassemblé ces faits, la question n'était plus de savoir si l'IA pouvait citer un résultat d'analyse. Elle est devenue : une phrase exacte peut-elle conférer de la crédibilité à une action qui exigeait l'examen d'un clinicien ?
J'ai conçu le guide interactif de ChartSieve autour de cette tension. Il s'agit d'une démonstration sur des dossiers synthétiques figés et des sorties d'IA simulées, non d'un déploiement clinique. Elle me permet de montrer clairement un parcours d'inspection : un brouillon arrive, les affirmations sont étayées, l'action recommandée est vérifiée par rapport au dossier, et un filtre déterministe décide si le brouillon peut être validé, mis en attente ou bloqué. Elle n'envoie pas de message au patient.
La phrase qui a passé ma première question
Je retrace le brouillon du portail patient affirmation par affirmation. Le taux d'HbA1c de 6.8% correspond au dossier synthétique. La metformine figure sur la liste des médicaments. Je peux associer une source à chaque fait sans avoir la moindre raison, sur la seule base de ces deux concordances, d'arrêter le brouillon. L'instruction finale indique au patient de poursuivre le traitement. Je m'arrête sur ce verbe. Une source attestant la présence du médicament ne peut pas autoriser sa recommandation.
Je passe des phrases étayées à la valeur la plus récente de la fonction rénale, un eGFR de 28. C'est ici que la règle prédéfinie CONTRAINDICATION_RENAL retient le brouillon pour examen clinique. C'est le tournant de conception que j'ai adopté dans ChartSieve : vérifier les actions recommandées séparément des affirmations étayées, puis conserver les deux résultats visibles. Je ne requalifie pas l'HbA1c de fausse pour rendre le blocage plus facile à expliquer. La valeur de laboratoire reste exacte à l'écran tandis que la recommandation reçoit un verdict distinct.
Je laisse également visible l'historique de la créatinine : de 1.4 à 1.9 puis 2.3 mg/dL. Cela ajoute du contexte au constat rénal, sans constituer un déclencheur indépendant de la décision. Je veille scrupuleusement à cette nuance car il serait facile de laisser une tendance spectaculaire se substituer à la règle effective. Le dernier eGFR pilote la conclusion de la règle dans ce cas synthétique. Un réviseur doit pouvoir contester la preuve exacte et la règle qui ont produit la mise en attente, et non mon interprétation d'un graphique alarmant.
Quand j'examine l'écran du dossier, le détail utile n'est pas un simple badge rouge. La phrase d'origine reste visible aux côtés de la décision et de la conclusion. Je peux lire dans une seule vue le brouillon, l'affirmation sur l'HbA1c et le motif rénal motivant la mise en attente. C'est là toute la différence entre un avertissement générique et une décision vérifiable. Un clinicien devrait toujours apprécier le contexte réel ; cette démonstration ne remplace pas ce jugement et ne confirme pas qu'un soignant a agi.
L'affirmation étayée et l'action suspendue
Je peux pointer l'eGFR de 28 dans le dossier synthétique figé, de sorte que le blocage initial paraît net. Une règle de production devrait d'abord décider quel résultat rénal utiliser. Que faire si deux résultats divergent, si la valeur la plus récente n'est pas disponible ou si la consultation concernée est incertaine ? ChartSieve ne résout pas ces questions. La sélection de la valeur du dossier constitue en soi une décision de sécurité. Une règle peut être rigoureusement codée alors que les données qui l'alimentent sont incomplètes ou contestées.
Je voudrais que ce choix soit également exposé au réviseur. Le résultat sélectionné, son horodatage et tout contexte manquant devraient être visibles avant que quiconque n'agisse sur la mise en attente. Sinon, une règle bien définie risque de tourner au litige sur une donnée cachée, et la personne chargée d'examiner le texte doit reprendre la recherche dans le dossier depuis le début.
J'ai choisi d'afficher l'historique de créatinine aux côtés du dernier eGFR pour que le réviseur voie le contexte sans le confondre avec le déclencheur. Cette distinction devrait perdurer lors de la maintenance des règles. Qui est responsable de la règle rénale, quelles recommandations cliniques et politiques locales la régissent, et comment teste-t-on une modification avant qu'elle n'impacte les brouillons ? La démo s'appuie sur un jeu de règles initiales soigneusement sélectionné. Elle ne fournit pas de base de connaissances cliniques maintenue ni de protocole pour répondre à ces questions de responsabilité.
J'ai conçu le panneau de synthèse pour localiser précisément tout désaccord. La liste de médicaments corrobore le fait que le patient prend de la metformine. La règle distincte CONTRAINDICATION_RENAL suspend la recommandation de la poursuivre au vu de l'eGFR de 28. Un réviseur peut contester la sélection de la source, la règle ou l'interprétation de l'instruction, sans devoir prétendre que le résultat d'HbA1c était inexact. Ce sont des formes d'objection distinctes, et un flux de travail réel devrait pouvoir consigner celle qui s'est produite.
Je demanderais à une équipe soignante ce qui doit se passer si un clinicien conteste la suspension. Quel motif consigner ? Qui est habilité à débloquer le brouillon, et quelles pièces justificatives conserver ? La démo signale le contenu pour révision, mais ne relie pas cet état à un praticien et ne documente aucun déblocage manuel (override). C'est précisément à cette transition inachevée qu'un système de santé doit définir les responsabilités. Un écran indiquant « suspendu » ne me dit pas qui a finalement validé, corrigé ou rejeté le conseil adressé au patient.
Je voulais que la mise en attente soit inspectable
Je ne voulais pas qu'un réviseur reçoive simplement l'avis d'un modèle estimant que le texte semblait risqué. Dans la démonstration, des agents de vérification peuvent enrichir l'analyse d'avis sur l'ancrage factuel, l'équité et le red-teaming. Un modèle externe est facultatif et ses réponses peuvent être mises en cache ; sans lui, un texte consultatif déterministe est employé. Ces avis éclairent l'utilisateur, mais ne fixent ni ne modifient la décision. Le filtre de politique déterministe renvoie RELEASE, HOLD_FOR_REVIEW, ou BLOCK.
Cette frontière est essentielle dans ce dossier. Même si un avis est parfaitement rédigé, si la conclusion de la règle indique un gel, le brouillon reste suspendu dans le flux simulé. Si un avis est manquant ou peu convaincant, la même règle peut toujours être évaluée. L'autorité du filtre est explicite, au lieu d'être dissimulée dans un paragraphe persuasif généré par un autre modèle. Je peux désapprouver la conception d'une règle initiale tout en sachant précisément quelle composante du système a pris la décision. C'est bien plus utile pour la gouvernance qu'un score de confiance opaque.
Le reçu de sécurité (Safety Receipt) m'offre un autre moyen d'auditer la suspension. Pour le cas de la metformine, l'enregistrement de démonstration comprend le verdict, les sources disponibles, le constat rénal, les avis consultatifs, un horodatage et une empreinte SHA-256 affichée sous forme de 16 caractères hexadécimaux. Je peux retracer quelles preuves accompagnaient la décision. L'empreinte est tronquée dans le reçu affiché ; une architecture de rétention et d'intégrité en production exigerait davantage que cet enregistrement. Les champs visibles rendent cette décision prédéfinie inspectable.
Je lis ce reçu en partant du verdict de suspension. D'abord, je recherche la règle ayant provoqué le gel ; ensuite, j'examine les sources d'affirmation restées valides. Cet ordre m'évite de considérer le verdict comme une condamnation de chaque phrase du brouillon. Il offre aussi au réviseur un point d'appui précis pour exprimer un désaccord. Il peut contester la règle initiale, la valeur rénale retenue ou l'interprétation de l'ordonnance. Ce sont des réserves différentes, et le reçu maintient les champs pertinents suffisamment proches pour les distinguer. Une simple étiquette de risque obligerait le réviseur à reconstituer toute cette chaîne.
J'évite également de prétendre que le brouillon suspendu a déjà été visé par un médecin. L'interface le signale pour révision ; elle ne consigne pas une intervention clinique réelle. Cela peut paraître une nuance insignifiante, jusqu'à ce qu'une mention « validé par un clinicien » se retrouve dans un dossier médical ou un rapport d'audit. Un flux de travail de sécurité doit distinguer scrupuleusement ce qui a eu lieu de ce qui est simplement en attente. L'utilité du reçu dans cette démo est de rendre la décision simulée et ses preuves inspectables, et non de prouver qu'une passation clinique réelle a eu lieu.
La référence qui m'a fait marquer une pause
Je reviens au brouillon sur la metformine lorsque j'observe le benchmark. Si je n'examine que la valeur de laboratoire déclarée, les 6.8% correspondent au dossier. Si j'examine l'action recommandée au regard de la dernière valeur rénale, l'eGFR de 28 déclenche la suspension programmée. Je voulais que la suite de tests de non-régression rende cette évolution de la question visible au-delà d'un seul écran, tout en restant transparent sur le caractère modeste et artificiel du test.
Elle comporte 34 artefacts synthétiques étiquetés fixes : 12 classés sûrs et 22 classés dangereux. Le pare-feu déterministe de ChartSieve a suspendu ou bloqué la totalité des 22 artefacts dangereux sans suspendre ni bloquer les 12 sûrs. La référence comparative définie rapproche les valeurs de laboratoire énoncées du dossier et valide des décisions d'aide à la décision clinique. Elle a intercepté 4 des 22 artefacts dangereux et en a manqué 18. Un outil d'appariement de laboratoire répond à une question plus restreinte que ce contrôle de règle programmée. L'écran de la metformine en montre la raison : le chiffre exact et l'instruction retenue par la règle coexistent dans le même brouillon.
Je dois encore savoir qui révise les définitions de règles, comment les désaccords sont enregistrés, quelles erreurs le corpus étiqueté exclut, et ce qui se passe lorsqu'une preuve requise pour une règle fait défaut. La démo matérialise ces questions autour d'un objet concret : un brouillon vérifiable, un dossier synthétique, une conclusion de règle et une décision. Les 18 omissions de la référence d'appariement de laboratoire montrent l'apport des contrôles de sécurité élargis à cet ensemble fixe ; ils ne sauraient prédire son comportement sur des cas cliniques inédits. Les exemples sont construits à partir de schémas connus, et la référence constitue une comparaison volontairement étroite, non un produit concurrent.
Ce que je présenterais à une équipe soignante
J'engagerais la conversation avec l'écran de la metformine, non le tableau de bord. Il offre à un responsable de l'informatique clinique un élément tangible à questionner. Le dernier eGFR constitue-t-il le déclencheur adéquat dans une règle en production ? Quelles exceptions et quelles données lacunaires importent ? Que doit voir le réviseur, et que doit consigner le système en cas de déblocage manuel ? Ce sont des choix de gouvernance clinique, non des arguments marketing ni des réponses d'un modèle incontrôlé.
Et si vous préférez voir le système fonctionner plutôt que de me lire, voici l'intégralité du processus de bout en bout.
Le décryptage complet de la démonstration de sécurité de l'IA clinique détaille le cas et le circuit d'inspection. Je reviens à une image marquante : un résultat d'analyse exact accolé à une consigne thérapeutique suspendue. Les deux faits méritent de rester visibles. Dissimuler l'affirmation exacte rendrait le brouillon manifestement erroné ; masquer le constat rénal le ferait paraître prêt à l'envoi. La véritable difficulté commence lorsque l'interface maintient les deux éléments à l'écran et somme quelqu'un d'assumer l'action qui les relie.
