ChartSieve / Clinical AI Safety Firewall
L'HbA1c était exacte. Le conseil sur la metformine devait quand même être arrêté.
Un brouillon de portail patient peut citer correctement le dossier tout en recommandant la mauvaise action. Découvrez comment ChartSieve vérifie la recommandation par rapport à un dossier patient synthétique avant une décision de publication simulée.
Regardez la démonstration guidée de l'entreprise. Tous les cas et dossiers présentés sont synthétiques.
6.8%
HbA1c citée correctement
Cas synthétique A-1002
28
Dernier eGFR enregistré
Même dossier synthétique
HOLD
Pour examen clinique
Règle rénale sélectionnée
Démonstration d'ingénierie uniquement. Aucun patient réel, PHI, EHR, système de fournisseur ou flux de soins n'est impliqué.
Le mode de défaillance
Un chiffre exact ne constitue pas une recommandation sûre.
Le brouillon rapporte correctement un fait du dossier. Une vérification limitée aux seules valeurs de laboratoire s'arrêterait là. Le contrôle de sécurité spécifique au patient doit examiner ce que le brouillon demande au patient de faire.
01 / Brouillon
« Continuer la metformine »
Le brouillon du portail patient synthétique cite le taux d'HbA1c de 6.8% correctement, puis recommande de poursuivre le traitement.
02 / Dossier
Dernier eGFR : 28
Le dossier synthétique montre également une tendance à la hausse de la créatinine. C'est le dernier eGFR, et non cette seule tendance, qui motive la règle rénale sélectionnée.
03 / Barrière
Mise en attente pour examen
La barrière de politique déterministe renvoie HOLD_FOR_REVIEW dans le flux de travail simulé et présente le constat rénal à un réviseur.
L'architecture
Le modèle peut conseiller. Il ne peut pas franchir la barrière.
ChartSieve sépare l'ancrage dans le dossier, les règles de sécurité et la décision finale. Cette frontière compte lorsqu'une réponse plausible masque une action dangereuse.
ÉTAPE 01
Ancrer l'affirmation
Un code déterministe compare les affirmations extraites concernant les analyses et les médicaments avec le JSON synthétique du dossier patient de type FHIR. Les sources apparaissent lorsqu'elles sont disponibles.
ÉTAPE 02
Appliquer les règles de sécurité
Un ensemble de règles initiales sélectionnées vérifie le dernier eGFR, les allergies et les signes vitaux. Le cas de la metformine produit CONTRAINDICATION_RENAL.
ÉTAPE 03
Décider en dehors du LLM
Les avis du vérificateur peuvent apporter du contexte, mais ils ne peuvent pas supplanter le statut de la barrière déterministe : RELEASE, HOLD_FOR_REVIEW, ou BLOCK comme résultat.
Preuves issues de la démonstration
Le constat reste attaché à la décision.
Il s'agit de captures d'écran de la démonstration synthétique en direct, et non de dossiers clients ou d'illustrations. La vue pleine largeur maintient le constat et les preuves à l'appui parfaitement lisibles.
Piste de preuves
Un motif d'examen, pas seulement un voyant rouge.
Le résultat du flux conserve ensemble le constat de la règle, les preuves disponibles de l'affirmation et les avis du vérificateur. Son Safety Receipt comprend un condensat SHA-256 horodaté tronqué à 16 caractères hexadécimaux ; il ne s'agit ni d'une signature ni d'un journal d'audit immuable.
Un test délimité
Le benchmark teste des modèles de règles initiales, pas la maturité clinique.
Sur 34 artefacts étiquetés synthétiques fixes, ChartSieve a mis en attente ou bloqué l'ensemble des 22 cas dangereux injectés sans retenir les 12 cas sûrs. Une référence définie limitée aux seules valeurs de laboratoire n'a détecté que 4 de ces 22 cas dangereux sur le même ensemble.
34
Artefacts synthétiques fixes
22/22
Cas dangereux injectés mis en attente ou bloqués
4/22
Détectés par la référence naïve définie
Ces décomptes proviennent d'un ensemble restreint alimenté par des modèles de règles connus. Ils ne mesurent pas les résultats pour les patients, les performances en déploiement ou la précision clinique générale.
Au-delà du cas de référence
La même frontière d'inspection s'applique à d'autres risques injectés.
Le flux comprend également l'aide à la décision clinique et la vue Model Equity. Il s'agit d'exemples de gouvernance synthétiques, et non de diagnostics ou d'observations émanant d'un système de santé.
Une sortie sans alerte est tout de même vérifiée.
Un score de modèle injecté de 0.34 se situe en dessous de son seuil d'alerte de 0.40, tandis que le dossier synthétique montre des constantes vitales et des lactates préoccupants. La barrière signale une sous-alerte et un problème d'oxygénation pour examen.
Les résultats agrégés ne donnent pas une vue d'ensemble complète.
Un journal synthétique distinct de 500 décisions filtre la sensibilité par sous-groupe par rapport à un seuil de parité choisi de 0.80. Les signalements appellent un examen clinique et statistique ; ils ne constituent ni un biais avéré en conditions réelles ni une conclusion juridique.
Ce que cette démonstration fait et ne fait pas
La présentation illustre un mécanisme d'inspection. Un déploiement nécessiterait une intégration, une validation clinique et des travaux de gouvernance distincts.
| Question | Présenté ici | En dehors de cette démonstration |
|---|---|---|
| Contexte patient | Dossiers synthétiques de type FHIR et flux fixe | Connexion à un DME (EHR) en direct ou à un dispositif au chevet du patient |
| Décision de sécurité | Règles sélectionnées et barrière de politique déterministe | Un ensemble exhaustif et actualisé de règles cliniques ou un diagnostic |
| Flux de soins | Résultats simulés de validation, de mise en attente et de blocage | Envoi d'un message ou confirmation de l'examen par le clinicien |
| Preuves | Sources d'affirmations disponibles et reçus de condensats SHA-256 tronqués dans le flux | Journalisation d'audit signée, immuable et de niveau production |
| Évaluation | Un ensemble de régression synthétique fixe et un filtrage de gouvernance par sous-groupe | Validation clinique prospective ou détermination juridique d'équité |
Ce que cette démonstration ne fait pas : elle n'utilise aucun patient réel ni PHI, n'intègre aucune IA de fournisseur, n'envoie aucun message au patient, ne réalise aucune étude clinique et n'établit aucune conformité réglementaire.
Questions opérationnelles au-delà du cas
Que se passe-t-il si un vérificateur d'IA est indisponible ?
ChartSieve utilise un texte d'avis déterministe lorsque le fournisseur en direct facultatif est indisponible ou qu'une réponse en cache est manquante. La barrière de politique déterministe décide toujours si le brouillon synthétique est validé, mis en attente pour examen ou bloqué. La réponse d'un agent ne fixe ni n'annule jamais cette décision.
Pourquoi afficher l'évolution de la créatinine si l'eGFR motive la mise en attente de la metformine ?
La tendance à la hausse de la créatinine chez le patient synthétique constitue un contexte à l'appui du constat rénal. La règle rénale sélectionnée de ChartSieve utilise le dernier eGFR enregistré de 28 pour suspendre la recommandation de metformine. La tendance ne détermine pas à elle seule le verdict.
Les lignes du benchmark incluent-elles les avis de l'agent vérificateur ?
Non. ChartSieve exécute le benchmark sur un ensemble de régression étiqueté fixe distinct, et ces lignes ne comportent pas d'avis de vérificateur. Les 22 détections sur 22 cas dangereux mesurent le pare-feu déterministe face à des modèles de règles injectés, et non la performance de l'agent ou une validation clinique.
Existe-t-il une source au niveau de l'affirmation pour chaque sortie inspectée ?
Non. Les résultats d'inspection du flux incluent les sources d'affirmations lorsqu'elles sont disponibles, aux côtés des constats de règles et des avis du vérificateur. ChartSieve ne garantit pas de source pour chaque affirmation ou artefact dans ce flux synthétique. Les réviseurs doivent faire la distinction entre une source affichée et une affirmation non étayée.
La vue Model Equity prouve-t-elle qu'un modèle de sepsis est biaisé ?
Non. Model Equity filtre 500 décisions synthétiques de sepsis pour détecter la sensibilité par sous-groupe et signale les ratios de parité inférieurs au seuil choisi de 0.80. Il s'agit d'un examen de gouvernance sur des données injectées, et non d'une conclusion concernant un modèle réellement déployé ou d'une décision juridique d'équité. Les résultats par sous-groupe nécessiteraient un examen clinique et statistique.
La mention de divulgation de l'IA dans la démonstration constitue-t-elle une communication conforme destinée aux patients ?
Non. Un brouillon de portail synthétique validé reçoit une mention illustrative de divulgation de l'IA faisant référence à l'AB 3030. La démonstration n'accomplit pas le processus supplémentaire de communication et de contact humain nécessaire à la conformité, et aucun patient réel ni équipe soignante ne reçoit le message.
Recherche technique
La recherche derrière cette démonstration — l'architecture, la conception de la vérification et le schéma directeur d'entreprise.
Intégrez des vérifications propres aux dossiers patients dans la conception
Nous pouvons examiner où un brouillon s'insère dans votre flux de soins et de quelles preuves un clinicien aurait besoin au niveau d'une barrière d'examen.
ChartSieve est une démonstration synthétique. Un déploiement réel requiert une intégration, des règles cliniques maintenues, une validation locale et un examen humain responsable.
Évaluation du flux de travail de sécurité
- ✓ Cartographie du parcours du brouillon à l'examen
- ✓ Exigences en matière de preuves issues du dossier patient
- ✓ Attribution des règles et conception de l'escalade
- ✓ Questions d'évaluation avant le déploiement
Conception d'une mise en œuvre gouvernée
- ✓ Périmètres d'intégration
- ✓ Spécification de la barrière déterministe
- ✓ Preuves pour l'examen clinique
- ✓ Évaluation continue de la sécurité et de l'équité
