ChartSieve / Clinical AI Safety Firewall
L'HbA1c era corretta. Il consiglio sulla metformina andava comunque fermato.
Una bozza del portale pazienti può citare correttamente la cartella clinica e raccomandare comunque l'azione sbagliata. Scopri come ChartSieve verifica la raccomandazione rispetto a una cartella paziente sintetica prima di una decisione simulata di rilascio.
Guarda il walkthrough aziendale. Tutti i casi e le cartelle mostrati sono sintetici.
6.8%
HbA1c citata correttamente
Caso sintetico A-1002
28
Ultimo eGFR registrato
Stessa cartella sintetica
HOLD
Per la revisione del medico
Regola renale curata
Solo dimostrazione ingegneristica. Nessun paziente reale, PHI, EHR, sistema di fornitori o flusso di cura è coinvolto.
La modalità di fallimento
Un numero corretto non è una raccomandazione sicura.
La bozza riporta correttamente un dato della cartella. Un controllo basato sui soli valori di laboratorio si fermerebbe lì. Il controllo di sicurezza specifico per il paziente deve esaminare cosa la bozza chiede di fare al paziente.
01 / Bozza
“Continuare la metformina”
La bozza sintetica del portale pazienti cita l'HbA1c 6.8% correttamente, per poi raccomandare di proseguire il farmaco.
02 / Cartella
Ultimo eGFR: 28
La cartella sintetica mostra anche un trend di creatinina in aumento. È l'ultimo eGFR, non quel solo trend, a guidare la regola renale curata.
03 / Gate
Sospensione per revisione
Il gate di policy deterministico restituisce HOLD_FOR_REVIEW nel flusso di lavoro simulato e mostra il riscontro renale a un revisore.
L'architettura
Il modello può consigliare. Non può autorizzare il superamento del gate.
ChartSieve separa l'ancoraggio alla cartella, le regole di sicurezza e la disposizione finale. Tale confine è fondamentale quando una risposta plausibile maschera un'azione non sicura.
FASE 01
Ancorare l'asserzione
Il codice deterministico confronta le asserzioni estratte su esami di laboratorio e farmaci con il JSON sintetico della cartella paziente di tipo FHIR. Le fonti appaiono ove disponibili.
FASE 02
Applicare le regole di sicurezza
Un set di regole seed curate verifica l'ultimo eGFR, le allergie e i segni vitali. Il caso della metformina produce CONTRAINDICATION_RENAL.
FASE 03
Decidere all'esterno dell'LLM
I pareri consultivi dei verificatori possono aggiungere contesto, ma non possono scavalcare l'esito RELEASE, HOLD_FOR_REVIEW, o BLOCK del gate deterministico.
Prove dalla demo
Il riscontro resta allegato alla decisione.
Queste sono acquisizioni della dimostrazione sintetica in esecuzione, non cartelle di clienti né illustrazioni. La vista a larghezza intera mantiene leggibili il riscontro e le evidenze di supporto.
Traccia delle evidenze
Un motivo per revisionare, non solo una luce rossa.
Il risultato nel feed mantiene uniti il riscontro della regola, le evidenze disponibili sull'asserzione e i pareri del verificatore. La sua Safety Receipt include un digest SHA-256 con marcatura temporale troncato a 16 caratteri esadecimali; non è una firma né un log di audit immutabile.
Un test delimitato
Il benchmark testa pattern di regole seed, non la prontezza clinica.
Su 34 artefatti sintetici etichettati fissi, ChartSieve ha sospeso o bloccato tutti i 22 casi non sicuri inseriti come seed senza sospendere i 12 casi sicuri. Una baseline definita basata sui soli valori di laboratorio ha intercettato 4 di quei 22 casi non sicuri sullo stesso set.
34
Artefatti sintetici fissi
22/22
Casi non sicuri seed sospesi o bloccati
4/22
Intercettati dalla baseline ingenua definita
Questi conteggi provengono da un piccolo set popolato con pattern di regole noti. Non misurano gli esiti clinici sui pazienti, le prestazioni in produzione o l'accuratezza clinica generale.
Oltre il caso principale
Lo stesso confine di ispezione si applica ad altri rischi seed.
Il feed include anche il supporto decisionale clinico e la vista Model Equity. Si tratta di esempi sintetici di governance, non di diagnosi o osservazioni provenienti da una struttura sanitaria.
Anche un output senza allerta viene comunque controllato.
Un punteggio del modello seed di 0.34 è inferiore alla sua soglia di allerta di 0.40, mentre la cartella sintetica mostra parametri vitali e lattati preoccupanti. Il gate segnala una sotto-segnalazione e un problema di ossigenazione per la revisione.
I risultati aggregati non offrono il quadro completo.
Un log sintetico separato di 500 decisioni esamina la sensibilità per sottogruppi rispetto a una soglia di parità scelta di 0.80. Le segnalazioni richiedono una revisione clinica e statistica; non costituiscono una constatazione di bias reale o un riscontro legale.
Cosa fa e cosa non fa questa dimostrazione
Il walkthrough illustra un meccanismo di ispezione. Il deployment richiederebbe attività separate di integrazione, convalida clinica e governance.
| Domanda | Mostrato qui | Fuori da questa demo |
|---|---|---|
| Contesto del paziente | Cartelle sintetiche di tipo FHIR e feed fisso | Connessione EHR live o a dispositivi al letto del paziente |
| Disposizione di sicurezza | Regole curate e un gate di policy deterministico | Un set di regole cliniche completo e manutenuto o una diagnosi |
| Flusso di cura | Esiti simulati di rilascio, sospensione e blocco | Invio di un messaggio o conferma della revisione del medico |
| Evidenze | Fonti disponibili delle asserzioni e ricevute con digest SHA-256 troncato nel feed | Registrazione di audit firmata, immutabile e di livello enterprise |
| Valutazione | Un set di regressione sintetico fisso e screening di governance dei sottogruppi | Convalida clinica prospettica o determinazione legale di equità |
Cosa non fa questa demo: non utilizza pazienti reali o PHI, non integra un'AI di fornitori terzi, non invia messaggi ai pazienti, non esegue studi clinici né stabilisce la conformità normativa.
Domande operative oltre il caso specifico
Cosa succede se un verificatore AI non è disponibile?
ChartSieve utilizza testo consultivo deterministico quando il provider live opzionale non è disponibile o manca una risposta memorizzata nella cache. Il gate di policy deterministico decide comunque se la bozza sintetica viene rilasciata, sospesa per revisione o bloccata. La risposta di un agente non stabilisce né scavalca mai tale decisione.
Perché mostrare il trend della creatinina se è l'eGFR a determinare la sospensione della metformina?
Il trend della creatinina in aumento del paziente sintetico costituisce un contesto di supporto per il riscontro renale. La regola renale curata di ChartSieve utilizza l'ultimo eGFR registrato di 28 per sospendere la raccomandazione sulla metformina. Il trend non determina autonomamente il verdetto.
Le righe del benchmark includono i pareri degli agenti verificatori?
No. ChartSieve esegue il benchmark su un set di regressione etichettato fisso separato, e tali righe non contengono pareri dei verificatori. I 22 rilevamenti su 22 di casi non sicuri misurano il firewall deterministico rispetto ai pattern di regole seed, non le prestazioni degli agenti o la convalida clinica.
Esiste una fonte a livello di asserzione per ogni output ispezionato?
No. I risultati dell'ispezione del feed includono le fonti delle asserzioni ove disponibili, insieme ai riscontri delle regole e ai pareri dei verificatori. ChartSieve non garantisce una fonte per ogni asserzione o artefatto in questo feed sintetico. I revisori devono distinguere una fonte mostrata da un'asserzione priva di supporto.
La vista Model Equity dimostra che un modello per la sepsi è distorto?
No. Model Equity esamina 500 decisioni sintetiche sulla sepsi per valutare la sensibilità nei sottogruppi e segnala rapporti di parità inferiori alla soglia scelta di 0.80. Si tratta di uno screening di governance su dati seed, non di un rilievo su un modello reale in produzione o di una determinazione legale di equità. I risultati per sottogruppo richiederebbero una revisione clinica e statistica.
L'informativa sull'AI nella demo costituisce una comunicazione al paziente conforme?
No. Una bozza rilasciata del portale sintetico riceve una stringa illustrativa di informativa sull'AI che fa riferimento ad AB 3030. La dimostrazione non completa il flusso di comunicazione aggiuntivo e di contatto umano necessario per la conformità, e nessun paziente o team di cura reale riceve il messaggio.
Ricerca tecnica
La ricerca alla base di questa demo: l'architettura, la progettazione della verifica e il blueprint aziendale.
- Algorithmic Equity in Clinical AI: The Deep AI Imperative (whitepaper interattivo)
- Beyond the 0.001% Fallacy: Architectural Integrity in Enterprise AI (whitepaper interattivo)
- The Clinical Imperative for Grounded AI in Healthcare (whitepaper interattivo)
Soluzione completa
Esplora la soluzione Healthcare AI Safety for Health Systems →Includi i controlli specifici per cartella nella discussione di progettazione
Possiamo esaminare dove una bozza entra nel vostro flusso di cura e quali evidenze servirebbero a un medico presso un gate di revisione.
ChartSieve è una dimostrazione sintetica. Un deployment reale richiede integrazione, regole cliniche manutenute, convalida locale e una revisione umana responsabile.
Valutazione del flusso di sicurezza
- ✓ Mappatura del percorso dalla bozza alla revisione
- ✓ Requisiti di evidenza della cartella clinica del paziente
- ✓ Titolarità delle regole e progettazione dell'escalation
- ✓ Domande di valutazione prima del deployment
Progettazione di un'implementazione governata
- ✓ Confini di integrazione
- ✓ Specifica del gate deterministico
- ✓ Evidenze per la revisione del medico
- ✓ Valutazione continua di sicurezza ed equità
