ChartSieve / Clinical AI Safety Firewall
Het HbA1c klopte. Het metformin-advies moest toch worden gestopt.
Een conceptbericht in een patiëntenportaal kan het dossier correct citeren en toch de verkeerde actie aanbevelen. Bekijk hoe ChartSieve de aanbeveling controleert aan de hand van een synthetisch patiëntendossier vóór een gesimuleerde vrijgavebeslissing.
Bekijk de demonstratie van het bedrijf. Alle getoonde casussen en dossiers zijn synthetisch.
6.8%
HbA1c correct geciteerd
Synthetische casus A-1002
28
Laatst geregistreerde eGFR
Hetzelfde synthetische dossier
HOLD
Ter beoordeling door clinicus
Samengestelde nierregel
Uitsluitend een technische demonstratie. Er zijn geen echte patiënten, PHI, EHR, leverancierssystemen of zorgworkflows bij betrokken.
De foutmodus
Een correct getal is geen veilige aanbeveling.
Het conceptbericht heeft één dossierfeit juist. Een controle die alleen naar laboratoriumwaarden kijkt, zou daar stoppen. De patiëntspecifieke veiligheidscontrole moet inspecteren wat het conceptbericht de patiënt vraagt te doen.
01 / Concept
“Ga door met metformin”
Het conceptbericht in het synthetische patiëntenportaal citeert HbA1c 6.8% correct en raadt vervolgens aan om de medicatie voort te zetten.
02 / Dossier
Laatste eGFR: 28
Het synthetische dossier toont ook een stijgende creatininetrend. De laatste eGFR, en niet die trend alleen, stuurt de samengestelde nierregel aan.
03 / Poort
Aanhouden voor beoordeling
De deterministische beleidspoort retourneert HOLD_FOR_REVIEW in de gesimuleerde workflow en toont de nierbevinding aan een beoordelaar.
De architectuur
Het model kan adviseren. Het kan de poort niet passeren.
ChartSieve scheidt dossierverankering, veiligheidsregels en de uiteindelijke uitspraak. Die grens is van belang wanneer een aannemelijk antwoord een onveilige actie maskeert.
STAP 01
Veranker de bewering
Deterministische code vergelijkt geëxtraheerde laboratorium- en medicatieclaims met synthetische FHIR-achtige JSON-patiëntendossiers. Bronnen worden weergegeven waar beschikbaar.
STAP 02
Pas veiligheidsregels toe
Een samengestelde set van basisregels controleert de meest recente eGFR, allergieën en vitale functies. De metformin-casus resulteert in CONTRAINDICATION_RENAL.
STAP 03
Beslis buiten het LLM
Adviezen van verificateurs kunnen context toevoegen, maar ze kunnen van de deterministische poort een RELEASE, HOLD_FOR_REVIEW, of BLOCK -resultaat niet overschrijven.
Bewijs uit de demo
De bevinding blijft gekoppeld aan de beslissing.
Dit zijn opnamen van de draaiende synthetische demonstratie, geen klantendossiers of illustraties. De weergave over de volledige breedte houdt de bevinding en het ondersteunende bewijsmateriaal leesbaar.
Bewijsspoor
Een reden voor beoordeling, niet zomaar een rood licht.
Het feedresultaat houdt de regelbevinding, beschikbaar claimbewijs en adviezen van verificateurs bij elkaar. De Safety Receipt bevat een van een tijdstempel voorziene SHA-256-digest ingekort tot 16 hexadecimale tekens; het is geen handtekening of onveranderlijk auditlogboek.
Een begrensde test
De benchmark test geïntroduceerde regelpatronen, geen klinische gereedheid.
Op 34 vaste synthetische gelabelde artefacten hield ChartSieve alle 22 geïntroduceerde onveilige casussen aan of blokkeerde deze, zonder de 12 veilige casussen vast te houden. Een gedefinieerde basislijn die uitsluitend naar laboratoriumwaarden kijkt, onderschepte op dezelfde set 4 van die 22 onveilige casussen.
34
Vaste synthetische artefacten
22/22
Geïntroduceerde onveilige casussen aangehouden of geblokkeerd
4/22
Onderschept door de gedefinieerde naïeve basislijn
Deze aantallen zijn afkomstig van een kleine set die is voorzien van bekende regelpatronen. Ze meten geen patiëntuitkomsten, prestaties in productie of algemene klinische nauwkeurigheid.
Voorbij de ankercasus
Dezelfde inspectiegrens geldt voor andere geïntroduceerde risico's.
De feed bevat ook klinische beslissingsondersteuning en de Model Equity-weergave. Dit zijn synthetische governancevoorbeelden, geen diagnoses of observaties van een zorgsysteem.
Een uitvoer zonder waarschuwing wordt alsnog gecontroleerd.
Een geïntroduceerde modelscore van 0.34 ligt onder de waarschuwingsdrempel van 0.40, terwijl het synthetische dossier zorgwekkende vitale functies en lactaat toont. De poort markeert een under-call en zuurstofverzadigingszorg ter beoordeling.
Geaggregeerde resultaten tonen niet het volledige beeld.
Een afzonderlijk synthetisch logboek van 500 beslissingen toetst subgroepgevoeligheid aan een gekozen gelijkheidsdrempel van 0.80. Vlaggen vragen om klinische en statistische beoordeling; ze vormen geen vaststelling van vooroordelen in de praktijk of een juridisch oordeel.
Wat deze demonstratie wel en niet doet
De demonstratie toont een inspectiemechanisme. Uitrol in de praktijk vereist afzonderlijke integratie, klinische validatie en governancerelateerd werk.
| Vraag | Hier getoond | Buiten deze demo |
|---|---|---|
| Patiëntcontext | Synthetische FHIR-achtige dossiers en vaste feed | Koppeling met live EHR of apparatuur aan het bed |
| Veiligheidsuitspraak | Samengestelde regels en een deterministische beleidspoort | Een uitgebreide, onderhouden set van klinische regels of een diagnose |
| Zorgworkflow | Gesimuleerde uitkomsten van vrijgave, aanhouden en blokkeren | Versturen van een bericht of bevestigen van beoordeling door een clinicus |
| Bewijsmateriaal | Beschikbare claimbronnen en ingekorte SHA-256-digestbewijzen in de feed | Ondertekende, onveranderlijke auditlogboeken van productiekwaliteit |
| Evaluatie | Een vaste synthetische regressieset en governance-toets op subgroepen | Prospectieve klinische validatie of een juridische billijkheidsbeoordeling |
Wat deze demo niet doet: het gebruikt geen echte patiënten of PHI, integreert geen AI van leveranciers, verstuurt geen patiëntberichten, voert geen klinische studie uit en stelt geen naleving van regelgeving vast.
Operationele vragen voorbij de casus
Wat gebeurt er als een AI-verificateur niet beschikbaar is?
ChartSieve gebruikt deterministische adviestekst wanneer de optionele live provider niet beschikbaar is of een gecacht antwoord ontbreekt. De deterministische beleidspoort beslist nog steeds of het synthetische conceptbericht wordt vrijgegeven, aangehouden voor beoordeling of geblokkeerd. Een reactie van een agent stelt die beslissing nooit vast en overschrijft deze ook nooit.
Waarom de creatininetrend tonen als eGFR de aanleiding is voor het aanhouden van metformin?
De stijgende creatininetrend van de synthetische patiënt dient als ondersteunende context voor de nierbevinding. De samengestelde nierregel van ChartSieve gebruikt de laatst geregistreerde eGFR van 28 om de metformin-aanbeveling aan te houden. De trend bepaalt het eindoordeel niet zelfstandig.
Bevatten de benchmarkrijen adviezen van verificateursagenten?
Nee. ChartSieve draait de benchmark op een afzonderlijke, vaste gelabelde regressieset en die rijen bevatten geen verificateursadviezen. De 22 van de 22 onderschepte onveilige gevallen meten de deterministische firewall tegen geïntroduceerde regelpatronen, niet de prestaties van agenten of klinische validatie.
Is er een bron op claimniveau voor elke geïnspecteerde uitvoer?
Nee. Inspectieresultaten in de feed bevatten claimbronnen waar beschikbaar, naast regelbevindingen en verificateursadviezen. ChartSieve garandeert geen bron voor elke claim of elk artefact in deze synthetische feed. Beoordelaars moeten onderscheid maken tussen een getoonde bron en een niet-onderbouwde claim.
Bewijst de Model Equity-weergave dat een sepsis-model bevooroordeeld is?
Nee. Model Equity toetst 500 synthetische sepsisbeslissingen op subgroepgevoeligheid en markeert gelijkheidsratio's onder een gekozen drempelwaarde van 0.80. Het is een governance-toets op geïntroduceerde gegevens, geen bevinding over een echt in productie genomen model of een juridisch billijkheidsoordeel. De subgroepresultaten zouden klinisch en statistisch moeten worden beoordeeld.
Is de AI-openbaarmaking in de demo een conforme patiëntencommunicatie?
Nee. Een vrijgegeven synthetisch portaalconceptbericht ontvangt een illustratieve AI-openbaarmakingstekst die verwijst naar AB 3030. De demonstratie voltooit niet de aanvullende communicatie- en menselijk-contactworkflow die nodig is voor naleving, en geen enkele echte patiënt of zorgteam ontvangt het bericht.
Technisch onderzoek
Het onderzoek achter deze demo — de architectuur, het verificatieontwerp en de enterprise-blauwdruk.
- Algorithmic Equity in Clinical AI: The Deep AI Imperative (interactieve whitepaper)
- Beyond the 0.001% Fallacy: Architectural Integrity in Enterprise AI (interactieve whitepaper)
- The Clinical Imperative for Grounded AI in Healthcare (interactieve whitepaper)
Volledige oplossing
Ontdek de oplossing Healthcare AI Safety for Health Systems →Betrek dossierspecifieke controles bij het ontwerpgesprek
We kunnen onderzoeken waar een conceptbericht uw zorgworkflow binnenkomt en welk bewijs een clinicus nodig heeft bij een beoordelingspoort.
ChartSieve is een synthetische demonstratie. Een echte ingebruikname vereist integratie, onderhouden klinische regels, lokale validatie en toetsbare menselijke beoordeling.
Beoordeling van de veiligheidsworkflow
- ✓ Concept-naar-beoordeling trajectkartering
- ✓ Bewijsvereisten uit het patiëntendossier
- ✓ Regel-eigenaarschap en escalatieontwerp
- ✓ Evaluatievragen vóór ingebruikname
Beheerst implementatieontwerp
- ✓ Integratiegrenzen
- ✓ Specificatie van deterministische poorten
- ✓ Bewijsmateriaal voor beoordeling door de clinicus
- ✓ Doorlopende evaluatie van veiligheid en gelijkheid
