ChartSieve / Clinical AI Safety Firewall
Der HbA1c-Wert war korrekt. Die Metformin-Empfehlung musste dennoch gestoppt werden.
Ein Entwurf im Patientenportal kann die Akte korrekt zitieren und dennoch die falsche Maßnahme empfehlen. Erfahren Sie, wie ChartSieve die Empfehlung vor einer simulierten Freigabeentscheidung anhand einer synthetischen Patientenakte prüft.
Sehen Sie sich die Unternehmens-Demo an. Alle gezeigten Fälle und Datensätze sind synthetisch.
6.8%
HbA1c korrekt zitiert
Synthetischer Fall A-1002
28
Zuletzt erfasste eGFR
Derselbe synthetische Datensatz
HOLD
Zur klinischen Überprüfung
Kuratierte renale Regel
Reine technische Demonstration. Es sind keine echten Patientinnen oder Patienten, PHI, EHR-Systeme, Anbietersysteme oder Behandlungsworkflows beteiligt.
Das Fehlermuster
Ein korrekter Zahlenwert ist keine sichere Empfehlung.
Der Entwurf gibt eine Tatsache aus der Akte richtig wieder. Eine reine Laborwertprüfung würde an dieser Stelle stoppen. Die patientenspezifische Sicherheitsprüfung muss untersuchen, wozu der Entwurf die Patientin oder den Patienten auffordert.
01 / Entwurf
„Metformin fortsetzen“
Der Entwurf im synthetischen Patientenportal zitiert den HbA1c-Wert 6.8% korrekt und empfiehlt anschließend, die Medikation fortzusetzen.
02 / Akte
Neueste eGFR: 28
Der synthetische Datensatz zeigt zudem einen steigenden Kreatinin-Trend. Die jüngste eGFR, nicht dieser Trend allein, steuert die kuratierte renale Regel.
03 / Gate
Zur Überprüfung anhalten
Das deterministische Policy-Gate liefert HOLD_FOR_REVIEW im simulierten Workflow und zeigt den renalen Befund einer prüfenden Person.
Die Architektur
Das Modell kann beraten. Es kann das Gate nicht freigeben.
ChartSieve trennt Aktenabgleich, Sicherheitsregeln und die endgültige Disposition. Diese Grenze ist entscheidend, wenn eine plausible Antwort eine unsichere Handlung verschleiert.
SCHRITT 01
Aussage an der Akte verankern
Deterministischer Code vergleicht extrahierte Labor- und Medikationsaussagen mit synthetischem, FHIR-ähnlichem Patientenakten-JSON. Quellen werden angezeigt, sofern verfügbar.
SCHRITT 02
Sicherheitsregeln anwenden
Ein kuratiertes Seed-Regelwerk prüft die jüngste eGFR, Allergien und Vitalparameter. Der Metformin-Fall ergibt CONTRAINDICATION_RENAL.
SCHRITT 03
Außerhalb des LLM entscheiden
Verifier-Hinweise können Kontext liefern, können aber nicht das deterministische Gate-Ergebnis von RELEASE, HOLD_FOR_REVIEW, oder BLOCK überschreiben.
Nachweise aus der Demo
Der Befund bleibt an die Entscheidung gekoppelt.
Dies sind Aufnahmen der laufenden synthetischen Demonstration, keine Kundendatensätze oder Illustrationen. Die Vollansicht hält den Befund und die unterstützende Evidenz lesbar.
Evidenzkette
Ein Grund zur Überprüfung, nicht bloß ein rotes Licht.
Das Feed-Ergebnis führt den Regelbefund, verfügbare Aussage-Evidenz und Verifier-Hinweise zusammen. Sein Safety Receipt enthält einen mit Zeitstempel versehenen SHA-256-Digest, der auf 16 Hex-Zeichen gekürzt ist; es handelt sich nicht um eine Signatur oder ein unveränderliches Audit-Protokoll.
Ein abgegrenzter Test
Der Benchmark prüft hinterlegte Regelmuster, nicht die klinische Einsatzreife.
Bei 34 festen, synthetisch annotierten Artefakten hielt oder blockierte ChartSieve alle 22 hinterlegten unsicheren Fälle, ohne die 12 sicheren Fälle anzuhalten. Eine definierte reine Laborwert-Baseline fing 4 dieser 22 unsicheren Fälle auf demselben Datensatz ab.
34
Feste synthetische Artefakte
22/22
Hinterlegte unsichere Fälle angehalten oder blockiert
4/22
Von der definierten naiven Baseline abgefangen
Diese Zahlen stammen aus einem kleinen Datensatz, der mit bekannten Regelmustern versehen wurde. Sie messen weder Patientenergebnisse noch die Leistung im Produktiveinsatz oder die allgemeine klinische Genauigkeit.
Über den Referenzfall hinaus
Dieselbe Prüfungsgrenze gilt für weitere hinterlegte Risiken.
Der Feed umfasst auch klinische Entscheidungsunterstützung und die Model Equity-Ansicht. Dies sind synthetische Governance-Beispiele, keine Diagnosen oder Beobachtungen aus einem Gesundheitssystem.
Auch eine Ausgabe ohne Warnung wird überprüft.
Ein hinterlegter Modell-Score von 0.34 liegt unter seinem Alarmschwellenwert von 0.40, während der synthetische Datensatz bedenkliche Vitalparameter und Laktatwerte aufweist. Das Gate markiert einen Under-Call und Sauerstoffversorgungs-Bedenken zur Überprüfung.
Aggregierte Ergebnisse zeigen nicht das Gesamtbild.
Ein separates synthetisches Protokoll mit 500 Entscheidungen prüft die Subgruppensensitivität gegen einen gewählten Paritätsschwellenwert von 0.80. Markierungen erfordern eine klinische und statistische Überprüfung; sie sind kein Befund über reale Verzerrungen oder eine rechtliche Feststellung.
Was diese Demonstration leistet und was nicht
Die Demonstration zeigt einen Prüfmechanismus. Ein Produktiveinsatz würde separate Integrations-, klinische Validierungs- und Governance-Arbeiten erfordern.
| Frage | Hier gezeigt | Außerhalb dieser Demo |
|---|---|---|
| Patientenkontext | Synthetische FHIR-ähnliche Datensätze und fester Feed | Live-EHR- oder bettseitige Geräteanbindung |
| Sicherheitsdisposition | Kuratierte Regeln und ein deterministisches Policy-Gate | Ein umfassendes, gepflegtes klinisches Regelwerk oder eine Diagnose |
| Behandlungsworkflow | Simulierte Freigabe-, Halte- und Blockier-Ergebnisse | Versenden einer Nachricht oder Bestätigung der klinischen Prüfung |
| Evidenz | Verfügbare Aussagequellen und gekürzte SHA-256-Digest-Belege im Feed | Signierte, unveränderliche Audit-Protokollierung auf Produktionsniveau |
| Evaluation | Ein festes synthetisches Regressionsset und Subgruppen-Governance-Screening | Prospektive klinische Validierung oder rechtliche Fairness-Feststellung |
Was diese Demo nicht leistet: sie verwendet keine echten Patientinnen oder Patienten oder PHI, bindet keine Anbieter-KI ein, versendet keine Patientennachrichten, führt keine klinische Studie durch und begründet keine regulatorische Compliance.
Operative Fragen jenseits des Falls
Was passiert, wenn ein KI-Verifier nicht verfügbar ist?
ChartSieve nutzt deterministischen Hinweistext, wenn der optionale Live-Provider nicht verfügbar ist oder eine zwischengespeicherte Antwort fehlt. Das deterministische Policy-Gate entscheidet weiterhin, ob der synthetische Entwurf freigegeben, zur Überprüfung angehalten oder blockiert wird. Eine Agentenantwort legt diese Entscheidung niemals fest und setzt sie niemals außer Kraft.
Warum wird der Kreatinin-Trend angezeigt, wenn die eGFR das Anhalten des Metformins steuert?
Der steigende Kreatinin-Trend des synthetischen Patienten liefert unterstützenden Kontext für den renalen Befund. Die kuratierte renale Regel von ChartSieve nutzt die zuletzt erfasste eGFR von 28, um die Metformin-Empfehlung anzuhalten. Der Trend legt das Urteil nicht eigenständig fest.
Enthalten die Benchmark-Zeilen Hinweise der Verifier-Agenten?
Nein. ChartSieve führt den Benchmark auf einem separaten festen, annotierten Regressionsset aus, und diese Zeilen enthalten keine Verifier-Hinweise. Die 22 von 22 abgefangenen unsicheren Fälle messen die deterministische Firewall anhand hinterlegter Regelmuster, nicht die Agentenleistung oder eine klinische Validierung.
Gibt es für jede geprüfte Ausgabe eine Quelle auf Aussageebene?
Nein. Feed-Prüfergebnisse enthalten Aussagequellen, sofern verfügbar, neben Regelbefunden und Verifier-Hinweisen. ChartSieve garantiert keine Quelle für jede Aussage oder jedes Artefakt in diesem synthetischen Feed. Prüfer müssen eine angezeigte Quelle von einer unbelegten Aussage unterscheiden.
Beweist die Model Equity-Ansicht, dass ein Sepsis-Modell verzerrt ist?
Nein. Model Equity prüft 500 synthetische Sepsis-Entscheidungen auf Subgruppensensitivität und markiert Paritätsverhältnisse unterhalb eines gewählten Schwellenwerts von 0.80. Es handelt sich um ein Governance-Screening auf hinterlegten Daten, nicht um einen Befund über ein reales, im Einsatz befindliches Modell oder eine rechtliche Fairness-Feststellung. Die Subgruppenergebnisse bedürften einer klinischen und statistischen Überprüfung.
Ist der KI-Offenlegungshinweis in der Demo eine rechtskonforme Patientenkommunikation?
Nein. Ein freigegebener synthetischer Portalentwurf erhält einen illustrativen KI-Offenlegungshinweis mit Verweis auf AB 3030. Die Demonstration vervollständigt nicht die zusätzlichen Kommunikations- und Personenkontakt-Workflows, die für die Compliance erforderlich sind, und keine echte Person aus Patientenschaft oder Behandlungsteam erhält die Nachricht.
Technische Forschung
Die Forschung hinter dieser Demo — die Architektur, das Verifikationsdesign und die Enterprise-Blaupause.
- Algorithmic Equity in Clinical AI: The Deep AI Imperative (interaktives Whitepaper)
- Beyond the 0.001% Fallacy: Architectural Integrity in Enterprise AI (interaktives Whitepaper)
- The Clinical Imperative for Grounded AI in Healthcare (interaktives Whitepaper)
Vollständige Lösung
Entdecken Sie die Lösung Healthcare AI Safety for Health Systems →Bringen Sie aktenspezifische Prüfungen in die Design-Diskussion ein
Wir können untersuchen, an welcher Stelle ein Entwurf in Ihren Behandlungsworkflow gelangt und welche Evidenz eine klinische Fachkraft an einem Prüf-Gate benötigt.
ChartSieve ist eine synthetische Demonstration. Ein realer Einsatz erfordert Integration, gepflegte klinische Regeln, lokale Validierung und verantwortliche menschliche Überprüfung.
Bewertung des Sicherheits-Workflows
- ✓ Zuordnung des Pfads vom Entwurf zur Prüfung
- ✓ Evidenzanforderungen an die Patientenakte
- ✓ Regelverantwortung und Eskalationsdesign
- ✓ Evaluationsfragen vor dem Produktiveinsatz
Gesteuertes Implementierungsdesign
- ✓ Integrationsgrenzen
- ✓ Spezifikation des deterministischen Gates
- ✓ Evidenz für die klinische Überprüfung
- ✓ Fortlaufende Sicherheits- und Equity-Evaluation
