ChartSieve / Clinical AI Safety Firewall
La HbA1c era correcta. El consejo sobre metformina aún debía detenerse.
Un borrador del portal del paciente puede citar la historia clínica correctamente y aun así recomendar la acción equivocada. Observe cómo ChartSieve coteja la recomendación contra una historia clínica sintética del paciente antes de una decisión de liberación simulada.
Vea la demostración guiada de la empresa. Todos los casos e historias clínicas mostrados son sintéticos.
6.8%
HbA1c citada correctamente
Caso sintético A-1002
28
Último eGFR registrado
Misma historia clínica sintética
HOLD
Para revisión médica
Regla renal seleccionada
Demostración de ingeniería únicamente. No interviene ningún paciente real, PHI, EHR, sistema de proveedor ni flujo de trabajo asistencial.
El modo de fallo
Un número correcto no es una recomendación segura.
El borrador acierta un dato de la historia clínica. Una verificación basada únicamente en valores de laboratorio se detendría ahí. El control de seguridad específico del paciente debe inspeccionar qué le pide el borrador que haga al paciente.
01 / Borrador
“Continuar con metformina”
El borrador sintético del portal del paciente cita la HbA1c 6.8% correctamente, y luego recomienda continuar la medicación.
02 / Registro
Último eGFR: 28
La historia clínica sintética también muestra una tendencia ascendente de creatinina. El último eGFR, y no solo esa tendencia, impulsa la regla renal seleccionada.
03 / Compuerta
Retener para revisión
La compuerta de políticas determinista devuelve HOLD_FOR_REVIEW en el flujo de trabajo simulado y muestra el hallazgo renal a un revisor.
La arquitectura
El modelo puede asesorar. No puede autorizar la compuerta.
ChartSieve separa la fundamentación en la historia clínica, las reglas de seguridad y la disposición final. Ese límite resulta fundamental cuando una respuesta verosímil encubre una acción insegura.
PASO 01
Fundamentar la afirmación
El código determinista compara las afirmaciones extraídas sobre análisis de laboratorio y medicación con el JSON de la historia clínica sintética del paciente tipo FHIR. Las fuentes se muestran donde están disponibles.
PASO 02
Aplicar reglas de seguridad
Un conjunto de reglas semilla seleccionadas verifica el último eGFR, las alergias y las constantes vitales. El caso de metformina genera CONTRAINDICATION_RENAL.
PASO 03
Decidir fuera del LLM
Los avisos del verificador pueden aportar contexto, pero no pueden anular de la compuerta determinista el RELEASE, HOLD_FOR_REVIEW, o BLOCK como resultado.
Pruebas de la demostración
El hallazgo permanece vinculado a la decisión.
Estas son capturas de la demostración sintética en ejecución, no historias clínicas de clientes ni ilustraciones. La vista a ancho completo mantiene legibles el hallazgo y la evidencia de respaldo.
Pista de evidencia
Un motivo para revisar, no solo una luz roja.
El resultado del canal reúne el hallazgo de la regla, la evidencia disponible de la afirmación y los avisos del verificador. Su Safety Receipt incluye un resumen SHA-256 con marca de tiempo truncado a 16 caracteres hexadecimales; no es una firma ni un registro de auditoría inmutable.
Una prueba acotada
El benchmark evalúa patrones de reglas sembradas, no la preparación clínica.
Sobre 34 artefactos etiquetados sintéticos y fijos, ChartSieve retuvo o bloqueó los 22 casos inseguros sembrados sin retener los 12 casos seguros. Una línea base definida basada únicamente en valores de laboratorio detectó 4 de esos 22 casos inseguros en el mismo conjunto.
34
Artefactos sintéticos fijos
22/22
Casos inseguros sembrados retenidos o bloqueados
4/22
Detectados por la línea base ingenua definida
Estos recuentos provienen de un conjunto reducido sembrado con patrones de reglas conocidos. No miden los desenlaces de los pacientes, el rendimiento en despliegue ni la precisión clínica general.
Más allá del caso principal
El mismo límite de inspección se aplica a otros riesgos sembrados.
El canal también incluye soporte para la toma de decisiones clínicas y la vista Model Equity. Estos son ejemplos de gobernanza sintéticos, no diagnósticos ni observaciones de un sistema de salud.
Una salida sin alerta también se verifica.
Una puntuación del modelo sembrada de 0.34 está por debajo de su umbral de alerta de 0.40, mientras que la historia clínica sintética muestra constantes vitales y lactato preocupantes. La compuerta marca una subalerta y un problema de oxigenación para su revisión.
Los resultados agregados no muestran el panorama completo.
Un registro sintético independiente de 500 decisiones evalúa la sensibilidad por subgrupos frente a un umbral de paridad elegido de 0.80. Las alertas exigen una revisión clínica y estadística; no constituyen un sesgo del mundo real ni un dictamen legal.
Lo que esta demostración hace y lo que no hace
El recorrido guiado muestra un mecanismo de inspección. El despliegue requeriría labores independientes de integración, validación clínica y gobernanza.
| Cuestión | Mostrado aquí | Fuera de esta demostración |
|---|---|---|
| Contexto del paciente | Historias clínicas sintéticas tipo FHIR y canal fijo | Conexión con EHR en tiempo real o dispositivos de cabecera |
| Disposición de seguridad | Reglas seleccionadas y una compuerta de políticas determinista | Un conjunto de reglas clínicas exhaustivo y mantenido o un diagnóstico |
| Flujo de trabajo asistencial | Resultados simulados de liberación, retención y bloqueo | Envío de un mensaje o confirmación de la revisión médica |
| Evidencia | Fuentes de afirmaciones disponibles y comprobantes con resumen SHA-256 truncado en el canal | Registro de auditoría firmado, inmutable y de nivel de producción |
| Evaluación | Un conjunto de regresión sintético fijo y examen de gobernanza por subgrupos | Validación clínica prospectiva o una determinación legal de imparcialidad |
Lo que esta demo no hace: no utiliza pacientes reales ni PHI, no integra una IA de terceros, no envía mensajes a pacientes, no realiza estudios clínicos ni establece cumplimiento normativo.
Preguntas operativas más allá del caso
¿Qué ocurre si un verificador de IA no está disponible?
ChartSieve utiliza texto de asesoramiento determinista cuando el proveedor en tiempo real opcional no está disponible o falta una respuesta en caché. La compuerta de políticas determinista sigue decidiendo si el borrador sintético se libera, se retiene para revisión o se bloquea. La respuesta de un agente nunca define ni anula esa decisión.
¿Por qué mostrar la tendencia de creatinina si el eGFR impulsa la retención de la metformina?
La tendencia ascendente de creatinina del paciente sintético constituye un contexto de respaldo para el hallazgo renal. La regla renal seleccionada de ChartSieve utiliza el último eGFR registrado de 28 para retener la recomendación de metformina. La tendencia no define el veredicto de forma independiente.
¿Las filas del benchmark incluyen avisos del agente verificador?
No. ChartSieve ejecuta el benchmark en un conjunto de regresión etiquetado y fijo independiente, y esas filas no llevan avisos del verificador. Las 22 detecciones de inseguridad sobre 22 evalúan el cortafuegos determinista frente a patrones de reglas sembradas, no el rendimiento del agente ni la validación clínica.
¿Existe una fuente a nivel de afirmación para cada resultado inspeccionado?
No. Los resultados de la inspección del canal incluyen fuentes de afirmaciones cuando están disponibles, junto con los hallazgos de las reglas y los avisos del verificador. ChartSieve no garantiza una fuente para cada afirmación o artefacto en este canal sintético. Los revisores deben distinguir una fuente mostrada de una afirmación sin sustento.
¿La vista Model Equity demuestra que un modelo de sepsis está sesgado?
No. Model Equity examina 500 decisiones sintéticas de sepsis para detectar sensibilidad por subgrupos y marca los ratios de paridad por debajo de un umbral elegido de 0.80. Es una evaluación de gobernanza sobre datos sembrados, no una conclusión sobre un modelo real desplegado ni una determinación legal de imparcialidad. Los resultados de los subgrupos requerirían una revisión clínica y estadística.
¿La divulgación de IA en la demostración constituye una comunicación conforme con el paciente?
No. Un borrador sintético del portal liberado recibe una cadena ilustrativa de divulgación de IA que hace referencia a AB 3030. La demostración no completa el flujo de trabajo adicional de comunicación y contacto humano necesario para el cumplimiento, y ningún paciente real ni equipo asistencial recibe el mensaje.
Investigación técnica
La investigación detrás de esta demostración: la arquitectura, el diseño de verificación y el plan director empresarial.
- Algorithmic Equity in Clinical AI: The Deep AI Imperative (whitepaper interactivo)
- Beyond the 0.001% Fallacy: Architectural Integrity in Enterprise AI (whitepaper interactivo)
- The Clinical Imperative for Grounded AI in Healthcare (whitepaper interactivo)
Solución completa
Explore la solución Healthcare AI Safety for Health Systems →Incorpore verificaciones específicas de la historia clínica en la conversación de diseño
Podemos examinar dónde entra un borrador en su flujo de trabajo asistencial y qué evidencia necesitaría un facultativo en una compuerta de revisión.
ChartSieve es una demostración sintética. Un despliegue real requiere integración, reglas clínicas mantenidas, validación local y una revisión humana responsable.
Evaluación del flujo de trabajo de seguridad
- ✓ Mapeo de la ruta del borrador a la revisión
- ✓ Requisitos de evidencia de la historia clínica del paciente
- ✓ Titularidad de reglas y diseño de derivación
- ✓ Preguntas de evaluación previas al despliegue
Diseño de implementación gobernada
- ✓ Límites de integración
- ✓ Especificación de compuertas deterministas
- ✓ Evidencia para la revisión clínica
- ✓ Evaluación continua de seguridad y equidad
