ChartSieve / Clinical AI Safety Firewall
O HbA1c estava correto. A recomendação de metformina ainda precisava ser interrompida.
Um rascunho de portal do paciente pode citar o prontuário corretamente e ainda assim recomendar a conduta errada. Veja como o ChartSieve verifica a recomendação contra um prontuário sintético de paciente antes de uma decisão simulada de liberação.
Assista à apresentação da empresa. Todos os casos e prontuários apresentados são sintéticos.
6.8%
HbA1c citado corretamente
Caso sintético A-1002
28
eGFR mais recente registrado
Mesmo prontuário sintético
HOLD
Para revisão clínica
Regra renal curada
Demonstração de engenharia apenas. Nenhum paciente real, PHI, prontuário eletrônico (EHR), sistema de fornecedor ou fluxo assistencial está envolvido.
O modo de falha
Um número correto não é uma recomendação segura.
O rascunho acerta um fato do prontuário. Uma checagem restrita a valores laboratoriais pararia aí. A verificação de segurança específica do paciente precisa inspecionar o que o rascunho orienta o paciente a fazer.
01 / Rascunho
“Continuar metformina”
O rascunho sintético do portal do paciente cita o HbA1c 6.8% corretamente e, em seguida, recomenda continuar a medicação.
02 / Prontuário
eGFR mais recente: 28
O prontuário sintético também apresenta uma tendência de elevação da creatinina. O eGFR mais recente, e não apenas essa tendência, aciona a regra renal curada.
03 / Gate
Reter para revisão
O gate determinístico de política retorna HOLD_FOR_REVIEW no fluxo de trabalho simulado e apresenta o achado renal a um revisor.
A arquitetura
O modelo pode aconselhar. Ele não pode liberar o gate.
O ChartSieve separa a ancoragem no prontuário, as regras de segurança e a disposição final. Essa fronteira é essencial quando uma resposta plausível mascara uma ação insegura.
PASSO 01
Ancorar a alegação
Código determinístico compara as alegações laboratoriais e medicamentosas extraídas com o JSON sintético de prontuário do paciente padrão FHIR. As fontes são exibidas onde estiverem disponíveis.
PASSO 02
Aplicar regras de segurança
Um conjunto de regras-semente curado verifica o eGFR mais recente, alergias e sinais vitais. O caso da metformina resulta em CONTRAINDICATION_RENAL.
PASSO 03
Decidir fora do LLM
Os pareceres do verificador podem adicionar contexto, mas não podem substituir a decisão de RELEASE, HOLD_FOR_REVIEW, ou BLOCK do gate determinístico.
Evidências da demonstração
O achado permanece vinculado à decisão.
Estas são capturas da demonstração sintética em execução, não prontuários de clientes ou ilustrações. A visualização em largura total mantém o achado e as evidências de suporte legíveis.
Trilha de evidências
Um motivo para revisar, não apenas um sinal vermelho.
O resultado do feed mantém juntos o achado da regra, as evidências disponíveis da alegação e os pareceres do verificador. Seu Safety Receipt inclui um digest SHA-256 com registro de data/hora truncado para 16 caracteres hexadecimais; não se trata de uma assinatura ou log de auditoria imutável.
Um teste delimitado
O benchmark testa padrões de regras pré-definidas, não prontidão clínica.
Em 34 artefatos sintéticos rotulados fixos, o ChartSieve reteve ou bloqueou todos os 22 casos inseguros pré-definidos sem reter os 12 casos seguros. Uma linha de base definida e restrita a valores laboratoriais capturou 4 desses 22 casos inseguros no mesmo conjunto.
34
Artefatos sintéticos fixos
22/22
Casos inseguros pré-definidos retidos ou bloqueados
4/22
Capturados pela linha de base ingênua definida
Essas contagens são de um conjunto pequeno alimentado com padrões de regras conhecidos. Elas não medem desfechos clínicos de pacientes, desempenho em produção ou acurácia clínica geral.
Além do caso-âncora
A mesma fronteira de inspeção se aplica a outros riscos pré-definidos.
O feed também inclui suporte à decisão clínica e a visualização Model Equity. Estes são exemplos sintéticos de governança, não diagnósticos ou observações de um sistema de saúde.
Uma saída sem alertas ainda assim é checada.
Um escore do modelo pré-definido de 0.34 está abaixo do seu limiar de alerta de 0.40, enquanto o prontuário sintético apresenta sinais vitais e lactato preocupantes. O gate sinaliza uma subnotificação e uma preocupação com oxigenação para revisão.
Resultados agregados não mostram o panorama completo.
Um log sintético separado de 500 decisões avalia a sensibilidade de subgrupos em relação a um limiar de paridade escolhido de 0.80. Os alertas exigem revisão clínica e estatística; não constituem uma constatação de viés no mundo real ou uma determinação jurídica.
O que esta demonstração faz e o que ela não faz
A apresentação passo a passo demonstra um mecanismo de inspeção. A implementação em produção exigiria integração, validação clínica e trabalho de governança independentes.
| Questão | Mostrado aqui | Fora desta demo |
|---|---|---|
| Contexto do paciente | Prontuários sintéticos padrão FHIR e feed fixo | Conexão com prontuário eletrônico (EHR) ao vivo ou dispositivo à beira do leito |
| Disposição de segurança | Regras curadas e um gate determinístico de política | Um conjunto abrangente e atualizado de regras clínicas ou diagnóstico |
| Fluxo de cuidado | Desfechos simulados de liberação, retenção e bloqueio | Envio de mensagem ou confirmação de revisão médica |
| Evidência | Fontes disponíveis das alegações e comprovantes de digest SHA-256 truncados no feed | Log de auditoria assinado, imutável e de nível de produção |
| Avaliação | Conjunto de regressão sintético fixo e triagem de governança de subgrupos | Validação clínica prospectiva ou determinação jurídica de equidade |
O que esta demo não faz: não utiliza pacientes reais ou PHI, não integra IA de fornecedor, não envia mensagens a pacientes, não realiza estudos clínicos nem estabelece conformidade regulatória.
Perguntas operacionais além do caso
O que acontece se um verificador de IA estiver indisponível?
O ChartSieve utiliza texto consultivo determinístico quando o provedor ao vivo opcional estiver indisponível ou uma resposta em cache estiver ausente. O gate determinístico de política ainda decide se o rascunho sintético é liberado, retido para revisão ou bloqueado. A resposta de um agente nunca define nem substitui essa decisão.
Por que exibir a tendência de creatinina se o eGFR é o que aciona a retenção da metformina?
A tendência de aumento da creatinina do paciente sintético serve como contexto de suporte para o achado renal. A regra renal curada do ChartSieve utiliza o eGFR mais recente registrado de 28 para reter a recomendação de metformina. A tendência não define o veredito de forma independente.
As linhas do benchmark incluem pareceres de agentes verificadores?
Não. O ChartSieve executa o benchmark em um conjunto separado de regressão rotulado e fixo, e essas linhas não trazem pareceres de verificadores. As 22 de 22 capturas de casos inseguros medem o firewall determinístico contra padrões de regras pré-definidas, e não o desempenho do agente ou a validação clínica.
Existe uma fonte no nível de alegação para cada saída inspecionada?
Não. Os resultados da inspeção do feed incluem fontes de alegações onde disponíveis, ao lado de achados de regras e pareceres de verificadores. O ChartSieve não garante uma fonte para cada alegação ou artefato neste feed sintético. Os revisores devem distinguir uma fonte exibida de uma alegação sem suporte.
A visualização do Model Equity comprova que um modelo de sepse é enviesado?
Não. O Model Equity analisa 500 decisões sintéticas de sepse quanto à sensibilidade de subgrupos e sinaliza razões de paridade abaixo de um limiar escolhido de 0.80. Trata-se de uma triagem de governança sobre dados pré-definidos, e não de uma conclusão sobre um modelo real implantado ou uma determinação jurídica de equidade. Os resultados de subgrupos exigiriam revisão clínica e estatística.
A divulgação de uso de IA na demonstração constitui uma comunicação em conformidade com o paciente?
Não. Um rascunho de portal sintético liberado recebe uma declaração ilustrativa de divulgação de IA com referência à AB 3030. A demonstração não conclui o fluxo de comunicação adicional e contato humano necessário para a conformidade regulatória, e nenhum paciente real ou equipe de atendimento recebe a mensagem.
Pesquisa Técnica
A pesquisa por trás desta demonstração — a arquitetura, o design de verificação e a estrutura empresarial.
- Algorithmic Equity in Clinical AI: The Deep AI Imperative (whitepaper interativo)
- Beyond the 0.001% Fallacy: Architectural Integrity in Enterprise AI (whitepaper interativo)
- The Clinical Imperative for Grounded AI in Healthcare (whitepaper interativo)
Solução completa
Explore a solução Healthcare AI Safety for Health Systems →Inclua verificações específicas do prontuário no diálogo de arquitetura
Podemos examinar em que ponto um rascunho entra no seu fluxo assistencial e quais evidências um médico precisaria em um gate de revisão.
O ChartSieve é uma demonstração sintética. Uma implementação real exige integração, regras clínicas atualizadas, validação local e revisão humana responsável.
Avaliação de fluxo de trabalho de segurança
- ✓ Mapeamento de caminho do rascunho à revisão
- ✓ Requisitos de evidência do prontuário do paciente
- ✓ Governança de regras e desenho de escalonamento
- ✓ Questões de avaliação antes da implementação
Desenho de implementação com governança
- ✓ Limites de integração
- ✓ Especificação de gates determinísticos
- ✓ Evidências para revisão clínica
- ✓ Avaliação contínua de segurança e equidade
