Noventa por cento dos médicos confiam na sua IA clínica. Eles capturam um terço dos erros perigosos dela.

A primeira versão da nossa ferramenta de segurança de IA clínica funcionava lindamente. Esse era o problema.

Nós a tínhamos construído para fazer o óbvio: capturar alucinações. Aponte-a para um escriba ambiental ou uma ferramenta de redação de portal do paciente, alimente-a com a saída da IA e faça-a sinalizar afirmações que estivessem factualmente erradas. Ela capturava os nomes errados de medicamentos. Capturava os valores laboratoriais impossíveis. Capturou uma dosagem que estava errada por uma ordem de magnitude. Lembro de me sentir genuinamente bem com aquilo — estávamos encontrando erros, a demonstração pegou, os números pareciam limpos.

Então um consultor clínico do projeto, um hospitalista que havia passado duas décadas nas enfermarias, me guiou por um exemplo em que ainda penso. Uma IA havia redigido uma resposta no MyChart a um paciente que perguntava sobre sua medicação. O rascunho dizia para continuar a metformina e observava alegremente que a última HbA1c fora de 6,8%. Cada fato nele era verdadeiro. A nota era empática, bem estruturada, exatamente o que um bom médico escreveria. Nossa ferramenta a aprovou sem sinalizar nada.

A creatinina do paciente vinha subindo ao longo de três consultas. Creatinina em elevação significa função renal em declínio, e função renal em declínio torna a metformina perigosa. A IA não sabia que devia olhar. E — esta é a parte que reorganizou como penso sobre segurança de IA clínica — nem o médico revisor saberia, examinando um rascunho fluente, amigável e factualmente consistente nos dez ou quinze segundos que um clínico ocupado lhe dedica antes de clicar em enviar.

Nosso detector de alucinações estava resolvendo o problema errado. Os erros que ferem pacientes geralmente não são os que estão obviamente errados. São os que são localmente corretos e contextualmente letais. Não dá para chegar à segurança verificando fatos, porque o perigo mora naquilo que a IA não disse.

Essa falha é o motivo pelo qual a Veriprajna parou de construir um detector de alucinações e começou a construir infraestrutura de segurança independente para toda a pilha de IA que um sistema de saúde realmente opera. Este ensaio é sobre o que descobrimos quando olhamos honestamente para essa pilha.

O Número Que Deveria Tirar o Sono de Todo CMIO

Em abril de 2024, a The Lancet Digital Health publicou um estudo que considero a descoberta mais importante e menos absorvida da IA na saúde. Os pesquisadores fizeram médicos revisarem respostas redigidas por IA a mensagens de pacientes. 7,1% desses rascunhos apresentavam risco grave de dano ao paciente. 0,6% apresentava risco de morte.

Aqui está a parte que importa mais do que a taxa de erro. Os médicos, fazendo exatamente o que pedimos que fizessem — revisar o trabalho da IA — deixaram passar 66,6% dos rascunhos nocivos. Entre um terço e quase metade dos errôneos saíram totalmente sem edição. E, quando questionados, 90% desses mesmos médicos disseram que confiavam no desempenho da ferramenta.

Noventa por cento de confiança, e um terço dos erros perigosos capturados. Essa lacuna não é um problema de treinamento. É o resultado previsível de pedir a um humano que audite uma máquina que escreve com mais fluência do que ele.

Isso é viés de automação, e não é um defeito de caráter nos médicos. É uma propriedade da interação. Quando um rascunho é bem escrito e empático, a qualidade da prosa substitui a verificação independente na mente do leitor. Quanto melhor a IA escreve, menos o humano confere. Estamos implantando ferramentas cuja maior força — linguagem fluente e confiante — é precisamente o mecanismo que desarma a rede de segurança que construímos em torno delas.

O ECRI, a organização sem fins lucrativos de segurança do paciente que publica a lista anual dos principais perigos de tecnologia em saúde, classificou o risco diagnóstico impulsionado por IA como o perigo número um tanto para 2025 quanto para 2026. Não entre os dez maiores. Número um, dois anos seguidos.

"Lido e Revisado" É uma Ficção Jurídica

A AB 3030 da Califórnia, em vigor desde janeiro de 2025, exige que os sistemas de saúde divulguem quando a IA é usada em comunicações clínicas com pacientes. Ela traz uma isenção que parece razoável: se um profissional licenciado lê e revisa a saída da IA, nenhuma divulgação é necessária. A lógica é que um humano no circuito torna a contribuição da IA invisível e segura.

Os dados da Lancet demolem essa lógica. Se os médicos deixam passar dois terços dos erros nocivos, então "lido e revisado" é, para uma grande fração dos casos, um carimbo automático. A isenção pressupõe uma qualidade de revisão que o viés de automação torna impossível em escala. As violações chegam a US$ 25.000 por incidente para uma instituição, além de exposição disciplinar para o médico cujo nome está na nota.

Passo muito tempo com diretores de informação médica, e é aqui que a conversa costuma ficar desconfortável. O arcabouço jurídico presume que a revisão humana é significativa. A realidade clínica é que uma revisão significativa requer um andaime técnico que os fornecedores de IA em sua maioria não construíram — destaque de incerteza, vinculação de citações de volta à fonte, fluxos de confirmação ativa que fazem o médico parar nas afirmações que importam. Alguns fornecedores começaram a construí-lo — o Linked Evidence da Abridge rastreia cada linha de uma nota gerada de volta ao exato segmento de áudio que a produziu — o que apenas prova que a capacidade existe e que a maioria das ferramentas ainda não a prioriza. Sem esse andaime, "um humano revisou" é uma caixinha de conformidade, não um controle de segurança.

O Fornecedor Disse 0,001%. O Procurador-Geral do Texas Disse: Prove.

Todo fornecedor de IA clínica lidera com um número de precisão. A primeira coisa que aprendi auditando essas ferramentas é que o número é um artefato de marketing até você saber como foi calculado.

Em setembro de 2024, o Procurador-Geral do Texas fez um acordo com a Pieces Technologies sobre sua alegação comercializada de uma "taxa crítica de alucinação" abaixo de 0,001%. O software da Pieces estava implantado em quatro grandes hospitais do Texas — Houston Methodist, Children's Health, Texas Health Resources e Parkland. O impressionante do caso é que o Procurador-Geral não precisou de nenhuma lei específica de IA. O estatuto de proteção ao consumidor já existente foi suficiente para contestar uma alegação de precisão que a empresa não conseguia comprovar.

O acordo — uma Garantia de Cumprimento Voluntário de cinco anos — agora obriga a Pieces a divulgar, a todo cliente, como suas métricas são definidas e calculadas, com quais dados o modelo foi treinado e quais usos nocivos ela conhece. Isso é um modelo para toda a indústria.

Uma taxa de alucinação sem denominador não é uma medição. É um anúncio.

Compare 0,001% com o que nós e outros de fato encontramos em campo. Em um piloto no primeiro trimestre de 2025, um assistente de alta por IA recomendou um medicamento a um paciente explicitamente listado como alérgico àquela classe de fármacos. Sua taxa real de afirmações incorretas clinicamente acionáveis foi de 0,98% — doze vezes a alegação do fornecedor de 0,08%. Mesma categoria de produto, uma diferença de uma ordem de magnitude entre o slide e o paciente. O MIT Media Lab constatou que, sem mitigação, os modelos atingem taxas de alucinação acima de 60% em casos clínicos. A resposta honesta é que o número de destaque de ninguém significa nada até você perguntar: calculado sobre qual conjunto de dados, validado por quem, ao longo de que período e — a pergunta que quase ninguém faz — em quais grupos demográficos de pacientes?

Essa última pergunta acabou sendo a que tinha corpos por trás dela.

O Viés Que Você Não Vê Porque o Aparelho o Esconde

Há um fato que eu gostaria que fosse mais conhecido fora da terapia intensiva. O oxímetro de pulso — a pequena presilha no dedo do paciente que lê a saturação de oxigênio no sangue, um dos números mais confiáveis da medicina — é sistematicamente menos preciso em pele escura.

Pacientes negros têm cerca de três vezes mais probabilidade de ter hipoxemia oculta: oxigênio no sangue perigosamente baixo que o aparelho lê como normal. A superestimação varia de 0,6 a 1,5 ponto percentual, o que soa trivial até ser a diferença entre "internar na UTI" e "mandar para casa". Em dados pediátricos, o aparelho deixou de detectar oxigênio baixo em 7% das crianças com os tons de pele mais escuros e em 0% com os mais claros. A FDA emitiu uma diretriz preliminar em janeiro de 2025 recomendando que os fabricantes testem em pelo menos 150 participantes diversos usando a escala Monk Skin Tone, acima de uma norma anterior de tão poucos quanto dez.

Agora sobreponha IA a uma medição que já é enviesada no sensor. O modelo herda o viés e o lava por meio de uma saída confiante. Esta é a parte da segurança de IA clínica que os fornecedores estão menos equipados para encontrar em si mesmos, porque encontrá-la exige estratificar deliberadamente o desempenho por raça, sexo e idade — e então publicar as lacunas.

O Modelo de Sepse da Epic é a história de alerta que levo a toda discussão de governança. O desenvolvedor relatou uma AUC — uma medida padrão de precisão preditiva em que 1,0 é perfeito e 0,5 é cara ou coroa — de 0,76 a 0,83. Quando a Universidade de Michigan o validou externamente em seus próprios pacientes, obtiveram 0,63. A sensibilidade era de 33%, ou seja, deixava passar dois terços dos casos de sepse. Seu valor preditivo positivo era de 12%, ou seja, 88% de seus alertas eram alarmes falsos. E era mal calibrado para pacientes negros e hispânicos, que têm quase o dobro da incidência de sepse. Um modelo treinado no julgamento clínico histórico aprende os pontos cegos clínicos históricos e depois os dispara de volta aos clínicos vestindo a autoridade de um algoritmo. A Epic reformulou o modelo em 2022, e uma validação prospectiva multicêntrica de sua segunda versão foi publicada na JAMA Network Open em fevereiro de 2026 — o que é exatamente a questão. A validação externa, pós-implantação, é o que captura a lacuna que uma alegação original de AUC esconde, e aqui foram necessários anos e pesquisadores de fora para forçá-la.

A versão mais extrema disso aparece nos cuidados maternos. Mulheres negras morrem no parto a uma taxa de 42,8 a 50,3 por 100.000 nascidos vivos, contra 13 a 14,5 para mulheres brancas. Uma revisão da Califórnia constatou que sistemas de alerta precoce por IA deixaram passar 40% dos casos de morbidade grave em pacientes negras. Quando o sistema de alerta é cego para a população de maior risco, ele não apenas falha de forma neutra — ele amplia a lacuna que foi vendido para fechar.

Por Que Você Não Pode Simplesmente Testar o Modelo Quanto a Viés e Seguir em Frente?

As pessoas me perguntam por que os sistemas de saúde não fazem simplesmente uma verificação de equidade e certificam o modelo. Eu costumava achar que era um problema de recursos. É mais profundo do que isso, e é matemático.

Há um resultado chamado teorema da impossibilidade de Chouldechova. Em termos simples: duas definições razoáveis de equidade — paridade demográfica (o modelo sinaliza cada grupo à mesma taxa) e probabilidades equalizadas (o modelo é igualmente preciso dentro de cada grupo) — não podem ambas ser satisfeitas ao mesmo tempo, exceto em casos triviais. Você tem de escolher que tipo de equidade está otimizando, e essa escolha tem consequências clínicas.

"Testamos quanto a viés" não significa nada sem nomear o critério. Qualquer fornecedor que não consiga lhe dizer qual definição de equidade escolheu escolheu uma e não está lhe contando.

É por isso que uma auditoria de viés de verdade não é um certificado único. São tabelas de desempenho por subgrupo estratificado, curvas de calibração por grupo demográfico e um Índice de Estabilidade Populacional — uma métrica de deriva — rastreado por local de implantação, porque um modelo que era justo em Boston pode sair de calibração em Houston à medida que a composição de pacientes muda. Rótulos de referência (ground truth) adjudicados por especialistas para esse trabalho custam de US$ 50 a US$ 200 por caso. É uma infraestrutura cara, especializada e contínua. É também a única coisa entre uma decisão de compra e um laudo de legista.

Ninguém É Dono de Toda a Pilha

O problema estrutural com que eu vivia esbarrando é este: um sistema de saúde de médio a grande porte opera algo entre cinco e quinze ferramentas de IA ao mesmo tempo. Um escriba ambiental (a Abridge nos mais de quarenta hospitais da UPMC, ou o DAX Copilot da Nuance conectado ao prontuário eletrônico), um modelo de sepse da Epic, um redator de portal do paciente, um algoritmo de triagem, um assistente de codificação. Cada um tem sua própria alegação de precisão, seu próprio perfil de segurança, seus próprios pontos cegos e seu próprio painel. Nenhum fornecedor oferece governança sobre as ferramentas, porque nenhum fornecedor vende todas elas.

E a governança que de fato existe é mais rala do que os organogramas sugerem. Os dados de 2026 da Censinet mostram que 84% dos sistemas de saúde têm um comitê de governança de IA — mas apenas 59% têm um processo de aprovação formal e documentado antes de uma ferramenta de IA entrar no ar. Os CIOs participam de 63% desses comitês; o CMIO, a pessoa clinicamente responsável quando a ferramenta erra, participa de apenas 45%. Enquanto isso, os clínicos estão adotando ferramentas por conta própria — IA sombra — mais rápido do que qualquer comitê consegue revisá-las.

Esta é a lacuna que a Veriprajna foi criada para preencher, e é por isso que parei de descrever o que fazemos como "detecção de alucinações". Fazemos avaliação independente e neutra em relação a fornecedores da IA que um sistema de saúde de fato implantou: fazendo red team das ferramentas do jeito que um adversário ou um dia ruim faria, validando as alegações de precisão dos fornecedores contra o denominador real, executando as auditorias de viés que a maioria das equipes de TI não tem capacidade de executar, e transformando a AB 3030, o AI Act do Colorado e as regras de alto risco do AI Act da UE em controles operacionais em vez de ansiedades jurídicas. Uma camada de segurança que se estende sobre cada ferramenta.

"Isso Não É Só Frear a Inovação?"

É a objeção que mais ouço, geralmente de alguém que viu a documentação ambiental virar uma categoria de US$ 600 milhões em um único ano e não quer ser o executivo que disse não.

Eu argumentaria o oposto. A segurança independente é o que torna a adoção rápida sobrevivível. Os sistemas de saúde que se queimam não são os cautelosos — são os que implantaram com base no slide de um fornecedor e descobriram a lacuna entre 0,08% e 0,98% depois que um paciente foi ferido. O investimento médio em IA na saúde rende cerca de US$ 3,20 para cada dólar, realizado dentro de 14 meses. Esse ROI evapora na primeira vez que uma ferramenta não verificada produz uma ação por erro médico — e as ações relacionadas a IA já subiram 14% desde 2022, concentradas em radiologia, cardiologia e oncologia. A verificação não é o imposto sobre a inovação. É o seguro que permite continuar inovando depois que a primeira coisa dá errado.

A segunda objeção: nossa própria equipe de informática não pode cuidar disso? Às vezes, em parte. Mas o valor de uma avaliação independente é precisamente que ela é independente — o mesmo motivo pelo qual você não deixa uma empresa auditar suas próprias finanças. Um fornecedor não vai fazer red team de si mesmo até chegar a um número que fica pior, e uma equipe interna que defendeu uma compra tem um interesse silencioso em seu sucesso. Alguém sem posição no negócio faz as perguntas que todo o resto tem um motivo para não fazer.

O Que Eu Diria a um CMIO Hoje

A pergunta que eu costumava achar que importava era esta IA funciona? Eu estava errado. Todo fornecedor vai lhe mostrar que ela funciona. A pergunta que importa é você consegue provar que ela funciona — em cada grupo demográfico de pacientes — no dia em que um regulador, um advogado da parte autora ou um jornalista lhe pedir?

Neste momento, a maioria dos sistemas de saúde não consegue. Eles têm números de precisão que não conseguem reproduzir, um comitê de governança sem o líder clínico nele e uma frota de ferramentas que nenhuma parte independente jamais testou em conjunto. O rascunho fluente continuará sendo aprovado com um clique. O alerta de sepse continuará dando alarme falso 88% das vezes. O oxímetro de pulso continuará lendo normal no paciente que não está.

Eu construí a prática de segurança de IA na saúde da Veriprajna porque o exemplo da metformina nunca me deixou. A nota era perfeita. Tudo nela era verdadeiro. E poderia ter matado alguém — não porque a IA fosse burra, mas porque era convincente, e ninguém estava equipado para conferir aquilo que ela não disse. Segurança em IA clínica não é capturar o erro óbvio. É construir a infraestrutura para capturar o invisível, antes que o paciente o faça.