A IA do Seu Médico Escreveu uma Mensagem Que Poderia Te Matar — E Ninguém Te Avisou

Eu estava em uma ligação com o CTO de um sistema de saúde no ano passado quando ele disse algo que me deixou gelado.

"Já temos o GPT redigindo mensagens do portal do paciente. Os médicos adoram. Economiza horas por semana para eles. Basicamente concluímos a implementação da IA."

Concluímos. Aquela palavra ficou pesando no meu peito como uma pedra. Porque eu tinha acabado de ler um estudo — publicado na The Lancet Digital Health em abril de 2024, por pesquisadores da Harvard Medical School, de Yale e da University of Wisconsin — que contava uma história muito diferente. Nesse estudo, o GPT-4 redigiu 156 mensagens de portal do paciente dentro de um prontuário eletrônico simulado. 7,1% desses rascunhos representavam risco de dano grave. Um — 0,6% — representava risco direto de morte.

E aqui está o número que me fez largar o café e reler o parágrafo três vezes: os vinte médicos de atenção primária em atividade que revisaram esses rascunhos da IA deixaram passar, em média, 66,6% dos erros perigosos.

O CTO não estava sendo negligente. Ele estava fazendo o que toda a indústria estava fazendo — envolver um modelo de linguagem de propósito geral em uma fina camada de software, apontá-lo para as mensagens de pacientes e confiar que os olhos de um médico no final do processo captariam qualquer coisa que desse errado.

Passei os últimos vários anos construindo sistemas de IA na Veriprajna que são projetados para serem fundamentados — ancorados em conhecimento verificado, não apenas em probabilidade estatística. E este estudo cristalizou algo que eu vinha defendendo em salas onde as pessoas não queriam ouvir: o "humano no circuito" não é um mecanismo de segurança. É uma reza.

O Que Acontece Quando a IA Escreve a Resposta do Seu Médico?

Deixe-me pintar o quadro de por que essa tecnologia existe em primeiro lugar, porque a necessidade é real e urgente.

Os médicos de atenção primária nos Estados Unidos gastam, em média, 10 horas por mês apenas respondendo às mensagens do portal do paciente. E isso é trabalho não remunerado, aliás — historicamente não faturável. É um dos principais motores da crise de esgotamento que está empurrando os médicos para fora da medicina por completo.

Então, quando surgiram ferramentas de IA capazes de redigir respostas empáticas, detalhadas e gramaticalmente polidas às perguntas dos pacientes — respostas que muitas vezes tinham pontuação mais alta em qualidade percebida do que aquilo que médicos sobrecarregados escreviam às 23h — a adoção foi rápida. O MyChart da Epic integrou a redação por IA. Startups levantaram centenas de milhões. Sistemas de saúde comemoraram os ganhos de eficiência.

E eu entendo. Genuinamente entendo. O problema do esgotamento não é abstrato para mim. Já me sentei diante de médicos que descreviam sua caixa de entrada como um segundo emprego de tempo integral, um que os fazia sentir ressentimento pelos pacientes que eles foram para a medicina para ajudar.

Mas eficiência sem precisão na área da saúde não é inovação. É negligência à espera de um autor de ação judicial.

O Estudo da Lancet Que Deveria Ter Sido um Alarme de Incêndio

O estudo de abril de 2024 não foi um pequeno piloto nem um artigo de opinião. Foi uma simulação transversal com clínicos em atividade revisando rascunhos gerados por IA em um ambiente de prontuário eletrônico realista. Os pesquisadores deliberadamente inseriram erros em alguns rascunhos — o tipo de erro que os LLMs de fato produzem — e então observaram o que acontecia.

O que aconteceu foi condenatório.

90% dos médicos revisores relataram confiar no desempenho da ferramenta de IA. Eles acharam que ela reduzia sua carga cognitiva — 80% concordaram com isso. Os rascunhos eram fluentes, empáticos, bem estruturados. Eles pareciam certos.

Mas apenas um médico em cada vinte identificou todos os quatro rascunhos intencionalmente errôneos. Um. E entre 35% e 45% dos rascunhos errôneos foram enviados aos pacientes completamente sem edição.

Quando um rascunho de IA soa melhor do que aquilo que um médico cansado escreveria ao final de um plantão de 12 horas, o instinto não é examiná-lo com cuidado. É clicar em enviar.

Esse fenômeno tem um nome: viés de automação — a tendência bem documentada de os humanos confiarem demais em sugestões automatizadas, aplicando menos escrutínio crítico do que aplicariam ao seu próprio trabalho ou ao de um colega. Os pesquisadores da Lancet descobriram que a correlação era estatisticamente significativa (p < 0,001): quanto melhor o rascunho da IA parecia na superfície, maior a probabilidade de um médico deixar passar um erro clínico oculto.

Os erros não eram erros de digitação. Eram falhas de raciocínio clínico. A IA fabricou informações médicas. Ela fez referência a protocolos desatualizados. No caso sinalizado como risco de morte, ela deixou de dizer a um paciente que apresentava um sintoma potencialmente fatal para ir ao pronto-socorro — em vez disso, gerou uma resposta calma, tranquilizadora e fatalmente errada de caráter não urgente.

Eu não paro de voltar a esse caso específico. A mensagem provavelmente estava lindamente escrita. Calorosa. Empática. Detalhada. E se um paciente tivesse seguido o conselho dela, poderia ter morrido em casa esperando uma consulta na segunda-feira.

Por Que o "Médico no Circuito" Continua Falhando?

Tive uma discussão sobre isso com um colega que constrói ferramentas de IA clínica. A posição dele era direta: "O médico revisa tudo. Essa é a rede de segurança."

Fiz-lhe uma pergunta: "Se você desse a um médico uma pilha de 50 mensagens, 48 das quais perfeitamente boas, e dissesse a ele que a IA escreveu todas — com que cuidado você acha que ele leria a mensagem número 37?"

Ele fez uma pausa.

Este é o problema central. O modelo do humano no circuito pressupõe que a atenção humana é constante, que a fadiga não degrada a vigilância e que a qualidade da prosa da IA não influencia a profundidade da revisão. Cada uma dessas suposições está errada, e os dados da Lancet o comprovam.

O "humano no circuito" não é um mecanismo de segurança quando o humano foi psicologicamente condicionado a confiar na máquina.

Há também uma questão arquitetônica mais profunda. Os LLMs padrão são autorregressivos — eles preveem a próxima palavra com base em probabilidade estatística, não em raciocínio médico estruturado. Eles não "entendem" que um sintoma é urgente. Eles não "sabem" que uma diretriz foi atualizada no mês passado. Eles geram texto que soa como um clínico competente porque foram treinados em milhões de exemplos de clínicos competentes escrevendo. Mas soar certo e estar certo são coisas perigosamente diferentes na medicina.

Escrevi sobre essa lacuna arquitetônica em profundidade na versão interativa da nossa pesquisa, mas a versão curta é: um LLM não tem um modelo do paciente. Ele tem um modelo da linguagem. E essas não são a mesma coisa.

A Califórnia Acabou de Tornar Isso um Problema de Todos

Enquanto a comunidade de pesquisa levantava alarmes, o legislativo da Califórnia estava elaborando uma lei. O Projeto de Lei da Assembleia 3030, sancionado em setembro de 2024, entra em vigor em 1º de janeiro de 2025. Ele exige que toda instituição de saúde, clínica e consultório médico na Califórnia notifique os pacientes sempre que IA generativa for usada para comunicar informações clínicas.

Mensagens escritas precisam de um aviso no topo. Mensagens de áudio precisam de divulgação verbal no início e no fim. Comunicações por vídeo e chat precisam de avisos exibidos por toda a extensão.

Aqui é onde a coisa fica interessante — e onde acho que a maioria dos sistemas de saúde está interpretando a lei de forma equivocada.

O AB 3030 inclui uma isenção: se um provedor licenciado "leu e revisou" a comunicação gerada por IA, as exigências de divulgação não se aplicam. No papel, isso parece um passe livre para escapar da cadeia. Mantenha o médico no circuito, pule o aviso, preserve a ilusão de que cada mensagem é elaborada pessoalmente.

Mas combine essa isenção com os dados da Lancet — 66% dos erros deixados passar, 35% a 45% dos rascunhos perigosos enviados sem edição — e você tem uma bomba-relógio jurídica. Um sistema de saúde que alega que seus médicos "leram e revisaram" os rascunhos da IA enquanto esses médicos comprovadamente deixam passar dois terços dos erros não está em conformidade. Está exposto.

Eu disse ao CTO naquela ligação: "A isenção não é um escudo. É um acelerador de responsabilidade — a menos que a tecnologia ajude ativamente o revisor a captar o que o cérebro dele está programado para deixar passar."

O Que Há de Errado, na Prática, com a Abordagem do "Invólucro de LLM"?

A maioria das startups de IA para saúde neste momento está construindo o que chamo de invólucros — finas camadas de software que transportam dados de pacientes para uma API comercial de LLM e devolvem a resposta com alguma formatação. São rápidas de construir, fáceis de demonstrar e fundamentalmente inadequadas para uso clínico.

Três problemas tornam os invólucros perigosos:

Os limites de conhecimento são assassinos invisíveis. Os LLMs públicos são treinados em conjuntos de dados estáticos. Eles não sabem da diretriz que mudou no último trimestre, da interação medicamentosa sinalizada no mês passado, ou dos resultados de exames laboratoriais do paciente desta manhã. Um invólucro que não integra dados clínicos em tempo real está gerando respostas no vácuo — um vácuo que o médico que revisa o rascunho pode nem sequer perceber que existe.

A previsão de tokens não é raciocínio clínico. Quando o GPT-4 escreve "você deve continuar sua medicação atual", ele não está avaliando sua função renal, suas interações medicamentosas ou seus exames de sangue mais recentes. Ele está prevendo quais palavras têm probabilidade estatística de seguir as palavras anteriores. Na radiologia, na oncologia, em qualquer domínio que exija interpretação diagnóstica sutil, essa lacuna entre fluência linguística e precisão médica é onde os pacientes se machucam.

A segurança é uma reflexão tardia. Muitas interfaces de LLM de propósito geral não são inerentemente compatíveis com a HIPAA. Sem um mascaramento rigoroso de dados e um Acordo de Associado de Negócios adequado, cada mensagem de paciente roteada por uma API comercial é uma potencial violação de privacidade. E os ataques de injeção de prompt — em que entradas adversárias enganam o modelo para revelar contexto interno ou dados de pacientes — permanecem uma vulnerabilidade em grande parte não tratada nas arquiteturas de invólucro.

Como Construir uma IA Que Seja de Fato Segura para os Pacientes?

É aqui que passo de crítico a construtor, porque crítica sem alternativas é apenas ruído.

Na Veriprajna, temos desenvolvido o que penso como IA fundamentada — sistemas em que o modelo de linguagem nunca é a única fonte de verdade. Ele está sempre atrelado a conhecimento clínico verificado e é sempre transparente sobre a origem de suas respostas.

A camada de recuperação muda tudo

A Geração Aumentada por Recuperação (RAG) é a base. Antes de a IA gerar uma única palavra de uma resposta ao paciente, ela primeiro recupera documentos relevantes de um corpus verificado: as anotações clínicas do paciente, as diretrizes institucionais atuais, a literatura revisada por pares. O modelo então condiciona sua resposta a esse contexto recuperado, não apenas aos seus dados de treinamento.

Isso não é um ajuste menor. É uma arquitetura fundamentalmente diferente. Um sistema baseado em RAG consegue citar suas fontes — "Com base nos resultados dos seus exames de 12 de março e nas diretrizes atuais da ACC/AHA..." — o que transforma a revisão do médico de "isso soa correto?" para "a fonte está correta?". A segunda pergunta é dramaticamente mais fácil de responder, mesmo às 23h de uma quinta-feira.

Os grafos de conhecimento dão à IA algo que os invólucros nunca conseguem: relacionamentos

A próxima camada são os Grafos de Conhecimento Médico — redes estruturadas que representam o conhecimento clínico não como texto, mas como conceitos interconectados. Um grafo de conhecimento não sabe apenas que a metformina é um medicamento para diabetes. Ele conhece o mecanismo de ação da metformina, suas contraindicações em casos de comprometimento renal, suas interações com meio de contraste e o limiar específico de TFGe abaixo do qual ela deve ser descontinuada.

Sistemas como o MediGRAF usam bancos de dados de grafos como o Neo4j para combinar consultas estruturadas precisas com recuperação narrativa, alcançando 100% de recall em consultas clínicas factuais ao mesmo tempo em que mantêm padrões de segurança para inferência complexa. Quando vi esses números de recall pela primeira vez, fiquei cético — então submetemos a abordagem a testes de estresse contra casos-limite que haviam derrubado todos os sistemas baseados em invólucro que havíamos avaliado. O grafo aguentou.

Para o detalhamento técnico completo dessas abordagens arquitetônicas — pipelines de RAG, integração de grafos de conhecimento, modelagem em nível de conceito — veja nosso artigo de pesquisa detalhado.

O Problema dos Testes Sobre o Qual Ninguém Quer Falar

Lembro-me de uma demonstração de uma startup de IA para saúde — polida, impressionante, do tipo que faz investidores pegarem o talão de cheques. A IA redigiu uma mensagem para um paciente sobre como lidar com um novo diagnóstico de diabetes. Era calorosa, minuciosa, prática.

Perguntei: "O que acontece se eu disser ao sistema que sou alérgico ao medicamento que ele acabou de recomendar?"

O fundador fez uma pausa. "O médico captaria isso."

Lá estava de novo. A reza.

Construir uma IA clínica segura exige testes adversariais — não como reflexão tardia, mas como um processo contínuo e automatizado. Na Veriprajna, usamos frameworks como o Med-HALT (Medical Domain Hallucination Test), que foi projetado especificamente para identificar alucinações de IA na saúde por meio de técnicas como o Teste de Falsa Confiança, no qual o modelo é desafiado a avaliar uma resposta errada sugerida aleatoriamente, e o Teste de Perguntas Falsas, que determina se o modelo consegue identificar consultas médicas fabricadas.

Também executamos red teaming automatizado — ataques simulados que sondam vulnerabilidades de injeção de prompt, tentativas de extrair dados de pacientes por meio de perguntas indiretas e padrões de jailbreak que tentam burlar as proteções clínicas. Todos os dias. Não trimestralmente. Não antes de um lançamento. Todos os dias.

Se o seu sistema de IA não foi atacado por uma red team esta semana, você não sabe se ele é seguro. Você sabe que ele estava seguro da última vez que você verificou.

Uma constatação de pesquisas recentes que me assombra: modelos "especializados em medicina" como o MedGemma alcançaram apenas 28-61% de precisão em certos benchmarks, enquanto modelos de raciocínio mais amplos os superaram. A implicação é contraintuitiva, mas importante — a segurança na IA clínica emerge de capacidades sofisticadas de raciocínio, não apenas do ajuste fino específico de domínio. Colar um rótulo médico em um modelo não o torna medicamente seguro.

O Cenário de Erro Médico Está Mudando Sob os Pés de Todos

Aqui está uma conversa que tive com três diferentes assessores jurídicos de hospitais no último ano, e ela transcorre mais ou menos da mesma forma todas as vezes.

Eu: "Se sua IA redige uma mensagem que prejudica um paciente, e o médico revisor deixou passar o erro, quem é responsável?"

Eles: "O médico. Ele revisou e aprovou."

Eu: "E se o advogado do autor da ação mostrar que seu sistema foi projetado de uma forma que condicionou psicologicamente o médico a deixar passar erros — que a fluência da IA criou uma falsa sensação de segurança — isso muda a sua análise?"

Silêncio.

O padrão de cuidado na medicina está evoluindo para levar a IA em conta. Os tribunais estão começando a reconhecer que deixar de usar uma ferramenta de IA validada que poderia ter evitado um erro pode constituir uma violação do dever. Mas o inverso também está surgindo: usar uma ferramenta de IA não validada, ou usar uma ferramenta validada de uma forma que mina a supervisão humana, cria sua própria responsabilidade.

A deriva de modelo agrava isso. Os sistemas de IA se degradam ao longo do tempo à medida que são retreinados com novos dados. O modelo que passou na sua avaliação de segurança há seis meses pode não ser o modelo que gera mensagens de pacientes hoje. Sem registros de auditoria com controle de versão que mostrem exatamente qual modelo produziu qual saída e quais passos de raciocínio ele seguiu, um sistema de saúde não tem posição defensável em tribunal.

Alguns produtos mais recentes de seguro contra erro médico estão começando a cobrir sinistros relacionados à IA, mas normalmente têm limites baixos e exigem prova documentada de supervisão humana — a mesma supervisão que o estudo da Lancet mostrou ser pouco confiável.

"Mas os Pacientes Gostam Mais das Mensagens da IA"

As pessoas me contestam com este argumento, e quero abordá-lo com honestidade porque os dados são reais. Estudos mostraram que os pacientes avaliam as mensagens redigidas por IA como mais empáticas e detalhadas do que as escritas por médicos. Isso não é pouca coisa. Em um sistema de saúde no qual os pacientes se sentem não ouvidos, uma IA que se dá ao trabalho de explicar, de reconhecer, de tranquilizar — isso tem valor genuíno.

Mas aqui está o que a pesquisa também mostra: as avaliações de satisfação dos pacientes diminuem quando os pacientes descobrem que a IA esteve envolvida. Há um viés de automação reverso em ação — os pacientes valorizam a crença de que o médico está pessoalmente engajado no cuidado deles. A relação clínica importa para eles, e eles percebem quando ela foi intermediada, mesmo que a intermediação tenha produzido uma mensagem "melhor".

Isso me diz algo importante sobre onde a IA se encaixa nesse fluxo de trabalho. Ela não deveria ser a redatora-fantasma do médico. Ela deveria estar fazendo o trabalho estruturado, recuperável e verificável — puxando resultados de exames, checando diretrizes, sinalizando interações — para que o médico tenha a disponibilidade de escrever uma resposta genuinamente pessoal ao paciente que precisa de uma.

O objetivo da IA clínica não é substituir a voz do médico. É devolver ao médico o tempo para usá-la.

Para Onde Isso Caminha Daqui em Diante

Não vou encerrar com um evasivo "o tempo dirá" nem com um discurso brando em prol da minha empresa. Vou dizer a vocês no que acredito.

A atual geração de ferramentas de mensagens de IA para pacientes causará dano. Não que possa — vai causar. A matemática é direta: taxa de 7,1% de dano grave nos rascunhos de IA, taxa de 66% de erros deixados passar pelos médicos revisores, multiplicada por milhões de mensagens de portal do paciente por mês em todo o sistema de saúde dos EUA. Os incidentes vão se acumular. As ações judiciais virão. E a resposta regulatória será dura e punitiva, porque a evidência de que isso era previsível já está publicada na The Lancet.

Os sistemas de saúde que evitarem isso não são os que se movem devagar. São os que se movem de forma diferente. Isso significa arquiteturas de RAG fundamentadas em conhecimento médico verificado. Grafos de conhecimento que dão à IA raciocínio clínico estruturado em vez de previsão estatística de palavras. Testes adversariais que rodam continuamente, não cerimonialmente. E interfaces de revisão projetadas para neutralizar o viés de automação, não para explorá-lo.

Construímos a Veriprajna para fazer esse trabalho — não porque enxergamos uma oportunidade de mercado, mas porque vi pessoas inteligentes e bem-intencionadas implantarem sistemas que poderiam prejudicar pacientes, e a lacuna entre o que estavam construindo e o que a evidência exigia era inaceitável.

A primeira regra da medicina é primum non nocere — primeiro, não causar dano. Passamos os últimos dois anos construindo uma IA que trata essa regra como uma restrição de engenharia, não como um slogan de marketing. A tecnologia para fazer isso da forma certa existe. A pesquisa que prova que a abordagem atual é perigosa existe. A única questão que resta é se a indústria agirá sobre a evidência antes que a evidência aja sobre a indústria.