O Algoritmo Que Negou Cuidados a Pacientes Moribundos — E o Que Ele Me Ensinou Sobre Construir IA Que Não Mata

Eu estava sentado em uma sala de reunião no fim de 2024 quando uma colega puxou uma estatística no laptop dela e virou a tela na minha direção. "Você viu isso?"

Era a taxa de reversão de recursos do algoritmo nH Predict do UnitedHealth Group — o sistema de IA que a subsidiária deles, a NaviHealth, vinha usando para decidir quando pacientes do Medicare deveriam ser cortados dos cuidados pós-agudos. Enfermagem especializada. Reabilitação. O tipo de cuidado que impede que uma pessoa de 82 anos seja mandada para casa, para um apartamento vazio, depois de um AVC.

O número era 90%.

Nove em cada dez vezes em que um juiz humano de fato revisava a decisão do algoritmo de negar cobertura, ele a revertia. A IA estava errada nove em cada dez vezes. E o UnitedHealth sabia. Eles sabiam porque apenas 0,2% dos pacientes — pessoas idosas, com deficiência, com comprometimento cognitivo — conseguiam de fato entrar com um recurso. O sistema não foi projetado para ser preciso. Foi projetado para ser irrecorrível.

Fechei meu laptop naquela noite e não consegui dormir. Não porque a tecnologia me surpreendeu — passei anos construindo sistemas de IA e entendo como modelos guiados por correlação falham. O que me manteve acordado foi algo mais feio: isso não era um bug. Era um modelo de negócio. E era o ponto final lógico de toda uma filosofia de IA empresarial que meu setor vem promovendo alegremente há meia década.

Eu dirijo a Veriprajna, uma empresa construída sobre a premissa de que a IA em domínios de alto risco precisa ser fundamentalmente diferente dos chatbots e geradores de conteúdo que dominam a conversa. A crise do UnitedHealth não apenas validou essa premissa. Ela a radicalizou.

Um Algoritmo de Um Bilhão de Dólares Que Não Conseguia Enxergar Uma Mulher Morrendo

Deixe-me falar sobre Carol Clemens, porque os números não significam nada sem ela.

Carol tinha metemoglobinemia — um distúrbio sanguíneo com risco de morte em que o sangue não consegue transportar oxigênio adequadamente. Depois de um episódio grave, ela estava em uma unidade de enfermagem especializada recebendo a reabilitação de que precisava para sobreviver. O tipo de cuidado que o Medicare deveria cobrir.

Então o nH Predict gerou uma "data-alvo de alta". O algoritmo, treinado com 6 milhões de registros de pacientes, havia cruzado o diagnóstico de Carol com desfechos históricos e decidiu que ela estava pronta. Não importava que seus níveis de oxigênio no sangue ainda estivessem perigosamente baixos, a ponto de ameaçar sua vida. Não importava que seus médicos dissessem que ela precisava de mais tempo. O modelo havia falado.

A família dela pagou US$ 16.768 do próprio bolso para mantê-la em cuidados. Eles tiveram sorte — tinham os recursos. A maioria dos pacientes na situação de Carol não tinha.

Eis o que me assombra neste caso: o nH Predict não era algum experimento fora de controle. A divisão Optum do UnitedHealth pagou mais de US$ 1 bilhão para adquirir a NaviHealth e seu algoritmo. Este era um produto principal em uma empresa que projetava US$ 340 bilhões em receita para 2025. A implantação de IA mais cara da história da saúde, e ela não conseguia distinguir entre uma média estatística e uma mulher que estava sufocando.

Por Que o Algoritmo Errou 90% das Vezes?

Esta é a pergunta que todos fazem, e a resposta é enganosamente simples. O nH Predict era um mecanismo de correlação fingindo ser uma ferramenta clínica.

Ele ingeria registros de pacientes e encontrava padrões: pacientes com o diagnóstico X normalmente ficam Y dias. É isso. É todo o truque. Ele não modelava por que os pacientes precisam de durações diferentes de cuidado. Ele não levava em conta se alguém tinha um cuidador em casa, se era financeiramente estável o suficiente para gerenciar tratamento ambulatorial, se tinha complicações específicas que tornavam seu caso diferente da média estatística.

Um modelo que diz "pacientes como este normalmente saem em 14 dias" não é o mesmo que um modelo que entende por que este paciente específico precisa de 21 dias. O primeiro é uma planilha com passos extras. O segundo é inteligência.

Tive essa discussão com outros fundadores mais vezes do que consigo contar. "Mas o modelo é preciso na média!", eles dizem. Claro. E um rio tem um metro e vinte de profundidade na média, o que não é consolo algum para a pessoa que se afogou no trecho de dois metros e meio.

O termo técnico para o que faltava ao nH Predict é raciocínio causal — a capacidade de passar de "o que geralmente acontece" para "o que aconteceria se mudássemos esta variável". Um modelo causal perguntaria: o que acontece com a trajetória de recuperação de Carol Clemens se removermos a enfermagem especializada no dia 14? Ela tem uma recaída? Ela morre? Um modelo de correlação não pergunta. Não pode. Não foi construído para isso.

Escrevi sobre essa distinção em profundidade na versão interativa da nossa pesquisa, porque acho que é o conceito mais importante que os líderes empresariais precisam entender sobre IA agora.

A Regra dos 3% para 1% — Ou, Como Você Transforma Enfermeiros em Carimbos

A imprecisão do algoritmo já era ruim o suficiente. O que o UnitedHealth fez com ela foi pior.

Depoimentos de denunciantes revelaram que os gerentes da NaviHealth estabeleceram metas rígidas de conformidade para sua equipe clínica. Gerentes de caso — enfermeiros, médicos, pessoas que passaram décadas aprendendo a avaliar as necessidades dos pacientes — foram instruídos a manter o tempo real de internação dos pacientes dentro de uma variação de 3% em relação ao que quer que o nH Predict projetasse.

Depois eles apertaram para 1%.

Pense no que isso significa na prática. Você é enfermeiro. Você examinou um paciente. Você sabe, por anos de experiência e pelas evidências clínicas à sua frente, que essa pessoa não está pronta para ir para casa. Mas o algoritmo diz dia 14, e seu gerente diz que você precisa acertar o dia 14 mais ou menos uma fração de dia, ou você enfrenta ação disciplinar. Talvez demissão.

O que você faz?

A maioria das pessoas obedeceu. Não porque fossem maus profissionais, mas porque o sistema foi projetado para tornar a obediência a única opção de sobrevivência. Os coordenadores de cuidados foram instruídos a agendar suas revisões de progresso para coincidir exatamente com a data de alta prevista pelo algoritmo — moldando a linha do tempo clínica para se ajustar ao modelo, e não ao paciente.

Lembro de descrever isso a um amigo que trabalha com segurança da aviação, e ele empalideceu. "Isso é como dizer aos pilotos para pousarem com base no plano de voo, independentemente das condições meteorológicas", ele disse. "Você nunca mais voaria."

Quando os médicos são punidos por contrariar um algoritmo falho, você não tem um "humano no circuito". Você tem um carimbo com formato de humano.

É isso que eu chamo de coerção algorítmica, e é o modo de falha que mais me apavora — não porque a IA seja autônoma, mas porque cria um ambiente em que os humanos são punidos por exercer o julgamento que falta à IA.

O Que Aconteceu no Tribunal em 13 de Fevereiro de 2025?

A ação coletiva — Espólio de Gene B. Lokken v. UnitedHealth Group — chegou a um ponto de virada quando o juiz federal distrital dos EUA John Tunheim decidiu que o caso poderia prosseguir. Isso importa enormemente, e não apenas para o UnitedHealth.

O tribunal constatou que os próprios documentos de política da UHC prometiam que as decisões de cobertura seriam tomadas por "equipe de serviços clínicos" e "médicos". Ao substituir esses humanos por um algoritmo que efetivamente ditava os desfechos, o UnitedHealth potencialmente quebrou seu contrato com cada segurado.

Ainda mais significativo: o juiz dispensou a exigência de que os pacientes esgotassem os recursos administrativos antes de processar. Normalmente, os beneficiários do Medicare precisam percorrer múltiplos níveis de revisão burocrática antes de poderem ir ao tribunal. Mas Tunheim olhou para a taxa de erro de 90%, olhou para a taxa de recurso de 0,2% e, essencialmente, disse: não vamos forçar pessoas moribundas a participar de um sistema que está manipulado contra elas.

Essa decisão deveria ser leitura obrigatória para todo executivo que implanta IA em um setor regulado. O sistema jurídico não está mais disposto a tratar a disfunção algorítmica como um problema de processo que os pacientes precisam resolver por conta própria.

Por Que a "IA de Invólucro" É Uma Bomba-Relógio na Saúde

Aqui é onde preciso ser franco sobre meu próprio setor, porque a história do UnitedHealth não é um incidente isolado. É o sintoma mais visível de um problema estrutural.

Nos últimos três anos, o mercado de IA empresarial foi inundado com o que eu chamo de soluções de invólucro — empresas que pegam um grande modelo de linguagem já existente, envolvem-no em uma interface personalizada, talvez o ajustem com alguns dados específicos de domínio, e o vendem como um produto de IA para saúde. Ou um produto de IA para seguros. Ou um produto de IA para conformidade.

Esses invólucros compartilham todas as vulnerabilidades que tornaram o nH Predict perigoso:

Eles são caixas-pretas. Você não consegue auditar o raciocínio por trás de nenhuma decisão individual, o que significa que você não consegue detectar viés sistemático até que ele já tenha prejudicado milhares de pessoas.

Eles herdam os vieses de seus modelos de base. Se os dados de treinamento refletem padrões históricos de discriminação — e, na saúde, eles sempre refletem — o invólucro reproduz fielmente esses padrões.

Eles não têm nenhuma compreensão causal. Eles fazem previsões com base em correlação estatística, o que significa que estão otimizando para "o que geralmente acontece" em vez de "o que deveria acontecer para este paciente".

E, crucialmente, eles não são defensáveis. Qualquer concorrente pode construir o mesmo invólucro sobre o mesmo modelo de base. Não há inteligência proprietária, nenhuma percepção única — apenas uma fina camada de automação sobre o mecanismo de outra pessoa.

A economia de invólucros na IA de saúde está sendo construída sobre areia. Quando a maré regulatória subir — e ela está chegando rápido — as empresas sem sistemas profundos, explicáveis e fundamentados em causalidade serão varridas.

Não estou dizendo isso porque a Veriprajna compete com empresas de invólucro (embora compita). Estou dizendo isso porque já vi o que acontece quando esses sistemas falham em produção, e a distância entre "pronto para demonstração" e "clinicamente seguro" é um abismo que os invólucros não conseguem atravessar.

Como a FDA Quer Que a IA Prove Que É Confiável?

Em janeiro de 2025, a FDA lançou uma diretriz preliminar estabelecendo um framework de avaliação de credibilidade de 7 etapas para modelos de IA usados na tomada de decisão médica e regulatória. Passei semanas com este documento, e é a peça mais consequente de regulação de IA que já vi.

O framework exige que toda implantação de IA defina claramente a pergunta exata que está respondendo, especifique seu papel no fluxo de trabalho clínico, avalie o que acontece se estiver errada e, então, prove — com testes rigorosos — que é adequada para aquele propósito específico.

O nH Predict teria falhado em cada etapa. Ele não tinha uma definição clara de seu papel clínico. Sua avaliação de risco ignorava as consequências fatais dos cuidados negados. Sua "validação" otimizava para a contenção de custos, não para os desfechos dos pacientes.

Enquanto isso, o EU AI Act classificou a IA de saúde como "Alto Risco" em 2025, exigindo divulgações obrigatórias de transparência e supervisão humana. As penalidades por descumprimento chegam a 7% do faturamento global. Para uma empresa do tamanho do UnitedHealth, isso não é uma multa — é uma ameaça existencial.

A Organização Mundial da Saúde foi além, mirando especificamente o que ela chama de viés de automação — a tendência dos médicos de ceder a um algoritmo mesmo quando ele contradiz seu próprio julgamento clínico. Foi exatamente isso que aconteceu na NaviHealth. A diretriz de 2024 da OMS alerta que a dependência excessiva de IA pode levar a uma "degradação de habilidades" entre os médicos que deixam de exercer a avaliação crítica.

Para a análise técnica completa desses frameworks regulatórios e de como eles se aplicam à implantação de IA empresarial, veja nosso artigo de pesquisa.

A Noite em Que Percebi Que a Explicabilidade Não É Opcional

Há um momento na jornada de todo fundador em que um princípio abstrato se torna visceral. Para mim, foi em uma noite avançada testando uma versão inicial de um dos nossos modelos em um conjunto de dados de saúde.

O modelo havia sinalizado um caso para negação. Pedi à minha equipe para rodar o SHAP — SHapley Additive exPlanations, uma ferramenta que mostra quais características impulsionaram uma previsão específica. O fator principal não era o diagnóstico do paciente nem sua trajetória clínica. Era o CEP dele.

Meu engenheiro-chefe e eu encaramos a tela. Nós dois sabíamos com o que o CEP se correlaciona nos dados de saúde dos Estados Unidos. Não estávamos olhando para uma variável clínica. Estávamos olhando para uma variável indireta de raça e renda disfarçada em cinco dígitos.

Descartamos a característica naquela noite. Mas a experiência cristalizou algo que eu havia entendido intelectualmente, mas não havia sentido nas entranhas: se você não consegue explicar por que sua IA tomou uma decisão, você não consegue detectar as decisões que são indefensáveis.

É por isso que construímos com a explicabilidade como arquitetura, não como um adendo. Ferramentas como o SHAP dão a você uma visão global do que está impulsionando seu modelo. O LIME — Local Interpretable Model-Agnostic Explanations — mostra o raciocínio por trás de qualquer decisão individual. Para uma paciente como Carol Clemens, o LIME teria tornado visível que o algoritmo estava ignorando seu oxigênio no sangue perigosamente baixo em favor das estatísticas médias de recuperação para o código de diagnóstico dela.

E então há a pontuação de confiança — a parte que a maioria das soluções de invólucro pula por completo. Quando um paciente se apresenta com uma condição rara que é mal representada nos dados de treinamento, o sistema precisa dizer, explicitamente: "Não sei o suficiente para tomar essa decisão. Encaminhe isto para um humano." Não uma sugestão. Uma parada obrigatória.

Por Que Isso Não Pode Mais Ser um "Problema de TI"

As pessoas sempre me contestam quando digo que a governança de IA pertence à sala do conselho. "Não é para isso que serve a equipe de engenharia?" Não. Absolutamente não. E o caso do UnitedHealth é a prova.

Os engenheiros da NaviHealth não estabeleceram o mandato de variação de 1%. Isso foi uma decisão da gerência. Os engenheiros não decidiram punir os médicos que contrariavam o algoritmo. Isso foi uma decisão de política. Os engenheiros não escolheram implantar um modelo baseado em correlação para decisões de cobertura de vida ou morte sem validação causal. Isso foi uma decisão de estratégia.

Até 2025, 72% das empresas do S&P 500 divulgaram riscos materiais de IA em seus registros na SEC. O risco reputacional é agora a preocupação mais citada. Uma única falha algorítmica pode desencadear litígio, ação regulatória e indignação pública simultaneamente — e o conselho que diz "nós não sabíamos" descobrirá que a ignorância não é uma defesa.

Na Veriprajna, incentivamos todos os clientes a estabelecer comitês multifuncionais de governança de IA que incluam líderes clínicos, assessoria jurídica e representantes de segurança do paciente — não apenas engenheiros e gerentes de produto. Esses comitês precisam ter autoridade para manter um registro central de cada modelo de IA na pilha da organização, impor opções de reversão quando o desempenho se degrada e — esta é a parte que deixa os executivos desconfortáveis — desativar um modelo lucrativo quando ele está causando dano.

A governança de IA não é um centro de custo. É a diferença entre uma empresa que implanta IA de forma responsável e uma empresa que se torna o próximo caso exemplar em uma investigação do Senado.

A Discussão Que Sempre Tenho

Há uma conversa que tenho em quase todas as conferências, e ela é mais ou menos assim:

"Ashutosh, você está complicando demais isso. Podemos ajustar o GPT-4 com nossos dados clínicos e lançar algo em seis semanas. Sua abordagem leva meses."

Não discordo quanto ao cronograma. Discordo quanto à definição de "pronto".

Você pode absolutamente lançar um invólucro em seis semanas. Você pode demonstrá-lo lindamente. Ele vai gerar resumos clínicos que parecem plausíveis e deixar seus investidores felizes. E então, seis meses depois, quando um paciente morrer porque seu modelo recomendou com confiança o curso de ação errado e ninguém conseguir explicar por quê, você vai descobrir que as seis semanas que economizou custaram tudo a você.

A crise do UnitedHealth não foi causada por maus engenheiros ou por intenção maliciosa. Foi causada por uma organização que tratou a IA como um problema de otimização de vazão — reduzindo o tempo de revisão em seis a dez minutos por caso — em vez de um problema de julgamento clínico. Eles mediram o sucesso em velocidade de processamento e taxas de negação, não em desfechos dos pacientes.

A transição de invólucros preditivos para o que eu chamo de IA profunda não tem a ver com usar modelos mais sofisticados. Tem a ver com fazer uma pergunta fundamentalmente diferente. Não "como automatizamos essa decisão?", mas "como tornamos essa decisão melhor, mais transparente e mais responsável do que um humano sozinho poderia?"

Para Onde Vamos a Partir Daqui

Quero terminar com algo que vem me incomodando desde que comecei a escrever isto.

A história do nH Predict é chocante, mas não deveria ser surpreendente. Passamos anos construindo um ecossistema de IA que recompensa a velocidade em detrimento da segurança, a correlação em detrimento da causação e a automação em detrimento da ampliação. As estruturas de incentivo — cronogramas de capital de risco, ciclos de aquisição empresarial, a pressão implacável para lançar — todas empurram em direção à abordagem de invólucro. Construa rápido, venda rápido, preocupe-se com governança depois.

Não há "depois". A decisão de fevereiro de 2025 deixou isso claro. O framework de credibilidade da FDA deixou isso claro. A penalidade de 7% do EU AI Act deixou isso claro. E a conta médica de US$ 16.768 de Carol Clemens deixou isso claro nos termos mais humanos possíveis.

O caminho a seguir não é menos IA. É uma IA que conquista a autoridade que estamos lhe dando — por meio de validação causal que entende por que, por meio de arquitetura explicável que mostra seu trabalho, por meio de estruturas de governança que capacitam os humanos a contrariar a máquina sem medo de punição, e por meio da humildade institucional básica de admitir quando o modelo não sabe o suficiente para tomar a decisão.

A pergunta nunca foi "a IA pode tomar decisões de saúde?". Sempre foi "deveríamos deixar a IA tomar decisões de saúde que ela não consegue explicar, não consegue justificar e erra 90% das vezes?". A resposta, finalmente, é não.

Construímos a Veriprajna porque acreditávamos que essa resposta estava chegando. Só gostaria que não tivesse sido preciso pacientes morrerem para provar que estávamos certos.