O Número Mais Perigoso da IA Neste Momento É 99,999%

Eu estava em uma ligação com o CIO de um hospital no ano passado quando ele abriu o pitch deck de um fornecedor e compartilhou a tela. O slide sete tinha um único número, centralizado, em fonte de 72 pontos: taxa de alucinação <0,001%. Abaixo dele, em letras menores: "clinicamente validado."

Ele olhou para mim pela webcam e disse: "Ashutosh, devo acreditar nisso?"

Eu disse a ele que não sabia — mas que o número em si deveria deixá-lo nervoso, não tranquilo. Uma taxa de alucinação abaixo de um em cem mil, para um sistema que resume notas clínicas confusas, contraditórias, manuscritas e ditadas em dezenas de especialidades? Isso não é uma alegação de precisão. É um truque de mágica. E, na minha experiência, quando alguém lhe mostra um truque de mágica em uma reunião de vendas, você deve conferir os bolsos depois.

Alguns meses depois, o Procurador-Geral do Texas tornou esse instinto oficial. Em setembro de 2024, o estado chegou a um acordo histórico com a Pieces Technologies, uma empresa de IA para saúde sediada em Dallas, sobre o que o PG alegou serem alegações enganosas de precisão — incluindo aquela exata taxa de alucinação crítica de 0,001%. Foi a primeira ação de fiscalização desse tipo contra uma empresa de IA generativa na área da saúde, e não exigiu nenhuma nova lei específica para IA. Apenas a boa e velha Lei de Práticas Comerciais Enganosas do Texas, o mesmo estatuto usado para ir atrás de concessionárias de carros duvidosas.

Aquele acordo mudou a forma como penso sobre tudo o que construímos na Veriprajna. Não porque estivéssemos fazendo algo errado, mas porque cristalizou algo que eu vinha tendo dificuldade de articular para os clientes: o problema com a IA empresarial não é que os modelos alucinam. É que a indústria construiu toda uma estratégia de entrada no mercado em torno de fingir que eles não alucinam.

O Que uma Taxa de Alucinação de 0,001% Realmente Significa?

Deixe-me conduzi-lo pela matemática, porque é na matemática que o truque de mágica desmorona.

Os grandes modelos de linguagem são sistemas probabilísticos. Eles não "sabem" coisas do jeito que um banco de dados sabe. Eles preveem a próxima palavra — ou, mais precisamente, o próximo token — com base em padrões aprendidos durante o treinamento. A probabilidade de qualquer saída gerada é o produto das probabilidades de cada token individual na sequência. Cada token é uma pequena aposta, e a saída final é uma longa cadeia de pequenas apostas multiplicadas entre si.

Agora, alegar uma taxa de alucinação crítica abaixo de 0,001% significa que menos de 1 em 100.000 saídas contêm um erro grave o suficiente para causar dano clínico. Para validar essa alegação com qualquer confiança estatística, você precisaria de um conjunto de dados de referência (gold-standard) enorme e perfeitamente anotado — dezenas de milhares de resumos clínicos, cada um revisado por especialistas do domínio que concordem sobre o que conta como "crítico". Esse conjunto de dados não existe. Nem para a Pieces Technologies, nem para ninguém. As notas clínicas são idiossincráticas demais, específicas demais de cada especialidade, dependentes demais do estilo individual do médico e do histórico do paciente.

Quando alguém alega 99,999% de precisão em uma tarefa em que até especialistas humanos discordam sobre como é o "correto", essa pessoa não resolveu o problema. Ela apenas redefiniu o problema para fora de vista.

A investigação do PG do Texas concluiu que as métricas usadas pela Pieces eram "provavelmente imprecisas" e potencialmente enganosas para os hospitais que implantaram a ferramenta — que incluíam o Houston Methodist, o Parkland Hospital, o Children's Health System of Texas e o Texas Health Resources. Quatro grandes sistemas. Pacientes reais. Notas clínicas reais sendo resumidas por um sistema cujas alegações de precisão não resistiram ao escrutínio regulatório.

A Noite em Que Parei de Confiar em Benchmarks

Quero lhe contar sobre um momento que reconfigurou meu pensamento sobre isso.

Estávamos executando uma avaliação interna de um pipeline de sumarização clínica — não para um cliente, apenas para nossa própria P&D. Minha equipe havia construído o que pensávamos ser um sistema sólido baseado em RAG. Geração Aumentada por Recuperação (Retrieval-Augmented Generation), para os não iniciados, é uma técnica em que, em vez de pedir ao modelo que responda com base na memória, você primeiro recupera documentos relevantes de uma base de conhecimento e os alimenta ao modelo como contexto. A ideia é ancorar a saída em fatos.

Nossas métricas internas pareciam ótimas. Pontuações de fidelidade acima de 95%. Precisão de recuperação nos altos 90%. Estávamos nos sentindo bem. Então uma de nossas engenheiras — Priya, que tem esse hábito enlouquecedor de estar certa sobre coisas que ninguém quer ouvir — sugeriu que fizéssemos algo diferente. Em vez de medir contra nosso próprio conjunto de testes, ela puxou cinquenta resumos de alta reais de um conjunto de dados público e fez com que dois médicos revisassem de forma independente as versões geradas por IA.

Os resultados chegaram em uma noite de quinta-feira. Lembro-me porque eu estava preparando o jantar e meu telefone vibrou com uma mensagem no Slack da Priya que dizia apenas: "Você deveria dar uma olhada nisto antes de amanhã."

Os médicos sinalizaram problemas em 23 de 50 resumos. Na maioria dos casos, não eram erros catastróficos — uma dosagem de medicamento retirada de uma internação anterior em vez da atual, um detalhe de histórico familiar atribuído ao parente errado, um valor de exame que estava direcionalmente correto, mas numericamente errado. Mas em um contexto clínico, "direcionalmente correto, mas numericamente errado" pode significar a diferença entre uma alta segura e uma reinternação.

Nossas métricas automatizadas haviam deixado passar quase tudo isso. O sistema estava gerando textos que eram linguisticamente fluentes e semanticamente similares ao material de origem — que é exatamente o que as métricas mediam. Mas não estava gerando textos que fossem clinicamente seguros, que era o que realmente importava.

Aquela foi a noite em que parei de confiar em benchmarks como indicador de qualidade. E é por isso que o caso Pieces me atingiu com tanta força quando veio à tona. Eu sabia exatamente como uma empresa poderia olhar para seus próprios números, acreditar sinceramente neles e ainda assim estar perigosamente errada.

Por Que o Texas Usou uma Lei de Proteção ao Consumidor — e Não uma Lei de IA?

Esta é a parte que deveria tirar o sono de todo fornecedor de IA.

O Procurador-Geral do Texas não esperou o Congresso aprovar uma regulamentação de IA. Ele não invocou nenhuma teoria jurídica inovadora. Ele usou a Lei de Práticas Comerciais Enganosas e Proteção ao Consumidor do Texas — um estatuto que está em vigor há décadas — e a aplicou às alegações de precisão de IA da mesma forma que seria aplicada a uma empresa que mente sobre a eficiência de combustível de um carro.

O Termo de Ajustamento de Conduta Voluntário resultante prende a Pieces Technologies a um período de cinco anos de transparência reforçada. A empresa agora deve divulgar as definições e os métodos de cálculo por trás de quaisquer métricas de precisão que anuncia. Deve notificar os clientes sobre "usos prejudiciais ou potencialmente prejudiciais conhecidos ou razoavelmente conhecíveis" de seus produtos. Deve fornecer documentação sobre seus dados de treinamento e tipos de modelo. E deve responder às solicitações de informação do gabinete do PG dentro de 30 dias.

Isto não é um tapa na mão. É um modelo a ser seguido.

A primeira grande ação de fiscalização de IA na área da saúde não exigiu nova legislação. A lei de proteção ao consumidor existente foi suficiente — e todo estado tem uma.

Já conversei com equipes jurídicas empresariais que presumiam estar seguras porque "ainda não há lei de IA". Essa presunção está errada. Se você faz uma alegação sobre o desempenho do seu sistema de IA, e essa alegação é enganosa, você já está exposto sob a lei existente. O acordo da Pieces acabou de provar isso.

Escrevi sobre as implicações regulatórias completas — incluindo as obrigações específicas previstas no acordo — na versão interativa de nossa pesquisa. Se você atua em compras, jurídico ou compliance, vale a pena ler com atenção.

O Problema do Wrapper

Aqui está o que eu acho que realmente deu errado, do ponto de vista arquitetônico — e por que isso importa muito além da Pieces Technologies.

A maioria dos produtos de IA empresarial que estão sendo lançados hoje são o que a indústria chama de "wrappers". Um wrapper pega a entrada de um usuário, envia-a para a API de um modelo fundacional — GPT-4, Claude, Gemini — e exibe a resposta com alguma formatação leve e talvez alguns guardrails acoplados. É rápido de construir, rápido de lançar e rápido de vender. Também é fundamentalmente frágil.

Um wrapper não entende seus dados. Ele não mantém o contexto ao longo do registro longitudinal de um paciente. Ele não sabe que o Dr. Ramirez, da cardiologia, escreve notas de forma diferente da Dra. Chen, da oncologia. Ele não tem acesso ao conhecimento institucional que uma enfermeira com vinte anos de experiência carrega na cabeça. Ele apenas prevê tokens.

Tive uma discussão com um investidor sobre isso uma vez — uma discussão acalorada. Ele havia visto a demonstração de uma ferramenta de documentação clínica baseada em wrapper e estava convencido de que era "boa o suficiente". Suas palavras exatas: "Ashutosh, é só usar o GPT. Faça um pouco de fine-tuning. Lance. O mercado não vai esperar."

Eu disse a ele que o mercado não esperaria, mas os reguladores esperariam. E os pacientes também. E os processos judiciais também.

Ele não investiu. Não me arrependo da conversa.

A alternativa — o que construímos na Veriprajna e o que acho que a indústria precisa buscar — é a integração profunda. Isso significa incorporar o modelo ao tecido de dados real da empresa. Significa usar RAG não como um recurso para marcar uma caixinha, mas como um mecanismo genuíno de ancoragem, com pipelines de recuperação ajustados ao domínio específico. Significa fazer fine-tuning em corpora específicos do domínio. Significa supervisão humana em múltiplas camadas, em que os humanos de fato tenham a autoridade e o contexto para detectar erros.

A pesquisa confirma isso. Estudos mostram que 65% dos desenvolvedores relatam que a IA "perde contexto relevante" durante tarefas complexas — e isso é na engenharia de software, onde o que está em jogo é um build quebrado, não um paciente prejudicado. Na área da saúde, a perda de contexto não é um bug. É um evento de segurança.

O Que Realmente Funciona: IA Adversarial e o Problema das 3,7 Horas

Vou dar crédito à Pieces Technologies por uma coisa: a arquitetura deles incluía um Módulo de Detecção Adversarial. A ideia é sólida — usar um segundo modelo de IA para policiar o primeiro, examinando os resumos gerados em busca de discrepâncias em relação aos dados clínicos de origem. O artigo técnico deles mostrou que o módulo adversarial era 7,5 vezes mais eficaz em detectar alucinações clinicamente significativas do que a amostragem aleatória.

Esse é um resultado real. Mas também não é suficiente.

Eis o porquê. Quando o módulo adversarial sinalizava um erro, o resumo sinalizado era encaminhado a um médico com certificação do conselho para revisão. O tempo mediano para a correção? 3,7 horas. Para uma nota de evolução que é arquivada no fim de um plantão, talvez isso seja aceitável. Para um resumo de alta que determina se um paciente vai para casa hoje ou fica mais uma noite, 3,7 horas são uma eternidade. Para uma ferramenta de apoio à decisão clínica em tempo real — do tipo que todos estão correndo para construir — é inútil.

É isto que chamo de problema da velocidade de intervenção, e é um dos que a indústria não resolveu. Você pode construir o melhor sistema de detecção de alucinações do mundo, mas se o ciclo de correção for mais lento que o fluxo de trabalho clínico, a saída não corrigida é o que o médico vê quando importa.

Detecção sem correção oportuna é apenas a documentação da falha.

Na Veriprajna, começamos a pensar nisso em camadas. Nem todo caso de uso de IA carrega o mesmo risco, e nem todo caso de uso precisa da mesma velocidade de intervenção humana. Agendamento administrativo? Audite semanalmente. Documentação clínica? Revise antes de ir para o prontuário. Apoio à decisão em tempo real? O humano tem que estar no circuito antes de a saída ser gerada, não depois.

A estrutura de Nível de Segurança de IA que está emergindo na área da saúde mapeia bem isso — do Nível 1 (tarefas administrativas de baixo impacto) até o Nível 5 (interação autônoma com o paciente). A maioria das organizações com que converso está implantando ferramentas de Nível 3 e 4 com supervisão de Nível 1. Essa é a lacuna que os reguladores vão continuar fechando.

Por Que Apenas 5% das Empresas Estão Obtendo Valor Real da IA?

Há uma estatística da pesquisa sobre IA empresarial que me assombra: apenas 5% das empresas estão obtendo valor de negócio mensurável da IA em escala. Não 50%. Não 25%. Cinco por cento.

As empresas nesses 5% compartilham um padrão. Elas dedicam 70% de seu esforço de implementação à transformação organizacional — redesenhando fluxos de trabalho, redefinindo papéis, mudando como as decisões são tomadas. Vinte por cento vai para a pilha tecnológica. Dez por cento vai para o algoritmo em si.

Todos os demais invertem essa proporção. Passam meses escolhendo o modelo certo, semanas construindo o pipeline e aproximadamente zero tempo pensando sobre se os humanos a jusante de fato confiam, entendem ou conseguem supervisionar efetivamente a saída da IA.

Vi isso em primeira mão. Trabalhamos com uma equipe que havia construído um sistema tecnicamente elegante — arquitetura bonita, código limpo, benchmarks impressionantes. Mas os médicos para quem foi construído não o usavam. Não porque era ruim, mas porque ninguém havia perguntado a eles do que precisavam. A ferramenta gerava resumos em um formato que não correspondia ao fluxo de trabalho existente deles. Ela trazia à tona informações que eles já sabiam e enterrava informações de que eles realmente precisavam. Era uma solução para um problema definido por engenheiros, não pelas pessoas que fazem o trabalho.

Passamos três semanas apenas sentados com a equipe clínica, observando-os trabalhar, antes de escrevermos uma única linha de código para o redesenho. Esses são os 70% que importam.

Para o detalhamento técnico completo dos frameworks de avaliação, das arquiteturas de detecção adversarial e dos padrões de ROI que separam os 5% dos 95%, veja nosso artigo de pesquisa detalhado.

Como as Empresas Deveriam de Fato Avaliar as Alegações de Precisão da IA?

As pessoas me perguntam isso o tempo todo, então deixe-me ser direto.

Primeiro, exija definições. Quando um fornecedor lhe diz que a taxa de alucinação dele é de X%, pergunte: O que conta como alucinação? Quem anotou o conjunto de testes? Qual era o tamanho dele? Ele foi avaliado por especialistas do domínio ou por outro modelo de IA? Se não conseguirem responder a essas perguntas com clareza, o número não tem sentido.

Segundo, olhe para o framework de avaliação. O melhor que já vi para a área da saúde é o Med-HALT — o Teste de Alucinação no Domínio Médico (Medical Domain Hallucination Test). Ele não apenas mede se o modelo chega à resposta certa. Ele testa se o modelo consegue resistir a dar uma resposta confiantemente errada. Um de seus subtestes, o Teste de Falsa Confiança, apresenta ao modelo uma pergunta e uma sugestão de resposta "correta" que na verdade está errada, e então verifica se o modelo concorda com ela. Outro teste, chamado "Nenhuma das Anteriores", verifica se o modelo consegue reconhecer quando nenhuma das opções fornecidas está correta — uma habilidade crítica, porque na medicina, "não sei" costuma ser a resposta mais segura.

Terceiro, insista no que o framework FAIR-AI chama de um "Rótulo de IA" — uma divulgação padronizada que informa ao usuário final em quais dados o modelo foi treinado, quais são seus modos de falha conhecidos e qual versão está atualmente implantada. Pense nisso como um rótulo nutricional para IA. Se um fornecedor não quiser lhe dar um, pergunte-se o que ele está escondendo.

A pergunta não é "quão precisa é a sua IA?". É "como você sabe — e consegue provar isso a um regulador?".

O Acordo Mudou Tudo. A Maioria das Pessoas Ainda Não Percebeu.

Aqui está o que eu acho que vai acontecer nos próximos dois anos, e digo isto como alguém que constrói os sistemas que estarão sujeitos a essas regras.

O acordo do Texas vai ser replicado. Outros procuradores-gerais estaduais estão observando. A FTC está observando. O padrão está estabelecido: você não precisa de uma lei de IA para regular as alegações de IA. Basta um estatuto de proteção ao consumidor e um fornecedor que prometeu demais.

As compras empresariais vão mudar. Sistemas hospitalares e grandes compradores vão começar a exigir auditorias independentes de terceiros sobre as alegações de precisão da IA antes de assinar contratos. O acordo permite isso explicitamente como alternativa à autodivulgação, e os compradores inteligentes vão exigi-lo.

O modelo wrapper vai morrer — lentamente e depois, de uma vez só. Não porque os wrappers não funcionem para aplicações de baixo risco (eles funcionam), mas porque o custo regulatório de implantar um sistema sem ancoragem em um ambiente de alto risco está prestes a se tornar proibitivo. As empresas que sobreviverem serão as que investiram na integração profunda quando era difícil, não as que lançaram rápido e torceram para que ninguém verificasse.

E a alegação de 0,001%? Vai se tornar uma história de advertência — o equivalente, na IA empresarial, à "gota única de sangue" da Theranos. Um número tão perfeito que deveria ter sido um alerta.

Penso naquele CIO de hospital às vezes. Aquele que me mostrou o slide com o número grande. Ele não comprou aquele sistema. Ele me disse depois que algo na precisão da alegação o incomodava — era excessivamente limpo, confiante demais para uma tecnologia que ele sabia ser fundamentalmente probabilística.

Ele estava certo em se incomodar. A coisa mais difícil na IA empresarial não é construir um sistema que funciona. É construir um sistema que lhe diz honestamente quando não funciona. Esse é o padrão agora. Não 99,999%. Não um número em um slide. O padrão é: você consegue mostrar seu trabalho, sustentá-lo e aceitar as consequências quando estiver errado?

É para isso que estamos construindo. Não uma IA perfeita. Uma IA honesta. E acho que isso vai importar muito mais do que a taxa de alucinação de qualquer um.