O painel verde mentiu: o que a validação de IA empresarial realmente precisa testar

Passei boa parte da minha carreira como a pessoa na sala cujo trabalho é dizer "não, esse modelo ainda não foi validado". No setor bancário essa função tem um nome árido — validação independente de modelos sob a SR 11-7, a orientação do Federal Reserve e do OCC que governa o risco de modelos desde 2011. O trabalho é exatamente tão glamouroso quanto parece. Você lê o apêndice de limitações que ninguém mais lê. Você pergunta ao fornecedor como o modelo se comporta nos casos que não estão na demonstração. E de tempos em tempos você se senta em um comitê de auditoria diante de um painel que está inteira e tranquilizadoramente verde — cada caixa marcada, cada política mapeada, cada status de conformidade nominal — enquanto sabe, com uma sensação de aperto no estômago, que o verde não lhe diz quase nada sobre se a coisa realmente funciona.

É sobre essa lacuna que trata todo este ensaio, e é por isso que construímos a prática de validação de IA empresarial da Veriprajna em torno de uma única ideia fora de moda: você tem que testar as respostas, não o processo. Um painel de governança certifica que um procedimento foi seguido. Ele não certifica que sua IA deu a resposta certa para este segurado, este empréstimo, esta lei. Os dois são confundidos constantemente em reuniões de diretoria, e a confusão é cara.

Deixe-me mostrar quão cara.

A Klarna economizou 40% — depois perdeu $99 milhões

Em 2024, a Klarna anunciou ao mundo que seu assistente de IA havia substituído 700 agentes de atendimento ao cliente. O assistente estava lidando com cerca de dois terços dos chats em 35 idiomas. O custo por transação caiu de $0.32 para $0.19 — cerca de 40% — e as manchetes se escreveram sozinhas. Este era o futuro: mais enxuto, mais rápido, mais barato.

Em meados de 2025, eles estavam realocando engenheiros de software e profissionais de marketing para atuar nas centrais de atendimento. As pontuações de CSAT haviam caído 22%. Os clientes esbarravam no que a imprensa chamou de "loop kafkiano" nas questões difíceis — cobranças contestadas, reembolsos disputados, encerramentos de conta. O primeiro trimestre de 2025 da Klarna fechou com um prejuízo líquido de $99 milhões, ante $47 milhões no ano anterior, apesar de um crescimento de receita de 15%. O CEO admitiu que automatizar em escala havia "levado a uma queda na qualidade do serviço".

Aqui está a parte que levei um tempo para internalizar, e é o oposto da lição que a maioria das pessoas tirou. A IA da Klarna funcionou. Ela realmente economizou dinheiro em redefinições de senha e perguntas sobre status de pedidos. A falha não foi que a IA fosse ruim. A falha foi que ninguém validou se ela conseguia lidar com os 20% de interações que carregam a maior parte do peso financeiro e reputacional — as disputas, os casos extremos, as coisas que se transformam em churn e reclamações. Um filtro de toxicidade teria aprovado cada uma daquelas conversas fracassadas. A IA foi educada enquanto falhava.

A IA não disse nada ofensivo. Ela simplesmente não conseguiu conduzir um reembolso em múltiplas moedas envolvendo um voo cancelado e uma cobrança contestada — e esses eram os 20% que importavam.

A Klarna não é uma exceção. É a versão visível de algo que acontece silenciosamente em cada empresa com quem converso. Algo entre 70% e 85% dos projetos de IA empresarial nunca chegam à produção — um número que RAND, Gartner, BCG e McKinsey todos alcançaram de forma independente. O estudo NANDA do MIT em 2025 descobriu que 95% dos pilotos de IA não geraram impacto mensurável em lucros e perdas. A McKinsey relatou que 42% das empresas abandonaram a maior parte de suas iniciativas de IA em 2025, ante 17% no ano anterior. Os pilotos fazem demonstrações lindas. Eles morrem no contato com os casos que a demonstração nunca mostrou.

Nós construímos a coisa errada primeiro

Quero ser honesto sobre como chegamos a testar respostas em vez de processo, porque não chegamos lá sendo espertos. Chegamos ao lançar algo que não funcionava e vê-lo falhar diante de um cliente.

Nossa primeira versão de uma camada de validação de IA era, em retrospecto, exatamente aquilo que o mercado já estava vendendo. Montamos um respeitável framework de guardrails — moderação de conteúdo, detecção de PII, verificações de jailbreak —, acoplamos monitoramento de drift e de equidade e apresentamos tudo isso como uma visão limpa de conformidade. Entradas escaneadas. Saídas escaneadas em busca de toxicidade e vazamento de dados pessoais. Um painel que ficava verde. Eu tinha orgulho dele. Parecia governança.

Nós o colocamos diante de um piloto em um fluxo de trabalho financeiro regulado e, nas primeiras semanas, a IA produziu uma resposta que era confiante, bem formatada, livre de qualquer conteúdo tóxico, sem nenhum PII vazado — e estava simplesmente errada sobre uma regra do domínio. Nosso sistema a aprovou. Cada verificação que havíamos construído estava verde. O erro estava na substância da resposta, em um lugar que nenhum dos nossos guardrails estava observando, porque nenhum deles entendia o domínio bem o suficiente para saber que a resposta estava errada.

Aquele foi o mês em que parei de acreditar na categoria em que havíamos entrado. Eu havia passado anos em validação de modelos sabendo disso no contexto bancário e, ainda assim, havia construído uma ferramenta que cometia o mesmo erro que passei minha carreira detectando. Segurança não é correção. Proteção não é correção. Um painel verde não é correção.

Uma IA que é segura contra injeção de prompt ainda pode calcular mal uma reserva, citar uma lei revogada ou aprovar um empréstimo que viola regras de crédito justo. Proteção e correção são problemas diferentes, e quase ninguém está testando o segundo.

Por que as ferramentas de que você já ouviu falar param onde param?

Existe agora um mercado real e bem financiado de ferramentas de IA, crescendo a algo como uma taxa anual composta de 45%, e não quero ser injusto com ele. A maioria desses produtos faz bem o seu verdadeiro trabalho. O problema é que o verdadeiro trabalho deles não é o trabalho que a maioria dos compradores pensa que está comprando.

As plataformas de governança — Credo AI, o watsonx.governance da IBM, ModelOp — mapeiam suas iniciativas de IA para estruturas regulatórias e acompanham o status de conformidade. A Credo AI foi classificada em #6 em IA Aplicada na lista de 2026 da Fast Company, ao lado de Google, Nvidia e Anthropic; isto é trabalho sério. Mas conformidade com políticas não é correção das saídas. Um painel verde de políticas significa que a papelada está em ordem, não que a IA dá respostas certas para o seu caso de uso específico.

As ferramentas de monitoramento — Arthur, Galileo, Arize — observam métricas em nível de modelo em tempo real: drift, equidade, latência, distribuições de tokens. Úteis. Mas elas monitoram o comportamento do modelo de forma agregada, não se um cálculo de seguro específico está correto dadas as condições de cobertura de um segurado específico. As ferramentas de segurança vão uma camada mais fundo — a Cisco pagou cerca de $400 milhões pela Robust Intelligence em outubro de 2024 e a incorporou ao Cisco AI Defense, mapeando detecções para OWASP e MITRE ATLAS. Isso é necessário. Mas ainda se trata de saber se o modelo pode ser atacado, não se ele está certo.

Depois há os frameworks de guardrails, o NeMo Guardrails da NVIDIA e afins, que são bons em moderação de conteúdo, PII e filtragem de tópicos — e que a própria NVIDIA tem o cuidado de dizer que não conseguem capturar tudo, porque os mecanismos de autoverificação dependem justamente dos modelos que estão protegendo. E há as Big Four, que vão lhe vender uma estratégia de governança por algo entre $500 mil e $5 milhões ao longo de 6 a 18 meses e lhe entregar um PowerPoint e uma lista de fornecedores no final — um framework, não um sistema em funcionamento que lhe diga que sua IA está errada numa terça-feira.

Cada uma dessas tem uma coluna onde sua utilidade termina. Empilhe todas e você terá coberto políticas, segurança, drift e segurança de conteúdo. Você ainda não terá respondido à pergunta que de fato determina se a implantação vive ou morre: a resposta está correta para este caso?

O problema dos 69%

Se você quer o número que tornou isso concreto para mim, é este. Em tarefas de due diligence jurídica, testes independentes colocaram as taxas de erro da IA entre 69% e 88% — muito acima do que os benchmarks dos fornecedores sugerem. Reflita sobre isso. Não 6.9%. Sessenta e nove a oitenta e oito.

E esses não são erros que um guardrail captura, porque não são ofensivos nem inseguros. Eles estão errados de um jeito que só alguém que conhece o domínio consegue ver. Até o final de 2025 já havia mais de 729 incidentes documentados de alucinações de IA em petições judiciais — ante 280 no ano anterior. Os tribunais começaram a multar as pessoas. Em um caso, Doiban v. OLCC, a sanção resultou em $500 para cada uma das 15 citações fabricadas, mais $1,000 pelo tempo do advogado da parte contrária caçando casos fantasmas que não existiam. Um dos maiores escritórios de advocacia dos EUA registrou três incidentes distintos de alucinação em seis meses.

Esses são profissionais, conferindo seu trabalho duas vezes, em um campo onde estar errado tem consequências — e a IA ainda assim fabricou jurisprudência de forma convincente o bastante para chegar a uma petição judicial. Essa é a textura da falha. Ela é fluente, plausível e falsa, e vive precisamente no conhecimento de domínio que o monitoramento genérico não tem como avaliar.

O que você valida quando o fornecedor não abre a caixa?

Em setores regulados isso deixa de ser um problema interessante de engenharia e se torna um problema jurídico. Se um modelo influencia a subscrição, o provisionamento ou o capital, a SR 11-7 no setor bancário dos EUA — e o Pilar 2 do Solvência II para as seguradoras europeias — exige que ele seja validado de forma independente, documentado e monitorado continuamente. Essa obrigação agora se aplica também aos grandes modelos de linguagem; um regulador não se importa que seu modelo por acaso seja um LLM.

E aqui está o impasse com que eu topava repetidamente. A validação sob a SR 11-7 tradicionalmente se apoia em entender o modelo — suas premissas, seu funcionamento interno, seus limites. Mas os provedores de LLM não vão lhe dizer como o modelo funciona. Tenho o e-mail no meu arquivo, em várias formulações: não podemos divulgar o funcionamento interno do modelo. Você é legalmente obrigado a validar algo que o fornecedor se recusa a abrir.

A única saída desse impasse é parar de tentar inspecionar os pesos e começar a pontuar as saídas em relação à verdade fundamental do domínio. Você constrói um conjunto de casos em que conhece a resposta correta — a forma como uma reserva de sinistros de cauda longa deve ser definida quando o sublimite de uma apólice e uma exclusão de cobertura interagem, o que significa uma lei revogada, como se aplica uma regra de crédito justo — e testa se a IA acerta, em escala, continuamente, toda vez que o modelo é atualizado ou reajustado. Você valida o comportamento que consegue ver, porque é o comportamento que o regulador e o cliente vivenciam de qualquer forma. Esse é o cerne do que construímos hoje, e é a única abordagem que funciona independentemente de o fornecedor abrir ou não a caixa.

Quando você não consegue ver dentro do modelo, a camada de saída é o único lugar honesto que resta para validar — e, convenientemente, é a única camada que seu cliente e seu regulador de fato tocam.

Por que "apenas compre uma plataforma" deixou de ser a resposta

Há uma revolta silenciosa acontecendo na forma como as empresas constroem IA, e ela tem relação direta com a validação. O relatório de 2026 da Retool sobre construir versus comprar descobriu que 35% das equipes já substituíram pelo menos uma ferramenta SaaS por uma construção personalizada, e 78% esperam construir mais. Soluções personalizadas, alinhadas a uma lógica de negócio específica, vêm apresentando um retorno de 3 a 5 vezes o dos wrappers genéricos — em parte porque cerca de 65% do custo do software chega depois da implantação, na integração, na manutenção e nas coisas que o wrapper não fez direito.

Mas há um detalhe que a turma do "apenas construa você mesmo" ignora. Construir validação personalizada de forma adequada exige equipes de infraestrutura de ML que a maioria das empresas não tem. Então o cenário real não é wrapper versus personalizado. São três opções: um wrapper genérico que não entende o seu domínio, um projeto do tipo faça-você-mesmo para o qual você não tem equipe, ou sistemas de especialistas de domínio construídos para o seu setor específico por pessoas que já fizeram esse trabalho de validação antes. Essa terceira opção é a lacuna em que decidimos viver. Não um painel que você licencia. Não uma plataforma para a qual você contrata equipe. Uma camada de validação construída em torno da verdade real do seu domínio.

"A ferramenta de governança que já compramos não cobre isso?"

As pessoas me fazem uma versão dessa pergunta constantemente, geralmente com um tom de esperança, porque já gastaram o orçamento. A resposta honesta é que sua ferramenta de governança cobre governança — e governança é genuinamente necessária. Mantenha-a. Ela apenas não valida a correção, e nunca foi construída para isso.

A segunda coisa que perguntam é sobre a IA que não conseguem ver — a shadow AI. Essa tira o sono dos responsáveis por risco, e os números dizem que deveria mesmo: 78% dos funcionários usam ferramentas de IA que o empregador não forneceu, e 77% deles já inseriram informações sensíveis ou proprietárias nessas ferramentas. Samsung e Amazon descobriram, ambas, seu próprio código proprietário parado em serviços públicos de IA. A violação média por shadow AI custa $4.63 milhões. O próprio enquadramento da Gartner é o desconfortável — a grande maioria da atividade de IA não autorizada vem de violações de políticas internas, compartilhamento excessivo e uso indevido, não de atacantes externos. Sua plataforma de governança não pode governar o que não consegue ver, e a validação tem que começar por descobrir o que está de fato em execução.

A terceira pergunta é a que está chegando mais rápido. A Gartner projeta que 40% dos aplicativos empresariais incorporarão agentes de IA autônomos até o final de 2026 — agentes que não apenas respondem, eles agem: modificando bancos de dados, executando transações, enviando comunicações a clientes. Apenas cerca de um terço das organizações relata governança madura para qualquer coisa disso. Quando um agente pode tomar uma ação irreversível, a pergunta de validação passa de "ele disse a coisa certa" para "ele fez a coisa certa", e uma ação errada que você não pode desfazer é uma categoria de risco diferente de uma frase errada. O monitoramento construído para chatbots nunca foi projetado para isso.

A tabela de multas que ninguém quer no slide da diretoria

Vou encerrar com o número que tende a acabar com o debate, porque ele torna o custo de não validar compreensível para um CFO de uma forma que as taxas de erro não conseguem.

A partir de 2 de agosto de 2026, a maioria das obrigações restantes do EU AI Act entra em vigor — as regras para sistemas de alto risco, os requisitos de transparência do Artigo 50. A multa para práticas proibidas chega a €35 milhões ou 7% do faturamento global; o descumprimento em alto risco, até €15 milhões ou 3%. A Finlândia se tornou o primeiro Estado-membro com poderes de fiscalização plenamente operacionais em janeiro de 2026. Isso não é mais um memorando futuro. É um item de linha com uma data marcada.

Some o resto da conta de pular a validação: $4.63 milhões por violação de shadow AI, mais de $1 milhão por hora durante uma grande interrupção de IA, $99 milhões quando a qualidade do serviço silenciosamente entra em colapso, sanções de seis dígitos por incidente de alucinação e uma multa da UE medida em pontos da receita global. Diante de tudo isso, o custo de validar sua IA de forma adequada — testar as respostas, contra o seu domínio, continuamente — é um erro de arredondamento. No entanto, a maioria das empresas ainda trata a validação como uma caixinha que marcam uma vez, não como uma disciplina que executam.

O painel verde lhes dizia que estava tudo bem. O problema é que o painel estava avaliando a coisa errada. Ele verificava que haviam seguido o processo — a única coisa que é fácil de auditar e segura de assumir, que é exatamente por que ela sobrevive nas apresentações de diretoria muito depois de deixar de significar qualquer coisa. Ele nunca uma única vez perguntou se a resposta estava certa — e a resposta estar certa era a única coisa com que o cliente, o regulador e a coluna de prejuízos de fato se importavam. Se você quer ver como testamos isso em vez disso, descrevemos a abordagem aqui.

Ainda mantenho a lista de verificação dos quatro pilares da SR 11-7 onde posso vê-la, e o quarto pilar é monitoramento — que só significa algo se você estiver monitorando a coisa certa. Um painel que avalia o seu processo vai ficar ali verde enquanto sua IA silenciosamente atrapalha o reembolso em múltiplas moedas, a reserva contestada, a lei revogada. O da Klarna também estava verde, bem até o trimestre em que perdeu $99 milhões. A validação que de fato protege você é o trabalho sem glamour que venho fazendo minha carreira inteira: reunir os casos em que você já conhece a resposta correta e verificar — de novo, e de novo, toda vez que o modelo muda — se a máquina ainda acerta.