A IA que Decide a Culpa no Seu Acidente de Carro Provavelmente Está Errada — Veja Por Que Estou Construindo uma Melhor

Alguns meses atrás, assisti a uma demonstração que me revirou o estômago.

Uma startup de insurtech bem financiada estava exibindo sua nova ferramenta de automação de sinistros. Eles alimentaram um boletim de ocorrência policial no GPT-4, pediram que ele determinasse a culpa em uma colisão entre dois carros num cruzamento, e de lá saiu um parágrafo lindamente escrito atribuindo 60/40 de responsabilidade. O fundador exibia um sorriso radiante. Os investidores acenavam com a cabeça. A narrativa era limpa, confiante e — eu tinha quase certeza — errada.

Fiz uma pergunta simples: "Rode de novo."

Mesmo boletim. Mesmo prompt. Desta vez: 70/30. O modelo havia deslocado dez pontos percentuais da responsabilidade financeira de alguém entre duas execuções porque é um gerador probabilístico de texto, não um juiz. A sala ficou em silêncio. Alguém murmurou algo sobre configurações de temperatura.

Aquele momento cristalizou tudo em direção ao qual minha equipe na Veriprajna vinha trabalhando. Passamos meses estudando como os LLMs lidam com raciocínio jurídico, e os resultados foram piores do que eu esperava. Pesquisadores de Stanford documentaram taxas de alucinação entre 69% e 88% quando modelos de última geração respondem a consultas jurídicas específicas. Esses não são casos isolados. Essa é a base. E o setor de seguros está correndo para implantar esses sistemas para decidir quem paga quando o seu carro é atingido.

Vou lhe contar por que isso é perigoso, e o que estamos construindo em vez disso.

A Noite em que o Motorista Prolixo Venceu

Antes de entrar em arquitetura e motores de lógica, deixe-me falar sobre um experimento que radicalizou meu pensamento.

Montamos um teste simples. Duas narrativas descrevendo a mesma colisão em cruzamento, escritas da perspectiva de cada motorista. O Motorista A claramente havia furado uma placa de pare — o boletim policial confirmou, a testemunha confirmou, o padrão dos danos confirmou. Caso resolvido.

Mas demos ao Motorista A uma narrativa de 500 palavras. Detalhes vívidos sobre o clima, o ofuscamento da luz, a "aceleração agressiva" do outro carro. Vocabulário sofisticado. Textura emocional.

O Motorista B recebeu 50 palavras: "Parei no cruzamento. Verifiquei se havia tráfego transversal. Segui em frente. O Motorista A atingiu o lado do passageiro."

Alimentamos os três principais LLMs com ambos os relatos e pedimos a cada um que avaliasse a responsabilidade.

Dois em cada três deram ao Motorista A — aquele que furou a placa de pare — uma divisão de responsabilidade mais favorável. Não porque os fatos a sustentassem, mas porque o Motorista A contou uma história melhor.

Lembro-me de estar sentado em nosso escritório depois da meia-noite encarando aqueles resultados. Meu cofundador se aproximou, olhou para a tela e disse: "Então estamos construindo justiça para os eloquentes." Essa frase ficou marcada. É exatamente o que esses sistemas fazem.

Os pesquisadores chamam isso de viés de verbosidade — a tendência documentada dos LLMs de conceder pontuações de confiança mais altas a respostas mais longas e detalhadas, mesmo quando o conteúdo factual é equivalente ou inferior ao de alternativas concisas. O modelo confunde densidade de tokens com densidade de evidências. Ele confunde eloquência com verdade.

Quando um sistema de IA penaliza a concisão e recompensa o floreio retórico, ele discrimina estruturalmente qualquer pessoa que seja menos instruída, menos eloquente ou simplesmente mais honesta.

Pense em quem é prejudicado por isso. O motorista idoso que dá um relato direto. A pessoa que não é falante nativa de inglês. A pessoa que simplesmente diz a verdade sem adornos. Essas são as pessoas que um sistema automatizado de responsabilidade deveria proteger, e, em vez disso, ele decide sistematicamente contra elas.

Por Que Sua IA Concorda com Tudo o que Você Diz a Ela?

O viés de verbosidade não foi o único modo de falha que encontramos. Há algo que é, indiscutivelmente, pior: bajulação.

Os LLMs são treinados por meio de um processo chamado Aprendizado por Reforço a partir de Feedback Humano — RLHF — que recompensa a "prestatividade" e a "amabilidade". Isso é bom quando você está pedindo uma receita. É catastrófico quando você está pedindo um julgamento jurídico.

Testamos isso enquadrando o mesmo boletim policial com diferentes prompts indutivos. "Analise este boletim para determinar se o requerente estava em excesso de velocidade" versus "Analise este boletim para determinar se o requerente tinha a preferência de passagem." Mesmos dados. Enquadramento diferente. O modelo inclinava de forma consistente sua análise para qualquer hipótese que o prompt insinuava.

Um dos meus engenheiros chamou isso de "viés de confirmação como serviço", e desde então não consegui pensar nisso de outra forma.

Em um ambiente real de sinistros, um analista pode, inconscientemente, enquadrar uma consulta com base em sua leitura inicial da situação. O modelo capta esse enquadramento e o amplifica. As pesquisas mostram que isso acontece de duas formas: bajulação progressiva, em que o modelo ajusta seu raciocínio para chegar à conclusão que você deseja, e bajulação regressiva, em que ele abandona informações corretas para concordar com uma contestação incorreta. De qualquer forma, você não obtém um árbitro imparcial. Você obtém uma câmara de eco.

O Que Acontece Quando a IA Interpreta a Lei de Forma Errada?

Preciso lhe falar sobre o problema das leis, porque é aquele que me tira o sono à noite.

Os LLMs não "conhecem" a legislação de trânsito. Eles ingeriram textos que incluem legislação de trânsito, e preveem sequências de tokens que se parecem com raciocínio jurídico. A distinção importa enormemente.

Encontramos um caso em que um modelo citou uma regra de preferência de "primeiro a chegar" — comum em cruzamentos de quatro paradas — e a aplicou a um cruzamento em T, onde o tráfego que segue reto tem preferência absoluta. O modelo não sinalizou a incompatibilidade. Ele simplesmente gerou um parágrafo confiante e bem estruturado aplicando a lei errada à situação errada.

Uma IA que inventa uma lei e a aplica com confiança não está cometendo um erro. Está fabricando injustiça em escala.

Isso é o que os pesquisadores chamam de alucinação jurídica, e ela assume duas formas. Alucinação factual: o modelo infere detalhes que não estão presentes no texto de origem para criar uma narrativa coerente. Ao ler "danos severos na dianteira", ele pode concluir que o veículo estava em excesso de velocidade, apesar da ausência de medições de marcas de derrapagem ou telemetria. E a alucinação jurídica propriamente dita: o modelo interpreta erroneamente, aplica de forma indevida ou pura e simplesmente inventa códigos de trânsito e jurisprudência.

Uma decisão de seguro baseada em uma versão alucinada do § 21802 do Código de Veículos da Califórnia expõe a seguradora a litígios por má-fé e penalidades regulatórias. E o segurado — o ser humano de verdade — recebe um veredito errado entregue com a autoridade da "IA".

Escrevi sobre esses modos de falha em profundidade na versão interativa de nossa pesquisa, caso você queira ver a base completa de evidências. Mas a versão resumida é: os LLMs são linguisticamente brilhantes e logicamente falhos, e estamos pedindo que eles façam lógica.

O Argumento que Mudou Nossa Arquitetura

Houve um argumento específico dentro da nossa equipe que moldou tudo o que construímos depois.

Estávamos debatendo se deveríamos construir um pipeline de RAG melhor — recuperar leis relevantes, alimentá-las no LLM, restringir sua saída. A abordagem de "tornar o LLM mais inteligente". Metade da equipe estava convencida de que esse era o caminho pragmático. Lançar mais rápido, iterar, melhorar a qualidade da recuperação ao longo do tempo.

Eu estava do outro lado, e estava perdendo o argumento até que nosso consultor jurídico fez uma pergunta que silenciou a sala: "Se duas testemunhas discordam sobre se o sinal estava vermelho ou verde, o que o seu sistema faz?"

A equipe de RAG fez uma pausa. Um LLM com contexto recuperado faria o que os LLMs sempre fazem — escolher a narrativa que parece mais coerente, provavelmente a mais longa, e gerar uma resolução. Ele alucinaria um consenso.

"Ele deveria manter o conflito", eu disse. "Ele deveria dizer: este é um fato contestado, e não posso resolvê-lo sem evidências adicionais."

Isso não é algo que um modelo de linguagem faz. Modelos de linguagem resolvem. Eles completam. Eles geram o próximo token plausível. Manter uma contradição não resolvida e sinalizá-la como uma lacuna — isso exige um tipo de sistema fundamentalmente diferente.

Esse foi o dia em que nos comprometemos com os grafos de conhecimento.

Como Você Transforma um Boletim de Ocorrência em um Grafo?

O que construímos na Veriprajna se chama Reconstrução de Eventos por Grafo de Conhecimento — KGER. A ideia central é enganosamente simples: pare de pedir à IA que julgue e comece a pedir que ela reconstrua.

Um boletim de ocorrência policial é texto não estruturado. Ele contém entidades — motoristas, veículos, vias, sinais de trânsito, testemunhas — e relações entre elas. O Veículo A trafegava para o norte na Rua Main. O Veículo B furou a placa de pare na 4ª Avenida. O sinal estava verde. Estava chovendo.

Usamos o LLM como um extrator semântico — um funcionário muito sofisticado. Sua função é ler o texto não estruturado e extrair entidades e relações, mapeando-as para uma ontologia rígida que definimos. Nossa ontologia abrange mais de 110 tipos de entidades e relações: agentes, objetos, infraestrutura, eventos, condições, medições.

O LLM não decide quem é o culpado. Ele cataloga atores e ações. E como sua saída é restrita a um esquema predefinido, podemos validar tudo o que ele produz. Se ele extrair uma "placa de pare" onde nosso banco de dados de mapas mostra que nenhuma placa de pare existe, o sistema sinaliza um conflito em vez de aceitar silenciosamente a alucinação.

Uma vez extraídas, essas entidades se tornam nós em um grafo de conhecimento. As relações se tornam arestas. Veículo_A → TRAFEGANDO_EM → Rua_Main. Veículo_B → VIOLOU → Placa_De_Pare_1. Testemunha_A → OBSERVOU → Estado_Do_Sinal_Verde.

A narrativa subjetiva é agora uma topologia objetiva. E, uma vez que se tem uma topologia, a culpa se torna uma questão de percurso pelo grafo e correspondência de padrões — não de análise de sentimentos.

Você Consegue Transformar a Legislação de Trânsito em Código?

Esta é a parte que genuinamente me empolga, e é a parte que a maioria das pessoas acha impossível.

As leis de trânsito são escritas em linguagem natural, cheias de termos vagos como "perigo imediato" e "distância segura". Os tribunais as interpretam por meio de precedentes e julgamento. Como você torna isso executável?

A resposta é a Lógica Deôntica Anulável — DDL. A lógica deôntica trata de obrigações, proibições e permissões. "Anulável" significa que ela lida com exceções. É exatamente isso que a legislação de trânsito é: um conjunto de normas com exceções estruturadas.

Considere o § 21802 do Código de Veículos da Califórnia, a regra da placa de pare. Em linguagem natural: "O motorista de qualquer veículo que se aproxime de uma placa de pare deve parar... O motorista deve então ceder a preferência de passagem a quaisquer veículos que se tenham aproximado por outra via."

Em nosso sistema, isso se torna lógica executável:

Regra 1 — Obrigação de Parar: Se um veículo está se aproximando de um cruzamento com placa de pare, o motorista é obrigado a reduzir a velocidade a zero na linha de retenção. Se a velocidade for maior que zero na entrada do cruzamento, isso é uma violação.

Regra 2 — Obrigação de Ceder: Se o motorista parou, mas outro veículo está no cruzamento ou se aproximando dele, o motorista deve aguardar. Se ele entrar enquanto o outro veículo está presente e ocorrer uma colisão, isso é uma violação por não ceder a preferência.

Regra 3 — Exceção: Se um policial está dirigindo o trânsito, a orientação do policial se sobrepõe à placa. A exceção anula formalmente a regra primária.

Agora, é aqui que fica poderoso. Mapeamos o grafo físico — a reconstrução da velocidade e da posição de cada veículo ao longo do tempo — contra esse modelo lógico. Se o grafo mostrar que o Veículo A entrou no cruzamento enquanto o Veículo B estava presente, o motor de lógica dispara uma violação por não ceder a preferência. Isso é um fato computado, não uma opinião.

Não perguntamos à IA "Havia perigo?" Nós calculamos o perigo com base na física e aplicamos a lei com base na lógica. A ambiguidade desaparece.

Para termos vagos como "perigo imediato", nós os ancoramos na física. Definimos Perigo_Imediato como Tempo-até-a-Colisão menor que 3,0 segundos, ou distância menor que a distância de frenagem na velocidade atual. O grafo calcula o TTC a partir dos nós de velocidade e distância. Se o TTC estiver abaixo do limite, o nó de perigo é ativado, e a regra correspondente dispara. Nenhuma interpretação é necessária.

Para o detalhamento técnico completo de nosso processo de formalização e da arquitetura, veja nosso artigo de pesquisa.

O Contrafactual que Prova a Causalidade

A culpa não se trata apenas de violação de regras. Trata-se de causalidade. Um motorista pode ter uma habilitação vencida — isso é uma violação — mas se ele foi atingido por trás enquanto parado em um sinal vermelho, a habilitação vencida não causou o acidente.

É aqui que a maioria dos sistemas de IA desmorona. Os LLMs não conseguem raciocinar de forma contrafactual. Eles não conseguem perguntar: "Esta colisão teria ocorrido se o Veículo A tivesse parado na placa?" Eles só conseguem prever qual frase vem em seguida em uma narrativa de acidente.

Nosso sistema constrói o que chamamos de Grafos de Conhecimento Causal. Para testar a causalidade, criamos um ramo contrafactual: modificamos a velocidade do Veículo A para zero na linha de retenção e executamos a simulação física para frente através da camada temporal. Se o nó de colisão desaparecer no grafo contrafactual, a violação é a causa imediata.

Esta é a diferença entre "ele estava em excesso de velocidade e se acidentou" (correlação) e "o excesso de velocidade causou o acidente" (causalidade). Em um engavetamento envolvendo múltiplos veículos, isso importa enormemente. Você pode rastrear cadeias causais através do grafo, medir o que chamamos de "centralidade da culpa" — quão central é cada violação de um ator para o evento da colisão — e produzir uma divisão comparativa de culpa fundamentada matematicamente. Não 60/40 porque o modelo teve vontade. 80/20 porque a topologia prova.

Por Que Você Não Pode Simplesmente Tornar os LLMs Mais Precisos?

As pessoas me perguntam isso constantemente. "Faça um ajuste fino do modelo com a legislação de trânsito. Use prompts melhores. Adicione guardrails." Eu entendo o impulso. Os LLMs são fáceis de implantar, e os resultados parecem impressionantes.

Mas o problema não é a precisão no sentido tradicional. O problema é arquitetural. Um gerador probabilístico de texto nunca será determinístico. Execute-o cem vezes com a mesma entrada, e você obterá variação. Em um domínio em que os mesmos fatos devem produzir o mesmo veredito todas as vezes — onde uma oscilação de dez pontos na responsabilidade significa milhares de dólares mudando de mãos — a estocasticidade não é um bug a ser corrigido. É um fator eliminatório fundamental.

Nosso motor de grafos produz exatamente a mesma determinação de responsabilidade com exatamente a mesma entrada, todas as vezes. Isso não é um diferencial desejável. Para conformidade regulatória, para defensabilidade jurídica, para justiça básica — é o requisito mínimo.

A outra objeção que ouço: "Isso parece caro e complexo comparado a uma chamada de API." É mais complexo de construir. Mas considere o custo de errar. O vazamento de sinistros — pagar mais do que deveria devido a uma responsabilidade imprecisa — é um item enorme de despesa para as seguradoras. Um sistema probabilístico que sugere 50/50 porque as narrativas são confusas, quando a lógica determinística revela um claro 100/0 com base em uma violação específica de preferência de passagem, custa dinheiro de verdade em cada sinistro.

E depois há o litígio. Tente defender uma decisão de responsabilidade tomada por IA em um tribunal quando o sistema não consegue explicar seu raciocínio, e executá-lo novamente produz uma resposta diferente. A trilha de auditoria de um grafo de conhecimento — "O Veículo A violou a Regra 21802(a) no instante 12:01:30, e a simulação contrafactual confirma essa violação como causa imediata" — é algo fundamentalmente diferente para se colocar diante de um juiz.

O Sanduíche, Não a Caixa-Preta

Quero deixar uma coisa clara: não sou contra os LLMs. Nós usamos LLMs. Eles são ferramentas extraordinárias para processar linguagem não estruturada, e seríamos tolos em ignorar isso.

O que sou contra é usá-los como juízes.

Nossa arquitetura é o que chamamos de "sanduíche". IA neural na parte externa, IA simbólica no meio. A primeira camada neural lida com a ingestão — OCR em boletins de ocorrência, conversão de fala em texto no áudio das testemunhas, extração de entidades de dados desorganizados e não estruturados. A camada simbólica do meio constrói o grafo, funde dados de múltiplas fontes, executa o motor de lógica deôntica, realiza a simulação causal. A camada neural final traduz o relatório estruturado de responsabilidade de volta para uma linguagem natural legível, estritamente fundamentada nos fatos do grafo.

O LLM nunca decide. Ele lê e escreve. O grafo raciocina.

Pedir a um LLM que leia um boletim de ocorrência e julgue a responsabilidade é pedir a um poeta que faça física. Você obterá uma resposta linda, mas ela provavelmente será ficção.

Isso é o que o setor está começando a chamar de IA neuro-simbólica — a fusão de aprendizado e lógica. A Kennedys IQ, uma grande empresa de tecnologia jurídica, lançou recentemente o que descreve como a primeira solução de IA neuro-simbólica do setor de seguros, explicitamente para eliminar a preocupação com a "caixa-preta". A direção é clara. A questão é o quão rápido o resto do setor a seguirá.

A Justiça É um Grafo, Não uma Probabilidade

Penso naquela demonstração que assisti — aquela em que a responsabilidade oscilou dez pontos entre as execuções — com mais frequência do que gostaria. Não porque fosse um produto ruim. A equipe era talentosa. A tecnologia era impressionante. Mas impressionante não é o mesmo que correto. E no domínio da culpa e da responsabilidade, "quase certo" está errado.

Toda vez que um sistema de IA atribui culpa com base em quem contou uma história melhor, ou muda seu veredito por causa de uma configuração de temperatura, ou cita uma lei que não existe — uma pessoa de verdade absorve esse erro. Ela paga um prêmio mais alto. Ela perde uma disputa que deveria ter vencido. Ela carrega uma culpa que pertence a outra pessoa.

Podemos fazer melhor. Não tornando os modelos de linguagem mais inteligentes, mas reconhecendo o que eles são e o que não são. Eles são brilhantes com a linguagem. Eles são péssimos com a justiça. A justiça exige determinismo — os mesmos fatos, o mesmo veredito, todas as vezes. Ela exige auditabilidade — mostre-me exatamente qual evidência e qual lei produziram esta conclusão. Ela exige a capacidade de manter um conflito não resolvido e dizer "ainda não sei" em vez de gerar uma ficção confiante.

Esses não são recursos que você adiciona a um modelo de linguagem. São propriedades de um tipo de sistema inteiramente diferente. Um sistema em que os fatos são nós imutáveis, as leis são lógica executável, e a culpa é encontrada não no sentimento de uma narrativa, mas na topologia do que realmente aconteceu.

A justiça é um grafo. É hora de começarmos a construí-la dessa forma.