Os casos eram reais. Mesmo assim, eu não podia deixar a IA endossá-los.
Na primeira vez em que vi minha própria ferramenta se recusar a abençoar três casos reais da Suprema Corte, tive certeza de que ela estava quebrada.
Eu estava executando uma petição de exemplo que havia rotulado de "Precedente Mal Aplicado". Ela citava Erie Railroad v. Tompkins, 304 U.S. 64, para a existência de um corpo uniforme de common law federal, o que é quase o oposto do que Erie de fato decidiu. Apoiou-se em Celotex Corp. v. Catrett, 477 U.S. 317, e Baker v. Carr, 369 U.S. 186, para proposições que as decisões não sustentam. Cada um desses casos é real. Eu esperava que minha verificação de suporte os acendesse em vermelho, carimbasse Não sustentado, e encerrasse o assunto. Em vez disso, os três voltaram com um veredito mais quieto: Necessita revisão. Meu primeiro instinto foi de que o modelo de linguagem havia falhado na parte fácil.
Levei uma noite embaraçosamente longa para entender que o instinto era o bug — e estava em mim, não no sistema.
Um "Não sustentado" confiante carimbado sobre uma leitura sutilmente errada de Erie teria sido um blefe. A decisão é longa, o uso indevido é questão de juízo jurídico, e o modelo não consegue estabelecer a negativa a partir de um trecho com a certeza que um veredito vermelho implica. O movimento honesto — aquele que eu havia construído por acaso e quase removi no código por frustração — era rotear para um humano com o contexto contraditório anexado. A abstenção não era a falha. A abstenção era o ponto inteiro. Se quiser ver a decisão por conta própria, ela vive aqui: veriprajna.com/pt-BR/demos/verificacao-e-governanca-de-citacoes-em-ia-juridica.
Este é um ensaio sobre a premissa com a qual comecei — que quase todo mundo que constrói IA jurídica agora compartilha — e a forma lenta e específica como construir a demo a desmontou. A premissa é que o problema da alucinação se resolve com um modelo melhor. Eu não acredito mais nisso, e não porque duvide que os modelos vão melhorar.
A semana em que tentei fazer um modelo policiar outro
Passei cerca de uma semana tentando fazer um modelo de linguagem ser o juiz confiável de outro modelo de linguagem, e quero ser honesto: não funcionou.
A configuração parecia razoável. Algum modelo redige uma petição — da Harvey, do Lexis Protégé ou de um modelo de código aberto, não importa qual. Então um segundo modelo lê cada citação contra o caso para o qual aponta e decide se a decisão sustenta a alegação. Dois modelos, uma checagem limpa, o tipo de arquitetura que sobrevive a uma revisão de projeto. Eu genuinamente esperava que a etapa de julgamento fosse a parte fácil. Foi a parte que não parava quieta.
A falha não era barulhenta — e foi isso que a tornou perigosa. Eu rodava a mesma petição pela verificação de suporte três vezes e obtinha dois "Necessita revisão" e um liberado confiante, sem mudança na entrada. Na citação Bell Atlantic Corp. v. Twombly, 550 U.S. 544, um caso real, o modelo às vezes decidia que a decisão estabelecia de forma inequívoca a proposição citada e às vezes decidia que não chegava a isso. Ambas as leituras eram defensáveis. Esse era exatamente o problema. Uma decisão que você não consegue reproduzir não é uma decisão. É uma segunda opinião vestindo uma toga.
Eu estava pedindo a um sistema probabilístico para ser o portão determinístico de outro sistema probabilístico, e chamando o resultado de verificação.
Isso não é verificação. Isso é dois modelos concordando — uma coisa mais fraca e bem mais instável. Se a razão pela qual você precisa de uma checagem é que a saída do primeiro modelo não pode ser confiada à primeira vista, a saída do segundo modelo não pode ser a coisa em que você confia para checá-la. Eu havia construído um salão de espelhos e estava prestes a colar nele um selo de conformidade. O tribunal do outro lado não se importa com o quão confiante qualquer um dos modelos estava. Ele se importa se o caso existe e se ele diz o que você alegou. São duas perguntas, e eu vinha tratando-as como uma só.
O que é mais perigoso: um caso fabricado ou um real usado de forma errada?
O que me surpreendeu enquanto construía isso foi perceber que as duas falhas precisam de maquinários completamente diferentes — e o setor em geral só entrega um deles.
Uma citação fabricada é, curiosamente, a falha amigável. Halstead v. Ferngate Holdings, 823 U.S. 1199, aparece em uma das petições de exemplo, citada com total fluência para a proposição de que danos punitivos estão categoricamente vedados. Ela não existe. Os United States Reports não têm o volume 823. Você pode provar isso com certeza — não perguntando a um modelo o que ele acha, mas consultando jurisprudência real e recebendo uma consulta de resultado zero. Isso é aritmética contra uma autoridade, não juízo. É o tipo de coisa que código deve decidir, e decidir do mesmo jeito toda vez.
A falha perigosa é o caso real citado para a coisa errada. Erie é uma citação real, famosa e corretamente formatada. Todo filtro de fabricação do mundo a deixa passar, precisamente porque não é fabricada. O volume existe, a página existe, a decisão existe. O que está errado é a relação entre o caso citado e a frase à sua frente — e essa relação é uma questão de leitura jurídica, não de existência. Uma checagem de correspondência de fonte trata "este caso é real" e "este caso sustenta minha alegação" como o mesmo fato. Eles nem sequer estão próximos.
Então os números que as pessoas citam sobre IA jurídica começam a fazer sentido. Até ferramentas feitas para esse fim alucinam em taxas que deveriam te parar a frio: Westlaw Precision a 33 por cento e Lexis+ a 17 por cento no estudo do Stanford RegLab publicado no Journal of Empirical Legal Studies, 2025. No início de 2026 havia 1.222 casos judiciais documentados envolvendo citações alucinadas por IA, e os tribunais começaram a sancionar — incluindo uma multa de 30.000 dólares do Sexto Circuito em março de 2026. As fabricadas são as falhas que você pelo menos consegue imaginar pegar. A citação real-mas-mal-aplicada é a que parece diligência até o momento em que um juiz lê a decisão que você citou e descobre que ela diz o oposto.
Um caso fabricado é uma mentira que você pode refutar. Um caso real citado pela tese errada é uma mentira que passa em todo teste construído para pegar o primeiro tipo.
Por que dividi o motor em dois
Parei de tentar fazer um sistema só fazer os dois trabalhos na noite em que aceitei que eram trabalhos diferentes.
A checagem de existência e a captura de fabricação viraram Python determinístico rodando contra jurisprudência real. Sem prompt, sem temperature, sem "como um modelo de linguagem de IA." Pegue a citação, consulte-a em uma autoridade independente, e se o caso estiver genuinamente ausente, ele é fabricado — comprovadamente — e nunca pode passar pelo portão. Essa última cláusula é a única garantia que estou disposto a afirmar de forma categórica, porque é um invariante com teste unitário em vez de uma esperança: nenhuma citação fabricada pode passar pelo portão de política. Há um teste com exatamente esse nome, e ele faz parte dos 8 de 8 que passam na demo construída.
A verificação de suporte permaneceu um único passo de modelo de linguagem, porque julgar se uma decisão real sustenta uma proposição é genuinamente uma tarefa de leitura — e o modelo é um bom leitor. Mas dei a ele permissão explícita para se abster, e parei de tratar a abstenção como bug. Quando não consegue ancorar a alegação no texto da decisão, roteia para um humano em vez de chutar. O modelo aconselha. O portão determinístico e o advogado decidem. Acabei dizendo duas coisas o tempo todo enquanto construía isso. Uma é agentes aconselham, o código decide. A outra é que não vou deixar um LLM ser o juiz final de um LLM.
Quero ser preciso sobre a divisão, porque a tentação é borrá-la em uma promessa maior do que ela é. As partes determinísticas — existência, fabricação, fora-da-cobertura e o portão — são exatas e reproduzíveis. A verificação de suporte não é. Ela é não determinística e, por design, só libera uma citação em verde quando o texto da decisão estabelece de forma clara a tese, do jeito que Miranda v. Arizona, 384 U.S. 436, faz sobre advertências em interrogatório sob custódia — e, do contrário, envia a citação para revisão. Quais citações reais específicas liberam em verde versus roteiam para um humano pode variar de execução para execução. Isso não é uma imperfeição que eu esteja escondendo. É a forma honesta do problema, e fingir o contrário é exatamente o movimento contra o qual estou tentando construir.
O que "8 de 8" realmente pode significar
Eu me imponho uma regra sobre números, porque a empresa que estou construindo se chama Veriprajna, que significa verdadeira sabedoria — e um nome assim é um desafio permanente a exagerar.
Há números de prova na demo e eles significam coisas estreitas. 8 de 8 testes unitários offline passam, incluindo o que prova que nenhuma citação fabricada pode liberar o portão e o que prova que uma autoridade inacessível é tratada como não comprovada em vez de fabricada. Há 20 casos reais em cache do CourtListener como a ground truth local. Eles descrevem o escopo da demo construída. Não são uma alegação sobre a sua petição ou o mundo aberto. A garantia de fabricação é autoritativa porque consulta jurisprudência ao vivo e um caso ausente é um fato. A adjudicação da verificação de suporte é demonstrada em pequena escala em casos reais, e não vou inflá-la em uma cifra universal de acurácia, porque não é uma.
Aqui está a linha que me recuso a encurtar, mesmo que uma versão mais curta vendesse melhor. Uma petição sem citações fabricadas não está automaticamente segura para protocolar. Quando mesmo uma citação real ainda precisa de um humano para confirmar que está sendo usada corretamente, o portão retém o protocolo em Não pronto para protocolar, e está certo em fazê-lo. Já vi pessoas quererem o oposto — quererem que uma petição de aparência limpa ganhe sozinha um sinal verde. Esse é exatamente o instinto que leva um advogado a ser sancionado.
Esse certificado importa mais para mim do que qualquer percentual de acurácia, e é por isso que as peças determinísticas e não determinísticas precisam permanecer separadas. A reprodutibilidade é o que torna uma decisão certificável. Posso te entregar o recibo. Esta citação foi checada contra o CourtListener, o volume não existe, veredito fabricado, o portão segura. Você pode reexecutar e obter o resultado idêntico. Um juiz LLM, mesmo um bom, não pode te prometer isso — e eu vivi a noite de três execuções e três respostas diferentes. Não estou construindo um registro de conformidade sobre o lançamento de uma moeda.
Também digo com clareza, porque o padrão que me imponho exige isso, que isto é uma camada de verificação e não uma ferramenta de pesquisa. Ela não redige petições nem encontra casos. Não compete com Harvey, Westlaw ou Lexis. Ela envolve o que quer que elas produzam e diz ao advogado o que é seguro protocolar e exatamente o que precisa de um humano. A ancoragem em texto integral além do trecho público da decisão precisa de um token gratuito do CourtListener, o conector de gestão documental na demo é uma simulação, e alguns recursos como um certificado em PDF estão adiados. O que é real é o mecanismo: as checagens, a abstenção, o portão determinístico e a trilha de auditoria, tudo rodando contra jurisprudência real.
A abstenção não é só o modelo fugindo da decisão difícil?
Recebo alguma versão dessa pergunta em quase toda conversa, geralmente de um engenheiro, e minha resposta ficou mais curta e mais certa com o tempo.
Não. A abstenção é a decisão difícil, tomada com honestidade — e recusar-se a tomá-la é a fuga de verdade. A alternativa sedutora é um sistema que sempre devolve um veredito nítido, verde ou vermelho, em toda citação. Demo linda. Também é mentira, porque algumas citações genuinamente não podem ser adjudicadas a partir do texto disponível com confiança, e um sistema que nunca diz isso está fabricando certeza que não tem. A coisa mais valiosa que uma IA de alto risco pode fazer é te dizer onde o próprio juízo dela acaba. Em um domínio em que estar confiantemente errado leva seu cliente a ser sancionado, um "não tenho certeza, um humano precisa olhar isto" calibrado vale mais do que um chute fluente.
É por isso que acho que o trabalho sobrevive à geração atual de modelos. O setor continua prometendo que o problema da alucinação vai embora com o próximo modelo. Conceda tudo isso — contexto maior, treino mais limpo, taxa de fabricação menor. Um modelo perfeito que nunca inventa um caso ainda vai citar alegremente um real para uma proposição que ele não sustenta, porque de dentro do rascunho aquela frase lê como verdadeira e exatamente o que você pediu. A lacuna entre "este caso existe" e "este caso sustenta minha alegação" não é uma lacuna que a escala fecha. É uma questão de governança — e governança é uma propriedade do sistema que você constrói em torno do modelo, não uma capacidade pela qual você espera o modelo crescer.
Um tribunal não se importa com o quão confiante seu modelo estava. Ele se importa se a citação existe e diz o que você alegou. Isso não é um problema de modelo maior. É um problema de construir a camada certa.
Os reguladores já veem assim — e vale a pena sentar com isso. A ABA Formal Opinion 512 e mais de 300 ordens permanentes judiciais agora exigem que advogados verifiquem a saída de IA antes de protocolar, e menos de 20 por cento dos escritórios têm qualquer política de uso de IA. A obrigação não é "usar uma ferramenta mais inteligente." A obrigação é "provar que você checou." Prova, proveniência e abstenção honesta não são coisas que um redator melhor te dá. São coisas que uma camada de verificação te dá, e elas se sustentam em qualquer qualidade de modelo — que é precisamente por que acho que são a parte durável.
A pergunta que guardo antes de protocolar
Descobri que o que essa construção mudou em mim foi menor do que a tese — e durou mais.
Parei de perguntar se uma alegação escrita por IA é verdadeira, porque muitas vezes consigo responder isso e acaba não sendo o suficiente. A citação Erie estava, em um sentido estreito, apontando para um caso real. A pergunta mais difícil — a que agora faço antes que qualquer coisa redigida por IA saia das minhas mãos — é se consigo provar, agora mesmo, que esta fonte exata sustenta esta alegação exata, e se essa prova sobreviveria a alguém que quisesse fazê-la falhar diante de um juiz.
Isso é uma questão de governança, não uma questão de modelo. Não fica mais fácil conforme o modelo fica melhor, porque o que está sendo perguntado não é "o modelo consegue escrever uma frase melhor", e sim "você consegue se responsabilizar por esta." E a resposta mais útil que meu próprio sistema me dá nunca é o visto verde. É o momento em que ele segura um caso real em Necessita revisão e me faz — a mim, uma pessoa — ir ler a decisão. Se quiser ver onde cheguei, está aqui mais uma vez: veriprajna.com/pt-BR/demos/verificacao-e-governanca-de-citacoes-em-ia-juridica.
E se preferir assistir a isso a me ler descrevendo, aqui está a coisa toda rodando de ponta a ponta, na minha voz.
Então a pergunta com a qual eu te deixaria é a que reorganizou a construção inteira. Quando a IA te entrega algo confiante e limpo, você tem uma camada disposta a dizer "não tenho certeza, um humano precisa olhar"? Porque confiança é barata — e no trabalho que de fato carrega risco, a abstenção comprovável é o produto.
