Você pode confiar na IA para pesquisa jurídica? Provavelmente, ainda não.

O problema

Em junho de 2023, um advogado apresentou uma petição a um tribunal federal de Nova York. A petição citava diversos casos — Varghese v. China Southern Airlines, Shaboon v. Egyptair, Petersen v. Iran Air — com números de processo, datas e trechos transcritos. Todos os casos eram falsos. O ChatGPT os inventou.

O juiz no caso Mata v. Avianca, Inc. percebeu que as citações eram fabricadas. Ele chamou os resumos de decisões gerados por IA de "pura bobagem" em alguns trechos, apesar do formato jurídico convincente. O tribunal impôs uma multa de US$ 5.000 e exigiu que os advogados notificassem o cliente. Mas a penalidade financeira foi a menor parte do dano. A repercussão à reputação ganhou manchetes internacionais.

E há o que torna essa história pior. Quando a parte adversa contestou os casos falsos, o advogado voltou ao ChatGPT e perguntou se eles eram reais. A IA confirmou as próprias mentiras. Disse que os casos "de fato existiam" e podiam ser encontrados em "bases de dados jurídicas respeitáveis". Isso criou o que o whitepaper chama de "loop de alucinação" — a ferramenta usada para verificação tinha a mesma falha da ferramenta usada para geração.

O tribunal rejeitou a defesa de que o advogado não sabia que a IA podia fabricar informações. Os juízes estabeleceram que os advogados são os garantes finais da precisão de sua tecnologia. Se o seu escritório usa IA para trabalho jurídico, a responsabilidade é sua — não do fornecedor do software.

Por que isso importa para o seu negócio

O caso Mata não foi um incidente isolado. Ele expôs um problema estrutural que afeta toda organização que usa IA para pesquisa jurídica, conformidade ou trabalho regulatório.

Os números devem preocupá-lo:

• 58% a 82%: Pesquisadores de Stanford constataram que chatbots de IA de uso geral alucinaram nessas taxas em consultas jurídicas complexas — mesmo ferramentas com acesso à internet ou recursos básicos de recuperação.
• US$ 5.000: A multa direta no caso Mata v. Avianca. Mas o custo real foi a destruição da reputação e a potencial exposição dos advogados envolvidos à exclusão da profissão.
• Até 30-35%: A diferença de desempenho entre sistemas avançados de recuperação baseados em grafos e sistemas padrão baseados em vetores em tarefas de raciocínio jurídico de múltiplas etapas.

Esses riscos atingem o seu negócio em três pontos:

• Responsabilidade civil profissional. Seu escritório carrega a responsabilidade legal por cada citação gerada por IA em uma peça processual. Os prêmios do seguro de responsabilidade profissional provavelmente subirão para escritórios que não puderem demonstrar governança rigorosa de IA.
• Exposição regulatória. Tribunais estão emitindo ordens permanentes exigindo divulgação obrigatória do uso de IA. Se suas ferramentas não conseguem explicar o próprio raciocínio, você enfrenta falhas de conformidade antes mesmo de chegar ao mérito do caso.
• Confiança do cliente. Seus clientes cada vez mais perguntarão: "Qual IA você usa?" Responder "ChatGPT" — ou qualquer wrapper superficial em torno de um modelo de uso geral — sinaliza que você não pensou seriamente sobre precisão. Essa resposta está se tornando inaceitável no trabalho jurídico corporativo.

No fim das contas, para o seu P&L: se um advogado tiver que verificar manualmente cada citação gerada por IA, você perde os ganhos de eficiência que justificaram o investimento em IA em primeiro lugar.

O que realmente acontece nos bastidores

Para entender por que o caso Mata aconteceu, você precisa entender uma coisa sobre como os grandes modelos de linguagem (LLMs) funcionam. Eles preveem a próxima palavra em uma sequência. Eles não buscam em uma biblioteca. Não verificam um banco de dados. Geram texto que soa certo com base em padrões estatísticos.

Pense nisso como o autocompletar do seu celular — mas para parágrafos inteiros. Seu celular pode sugerir "reunião" depois que você digita "Nos vemos na". Um LLM faz a mesma coisa em escala massiva. Quando solicitado a encontrar um caso de lesão envolvendo companhia aérea, ele não consulta casos reais. Ele monta uma resposta que segue o padrão do formato de uma citação jurídica. "Varghese" era um nome de autor estatisticamente plausível. "China Southern Airlines" era uma ré plausível. Mas a relação entre eles era uma ficção matemática, não uma realidade jurídica.

A primeira correção da indústria foi algo chamado Retrieval-Augmented Generation (RAG) — um método em que você alimenta a IA com documentos-fonte reais antes de ela gerar uma resposta. O RAG padrão armazena documentos jurídicos como vetores numéricos e recupera trechos de texto semanticamente semelhantes à sua pergunta. Isso ajuda, mas introduz novos problemas.

A busca baseada em vetores trata um voto divergente da mesma forma que um voto da maioria se as palavras parecerem semelhantes. Ela não consegue saber se um caso foi superado (overruled). Recupera documentos de forma isolada, então perde as conexões entre uma lei, o regulamento que a interpreta e o caso que aplica esse regulamento. Pesquisas mostram que, quando os LLMs recebem listas longas de texto recuperado, eles focam nas informações do início e do fim e ignoram o material do meio. No trabalho jurídico, a exceção crítica costuma estar enterrada no 15º trecho da jurisprudência recuperada.

Um sistema que recupera o caso certo 80% do tempo é um risco de responsabilidade profissional nos outros 20%.

O que funciona (e o que não funciona)

Três abordagens comuns falham para IA jurídica de alto risco:

• Melhor engenharia de prompts. Engenharia de prompts pode mudar o estilo ou o formato da saída da IA. Ela não pode injetar conhecimento que o modelo não tem, nem forçar o modelo a verificar fatos contra um banco de dados que ele não consegue acessar.
• Aplicações wrapper. São interfaces rasas sobre APIs como a da OpenAI. Podem adicionar um prompt de sistema dizendo "Você é um advogado útil", mas isso não concede acesso a bases de jurisprudência verificadas nem impede a IA de inventar citações.
• RAG vetorial padrão sozinho. Reduz a fabricação pura, mas não consegue capturar a hierarquia jurídica. Não sabe que um caso supera outro. Não entende de jurisdição. Trata uma lei revogada da mesma forma que uma vigente se o texto corresponder à sua consulta.

O que funciona é um método chamado Citation-Enforced GraphRAG — um sistema que mapeia as autoridades jurídicas em um Knowledge Graph verificado e impede fisicamente a IA de gerar citações falsas. Veja como funciona em três etapas:

1. Entrada: construir o mapa. Cada lei, regulamento e caso se torna um nó específico em um Knowledge Graph — uma rede estruturada de entidades jurídicas e seus relacionamentos. As arestas entre os nós carregam significado: "supera", "interpreta", "confirma", "distingue". Isso não é uma pilha de documentos. É um mapa verificado de como o direito se conecta.

2. Processamento: restringir a IA. Durante a geração de texto, um mecanismo de restrição verifica cada citação que a IA tenta produzir contra o Knowledge Graph. Se a IA tentar emitir "Varghese v. China Southern", o sistema verifica o grafo. Ao constatar que tal caso não existe, bloqueia totalmente a saída. A IA fisicamente não consegue produzir uma sequência de tokens para um caso que não está na base de dados verificada. Isso leva o seu sistema de precisão probabilística à imposição estrutural.

3. Saída: mostrar o trabalho. Quando o sistema cita um caso, ele fornece o caminho exato de travessia — de qual lei partiu, quais casos a interpretam e se esses casos continuam válidos. Se um caso foi superado, o grafo o sinaliza com um "red flag" e o remove do contexto da IA antes mesmo de a geração começar.

É aqui que sua equipe de conformidade deve ficar atenta. Cada citação vem com uma trilha de auditoria. Seus advogados podem ver por que a IA selecionou um caso, não apenas que ela o selecionou. O sistema pode mostrar que verificou o tratamento negativo — o equivalente digital do Shepardizing — e confirmou que a autoridade é válida. Uma camada de grounding, citação e verificação torna cada saída rastreável e defensável.

Para organizações em serviços jurídicos e profissionais, essa arquitetura também permite mapear políticas internas em regulamentações externas. O grafo pode vincular um parágrafo específico do seu manual de conformidade à seção exata de um regulamento que ele aborda. Isso cria matrizes de conformidade automatizadas e verificáveis que se sustentam sob auditoria.

A abordagem híbrida — combinar a busca vetorial para encontrar texto relevante com a verificação baseada em grafos para confirmar a validade jurídica — lhe dá amplitude e precisão. Sua arquitetura de soluções obtém a fluência da IA sem sua tendência de fabricar.

À medida que a IA jurídica avança em direção a agentes autônomos capazes de planejar e executar tarefas de pesquisa em múltiplas etapas, a estrutura baseada em grafos se torna infraestrutura essencial. Agentes precisam de um mapa do mundo jurídico para raciocinar sobre questões complexas. Um banco de dados vetorial lhes dá uma pilha de documentos. Um Knowledge Graph lhes dá o mapa.

Para um mergulho profundo na arquitetura técnica, leia a análise técnica completa ou explore a versão interativa.