Si può fidare dell'IA per la ricerca giuridica? Probabilmente non ancora.

Il problema

Nel giugno 2023, un avvocato ha depositato una memoria giudiziaria presso un tribunale federale di New York. La memoria citava diversi casi — Varghese v. China Southern Airlines, Shaboon v. Egyptair, Petersen v. Iran Air — completi di numeri di fascicolo, date e citazioni testuali. Ogni singolo caso era falso. Li aveva inventati tutti ChatGPT.

Il giudice nel caso Mata v. Avianca, Inc. si è accorto che le citazioni erano fabbricate. Ha definito i riassunti delle sentenze generati dall'IA "senza senso" in alcune parti, nonostante il loro formato giuridico convincente. Il tribunale ha inflitto una multa di $5,000 e ha imposto agli avvocati di informare il cliente. Ma la sanzione economica è stata la parte minore del danno. Le ripercussioni reputazionali hanno fatto il giro della stampa internazionale.

Ecco cosa rende questa storia ancora peggiore. Quando la controparte ha contestato i casi finti, l'avvocato è tornato a ChatGPT e ha chiesto se fossero reali. L'IA ha confermato le proprie bugie. Ha detto che i casi "esistono effettivamente" e potevano essere trovati in "database giuridici affidabili". Questo ha creato quello che il whitepaper chiama un "ciclo di allucinazione" — lo strumento usato per la verifica aveva lo stesso difetto dello strumento usato per la generazione.

Il tribunale ha respinto la tesi difensiva secondo cui l'avvocato non sapeva che l'IA potesse fabbricare informazioni. I giudici hanno ormai stabilito che sono gli avvocati i garanti ultimi dell'accuratezza della propria tecnologia. Se il tuo studio legale usa l'IA per il lavoro giuridico, la responsabilità ricade su di te — non sul fornitore del software.

Perché questo riguarda la tua azienda

Il caso Mata non è stato un episodio isolato. Ha messo in luce un problema strutturale che riguarda ogni organizzazione che usa l'IA per ricerca giuridica, compliance o lavoro normativo.

Questi numeri dovrebbero preoccuparti:

• Dal 58% all'82%: i ricercatori di Stanford hanno rilevato che i chatbot IA generici allucinano a questi tassi su query giuridiche complesse — persino strumenti con accesso a internet o funzionalità di recupero di base.
• $5,000: la multa diretta nel caso Mata v. Avianca. Ma il costo reale è stato la distruzione della reputazione e il rischio di radiazione dall'albo per gli avvocati coinvolti.
• Fino al 30-35%: il divario di prestazioni tra sistemi avanzati di recupero basati su grafo e sistemi vettoriali standard nei compiti di ragionamento giuridico a più passaggi.

Questi rischi colpiscono la tua azienda in tre punti:

• Responsabilità per negligenza professionale. Il tuo studio porta la responsabilità legale per ogni citazione generata dall'IA in un atto processuale. I premi delle assicurazioni per negligenza professionale saliranno probabilmente per gli studi che non possono dimostrare una governance dell'IA rigorosa.
• Esposizione regolamentare. I tribunali stanno emettendo ordinanze permanenti che impongono la divulgazione obbligatoria dell'uso dell'IA. Se i tuoi strumenti non sanno spiegare il proprio ragionamento, affronti violazioni di compliance prima ancora di arrivare al merito del caso.
• Fiducia dei clienti. I tuoi clienti chiederanno sempre più spesso: "Che IA usate?". Rispondere "ChatGPT" — o qualsiasi sottile involucro attorno a un modello generico — segnala che non avete riflettuto seriamente sull'accuratezza. Quella risposta sta diventando inaccettabile nel lavoro giuridico aziendale.

La riga finale per il tuo conto economico: se un avvocato deve verificare manualmente ogni singola citazione generata dall'IA, perdi i guadagni di efficienza che avevano giustificato in primo luogo l'investimento nell'IA.

Cosa succede davvero sotto il cofano

Per capire perché Mata è successo, devi capire una cosa su come funzionano i modelli linguistici di grandi dimensioni (LLM). Prevedono la parola successiva in una sequenza. Non cercano in una biblioteca. Non interrogano un database. Generano testo che suona plausibile sulla base di schemi statistici.

Pensalo come l'autocompletamento del telefono — ma per paragrafi interi. Il telefono potrebbe suggerire "riunione" dopo che hai digitato "Ci vediamo alla". Un LLM fa la stessa cosa su scala massiva. Quando gli viene chiesto un caso di lesioni aerea, non consulta casi reali: assembla una risposta che segue lo schema di ciò che appare una citazione giuridica. "Varghese" era un nome di attore statisticamente plausibile. "China Southern Airlines" era un convenuto plausibile. Ma la relazione tra loro era una finzione matematica, non una realtà giuridica.

Il primo rimedio del settore è stato qualcosa chiamato Retrieval-Augmented Generation (RAG) — un metodo in cui si forniscono all'IA documenti sorgente reali prima che generi una risposta. L'RAG standard memorizza i documenti giuridici come vettori numerici e recupera blocchi di testo semanticamente simili alla tua domanda. Questo aiuta, ma introduce nuovi problemi.

La ricerca basata su vettori tratta un'opinione dissenziente allo stesso modo di un'opinione di maggioranza se le parole sembrano simili. Non sa dire se un caso è stato superato (overruled). Recupera i documenti isolatamente, quindi perde le connessioni tra una legge, il regolamento che la interpreta e il caso che applica quel regolamento. La ricerca mostra che quando gli LLM ricevono lunghe liste di testo recuperato, si concentrano sulle informazioni all'inizio e alla fine ignorando il materiale centrale. Nel lavoro giuridico, l'eccezione cruciale spesso è sepolta nel quindicesimo blocco della giurisprudenza recuperata.

Un sistema che recupera il caso giusto l'80% delle volte è un rischio di negligenza professionale nel restante 20%.

Cosa funziona (e cosa no)

Tre approcci comuni falliscono per l'IA giuridica ad alto rischio:

• Prompt migliori. L'ingegneria dei prompt può cambiare stile o formato dell'output dell'IA. Non può iniettare conoscenze che il modello non possiede, né costringere il modello a verificare i fatti contro un database a cui non può accedere.
• Applicazioni wrapper. Sono interfacce sottili sovrapposte ad API come quelle di OpenAI. Possono aggiungere un prompt di sistema che dice "Sei un avvocato disponibile", ma questo non concede l'accesso a database di giurisprudenza verificati né impedisce all'IA di inventare citazioni.
• Solo RAG vettoriale standard. Riduce la fabbricazione pura ma non riesce a catturare la gerarchia giuridica. Non sa che un caso ne supera un altro. Non capisce la giurisdizione. Tratta una legge abrogata allo stesso modo di una vigente se il testo corrisponde alla tua query.

Quello che funziona è un metodo chiamato Citation-Enforced GraphRAG — un sistema che mappa le fonti giuridiche in un Knowledge Graph verificato e impedisce fisicamente all'IA di generare citazioni false. Ecco come funziona in tre passi:

1. Input: costruire la mappa. Ogni legge, regolamento e caso diventa un nodo specifico in un Knowledge Graph — una rete strutturata di entità giuridiche e delle loro relazioni. Gli archi tra i nodi portano significato: "supera", "interpreta", "conferma", "distingue". Non è una pila di documenti: è una mappa verificata di come il diritto si collega.

2. Elaborazione: vincolare l'IA. Durante la generazione del testo, un meccanismo di vincolo controlla ogni citazione che l'IA tenta di produrre contro il Knowledge Graph. Se l'IA prova a emettere "Varghese v. China Southern", il sistema interroga il grafo. Scoperto che un tale caso non esiste, blocca completamente l'output. L'IA fisicamente non può produrre una sequenza di token per un caso che non è nel database verificato. Questo sposta il tuo sistema dall'accuratezza probabilistica all'applicazione strutturale.

3. Output: mostrare il procedimento. Quando il sistema cita effettivamente un caso, fornisce il percorso di attraversamento esatto — da quale legge è partito, quali casi la interpretano e se quei casi sono ancora diritto vigente. Se un caso è stato superato, il grafo lo segnala con una "bandiera rossa" e lo rimuove dal contesto dell'IA prima ancora che la generazione inizi.

È qui che il tuo team di compliance dovrebbe fare attenzione. Ogni citazione viene con una traccia di audit. I tuoi avvocati possono vedere perché l'IA ha selezionato un caso, non solo che ne ha selezionato uno. Il sistema può mostrare di aver verificato i trattamenti negativi — l'equivalente digitale della Shepardization — e di aver confermato che la fonte è valida. Un livello di grounding, citazione e verifica rende ogni output tracciabile e difendibile.

Per le organizzazioni che operano nel settore legale e dei servizi professionali, questa architettura consente inoltre di mappare le politiche interne sulle normative esterne. Il grafo può collegare un paragrafo specifico del tuo manuale di compliance alla sezione esatta del regolamento a cui si riferisce. Questo crea matrici di compliance automatizzate e verificabili che reggono sotto audit.

L'approccio ibrido — combinare la ricerca vettoriale per trovare i testi rilevanti con la verifica basata su grafo per confermare la validità giuridica — ti dà sia ampiezza sia precisione. La tua architettura delle soluzioni ottiene la fluidità dell'IA senza la sua tendenza a fabbricare.

Man mano che l'IA giuridica si muove verso agenti autonomi capaci di pianificare ed eseguire compiti di ricerca a più passaggi, la struttura basata su grafo diventa infrastruttura essenziale. Gli agenti hanno bisogno di una mappa del mondo giuridico per ragionare su domande complesse. Un database vettoriale dà loro una pila di documenti. Un Knowledge Graph dà loro la mappa.

Per un approfondimento dell'architettura tecnica, leggi l'analisi tecnica completa oppure esplora la versione interattiva.