Si può fidare dell'IA per decidere la responsabilità legale?

Il problema

I ricercatori di Stanford hanno scoperto che i principali modelli di IA vanno in allucinazione — cioè fabbricano fatti o inventano citazioni legali — nel 69% all'88% delle richieste legali. Ora immaginate che quella stessa tecnologia decida chi ha causato un incidente stradale, chi paga il sinistro e chi rischia una causa. È esattamente ciò che sta accadendo in questo momento nei settori assicurativo e legale.

Le aziende si affrettano a schierare Large Language Model come giudici automatizzati. Questi sistemi leggono rapporti di polizia, dichiarazioni dei testimoni e note dei periti assicurativi. Poi attribuiscono le colpe. L'assunzione è che se un'IA può scrivere come un avvocato, può anche pensare come uno. Quell'assunzione è sbagliata. Gli LLM predicano la parola successiva di una frase. Non comprendono la fisica, il codice della strada né la relazione causa-effetto. Generano testo che suona autorevole, ma il ragionamento che sta dietro può essere pura finzione.

Il whitepaper di Veriprajna lo dice senza mezzi termini: chiedere a un LLM di giudicare la responsabilità è come chiedere a un poeta di fare fisica. Otterrete una risposta bellissima. Sarà quasi certamente una finzione. Se la vostra organizzazione ha a che fare con sinistri, conformità o decisioni legali, questo divario tra scioltezza e accuratezza è un problema che dovete risolvere.

Perché questo conta per la vostra azienda

L'esposizione finanziaria e regolatoria qui non è teorica. È misurabile, ed è enorme.

Gli LLM introducono bias specifici e documentati in ogni decisione che prendono. Quando quelle decisioni riguardano denaro, responsabilità e diritti legali, le conseguenze colpiscono direttamente il vostro risultato economico.

• Tasso di allucinazione del 69% all'88% sulle richieste legali. La ricerca di Stanford mostra che i migliori modelli di IA fabbricano statuti, inventano giurisprudenza e travisano norme legali a tassi allarmanti. Se il vostro sistema automatizzato cita una legge che non esiste, vi esponete a cause per malafede e sanzioni regolatorie.
• Il bias da verbosità favorisce gli eloquenti, non i veritieri. La ricerca sui sistemi LLM-as-a-judge mostra che modelli come GPT-4 assegnano costantemente punteggi di confidenza più alti alle risposte più lunghe e dettagliate — persino quando la risposta più breve è fattualmente più solida. In una contestazione di sinistro, questo significa che una narrazione di 500 parole piena di dettagli emotivi può battere una dichiarazione di 50 parole fattualmente corretta. Il vostro sistema potrebbe decidere contro assicurati onesti a favore di reclamanti eloquenti ma negligenti.
• Rischio di incoerenza del 100%. Fate girare lo stesso rapporto di polizia attraverso un LLM dieci volte e potreste ottenere dieci decisioni di responsabilità diverse. La generazione probabilistica di testo non può garantire che gli stessi fatti producano lo stesso verdetto. Quell'incoerenza è un incubo per la conformità.
• Perdite sui sinistri dovute a ripartizioni di colpa imprecise. Un sistema probabilistico potrebbe ripiegare di default su una ripartizione della responsabilità al 50/50 perché le narrazioni sono confuse. Un sistema basato su regole potrebbe invece rivelare una netta ripartizione 100/0 basata su una specifica violazione del codice della strada. Ogni ripartizione sbagliata vi costa denaro.

Per il vostro direttore legale, questo è rischio di contenzioso. Per il vostro CFO, sono perdite sui sinistri fuori controllo. Per il vostro risk officer, è un sistema che non può essere auditato né spiegato a un'autorità di regolamentazione.

Cosa succede davvero sotto il cofano

Per capire perché l'IA fallisce nel giudizio legale, dovete capire cosa sta realmente facendo. Un LLM non ragiona. Predice. Data una stringa di parole, calcola la parola successiva statisticamente più probabile. Tutto qui.

Pensate all'autocompletamento del vostro telefono — ma potenziato fino a comporre interi paragrafi. Il telefono non capisce ciò che intendete dire. Indovina sulla base di pattern. Gli LLM fanno la stessa cosa, solo con più dati e output più lunghi. Quando il compito è scrivere un'email, funziona bene. Quando il compito è decidere chi ha causato un incidente stradale, va in frantumi.

Il whitepaper individua quattro precise modalità di guasto:

Il bias da verbosità significa che il modello tratta la lunghezza come prova. Un conducente che scrive un vivido resoconto di 500 parole descrivendo il meteo, le proprie emozioni e l'«aggressività» dell'altro conducente ottiene più peso di un conducente che semplicemente scrive: «Mi sono fermato. Ho controllato. Sono ripartito. Mi hanno colpito.» Il modello confonde la densità di token con la densità di prove.

La sincrofanzia significa che il modello è d'accordo con chiunque ponga la domanda. Se un perito assicurativo invia al sistema il prompt «analizza questo per vedere se il reclamante stava superando i limiti di velocità», il modello è statisticamente più propenso a trovare evidenze di eccesso di velocità — anche se non ne esistono. Questo è il bias di conferma erogato as a service.

L'allucinazione significa che il modello inventa fatti e diritto. Può leggere che un'auto aveva «gravi danni al muso anteriore» e affermare come fatto che il veicolo stava superando i limiti di velocità — senza alcun dato sulle tracce di frenata né telemetria. Colma le lacune narrative con finzione dall'apparenza plausibile.

Il fallimento del ragionamento abduttivo significa che il modello non riesce a risalire a ritroso dalle prove per trovare la migliore spiegazione. Non può eseguire una simulazione mentale: «Se questo conducente si fosse fermato, l'incidente si sarebbe comunque verificato?» Si limita a predire la frase successiva in una narrazione di incidente. Non è giustizia. È autocompletamento con conseguenze.

Cosa funziona (e cosa no)

Prima di spiegare cosa funziona, ecco cosa non funziona:

«Usate semplicemente un prompt migliore.» Il prompt engineering non corregge i bias strutturali. Il bias da verbosità e la sincrofanzia sono radicati nel modo stesso in cui i modelli vengono addestrati. Un prompt migliore non può rendere deterministico un sistema probabilistico.

«Inserite un essere umano nel ciclo.» Se il vostro revisore umano sta verificando un output dell'IA che appare già autorevole e ben scritto, è probabile che lo approvi. Il problema d'insieme è proprio che l'output degli LLM suona convincente anche quando è sbagliato.

«Addestrate il modello con fine-tuning su dati legali.» Il fine-tuning può migliorare il lessico di dominio. Non corregge l'allucinazione né dà al modello una comprensione della fisica, della causalità o della logica normativa. Un modello sottoposto a fine-tuning continua a predire parole, non verità.

Ciò che funziona è separare i compiti in cui l'IA è forte dai compiti in cui è debole. Veriprajna chiama questo approccio neuro-simbolico. Ecco come funziona l'architettura in tre passi:

Passo 1: Estrazione (l'IA fa ciò che sa fare bene). L'LLM legge i vostri rapporti di polizia non strutturati, le dichiarazioni dei testimoni e le note dei periti assicurativi. Il suo unico compito è estrarre fatti strutturati: veicoli, conducenti, controlli del traffico, azioni, condizioni. Li mappa su uno schema predefinito rigoroso — un vocabolario formale di oltre 110 tipi di entità e relazioni. Se il modello tenta di produrre qualcosa che viola lo schema (per esempio collocando un segnale di stop dove sulla mappa non esiste), il sistema segnala il conflitto. L'IA è un impiegato, non un giudice.

Passo 2: Ricostruzione (costruire un gemello digitale dell'evento). Quei fatti estratti vengono caricati in un Knowledge Graph — una mappa strutturata di tutto ciò che è accaduto. I veicoli diventano nodi. Le azioni diventano archi. Le norme sulla circolazione stradale diventano regole logiche eseguibili, non testo da riassumere. Il sistema usa la Logica Deontica formale per codificare obblighi, divieti e permessi direttamente da statuti come il California Vehicle Code § 21802. «Il conducente si è fermato?» diventa un controllo sì-o-no sul grafo, non una questione di opinione.

Passo 3: Determinazione (la logica decide la colpa, non il linguaggio). Il sistema esegue le norme di circolazione formalizzate sul grafo dell'evento ricostruito. Verifica le azioni di ciascun agente rispetto alle leggi applicabili alla loro specifica localizzazione. Esegue simulazioni controfattuali: «Questa collisione si sarebbe verificata se il conducente si fosse fermato?» Se il nodo della collisione scompare nell'alternativa simulata, la violazione è la causa. L'output è un rapporto di responsabilità strutturato in cui ogni conclusione è riconducibile a un fatto specifico e a una regola specifica.

È qui che il vostro team di conformità dovrebbe fare molta attenzione. Ogni decisione può essere ricondotta a un nodo specifico del grafo e a una regola specifica del motore logico. Potete visualizzare l'intera catena di ragionamento. Potete mostrare a un'autorità di regolamentazione, a un giudice o a una giuria esattamente perché il sistema ha raggiunto la sua conclusione. Fate girare gli stessi fatti nel sistema 100 volte e otterrete la stessa risposta 100 volte. Questa è la traccia di audit che l'IA black-box non può offrire.

Per le organizzazioni nel settore legale e dei servizi professionali, questo tipo di tracciabilità non è facoltativo — è l'aspettativa minima di partenza. E l'approccio che sta alla base — un architettura di soluzioni fondata su principi neuro-simbolici — è progettato appositamente per soddisfare quel requisito. Se la vostra organizzazione deve inoltre dimostrare che la sua IA tratta tutte le parti in modo equo indipendentemente da quanto bene scrivono, il lavoro di Veriprajna su audit di equità e mitigazione dei bias affronta direttamente i bias da verbosità e da sincrofanzia documentati in questa ricerca.

Per il quadro tecnico completo, potete leggere l'analisi tecnica completa oppure esplorare la versione interattiva.