Il vostro chatbot AI è appena diventato un dipendente giuridicamente vincolante. Quasi nessuno se n'è accorto.

Pochi mesi dopo che fu emessa la sentenza Moffatt contro Air Canada, ero al telefono con un potenziale cliente — un'azienda fintech di medie dimensioni, forse 200 dipendenti, in rapida crescita. Avevano costruito un chatbot rivolto ai clienti utilizzando un popolare wrapper di GPT. Interfaccia pulita. Tono cordiale. I clienti lo adoravano.

Ho posto una sola domanda: "Cosa succede quando il vostro bot indica il tasso d'interesse sbagliato?"

Silenzio assoluto. Poi il loro CTO disse: "Non succederà. Abbiamo dei buoni prompt."

Ho aperto la sentenza sullo schermo e ho letto loro il passaggio in cui il tribunale affermava che Air Canada "non poteva separarsi dal chatbot AI". Che l'azienda era responsabile di ogni parola generata dal bot, esattamente come se fosse stata pronunciata da un dipendente in carne e ossa. Che la difesa della compagnia aerea — sostenere che il chatbot fosse sostanzialmente una "entità giuridica separata" responsabile dei propri errori — fu respinta con qualcosa di molto vicino al disprezzo giudiziario.

L'espressione del CTO cambiò. Perché ecco cosa significa realmente quella sentenza: se il vostro chatbot AI promette a un cliente un tasso del 2% in un contesto al 5%, o inventa una politica di rimborso che non esiste, o produce per allucinazione una clausola di garanzia — congratulazioni, la vostra azienda ha appena firmato un contratto. Non in senso metaforico. Legalmente.

E la parte più spaventosa? Quasi nessuno di coloro che costruiscono AI aziendale ha interiorizzato tutto questo.

La sentenza che ha riscritto il profilo di rischio di ogni chatbot AI

Lasciate che vi racconti cosa è realmente accaduto nel caso Moffatt, perché i dettagli contano più di quanto i titoli dei giornali abbiano lasciato intendere.

La nonna di Jake Moffatt morì. Lui andò sul sito di Air Canada, trovò il chatbot e chiese informazioni sulle tariffe per lutto. Il chatbot — con sicurezza, in modo fluente, con quel tono disponibile per cui questi sistemi sono ottimizzati — gli disse di acquistare subito un biglietto a prezzo pieno e di richiedere uno sconto per lutto entro 90 giorni per ottenere un rimborso parziale.

Quella politica non esisteva. Le regole effettive della compagnia aerea, sepolte nei documenti tariffari e nelle pagine statiche, dicevano il contrario: nessun rimborso retroattivo una volta effettuato il volo. Il chatbot aveva prodotto per allucinazione una politica che sembrava corretta perché, statisticamente, gli schemi di frasi attorno a "lutto", "rimborso" e "90 giorni" ricorrono frequentemente insieme nei documenti di politica delle compagnie aeree in tutto il settore.

Quando Moffatt chiese il rimborso e Air Canada rifiutò, li portò davanti al tribunale. Gli avvocati di Air Canada avanzarono un argomento che trovo ancora sconcertante: sostennero che il chatbot dovesse essere trattato come un'entità giuridica separata, responsabile delle proprie affermazioni. Che l'informazione corretta era disponibile altrove sul sito, quindi l'azienda aveva assolto il proprio dovere.

Il tribunale non si limitò a respingere questa tesi. Il membro del tribunale Christopher Rivers affermò in sostanza: non esiste alcuna distinzione significativa tra un agente umano, una pagina web statica e un bot interattivo. Sono tutti l'azienda che parla al cliente.

Se lo dice la vostra AI, la vostra azienda l'ha firmato. Il tribunale ha stabilito che le allucinazioni non sono bug del software — sono dichiarazioni ingannevoli colpose.

Da quella sentenza sono emersi tre precedenti che dovrebbero togliere il sonno a ogni CTO. Responsabilità unificata: non importa se l'informazione proviene da testo HTML o da una rete neurale — è tutto una rappresentazione dell'azienda. Dovere di diligenza: distribuire un modello probabilistico non verificato per la diffusione di politiche è negligenza. E quello che demolisce la maggior parte delle architetture attuali: la difesa della "scatola nera" è morta. La complessità interna del vostro sistema AI non offre alcuna protezione legale.

Il risarcimento fu di 800 dollari. Il precedente vale miliardi in esposizione a responsabilità futura.

Perché i "buoni prompt" non vi salveranno

Devo essere schietto su una cosa che molte società di consulenza sull'AI non vogliono sentire: la Retrieval-Augmented Generation non è una soluzione di conformità.

Quando ho iniziato ad approfondire i dettagli del caso Moffatt, mi aspettavo di scoprire che il chatbot non avesse accesso alla politica corretta. Sarebbe stato un semplice errore di recupero — risolvibile, comprensibile. Invece, ho trovato qualcosa di peggio. Il chatbot forniva effettivamente un link alla pagina corretta della politica per lutto. Aveva il documento giusto. Lo ha semplicemente riassunto in modo sbagliato.

Questa è la modalità di fallimento che smonta la narrativa del "basta aggiungere il RAG". Il chatbot ha recuperato il contesto corretto e ha comunque prodotto per allucinazione la risposta.

Ecco perché. I Large Language Model sono motori probabilistici. Predicono il token successivo più probabile in base agli schemi statistici presenti nei dati di addestramento. Quando un LLM dice "i rimborsi sono disponibili entro 90 giorni", non sta interrogando un database di regole. Sta completando uno schema di frase statisticamente probabile in base a milioni di documenti assimilati durante l'addestramento — documenti che includevano innumerevoli politiche di rimborso diverse di innumerevoli aziende diverse.

Fornire al modello il documento corretto aiuta. Ma se il testo recuperato è complesso, se il linguaggio giuridico è denso, se c'è una sottile negazione sepolta in una proposizione subordinata — il modello può ignorare il contesto recuperato a favore dei propri pregiudizi pre-addestrati. Non si tratta di un raro caso limite. È una modalità di fallimento nota chiamata dominanza della memoria parametrica, e si verifica più spesso proprio con quel tipo di linguaggio complesso delle politiche che conta di più per la conformità.

L'ho visto in prima persona. Stavamo testando un prototipo per un cliente del settore sanitario, e il sistema aveva i dati corretti sulle interazioni farmacologiche nella sua finestra di contesto — letteralmente lì, nel prompt. Il modello ha comunque generato una risposta che attenuava un avviso di "interazione grave" in una "lieve cautela". Perché nei dati di addestramento la maggior parte dei testi che parlavano di quei due farmaci insieme comparivano in contesti che minimizzavano il rischio. Il recupero era perfetto. La generazione era pericolosa.

Il RAG fornisce conoscenza, ma non garantisce l'aderenza. Non è possibile risolvere un rigoroso problema di logica con un solo motore probabilistico.

I numeri lo confermano. Le perdite globali attribuite alle allucinazioni dell'AI hanno raggiunto 67,4 miliardi di dollari nel 2024. Anche i migliori modelli di frontiera — GPT-4o, Gemini 2.0 — mantengono tassi di allucinazione di base tra lo 0,7% e il 3% a seconda della complessità del compito. Sembra poco finché non si fanno i conti: l'assistente AI di una banca che gestisce un milione di richieste al mese con un tasso di allucinazione dello 0,7% produce 7.000 potenziali violazioni normative. Ogni mese.

E le aziende stanno già pagando una tassa nascosta per questa inaffidabilità. Forrester stima che la mitigazione delle allucinazioni costi all'incirca 14.200 dollari per dipendente all'anno in perdita di produttività — persone che ricontrollano il lavoro dell'AI di cui non ci si può fidare che regga da solo. Il mercato degli strumenti di rilevamento delle allucinazioni è cresciuto del 318% tra il 2023 e il 2025. Non è il segno di un problema che si sta risolvendo. È il segno di un settore che sta freneticamente rattoppando un approccio fondamentalmente difettoso.

Che aspetto ha un chatbot che non può mentire?

C'è stato un momento — lo ricordo con chiarezza perché è accaduto durante una sessione notturna sull'architettura con il mio team — in cui l'idea centrale è scattata. Stavamo discutendo su come rendere un LLM "più accurato" per un caso d'uso di conformità. Prompt migliori. Recupero migliore. Fine-tuning sui dati di dominio. E uno dei miei ingegneri disse qualcosa che fermò la conversazione: "Perché stiamo chiedendo al modello di essere accurato? Non è progettato per l'accuratezza. È progettato per la fluidità."

Aveva ragione. E quella riformulazione ha cambiato tutto il modo in cui costruiamo.

La risposta non è rendere il modello probabilistico meno probabilistico. La risposta è non lasciare che prenda decisioni quando la posta in gioco è alta.

Lo chiamiamo Deterministic Action Layer — un componente middleware che si colloca tra l'utente e l'LLM, agendo come un controllore del traffico. Quando un cliente chiede del meteo o vuole aiuto per redigere un'email, l'LLM fa ciò in cui eccelle: generare testo fluente, utile, creativo. Ma nel momento in cui la conversazione tocca rimborsi, prezzi, termini legali, garanzie, informativa sulla privacy — qualsiasi cosa in cui una risposta sbagliata genera responsabilità — il sistema cambia completamente modalità.

Invece di lasciare che l'LLM generi una risposta a partire dai suoi pesi, il Deterministic Action Layer attiva una logica hard-coded. Una query su database. Un albero decisionale. Un modello di risposta pre-scritto e legalmente verificato. Il ruolo dell'LLM si riduce da "autore" a "traduttore" — potrebbe riformulare il risultato in una frase cortese, ma non può aggiungere, rimuovere o reinterpretare l'informazione.

Vediamola così. Se il chatbot di Moffatt avesse avuto questa architettura, ecco cosa sarebbe successo: il router semantico rileva l'intento — bereavement_refund. Invece di lasciare che il modello improvvisi su ciò che pensa che le politiche di rimborso per lutto solitamente dicano, esegue una funzione deterministica: if ticket_status == 'flown' return NO_REFUND. La risposta arriva: "La nostra politica vieta rigorosamente i rimborsi dopo il viaggio. Riferimento: Regola Tariffaria 45." Noiosa. Legalmente inattaccabile. Esattamente ciò che serviva.

Ho scritto in modo approfondito di questa architettura nella versione interattiva della nostra ricerca, ma l'intuizione centrale è semplice: separare la conversazione dalla conformità. Lasciate che la rete neurale gestisca la disordinata, splendida variabilità del linguaggio umano. Lasciate che il codice deterministico gestisca le parti in cui sbagliare costa denaro.

Il Protocollo del Silenzio

C'è uno specifico pattern di progettazione che utilizziamo e che, a mio avviso, cattura la filosofia meglio di qualsiasi diagramma di architettura. Lo chiamiamo Protocollo del Silenzio.

Quando un utente chiede di un argomento che abbiamo classificato come "Critico per la Conformità", le capacità creative dell'AI generativa vengono di fatto silenziate. Il sistema passa dalla modalità "Autore" alla modalità "Lettore". Recupera il testo esatto dal database e lo fornisce alla lettera, oppure compila un modello rigoroso con variabili provenienti da una fonte attendibile.

Ed ecco la parte che mette a disagio alcuni product manager: se l'utente pone una domanda che ricade in una lacuna della politica — dove non esiste alcuna regola deterministica — il sistema non improvvisa. Dice: "Non posso rispondere direttamente a questa domanda. Lasci che la metta in contatto con uno specialista umano."

Un potenziale cliente si oppose fermamente a questo. "Gli utenti vogliono risposte immediate", disse. "Un chatbot che dice 'non lo so' sembra rotto."

Gli ho chiesto quale sembra più rotto: un chatbot che dice "le faccio parlare con una persona", oppure un chatbot che inventa una politica di rimborso, l'azienda è costretta a rispettarla, e l'ufficio legale passa sei mesi a limitare i danni?

In termini giuridici, la creatività riguardo ai termini contrattuali è sinonimo di falsificazione. La caratteristica più preziosa di un'AI aziendale non è ciò che può dire — è ciò che le viene impedito di dire.

Disabilitiamo la creatività per gli argomenti di conformità perché in un mondo post-Moffatt, un'AI che "gentilmente" improvvisa una politica è un'AI che sta riscrivendo i vostri contratti in tempo reale senza autorizzazione.

Come fa il sistema a sapere cosa è pericoloso?

Questa è la domanda che mi viene posta più spesso, ed è quella giusta. L'architettura funziona solo se il livello di instradamento — il controllore del traffico — è in grado di distinguere in modo affidabile tra "parlami della storia della tua azienda" (sicuro per la generazione tramite LLM) e "posso ottenere un rimborso su questo?" (deve essere gestito in modo deterministico).

Utilizziamo l'instradamento semantico, che è fondamentalmente diverso dal fragile abbinamento di parole chiave dei vecchi sistemi di chatbot. Un sistema basato su parole chiave che cerca "rimborso" non intercetterebbe "rivoglio i miei soldi" o "potete restituirmi la somma". L'instradamento semantico converte la richiesta dell'utente in un vettore embedding ad alta dimensionalità e lo confronta con esempi canonici predefiniti per gli argomenti soggetti a restrizioni.

Il dettaglio chiave: questo livello di instradamento si colloca al di fuori della finestra di contesto dell'LLM. Questo è enormemente importante per la sicurezza. Gli attacchi di prompt injection — in cui gli utenti costruiscono input progettati per ingannare il modello e fargli ignorare le sue istruzioni — sono una minaccia reale e crescente. Ma se la decisione di instradamento avviene prima che la richiesta raggiunga il modello, quegli attacchi diventano irrilevanti per la logica di conformità. Non si può fare il jailbreak di un sistema che non consegna mai le chiavi al modello in primo luogo.

Una volta rilevato un intento sensibile, utilizziamo il function calling — una capacità dei moderni LLM in cui il modello produce dati strutturati (un oggetto JSON che invoca una funzione specifica) anziché testo in forma libera. L'LLM estrae i parametri dalla conversazione — ID del biglietto, data di acquisto, data del viaggio — e li passa a un blocco di codice deterministico. Python. SQL. Qualunque cosa esegua l'effettiva logica di business. Il modello non calcola mai il rimborso. Non decide mai l'idoneità. Traduce il linguaggio naturale in una chiamata API, e traduce la risposta dell'API di nuovo in linguaggio naturale. La decisione è presa dal codice, non dalla probabilità.

Per la ripartizione tecnica completa dell'architettura di instradamento, dei pattern di function calling e della nostra pipeline di verifica, consulta il nostro approfondimento tecnico.

Le mura normative si stanno chiudendo

Se il precedente Moffatt non fosse motivazione sufficiente, il panorama normativo sta per rendere le protezioni deterministiche non più opzionali.

L'EU AI Act classifica molti sistemi di AI rivolti ai clienti — soprattutto nei trasporti, nel settore bancario e nei servizi essenziali — come ad Alto Rischio. L'Articolo 14 impone la supervisione umana: i sistemi devono essere progettati in modo che gli esseri umani possano interpretare gli output, intervenire e premere il pulsante di arresto. Un wrapper di LLM a scatola nera non soddisfa questo requisito. Un Deterministic Action Layer — in cui il responsabile della conformità scrive le regole che il sistema esegue — lo soddisfa.

L'Articolo 22 del GDPR conferisce agli individui il diritto di non essere sottoposti a decisioni basate unicamente su un trattamento automatizzato quando tali decisioni hanno effetti giuridici o significativi. Negare un rimborso è un effetto significativo. Negare una richiesta di prestito è un effetto significativo. Quando un cliente chiede "perché mi è stato negato?", una rete neurale non può spiegare il proprio ragionamento perché non ha un ragionamento — ha pesi statistici. Un albero di logica deterministica può indicare il nodo esatto: "Punteggio di credito al di sotto della soglia" oppure "Stato del biglietto: volo effettuato".

E l'ISO 42001 — il primo standard globale per la governance dell'AI — richiede alle organizzazioni di mappare dove viene utilizzata la logica probabilistica rispetto a quella deterministica, di misurare i tassi di allucinazione e di mantenere piste di audit complete. Abbiamo progettato la nostra architettura specificamente per essere pronta all'audit per questo standard. Ogni interazione, ogni decisione di instradamento, ogni esecuzione di una politica viene registrata con un percorso logico tracciabile.

Non si tratta di conformità teorica. Mi sono seduto in stanze con team legali aziendali che stanno attivamente ripensando le loro implementazioni di AI a causa di questi framework. Le aziende che costruiscono le protezioni ora implementeranno l'AI più velocemente e più ampiamente rispetto a quelle che si affanneranno ad adattare la conformità in un secondo momento.

"Ma non è costoso?"

Le persone me lo chiedono sempre, e capisco l'istinto. Costruire l'instradamento semantico, i livelli di logica deterministica, i knowledge graph, le pipeline di verifica — è innegabilmente più complesso che avvolgere una chiamata API in una bella interfaccia.

Ma lasciate che riformuli la domanda. Qual è il costo di non costruirlo?

Il risarcimento di Air Canada fu di 800 dollari. Ma le spese legali lo hanno di gran lunga superato. Il danno reputazionale — "una compagnia aerea sostiene che il proprio chatbot è un'entità giuridica separata" divenne una barzelletta globale — è incalcolabile. E si trattava di una singola interazione su una singola tariffa per lutto.

Ora immaginate un chatbot di servizi finanziari che produce per allucinazione l'approvazione di un prestito. Un bot sanitario che attenua un avviso di interazione farmacologica. Un bot assicurativo che inventa termini di copertura. Non stiamo più parlando di 800 dollari. Stiamo parlando del territorio delle azioni collettive.

I 14.200 dollari per dipendente all'anno che le aziende attualmente spendono per la mitigazione delle allucinazioni — persone che verificano manualmente gli output dell'AI perché nessuno si fida di loro — questo è il vero costo dell'AI "economica". Il wrapper è economico da costruire e costoso da gestire. L'architettura deterministica è costosa da costruire ed economica da fidarsene.

Questo riguarda ciò che verrà dopo

Voglio concludere con qualcosa che va oltre l'attuale conversazione sui chatbot, perché credo che la sentenza Moffatt sia un'anteprima di un cambiamento molto più ampio.

Stiamo passando da un'era di chatbot AI a un'era di agenti AI — sistemi che non si limitano a rispondere a domande ma compiono azioni. Prenotare voli. Trasferire denaro. Approvare richieste di indennizzo. Firmare accordi. La finzione giuridica secondo cui "l'utente dovrebbe verificare l'informazione" era già debole se applicata ai chatbot. È del tutto insostenibile se applicata ad agenti che eseguono transazioni in modo autonomo.

Ogni azienda che implementa un'AI che tocca denaro, contratti o decisioni regolamentate sta facendo una scelta in questo momento, che se ne renda conto o meno. Sta o costruendo sistemi in cui la creatività dell'AI è delimitata da una logica deterministica — in cui la macchina può essere fluente e utile entro protezioni rigorosamente applicate — oppure sta implementando agenti eloquenti e non supervisionati con l'autorità legale di riscrivere le politiche aziendali un'allucinazione alla volta.

Io so da quale lato di quella linea voglio stare. So quale lato la legge esigerà.

Il vostro chatbot è un dipendente giuridicamente vincolante. Ha bisogno della stessa formazione, della stessa supervisione e degli stessi rigidi limiti di un dipendente umano che gestisce fondi aziendali. Non lascereste che un nuovo assunto inventi politiche di rimborso basandosi sulle sensazioni. Non lasciate che lo faccia nemmeno la vostra AI.

La difesa della scatola nera è morta. L'era dei wrapper sta finendo. E le aziende che per prime capiranno i deterministic action layer non si limiteranno a evitare la responsabilità — saranno quelle che scaleranno davvero l'AI nelle parti della loro attività in cui conta di più, perché saranno quelle i cui sistemi possono essere ritenuti affidabili.

La domanda non è se la vostra AI sia abbastanza intelligente. È se sa quando tacere.