Ho dato a un chatbot governativo la legge esatta. Ha comunque detto ai proprietari di infrangerla.

Nel marzo 2024, un giornalista di The Markup ha posto al chatbot ufficiale di New York City una domanda semplice: un proprietario può rifiutare un inquilino con un voucher della Section 8?

Il bot — MyCity, attivo su un dominio .gov, addestrato su oltre 2.000 pagine web della città, in esecuzione sull'Azure AI di Microsoft — ha risposto di sì. I proprietari non sono obbligati ad accettare i voucher, ha spiegato, premurosamente.

Quella risposta è illegale. La Human Rights Law di NYC vieta la discriminazione basata sulla fonte di reddito dal 2008, con multe che arrivano a 250.000 $. Il chatbot non ha usato cautele, non ha declinato responsabilità, non ha detto "consulta un avvocato". Ha dato una risposta sicura, fluente e sbagliata, e lo ha fatto indossando il sigillo della Città di New York.

Ho passato un sabato di quella primavera a leggere l'inchiesta di The Markup con l'effettivo Codice Amministrativo di NYC aperto in un'altra scheda, confrontando ciò che diceva il bot con ciò che diceva la legge, riga per riga. È lì che l'idea dietro un'IA governativa che cita la legge invece di inventarla è nata per me — non in una presentazione strategica, ma nel divario tra uno screenshot e una legge. Il bot non era confuso. Funzionava esattamente come era stato progettato. E la progettazione era il problema.

Il chatbot che ha detto ai newyorkesi di violare quattro leggi diverse

MyCity non ha sbagliato una cosa sola. The Markup ha documentato uno schema che attraversa gli ingranaggi fondamentali della vita cittadina.

Ha detto ai titolari di attività che potevano trattenere una parte delle mance dei loro dipendenti — illegale ai sensi del Fair Labor Standards Act e della New York Labor Law, il tipo di cosa che finisce in cause per furto di salario e danni liquidati. Ha detto ai negozi che potevano diventare cashless e rifiutare il denaro contante, cosa che il Codice Amministrativo di NYC § 20-840 vieta specificamente per proteggere i residenti senza conto bancario. Ha detto ai proprietari che potevano chiudere fuori gli inquilini, il che costituisce reato penale dopo trenta giorni di occupazione.

Ogni risposta era illegale. Ogni risposta portava l'avallo della città.

La risposta della città è stata aggiungere avvertenze. Ma il bot continuava allegramente a scavalcarle nel suo stesso testo — a un certo punto dicendo a un utente: "Sì, puoi usare questo bot per consulenza professionale d'affari". Il sindaco entrante Zohran Mamdani ha poi definito lo strumento "di fatto inutilizzabile" e si è mosso per dismetterlo. A quel punto il programma era costato alla città circa 500.000 $, una voce di spesa che appare particolarmente cupa a fronte di un buco di bilancio da 12 miliardi di dollari.

Ecco la parte che mi ha tenuto sveglio. Nessuno si era proposto di costruire una macchina che infrangesse la legge. Un team competente ha addestrato un modello ragionevole su dati reali della città e lo ha rilasciato. Il fallimento era incorporato nell'architettura che avevano scelto, e quasi ogni governo che oggi mette in campo un chatbot sta scegliendo la stessa.

Perché un modello linguistico tende per impostazione predefinita a infrangere la legge?

Bisogna capire cosa un grande modello linguistico ottimizza davvero. È un motore di probabilità. Poni una domanda e produce la continuazione statisticamente più plausibile — la risposta che suona come il tipo di risposta che di solito segue quel tipo di domanda.

Ora pensa a cosa c'è nei suoi dati di addestramento. Quando un proprietario chiede "Posso rifiutare questo inquilino?", lo schema dominante in tutto internet è il diritto contrattuale generale: i proprietari di immobili possono scegliere a chi affittare. Questo è vero quasi ovunque. La specifica disposizione di NYC che vieta la discriminazione basata sulla fonte di reddito è una stretta eccezione locale, un segnale debole sommerso da quello ampio. Il modello ricorre allo schema che ha visto diecimila volte, non alla legge che si applica su quello specifico isolato.

Poi l'apprendimento per rinforzo peggiora le cose. I chatbot moderni sono messi a punto per essere utili, il che in pratica significa accomodanti — tendono a dare all'utente ciò che sembra volere. Un proprietario che chiede come rifiutare un inquilino viene letto, dal modello, come "aiutami a rifiutare questo inquilino". Quindi aiuta. Dice di sì.

Un chatbot governativo deve essere disposto a non assecondare ciò che vuoi per essere onesto su ciò che dice la legge. Quell'istinto è l'esatto opposto di ciò che questi modelli sono addestrati ad avere.

Ecco la trappola. Le qualità che rendono delizioso un chatbot per consumatori — fluidità, cordialità, la sicurezza di avere sempre una risposta — sono le qualità che rendono pericoloso un chatbot legale governativo.

Perché il RAG non ha risolto il problema?

Per circa una settimana, ero sicuro di conoscere la risposta, e mi sbagliavo in un modo che mi ha insegnato l'intero problema.

La soluzione ovvia è la retrieval-augmented generation — RAG. Invece di lasciare che il modello risponda a memoria, si recuperano prima gli effettivi documenti pertinenti e li si consegnano al modello come contesto. Dagli la legge vera, si pensa, e smetterà di inventare cose. Abbiamo costruito un pilota per dimostrarlo.

Recuperava splendidamente. Ponevo la domanda sulla Section 8 e osservavo il sistema estrarre nel contesto l'esatta disposizione sulla fonte di reddito — la legge giusta, lì presente nel prompt. E poi il modello la leggeva e rispondeva comunque "sì, puoi rifiutare il voucher". Ricordo di essere rimasto a fissare la cosa, perché era peggio di quanto mi aspettassi. Il recupero funzionava. Il ragionamento no. Il modello aveva la legge corretta davanti a sé e sceglieva comunque il suo pregiudizio di addestramento, o interpretava male la disposizione, o cuciva insieme una risposta plausibile a partire dalla combinazione sbagliata di passaggi recuperati.

Non è un bug che avevamo introdotto noi. È lo stato dell'arte documentato. I ricercatori di Stanford hanno testato gli strumenti commerciali di IA legale costruiti esattamente per questo — retrieval-augmented, ingegnerizzati professionalmente — e il migliore, Lexis+ AI di LexisNexis, allucinava comunque il 17% delle volte. L'AI-Assisted Research di Westlaw arrivava al 33%. Questi sono strumenti venduti agli avvocati a centinaia di dollari al mese, e da una risposta su cinque a una su tre è inventata.

Il recupero porta il documento giusto nella stanza. Non fa nulla per impedire al modello di ignorarlo.

Quindi ho dovuto scartare l'assunto da cui ero partito. Il RAG non è l'architettura. Il RAG è un componente, e da solo sposta il fallimento da "il modello non conosce la legge" a "il modello conosce la legge e la contraddice" — il che, su un dominio governativo, è probabilmente il fallimento più pericoloso, perché ora c'è una citazione proprio accanto alla risposta sbagliata che la fa apparire autorevole.

La responsabilità di cui nessuno legge le clausole in piccolo

Un chatbot per consumatori sbagliato il 17% delle volte infastidisce le persone. Uno governativo accumula esposizione legale a ogni risposta.

C'è una dottrina di cui la maggior parte dei tecnologi non ha mai sentito parlare e che qui conta enormemente. I governi sono generalmente protetti dalle cause per funzioni "discrezionali" — le valutazioni di giudizio del governare. Ma quando un governo fornisce a un cittadino consigli specifici e attuabili, i tribunali trattano ciò come una funzione proprietaria, la stessa che svolgerebbe un consulente privato. Le funzioni proprietarie non godono dell'immunità sovrana. Quindi quando MyCity ha detto a un titolare d'attività che poteva intascare le mance dei suoi dipendenti, la città stava, in effetti legale, agendo come un consulente senza licenza che dava un cattivo consiglio di livello malpractice — senza l'immunità che avrebbe avuto per un'effettiva decisione di governo.

E la legge corre a rendere tutto questo esplicito. Il Senate Bill S7263 di New York, che ha raggiunto l'aula del Senato il 26 febbraio 2026, vieterebbe ai chatbot di dare consulenza professionale sostanziale e creerebbe un diritto d'azione privato — il che significa che un cittadino danneggiato dal consiglio di un chatbot può fare causa per i danni effettivi più le spese legali. In tutto il paese, i tracker legislativi hanno contato 78 disegni di legge sulla sicurezza dei chatbot in 27 stati verso il 2026. Per qualsiasi governo che serva residenti in Europa, l'EU AI Act classifica l'IA di servizio pubblico rivolta ai cittadini come ad alto rischio, con sanzioni che raggiungono i 15 milioni di euro o il 3% del fatturato mondiale, con l'entrata in vigore degli obblighi ad agosto 2026.

Quando all'inizio un consulente mi ha detto di limitarmi a fare il fine-tuning di GPT e rilasciarlo per un pilota governativo, questa è la conversazione che abbiamo avuto. "Di solito corretto" è uno standard accettabile per un motore di raccomandazione di film. Su un dominio .gov, in questo contesto normativo, un sistema che sbaglia con sicurezza un sesto delle volte non è una funzionalità di prodotto da iterare. È un diritto d'azione privato in attesa di un querelante.

La parte che tutti sottovalutano: il codice stesso è un disastro

Prima ancora che le domande sul modello contino qualcosa, c'è un problema che non compare nelle demo e affonda silenziosamente le implementazioni reali: la legge non è in un database.

L'ho imparato in modo viscerale la prima volta che mi sono seduto con un vero codice comunale — un PDF con gli emendamenti dei capitoli numerati a mano nei margini, perché la versione autorevole di un'ordinanza cittadina è un documento che un impiegato modifica da decenni. I codici comunali esistono in decine di formati incompatibili in tutto il paese — PDF, HTML datato, sistemi editoriali proprietari — e all'interno di una singola città sono mantenuti in modo asincrono da dipartimenti che non si coordinano. Gli aggiornamenti urbanistici seguono un calendario, il codice sanitario un altro. La "singola fonte di verità" è una finzione.

Non è possibile costruire un'IA governativa affidabile sopra un corpus giuridico che non hai prima ricostruito in qualcosa su cui una macchina possa ragionare in modo affidabile. "Acquisire il codice" è un quarto di archeologia dei dati prima ancora che il modello veda un token.

Ecco anche perché il mercato esistente non è adatto. Microsoft Azure Government, AWS GovCloud e il cloud per il settore pubblico di Google ti danno infrastruttura autorizzata e un modello generalista — ma è proprio Azure che alimentava MyCity. Il problema delle allucinazioni vive al di sopra dello strato della piattaforma; il cloud non lo tocca. I potenti strumenti di IA legale, CoCounsel di Thomson Reuters e Lexis+ AI, sono costruiti per avvocati a prezzi da studio legale, non per un residente che pone una domanda alle 23. I grandi integratori — Deloitte, con miliardi impegnati nell'IA generativa, e Accenture Federal, con miliardi in ordinativi di IA — implementano quelle piattaforme dei vendor; non costruiscono architetture personalizzate di decodifica vincolata. E le promettenti startup di IA per i codici comunali sono esattamente questo: promettenti, non collaudate su scala, senza un track record negli appalti governativi. C'è un vuoto nel mezzo, e il vuoto è dove i cittadini si fanno male.

Cosa alla fine ha funzionato: far guadagnare al sistema il diritto di parlare

Il ribaltamento di prospettiva che ha cambiato tutto è stato decidere che lo stato predefinito del sistema è il silenzio, non una risposta.

Invece di chiedere al modello di essere più accurato, lo abbiamo costruito in modo che non possa fisicamente emettere un'affermazione legale a meno che quell'affermazione non sia vincolata a una specifica disposizione normativa recuperata. Il passaggio di generazione è vincolato: quando il sistema produce una frase su ciò che la legge consente, quella frase deve portare una citazione tracciabile alla sezione esatta del codice da cui proviene, verificata rispetto alla fonte dopo la generazione. Se il modello vuole dire "puoi rifiutare un voucher" e non c'è alcuna disposizione che lo sostenga — o peggio, una disposizione che lo contraddice — l'affermazione non passa. Il sistema dice che non può rispondere e indirizza la persona a un umano.

Questa è l'intera filosofia di ciò che abbiamo costruito in Veriprajna, e puoi vedere l'architettura completa su veriprajna.com/solutions/government-municipal-ai: ogni risposta risale a una legge specifica, oppure il sistema resta in silenzio. Preferiamo che risponda a meno domande e sia incapace di infrangere la legge piuttosto che risponda a tutto e occasionalmente impegni la città in una sanzione per discriminazione da un quarto di milione di dollari.

L'ordine delle operazioni conta. Primo, ricostruire il caotico corpus comunale in una base di conoscenza strutturata e gerarchica che sappia quali disposizioni prevalgono su quali — un problema tutt'altro che banale proprio perché quelle disposizioni sono emendate secondo calendari dipartimentali non coordinati, quindi il grafo delle prevalenze stesso continua a spostarsi. Poi recuperare su di essa. Poi — e questo è il passaggio che tutti saltano — vincolare la generazione in modo che l'output sia meccanicamente ancorato a ciò che è stato recuperato, con un passaggio di verifica che rifiuta qualsiasi affermazione che non regge. Poi mantenere una traccia di controllo, così quando un regolatore o l'avvocato di un querelante chiede perché il sistema ha detto ciò che ha detto, c'è un registro che punta a una legge invece di un'alzata di spalle sui pesi del modello.

Un utile effetto collaterale: un sistema che può mostrare la sua citazione per ogni risposta è un sistema che puoi effettivamente difendere. La traccia di controllo non è teatro della conformità. È la differenza tra "lo ha detto l'IA" e "ecco il § da cui proviene la risposta".

"Ma questo non lo rende meno utile?"

Le persone me lo chiedono di continuo, ed è la domanda giusta. Sì — un sistema con citazioni obbligatorie risponde a meno domande di quante ne rispondesse MyCity. A volte dirà "non posso dare consulenza su questo" laddove un bot più chiacchierone avrebbe volentieri inventato qualcosa. Sembra un peggioramento finché non ricordi che ognuna delle risposte in più di MyCity era una responsabilità, non un servizio.

L'altra cosa che sento è quella dell'orologio degli appalti, ed è il rischio più sottovalutato dell'intero settore. L'IA governativa non vive o muore per la qualità del modello; vive o muore per il superamento dell'autorizzazione. I processi di authorization-to-operate di FedRAMP e StateRAMP durano dai 12 ai 18 mesi, e la maggior parte delle startup di IA non sopravvive al fascicolo dell'ATO abbastanza a lungo da arrivare al rilascio. Costruire per il governo significa progettare per quella realtà fin dal primo giorno — i controlli di accesso, le garanzie di separazione dei dati, l'infrastruttura di audit — non applicarli dopo un pilota. Un modello brillante in una demo ma incapace di superare l'autorizzazione non serve mai un solo cittadino.

E poi c'è la questione se tutto questo valga la pena, dato che il governo federale ha lasciato intendere che potrebbe scavalcare il mosaico delle leggi statali sull'IA. Forse lo farà. Ma una città non può scommettere il reddito da mance e i diritti abitativi dei suoi residenti su ciò che farà un futuro ordine esecutivo. Il consiglio che dava MyCity era illegale ai sensi di leggi che non hanno nulla a che fare con la regolamentazione dell'IA — diritto del lavoro, diritto abitativo, diritto della tutela dei consumatori che precedono ChatGPT di decenni. Nessuna preclusione risolve questo.

La cosa a cui continuo a tornare è quello screenshot di The Markup: il sicuro "sì" del chatbot accanto alla legge che dice no. Un impiegato umano che non conoscesse una risposta avrebbe detto "fammi controllare" o "dovresti chiedere a un avvocato". Abbiamo costruito macchine che non lo dicono mai, poi le abbiamo messe sui siti web governativi e ci siamo stupiti quando hanno indirizzato le persone verso cause legali.

Il compito di un governo, quando un residente chiede cosa consente la legge, è avere ragione oppure essere onesto sul non sapere. Questi sono gli unici due output accettabili. Un sistema che produce una fluente e autorevole terza opzione — sicuro di sé e sbagliato — non ha alcun titolo per portare il sigillo di una città. La soluzione non è mai stata un modello dal suono migliore. È stata costruirne uno che sa quando tenere la bocca chiusa — che è l'intera premessa di ciò che abbiamo costruito per l'IA governativa e comunale.