La chatbot AI di NYC ha detto alle imprese di violare la legge

Il problema

La chatbot AI della città di New York ha detto ai titolari di attività commerciali che potevano rubare le mance dei propri lavoratori. Ha affermato che i ristoranti potevano rifiutare il contante. Ha detto ai proprietari di immobili che potevano rifiutare i buoni abitativi Section 8. Ogni singolo consiglio era illegale secondo la legge cittadina, statale o federale.

Nell'ottobre 2023, NYC ha lanciato la chatbot "MyCity", basata su Azure AI di Microsoft. La città l'ha presentata come uno sportello unico per i titolari di attività che devono destreggiarsi tra le normative. Invece, è diventata una macchina automatizzata per dispensare indicazioni illegali. The Markup, una redazione investigativa, ha scoperto che la chatbot si sbagliava su domande fondamentali di diritto del lavoro, tutela dei consumatori, diritti abitativi e diritto d'affitto. Diceva con sicurezza agli utenti che potevano fare cose che avrebbero comportato accuse penali e multe enormi.

Interpellati, i funzionari cittadini hanno definito lo strumento un "prodotto beta". Il sindaco Eric Adams ha detto: "Non puoi restare per sempre in laboratorio". Ma ecco il problema che devi capire: quando una chatbot vive su un dominio .gov e porta il marchio della città, i cittadini la trattano come il governo che parla. La chatbot stessa, interrogata direttamente, ha detto agli utenti: "Sì, puoi usare questo bot per consulenza aziendale professionale". Quella singola frase potenzialmente annulla ogni disclaimer nel footer. Un piccolo imprenditore che legge "Sì, puoi prendere una parte delle mance dei tuoi lavoratori" non scorre in fondo alla pagina per leggere le clausole in piccolo. Si fida dello strumento della città stessa. E quella fiducia crea esposizione legale per tutti i soggetti coinvolti.

Perché questo riguarda la tua attività

Se la tua agenzia o organizzazione distribuisce un sistema AI che fornisce indicazioni legali errate, le conseguenze ricadono su di te. L'esposizione finanziaria è reale e concreta.

Ecco cosa la chatbot MyCity ha messo in gioco:

• Responsabilità per furto di salari: seguire il consiglio di intascare le mance espone i datori di lavoro ad indagini del Dipartimento del Lavoro e a danni liquidati fino al 100% dei salari non pagati.
• Multe per la tutela dei consumatori: il divieto cashless di NYC prevede sanzioni civili di $1.000 per la prima violazione e $1.500 per ciascuna violazione successiva.
• Sanzioni per discriminazione abitativa: la Commissione per i Diritti Umani di NYC ha inflitto multe fino a $1 milione per discriminazione basata sulla fonte di reddito. Le singole violazioni possono raggiungere $250.000 di multe oltre ai danni compensativi.

Il precedente legale è già in fase di definizione. In Moffatt v. Air Canada (2024), un tribunale canadese ha ritenuto Air Canada responsabile della politica sui biglietti per lutto inventata dalla sua chatbot. La compagnia aerea ha tentato di sostenere che la chatbot fosse un "ente giuridico separato", responsabile delle proprie dichiarazioni. Il tribunale ha respinto del tutto quella difesa. L'organizzazione risponde di ciò che la sua AI afferma, punto.

Per la tua organizzazione, questo significa tre cose:

• L'immunità sovrana potrebbe non proteggerti. Quando un ente governativo fornisce consulenza aziendale specifica tramite una chatbot, i tribunali potrebbero classificarla come "funzione proprietaria" — che agisce come un consulente privato — il che elimina le tradizionali tutele da responsabilità del governo.
• I cittadini possono usare i cattivi consigli della tua AI come difesa legale. In base alla dottrina dell'"entrapment by estoppel", un imprenditore multato per aver seguito le indicazioni illegali della tua chatbot può sostenere che il governo gli ha detto che era legale.
• L'EU AI Act classifica le AI rivolte al governo come "High-Risk", imponendo severi requisiti di accuratezza e trasparenza. La non conformità comporta multe enormi.

Il tuo board e il tuo consulente legale devono saperlo: distribuire una chatbot che inventa permessi legali non è un problema di PR. È un evento di responsabilità.

Cosa succede davvero sotto il cofano

La maggior parte delle chatbot governative sono costruite come "thin wrapper" — un livello applicativo basilare posto sopra un modello linguistico di grandi dimensioni per uso generale come GPT-4. Immagina di mettere un sigillo comunale su un'enciclopedia generica stampata tre anni fa, con pagine bianche dove dovrebbero trovarsi le tue leggi locali.

Il problema centrale è che i grandi modelli linguistici sono macchine di previsione, non macchine della verità. Generano la parola successiva in base alla probabilità statistica. Ottimizzano ciò che suona plausibile, non ciò che è giuridicamente accurato.

Ecco perché questo rompe in modo specifico i casi d'uso governativi:

Il problema della sycophancy (servilismo verso l'utente). Questi modelli sono addestrati attraverso un processo chiamato Reinforcement Learning from Human Feedback (RLHF) — in cui revisori umani premiano l'AI per essere "utile". Quell'addestramento crea un riflesso pericoloso. Quando un proprietario di immobile chiede: "Posso rifiutare un inquilino Section 8?", il modello legge l'intento dietro la domanda e cerca di aiutare. Genera una giustificazione per il rifiuto invece di citare la legge che lo vieta. La ricerca mostra che i modelli addestrati con RLHF tendono ad accettare la premessa dell'utente per apparire utili. Nel contesto governativo, un'AI spesso deve dire "no" — e questi modelli non sono costruiti per farlo.

Il problema della black box. Non puoi tracciare perché il modello crede che le mance possano essere confiscate. Non esiste alcuna catena di citazioni dentro la rete neurale. Il modello parla con la stessa sicurezza sia quando cita una legge reale sia quando ne inventa una. La chatbot MyCity continuava a dire che i negozi cashless erano legali anche dopo che la stampa aveva riportato l'errore. Non si poteva semplicemente "patchare" la risposta sbagliata, perché la risposta viveva dentro miliardi di pesi statistici, non in un documento che si potesse modificare.

Il problema del chunking. Alcuni team cercano di risolvere il problema con una RAG basilare — fornendo all'AI documenti fonte reali. Ma una RAG ingenua spezza i codici legali in chunk di testo arbitrari. Questo processo spesso recide il collegamento tra un divieto in una sezione e la sua sanzione o eccezione in un'altra. L'AI recupera frammenti e perde il quadro completo.

Cosa funziona (e cosa no)

Cosa non funziona:

• Aggiungere disclaimer. La chatbot di NYC aveva un disclaimer sul sito web. La chatbot stessa smentiva il disclaimer quando gli utenti chiedevano. Un avviso che l'AI stessa disconosce è giuridicamente e praticamente privo di valore.
• Prompt engineering. Dire a un modello per uso generale "rispondi solo alle domande legali con accuratezza" non cambia il suo comportamento statistico sottostante. Il modello continua ad allucinare, perché la sua architettura premia la plausibilità sulla verità.
• RAG basilare senza struttura. Scaricare semplicemente PDF del tuo codice legale in un database vettoriale crea mismatch di recupero. Un utente chiede informazioni sul "contante" e il sistema estrae documenti su "sovvenzioni in contanti" o "piccola cassa" invece del divieto cashless.

Cosa funziona: la Statutory Citation Enforcement.

Il principio centrale è semplice: Nessuna Citazione = Nessun Output. Se il sistema non può puntare a una sezione specifica del codice ufficiale, non genera una risposta. Ecco come funziona nella pratica:

1. Recupero strutturato. Il tuo codice legale viene convertito in un grafo di conoscenza gerarchico — non tagliato in chunk di testo casuali. Ogni disposizione è un nodo con metadati: data di entrata in vigore, importo della sanzione, agenzia di vigilanza, definizioni correlate. Quando un utente chiede dei negozi cashless, il sistema attraversa il Title 20 (Consumer Affairs) per individuare il sottocapitolo esatto, recuperando insieme il divieto e la struttura delle sanzioni.

2. Generazione vincolata. L'AI non ha la libertà di scrivere a caso. Tramite una tecnica chiamata constrained decoding — in cui il vocabolario di output del modello viene limitato al momento della generazione — il sistema forza ogni risposta in un formato rigoroso che deve includere un ID di citazione specifico. Se il modello tenta di citare una sezione che non esiste nei documenti recuperati, quel token viene bloccato. L'AI letteralmente non può inventare una citazione, perché il percorso per farlo è disattivato.

3. Verifica prima dell'output. Un secondo agente AI funge da revisore interno. Controlla se il testo citato supporta realmente l'affermazione generata. La Sezione X dice davvero ciò che la risposta afferma? Esistono leggi in conflitto? La citazione è ancora legge vigente? Se il revisore trova una discrepanza, la risposta viene soppressa. Il sistema ricade su: "Questa domanda richiede un consulente professionale. Si prega di contattare [agenzia specifica]". È meglio indirizzarti a una persona che darti un consiglio sbagliato.

Questa architettura crea qualcosa che il tuo team di compliance e il tuo programma di preparazione al contenzioso apprezzeranno: una pista di controllo completa. Ogni coppia query-risposta viene registrata insieme agli esatti chunk di recupero utilizzati. Se qualcuno invoca l'entrapment by estoppel, puoi mostrare esattamente cosa l'AI ha recuperato, cosa ha citato e come il livello di verifica ha controllato la risposta. Quella traccia forense è la tua difesa.

Per le organizzazioni nel settore governativo e della pubblica amministrazione, il passaggio da chatbot generica a sistema di recupero deterministico non è opzionale — è la differenza tra uno strumento che serve i tuoi cittadini e uno che ti espone a cause legali collettive. Lo stesso approccio di grounding e verifica delle citazioni si applica a qualsiasi dominio regolamentato in cui sbagliare la risposta ha conseguenze legali.

Puoi leggere l'analisi tecnica completa per la specificazione architetturale completa, oppure esplorare la versione interattiva per vedere come la Statutory Citation Enforcement gestisce query del mondo reale.

La domanda non è se la tua organizzazione dovrà affrontare controlli sulle raccomandazioni generate dall'AI. La domanda è se il tuo sistema può dimostrare di aver tratto la risposta dalla legge effettiva — o se si è limitato a tirare a indovinare.