Si può fidare dell'IA in salute mentale? Un campanello d'allarme per la sicurezza dei pazienti

Il problema

«Se avessi usato questa chatbot nei momenti più acuti del mio disturbo alimentare... oggi non sarei più in vita. Ogni singola cosa che Tessa suggeriva era una cosa che aveva alimentato il mio disturbo alimentare.» Questa citazione è di Sharon Maxwell, sopravvissuta a un disturbo alimentare che ha testato la chatbot IA messa in campo dalla National Eating Disorders Association (NEDA).

Nel 2023 la NEDA ha chiuso la sua linea di assistenza con operatori umani e l'ha sostituita con una chatbot IA chiamata Tessa. Il bot doveva aiutare le persone che lottano contro i disturbi alimentari. Ha invece detto agli utenti di mantenere un deficit calorico da 500 a 1.000 calorie al giorno. Ha raccomandato di comprare pinche adipometriche per misurare il grasso corporeo. Per chi combatte contro l'anoressia, quel consiglio non si limita a mancare il bersaglio: legittima la malattia stessa.

La NEDA ha sospeso la chatbot dopo le proteste pubbliche. Ma il danno era già fatto. La reputazione dell'organizzazione ha subito un colpo forse mai del tutto rimarginabile. E la causa principale non è stato un guasto casuale: era un difetto fondamentale nel modo in cui il sistema di IA era stato costruito. La chatbot ha trattato un grido d'aiuto come una semplice domanda di benessere. Non aveva alcun modo di capire il contesto, nessun meccanismo per riconoscere il pericolo e nessuna regola che dicesse «mai dare consigli per perdere peso a questa popolazione».

Se la vostra organizzazione impiega l'IA in qualsiasi ruolo a contatto con i pazienti, questo è il vostro monito. La questione non è se la vostra IA suoni empatica. La questione è se la vostra architettura possa impedirle di causare danni.

Perché conta per la vostra azienda

L'esposizione finanziaria dovuta ai fallimenti dell'IA in sanità non è teorica. Nel 2024, le perdite globali dovute alle allucinazioni dell'IA — quando l'IA genera informazioni false ma presentate con sicurezza — hanno raggiunto una stima di 67,4 miliardi di dollari. Quel numero copre ogni settore, ma la sanità ne porta le conseguenze più pesanti.

Ecco cosa finisce sulla vostra scrivania quando l'IA sanitaria va storto:

• Rischio normativo. La FDA traccia un confine netto tra le app di «General Wellness» e il «Software as a Medical Device» (SaMD). Se la vostra IA valuta sintomi o suggerisce trattamenti, può rientrare nella categoria di dispositivo medico di Classe II. Registrarne uno costa circa 11.423 dollari all'anno solo di tasse, più centinaia di migliaia per la validazione clinica. Ma un richiamo della FDA o un'azione di enforcement costa molto di più: può chiudervi del tutto.

• Esposizione alla responsabilità. Gli ospedali rispondono con responsabilità indiretta degli strumenti che adottano. Se una chatbot non rileva un rischio di suicidio che un'infermiera di triage avrebbe colto, l'ospedale è responsabile. Gli sviluppatori rispondono di responsabilità da prodotto se il software viene giudicato difettoso. Una chatbot che allucina consigli medici è, giuridicamente, un prodotto difettoso.

• Lacune assicurative. La maggior parte delle polizze di responsabilità professionale medica copre l'errore umano, non l'allucinazione algoritmica. Esiste una copertura assicurativa specifica per l'IA, ma i premi sono alti per i sistemi «black box» non verificabili.

• Distruzione reputazionale. Il marchio della NEDA ha subito un danno enorme, forse irreparabile. In sanità la fiducia è il vostro bene più prezioso. Una volta che i pazienti o il pubblico perdono fiducia, potreste non riuscire più a riguadagnarla.

• Spreco operativo. Molte organizzazioni spendono milioni in verifiche «Human-in-the-Loop», in cui i dipendenti controllano manualmente ogni output dell'IA. Questo vanifica i guadagni di efficienza per cui avete comprato l'IA.

Il vostro consiglio di amministrazione vi chiederà: «Qual è la nostra esposizione?» Serve una risposta prima dell'incidente, non dopo.

Cosa succede davvero sotto il cofano

Per capire perché Tessa è fallita, bisogna capire come funzionano davvero i grandi modelli linguistici (LLM) — i motori di IA alla base della maggior parte delle chatbot. Un LLM non «conosce» le linee guida cliniche. Predice la parola successiva di una frase in base a schemi statistici presenti nei suoi dati di addestramento.

Quando qualcuno ha digitato «come perdere peso» in Tessa, il modello ha fatto esattamente ciò per cui era stato costruito. Ha restituito la risposta statisticamente più probabile: deficit calorici, registrazione dei pasti, misurazioni del corpo. In una generica app di benessere quella risposta è perfettamente ragionevole. Su una linea di assistenza per i disturbi alimentari è clinicamente tossica.

Questa modalità di guasto ha un nome: Collasso contestuale. L'IA ha elaborato le parole ma ha perso completamente il contesto. Ha trattato un sintomo della malattia — l'ossessione per la perdita di peso — come una richiesta legittima da soddisfare.

Pensate a un rilevatore di fumo collegato a un altoparlante musicale. Il rilevatore coglie un segnale (fumo), ma invece di far scattare l'allarme suona una canzone. Il sensore funziona perfettamente. La risposta è completamente sbagliata. L'architettura è fallita perché nessuno ha costruito uno strato tra rilevamento e risposta che capisse cosa significasse davvero quel segnale.

Gli LLM soffrono anche di un comportamento chiamato sycophancy. Sono addestrati a essere utili, cosa che il modello spesso interpreta come «compiacente». In terapia i bravi clinici contrastano il pensiero pericoloso. Un LLM tende a validarlo. La ricerca mostra che quando le chatbot si trovano davanti a scenari con deliri o ideazione suicidaria, spesso confermano il delirio invece di metterlo in discussione. Creano quello che i ricercatori chiamano una «Trappola dell'empatia»: gli utenti si sentono capiti da una macchina che si limita a predire testo.

In più, la maggior parte dei sistemi di sicurezza delle chatbot è stateless: analizza ogni messaggio isolatamente. Non può tracciare se una conversazione sta derivando da «mangiare sano» a «contare le calorie» fino a «come nascondere il cibo». Senza consapevolezza a livello di sessione, il pericolo si accumula inosservato.

Cosa funziona (e cosa no)

Partiamo da ciò che non risolve questo problema.

Prompt migliori. Dire all'IA «sii prudente» nelle istruzioni di sistema non previene le allucinazioni. Il modello continua a generare output probabilistico. Non si arriva alla sicurezza di livello clinico soltanto con i prompt.

Filtri per parole chiave. Scandire il testo alla ricerca di parole vietate come «suicidio» o «lama» intercetta i casi evidenti. Ma una frase come «non voglio svegliarmi domani» non contiene parole vietate. Segnala comunque un'ideazione suicidaria. I filtri per parole chiave non colgono il significato semantico.

Revisione a posteriori. Controllare gli output dell'IA dopo che sono arrivati all'utente è troppo tardi. In una conversazione di crisi una sola risposta dannosa può causare un danno irreversibile. Serve prevenzione, non ripulitura.

Ciò che funziona è uno strato architetturale separato — un Firewall di Sicurezza Clinica (Clinical Safety Firewall) — che si interpone tra l'utente e il modello di IA. Non chiede all'IA di essere sicura. Impone la sicurezza controllando ciò che l'IA è autorizzata a fare. Ecco come funziona in tre passaggi:

1. Monitor degli input (prima che l'IA veda qualcosa). Un modello separato e specializzato — non la chatbot — analizza ogni messaggio dell'utente per individuare il rischio clinico. Controlla le parole chiave, ma esegue anche un'analisi semantica. Confronta il messaggio con protocolli di triage validati come la Columbia-Suicide Severity Rating Scale (C-SSRS), uno strumento di screening strutturato usato negli ambienti clinici. Se il punteggio di rischio supera una soglia prestabilita, attiva il passaggio successivo.

2. Meccanismo di interruzione netta (l'IA viene disconnessa). Quando viene rilevato un rischio, il sistema non passa il messaggio alla chatbot con un avviso. Recide del tutto la connessione. La conversazione passa dal motore di IA a uno script di crisi pre-scritto e clinicamente validato. L'output è deterministico — significa che lo stesso input produce sempre la stessa risposta sicura. Ad esempio: «Sono preoccupato per quello che state condividendo. Contattate la 988 Suicide & Crisis Lifeline».

3. Monitor degli output (controllo di ciò che dice l'IA). Anche quando l'input sembra sicuro, la risposta dell'IA viene vagliata prima che la veda l'utente. Il monitor verifica che non ci siano consigli medici proibiti, validazione eccessiva e affermazioni allucinate. Se la risposta fallisce un controllo, il sistema la blocca e la sostituisce con un'alternativa sicura.

Questa architettura si integra anche con le cartelle cliniche elettroniche (EHR) tramite gli standard FHIR — un protocollo di scambio di dati sanitari — per aggiungere contesto. Se la cartella di un paziente segnala una storia di anoressia, il firewall abbassa la propria soglia di rischio per qualsiasi conversazione legata al peso. Un generico consiglio sullo zucchero può andare bene per la maggior parte degli utenti. Per questo paziente, il sistema lo blocca.

Il vantaggio decisivo per il vostro team di compliance: ogni decisione presa dal firewall — ogni punteggio di rischio, ogni regola attivata, ogni azione compiuta — viene registrata in una traccia di audit immutabile. Quando un regolatore o un avvocato chiede «perché il sistema ha fatto questo», potete indicare una regola precisa e una precisa catena logica. Trasformate una black box in una white box.

Per le organizzazioni che gestiscono più agenti IA in un unico sistema, un strato di orchestrazione multi-agente e controllo supervisore aggiunge un'altra salvaguardia. Un agente «Guardian» dedicato sorveglia gli altri agenti e blocca qualsiasi risposta che violi le politiche di sicurezza, anche se l'agente primario devia.

Che voi operiate nel settore sanità e scienze della vita o in qualsiasi altro settore regolamentato, il principio è lo stesso. I vostri flussi di lavoro e strumenti deterministici devono essere separati a livello architetturale dal vostro strato di IA generativa. La sicurezza non può essere una funzionalità aggiunta in un secondo momento a una chatbot. Deve essere l'architettura stessa.