L'IA che ha dimenticato come uccidere: perché costruiamo modelli incapaci di creare armi biologiche

L'e-mail è arrivata alle 2:47 di un martedì. Uno dei nostri ingegneri di ricerca —lo chiamerò Ravi— stava eseguendo test avversari su un diffuso modello biologico open source. Non stava cercando di fare nulla di nefasto. Stava sottoponendo a stress test i guardrail, che è esattamente il nostro lavoro. Ma ciò che ha trovato lo ha spinto a prendere il telefono invece di aspettare il mattino.

«Mi ha guidato attraverso l'intero processo», ha detto. «Non in un unico prompt. In oltre dodici turni di conversazione. Ho continuato a porre domande di approfondimento sul ripiegamento delle proteine, poi sul legame con i recettori e infine sui meccanismi di somministrazione. Alla fine, mi aveva essenzialmente fornito un piano dettagliato per potenziare la trasmissibilità virale. E non sono nemmeno un biologo».

Ero seduto al buio nel mio soggiorno, a fissare la trascrizione che mi aveva inviato. Il modello non aveva «rifiutato» nulla. Ogni singola risposta riguardava tecnicamente scienza legittima. Ma messe insieme, guidate da qualcuno che sapeva cosa chiedere, la conversazione era una masterclass su qualcosa che non dovrebbe mai essere insegnato.

Quella notte ha cambiato la traiettoria della mia azienda. Stavamo sviluppando strumenti di sicurezza dell'IA per clienti aziendali: un lavoro importante, ma incrementale. Ciò che Ravi mi ha mostrato richiedeva qualcosa di più radicale. Non guardrail migliori. Non filtri più intelligenti. Dovevamo costruire modelli di IA che genuinamente non potessero produrre questa conoscenza, anche se ogni livello di sicurezza venisse rimosso.

Avevamo bisogno di modelli che avessero dimenticato come uccidere.

Il problema di cui nessuno vuole parlare

Ecco la scomoda verità sull'IA e la biologia: lo stesso modello che aiuta un ricercatore a progettare un vettore di terapia genica per un bambino affetto da una malattia rara può, con il giusto prompt, aiutare qualcuno a ottimizzare un patogeno per arrecare il massimo danno umano. Questa non è un'ipotesi. È una certezza matematica, insita nel modo stesso in cui funzionano questi modelli.

I modelli linguistici di grandi dimensioni apprendono ingerendo tutto: manuali, articoli di ricerca, post sui forum, l'intero archivio digitalizzato della conoscenza umana. Ciò include articoli di virologia sulla ricerca sul guadagno di funzione. Include letteratura chimica sulla sintesi di tossine. Include decenni di ricerca sulla biodifesa che, per sua natura, documenta esattamente ciò che rende pericolosi gli agenti biologici.

I dati necessari per salvare vite umane sono spesso inestricabilmente legati ai dati necessari per distruggerle.

Questo è ciò che i ricercatori chiamano il Dilemma del doppio uso, e non è una novità. I biologi ci fanno i conti fin dalla scoperta del DNA. Ma l'IA cambia i calcoli in un modo che non mi fa dormire la notte: democratizza la parte più difficile.

La costruzione di un'arma biologica ha storicamente richiesto tre elementi: conoscenza esplicita (la scienza), accesso fisico (attrezzature di laboratorio) e conoscenza tacita (l'«intuito» pratico non scritto per il lavoro di laboratorio che richiede anni per essere sviluppato). Internet ha risolto il primo aspetto. I laboratori in cloud e la sintesi di DNA per corrispondenza stanno gestendo il secondo. E ora, l'IA generativa sta colmando il terzo divario agendo come quello che un ricercatore ha descritto cupamente come un «post-doc in una scatola»: disponibile 24 ore su 24, 7 giorni su 7, infinitamente paziente e privo di bussola morale a meno che non ne incorporiamo esplicitamente una.

Perché «dire semplicemente di no» fallisce nella biosicurezza dell'IA?

La risposta del settore dell'IA a questo problema è stata, essenzialmente, insegnare ai modelli a rifiutare. Attraverso un processo chiamato apprendimento per rinforzo da feedback umano (RLHF), i modelli apprendono che quando qualcuno pone domande su argomenti pericolosi, la risposta corretta è una variante di «Non posso aiutarti in questo».

Pensavo che questo fosse sufficiente. Mi sbagliavo.

L'RLHF non cancella la conoscenza. Sopprime il comportamento. Il modello sa ancora come sintetizzare una tossina: è stato solo addestrato a non dirlo. Immaginatelo come un medico che ha fatto un giuramento di silenzio su un argomento specifico. La conoscenza è ancora lì, del tutto intatta, residente nei pesi neurali. Il «rifiuto» è un sottile strato comportamentale applicato durante la fase finale di addestramento.

E gli strati sottili si incrinano.

Il mio team ha catalogato i modi in cui questo sistema cede, e la lista è più lunga di quanto vorrei ammettere. C'è l'Attacco Crescendo, in cui un avversario inizia con domande innocenti ed intensifica gradualmente nel corso di decine di turni di conversazione fino a quando il modello è così immerso nel contesto da dimenticare di rifiutare. C'è Deceptive Delight, dove la richiesta dannosa è racchiusa in un prompt di scrittura creativa. C'è il trucco del Bad Likert Judge, in cui si chiede al modello di valutare la pericolosità di varie risposte, ed esso fornisce servizievolmente i dettagli pericolosi come parte della sua «analisi».

Abbiamo testato queste tecniche su molteplici modelli di frontiera. I risultati sono stati allarmanti. Un attacco particolarmente elegante —pubblicato dal team Unit 42 di Palo Alto Networks— ha ottenuto un tasso di successo del 100% nel jailbreak su determinati modelli sfruttando esclusivamente la pazienza conversazionale.

Ma il vero incubo non è il jailbreak. È ciò che accade quando il modello è open source.

Cosa succede quando non si può ritirare l'arma?

Ho avuto discussioni accese su questo punto. Nel mondo del software, l'«open source» è sacro: significa trasparenza, revisione da parte della community e sicurezza attraverso l'esame collettivo. Credo nell'open source per il software. Ma la biologia non è software.

Quando viene rilevata una vulnerabilità di sicurezza in Linux, viene rilasciata una patch. Tutti si aggiornano. La vulnerabilità viene neutralizzata. Quando una «vulnerabilità» biologica —ad esempio, il design di un nuovo patogeno pandemico— viene generata da un modello a pesi aperti in esecuzione sul server privato di qualcuno, non esiste alcuna patch. Non c'è alcun aggiornamento. Non c'è alcun richiamo.

I pesi sono distribuiti. La capacità è permanente.

I ricercatori hanno dimostrato un fenomeno chiamato Fine-Tuning dannoso che rende tutto questo concreto. Prendete un modello aperto «allineato per la sicurezza», uno attentamente addestrato a rifiutare query dannose. Eseguitene il fine-tuning su appena 10-50 esempi di coppie domanda-risposta dannose. Costo: poche centinaia di dollari di tempo GPU. Risultato: l'allineamento di sicurezza collassa completamente e l'intera conoscenza pre-addestramento del modello —incluso tutto ciò che ha appreso su patogeni, tossine e militarizzazione— riemerge all'istante.

Un meccanismo di sicurezza che può essere rimosso dall'avversario non è un meccanismo di sicurezza. È un dosso artificiale.

Ho presentato questa tesi a una conferenza e qualcuno tra il pubblico ha obiettato: «Ma le informazioni sono già su Internet». Hanno ragione nel dire che si può trovare la sintesi della ricina su Wikipedia. Ma questo non coglie affatto il punto. Il rischio non è la ricetta. È l'incremento di capacità —la capacità del modello di guidare una persona semi-qualificata attraverso il processo complesso e incline a errori di esecuzione effettiva di quella ricetta, risolvendo problemi in tempo reale e suggerendo reagenti sostitutivi quando quelli regolamentati non sono disponibili. Questo è il divario che l'IA colma, ed è il divario che conta davvero.

Ho scritto di questo più approfonditamente nella versione interattiva della nostra ricerca, compreso il modello di minaccia completo per i sistemi di IA agentica in grado di pianificare ed eseguire autonomamente flussi di lavoro biologici in più fasi. Il passaggio all'IA agentica —in cui l'IA si trasforma da chatbot a scienziato autonomo— è il punto in cui la questione diventa davvero esistenziale.

La notte in cui abbiamo cambiato rotta

C'è stato un momento specifico in cui il nostro approccio si è cristallizzato. Eravamo a una riunione di team, a discutere dell'architettura. Metà del team voleva creare un monitoraggio migliore: intercettare i prompt malevoli prima che raggiungessero il modello. L'altra metà voleva concentrarsi sul filtraggio dell'output: intercettare le risposte dannose prima che raggiungessero l'utente.

Ricordo di essere stato davanti alla lavagna, a disegnare lo stesso diagramma per la terza volta, e di aver improvvisamente avuto la sensazione di stare riorganizzando le sedie sul ponte del Titanic. Entrambi gli approcci presupponevano che il modello dovesse possedere conoscenze pericolose e che noi dovessimo solo controllarne l'accesso. Ma questa è la stessa logica di stoccare gas nervino in ufficio affidandosi a una serratura eccellente.

«E se il modello semplicemente... non lo sapesse?», disse qualcuno. Credo fosse il nostro ricercatore di interpretabilità. Nella stanza calò il silenzio.

A posteriori sembra ovvio. Ma nel mondo della sicurezza dell'IA, sfiorava l'eresia. Il presupposto prevalente era che servisse il modello completo —tutta la sua conoscenza, tutte le sue capacità— per poi stratificare la sicurezza al di sopra. L'idea di rimuovere deliberatamente e chirurgicamente la conoscenza da un modello addestrato sembrava una lobotomia. Rozza. Distruttiva. Si pensava che avrebbe sicuramente compromesso tutto il resto.

Abbiamo trascorso i mesi successivi a dimostrare che tale presupposto era errato.

Come si insegna a un'IA a dimenticare?

Questo campo è chiamato Disapprendimento automatico, ed è più sottile di quanto sembri. Non si possono semplicemente cancellare i dati di addestramento e riaddestrare il modello: è computazionalmente proibitivo e non garantisce che la conoscenza sia svanita. Bisogna invece intervenire a livello delle rappresentazioni interne del modello: i pattern di attivazione neurale che codificano i concetti.

La nostra tecnica primaria si chiama Reindirizzamento delle rappresentazioni per il disapprendimento, o RMU (Representation Misdirection for Unlearning). Ecco l'intuizione: quando un modello elabora un prompt riguardante, ad esempio, il «potenziamento della trasmissibilità virale», pattern specifici si attivano nei suoi strati nascosti. Questi pattern rappresentano esattamente ciò che significa «conoscere il potenziamento della trasmissibilità virale» a livello matematico. L'RMU identifica questi pattern e li reindirizza, non verso un rifiuto, ma verso il rumore. Il «pensiero» interno del modello sul concetto pericoloso viene alterato in un'attivazione priva di significato.

Il risultato è un modello che non rifiuta la vostra domanda sulla militarizzazione. Semplicemente non è in grado di pensare ad essa in modo coerente. Chiedetegli di potenziare un patogeno e risponderà come una persona che non ha mai sentito parlare del concetto: confuso, incoerente, aggrappandosi a idee non correlate. Non sta recitando. La conoscenza genuinamente non c'è.

Ma ecco la parte difficile —e quella che ha assorbito la maggior parte del nostro impegno ingegneristico—: bisogna farlo senza distruggere tutto il resto. La virologia e le armi biologiche condividono un'enorme quantità di conoscenze fondamentali. Non si può estirpare l'«ingegneria dei patogeni» senza rischiare di compromettere la «progettazione di vaccini». È come tentare di rimuovere il concetto di «fuoco come arma» dal cervello di qualcuno lasciando completamente intatto il «fuoco come strumento di cottura».

È qui che gli Autoencoder sparsi sono diventati il nostro bisturi. Le reti neurali sono notoriamente «polisemantiche»: un singolo neurone può codificare sia per «gatti» che per «derivati finanziari» (sul serio). Gli autoencoder sparsi ci permettono di districare queste rappresentazioni sovrapposte in feature pulite a concetto singolo. Abbiamo potuto individuare la feature specifica che si attiva per la «ricerca sul guadagno di funzione virale» e bloccarla a zero, lasciando intatta la feature adiacente per la «progettazione di vettori virali per la terapia genica».

Non fingerò che il processo sia stato privo di ostacoli. I primi esperimenti sono stati brutali. Il nostro primo modello disappreso non riusciva a distinguere un virus da una vitamina. Avevamo sovracoretto in modo così aggressivo che il modello aveva essenzialmente dimenticato la biologia molecolare. Ricordo Ravi che esaminava i risultati della valutazione, scorrendo pagina dopo pagina di risposte prive di senso a domande basilari di biologia, per poi commentare: «Beh, di certo non può più fabbricare un'arma biologica. Ma non sa fare nemmeno l'aspirina».

Abbiamo iterato. Abbiamo aggiunto vincoli di fluidità attraverso una tecnica chiamata Cancellazione della memoria linguistica, che garantisce che il modello rimanga coerente anche nelle zone «cancellate». Abbiamo implementato l'Estrapolazione dei parametri per gestire il problema del riapprendimento: il rischio che qualcuno possa effettuare il fine-tuning del nostro modello disappreso su dati correlati e ricostruire la conoscenza pericolosa. L'estrapolazione identifica concetti «logicamente correlati» ed estende il gradiente di disapprendimento per coprirli, creando una zona cuscinetto attorno alla conoscenza cancellata.

Per l'analisi tecnica completa di questi metodi —RMU, ablazione delle feature con autoencoder sparsi ed estrapolazione dei parametri UIPE— consultate il nostro paper di ricerca dettagliato.

Come appare il «caso fortuito» nella pratica?

Convalidiamo i nostri modelli rispetto al Benchmark WMDP —il dataset Weapons of Mass Destruction Proxy, sviluppato dal Center for AI Safety. Contiene oltre 4.000 domande a risposta multipla formulate da esperti che verificano la «conoscenza dei precursori»: i concetti che è indispensabile comprendere per costruire un'arma biologica o chimica.

Un modello open source standard come Llama-3-70B ottiene circa il 75% nella sezione sulla biosicurezza. GPT-4, con tutto il suo addestramento di sicurezza RLHF, ottiene circa il 72%. Il nostro modello Knowledge-Gapped ottiene il 26% —statisticamente indistinguibile dall'indovinare casualmente in un test a scelta multipla a quattro opzioni.

Nel contempo, nei benchmark generali di ricerca biomedica come PubMedQA, il nostro modello mantiene un'accuratezza di circa il 77% rispetto al 78% del modello di base. Nell'ampio benchmark scientifico MMLU, scendiamo dall'82% all'81%.

Un modello Knowledge-Gapped è funzionalmente un «neonato» per quanto riguarda la minaccia, pur rimanendo un «esperto» per quanto riguarda la cura.

Quella perdita di utilità dell'1-2% è il costo della sicurezza strutturale. Ogni dirigente farmaceutico a cui ho mostrato questi dati ha avuto la medesima reazione: «Tutto qui?». Sì. Tutto qui. Il modello è capace al 98% per la ricerca legittima e ha essenzialmente lo zero per cento di capacità per la militarizzazione.

Il tasso di successo degli attacchi di jailbreak racconta il resto della storia. Modelli aperti standard: 15-20%. GPT-4 con RLHF: 1-5%. Il nostro modello: meno dello 0,1%. E quel residuo non è dovuto alla produzione di contenuti pericolosi: è solo rumore di misurazione.

Le barriere normative si stanno stringendo

Questa non è più solo una questione tecnica. È una questione legale.

L'Ordine Esecutivo 14110 prende di mira esplicitamente i «modelli fondazionali a doppio uso» e impone agli sviluppatori di riferire i risultati dei test di red teaming per i rischi CBRN (chimici, biologici, radiologici e nucleari). La norma ISO/IEC 42001, il primo standard internazionale per la gestione dell'IA, richiede controlli «proporzionati al rischio» — e nell'ingegneria della sicurezza, l'eliminazione di un pericolo è sempre prioritaria rispetto ai controlli amministrativi come policy e rifiuti. Il NIST AI Risk Management Framework classifica le capacità CBRN come una classe di rischio unica per l'IA generativa.

Per le aziende farmaceutiche, il calcolo della responsabilità è lineare. Se concedete ai vostri ricercatori l'accesso a un modello di IA che può progettare un patogeno e qualcosa va storto —un dipendente infedele, un sistema compromesso, un sofisticato attacco di ingegneria sociale—, vi verrà chiesto quali misure avete adottato per prevenire danni prevedibili. Dire «abbiamo detto al modello di dire di no» non convincerà una giuria. «Il modello è strutturalmente incapace di generare quell'output» è un discorso completamente diverso.

Le compagnie di assicurazione contro i rischi informatici stanno già integrando questo fattore nei prezzi. Le esclusioni per danni generati dall'IA stanno comparendo nelle polizze. I premi aumentano per le aziende che impiegano modelli non verificati in ambiti sensibili. Il mercato ci sta inviando un segnale chiaro.

«Ma qualcuno non potrebbe semplicemente riaddestrarlo?»

Questa è la domanda che mi viene posta più spesso, ed è quella giusta. Se si può disapprendere la conoscenza, un avversario non può reimpararla effettuando il fine-tuning su dati relativi alle armi biologiche?

Sì, in teoria. Ma abbiamo ingegnerizzato il costo del riapprendimento affinché sia proibitivo. Attraverso l'estrapolazione dei parametri, non cancelliamo solo la conoscenza bersaglio; cancelliamo l'impalcatura concettuale circostante che ne renderebbe possibile la ricostruzione. Recuperare la capacità pericolosa dal nostro modello richiede più dati e più potenza di calcolo rispetto all'addestramento di un nuovo modello da zero. A quel punto, l'avversario non trae alcun vantaggio dal partire dal nostro modello.

Testiamo questo principio continuamente. Ogni settimana, attacchi di riapprendimento automatizzati mettono sotto pressione i nostri modelli con dataset avversari di fine-tuning. Un modello ottiene la designazione «Knowledge-Gapped» solo quando il costo del riapprendimento supera il costo dell'addestramento da zero.

Spesso mi viene chiesto se questo approccio sia scalabile: se possa essere applicato a qualsiasi dominio pericoloso o se funzioni soltanto per la biologia. La risposta sincera è che siamo partiti dalla biologia perché la posta in gioco è massima e il confine del doppio uso è il più netto. Ma le tecniche di base —reindirizzamento delle rappresentazioni, ablazione delle feature, estrapolazione dei parametri— sono agnostiche rispetto al dominio. Stiamo già esplorando applicazioni nella sicurezza chimica e, curiosamente, nella protezione della proprietà intellettuale, dove gli stessi metodi di disapprendimento possono garantire che un modello non abbia memorizzato i dati proprietari di un concorrente.

La scelta che non è davvero una scelta

Mi sono trovato in riunioni in cui persone intelligenti sostenevano che limitare le capacità dell'IA sia contrario all'innovazione. Che «sicurezza» sia sinonimo di «rallentamento». Che i rischi siano esagerati e i benefici troppo importanti per porre vincoli.

Comprendo l'impulso. Sono un fondatore. Costruisco cose per mestiere. I vincoli vengono percepiti come un attrito.

Ma ecco il punto a cui continuo a tornare: non permettiamo alle aziende farmaceutiche di vendere farmaci senza rimuovere i sottoprodotti tossici. Non permettiamo alle compagnie aeree di far volare aerei senza correggere i difetti strutturali. L'aspettativa che un prodotto non debba contenere i semi della catastrofe non è contraria all'innovazione. È la base stessa dell'ingegneria.

Il dibattito tra IA «aperta» e «chiusa» è una distrazione in biologia. La vera scelta è tra modelli che sono strutturalmente sicuri e modelli che distano un solo exploit dalla catastrofe. Tra sistemi in cui la sicurezza è una proprietà dell'architettura e sistemi in cui la sicurezza è una policy applicata a posteriori.

Abbiamo trascorso decenni a costruire l'infrastruttura globale di biosicurezza: la Convenzione sulle armi biologiche, i controlli sulle esportazioni del Gruppo Australia, i protocolli di screening presso le aziende di sintesi del DNA. Tutto ciò presuppone che la parte più difficile della costruzione di un'arma biologica sia l'acquisizione di conoscenze e competenze. L'IA sta dissolvendo tale presupposto. Se non ci adattiamo —se continuiamo ad affidarci a modelli che sanno tutto e promettono solo di non rivelarlo—, costruiremo la bioeconomia del futuro su fondamenta che un adolescente determinato con una GPU può sgretolare.

Non possiamo costruire la bioeconomia del futuro su fondamenta di modelli instabili a doppio uso che distano un solo jailbreak dalla catastrofe.

Non credo che la risposta sia smettere di sviluppare l'IA per la biologia. Il potenziale terapeutico è troppo vasto, la sofferenza che può alleviare è troppo reale. La risposta è costruire un'IA che sia strutturalmente incapace di arrecare il danno che temiamo: modelli con reali gap nella loro conoscenza, non modelli che indossano maschere che qualunque avversario può strappare via.

Chiamiamo tutto questo Biosicurezza strutturale. Non la sicurezza come semplice funzionalità. La sicurezza come architettura. Non una serratura sulla porta: l'assenza dell'arma dietro di essa.