Un modello farmaceutico per la scoperta di farmaci ha progettato 40.000 tossine in sei ore. La soluzione non era quella che mi aspettavo.

La prima volta che ho davvero capito il problema, stavo leggendo un articolo di quattro anni prima e sentivo freddo.

Nel 2022, un piccolo team di Collaborations Pharmaceuticals ha preso il proprio modello commerciale per la scoperta di farmaci — un sistema di chimica generativa chiamato MegaSyn, il tipo di strumento che assegna un punteggio alle molecole in base al loro potenziale terapeutico — e ha invertito un numero. La funzione di ricompensa che diceva al modello «ricompensami per le molecole sicure e simili a farmaci» è diventata «ricompensami per quelle tossiche». Non è stato un attacco informatico. Non è stata una violazione. È stato un singolo segno in un file di configurazione Python, esattamente come cambieresti un termostato da riscaldamento a raffreddamento.

In meno di sei ore, su un server standard, il modello ha prodotto 40.000 molecole candidate — inclusi agenti nervini noti come il VX, e migliaia di composti inediti che, secondo le sue previsioni, sarebbero stati ancora più letali. Quello studio, pubblicato su Nature Machine Intelligence, è il punto da cui inizia ancora oggi ogni conversazione onesta sulla biosicurezza dell'IA. E ciò che mi teneva sveglio non era che fosse accaduto una volta in un esperimento controllato. Era che l'architettura che lo ha reso possibile — una funzione di ricompensa collocata in un file di configurazione anziché saldata dentro il modello — è ancora in produzione nella maggior parte delle aziende farmaceutiche di medie dimensioni che eseguono pipeline come REINVENT 4. L'interruttore invertito non è mai stato riparato. Semplicemente non è stato invertito di nuovo.

Questa è la lacuna su cui il mio team di Veriprajna ha lavorato per due anni. Questo saggio racconta ciò che abbiamo sbagliato lungo il percorso, e ciò che oggi credo sia l'unica cosa che funziona davvero.

La differenza tra la modalità di scoperta di farmaci e la modalità di progettazione di armi, nella maggior parte delle pipeline di chimica generativa, è una singola riga di codice che nessuno sorveglia.

Le difese su cui l'industria farmaceutica fa affidamento sono state costruite per una minaccia che non esiste più

Quando ho iniziato a parlare con i responsabili della conformità — il Chief Compliance Officer, il Responsible Official che firma la documentazione sulla biosicurezza, il responsabile del ML che possiede effettivamente i modelli — quasi tutti descrivevano le stesse tre difese. L'addestramento al rifiuto, affinché il modello dica no quando gli si chiede qualcosa di pericoloso. L'allineamento RLHF, affinché si comporti bene. E i filtri di allerta strutturale — software che analizza l'output di una molecola e segnala le sottostrutture tossiche note.

Tutte e tre sono state progettate per un mondo in cui un attacco assomigliava a qualcuno che digitava «progettami un agente nervino». La superficie d'attacco del 2025 non ha nulla a che vedere con questo. È più silenziosa, più automatizzata, e opera al di sotto del livello che queste difese sorvegliano.

Prendiamo i filtri di allerta strutturale, quelli su cui l'industria farmaceutica si appoggia di più. Piattaforme come Chemistry42 di Insilico Medicine sono dotate di oltre 460 filtri interni di chimica farmaceutica che escludono i tossicofori noti. Sono un buon lavoro di ingegneria. Ma ispezionano l'output — la molecola finita — alla ricerca di schemi notoriamente dannosi. Non fanno nulla all'obiettivo. Un modello che ottimizza verso il manifold delle armi chimiche genererà volentieri composti strutturalmente inediti che non corrispondono ad alcun tossicoforo noto e passano dritti attraverso il filtro, perché «inedito» è esattamente ciò per cui esiste un modello generativo. Ho visto scorrere una stringa SMILES — la notazione testuale che i chimici usano per scrivere una molecola — in un registro di output e ho saputo che avrebbe superato ogni allerta che il team aveva installato, proprio perché era nuova.

Quindi la prima cosa che ho dovuto disimparare è stata l'idea consolante che filtrare l'output equivalga a governare il modello.

La notte in cui la nostra idea più pulita è crollata

Ecco il fallimento che ho sostenuto personalmente, e che ci è costato mesi.

Quando il mio team ha delineato per la prima volta questo lavoro, ci siamo innamorati di quella che sembrava la risposta elegante: non filtrare la conoscenza pericolosa, rimuovila. Esiste un corpus di lavoro accademico reale e magnifico sul machine unlearning — tecniche come RMU, validate rispetto al benchmark WMDP di un articolo ICML del 2024 che misura esattamente quanta conoscenza biologica trasformabile in arma un modello conserva. La promessa è splendida. Prendi un modello che ottiene circa il 75% su WMDP-Bio — pericolosamente competente — e lo sottoponi a unlearning finché non ottiene il 26%, che è pari al caso, che significa «il modello davvero non sa». Un modello con una lacuna di conoscenza. Non puoi fare jailbreak di una conoscenza che non è presente.

Abbiamo costruito una demo. Ha funzionato. Il punteggio è sceso al livello del caso. Ricordo di esserne stato orgoglioso — avevo una slide che diceva la conoscenza è scomparsa, e sembrava un ragionamento concluso.

Poi uno dei nostri ingegneri ha eseguito su di esso un attacco di riapprendimento, del tipo descritto nel lavoro di Lucki et al. della CMU presentato a ICLR 2025. Non gli ha fornito dati segreti. Lo ha sottoposto a fine-tuning su articoli medici pubblici — il genere di cose presenti in qualsiasi biblioteca di biologia — e la capacità presumibilmente cancellata ha ricominciato a risalire. Lo stesso articolo ha mostrato che il trucco funziona anche con le nozioni banali: un modello sottoposto a unlearning che aveva «dimenticato» Harry Potter poteva essere sollecitato a recitare di nuovo passaggi memorizzati dopo aver visto la wiki. La conoscenza non era scomparsa. Era offuscata. Profondamente, straordinariamente offuscata — ma recuperabile da chiunque avesse i pesi e un pomeriggio a disposizione.

Non abbiamo eliminato la conoscenza pericolosa. L'abbiamo nascosta abbastanza bene da ingannare noi stessi, che è il tipo di sicurezza più pericoloso che esista.

Quella fu la notte in cui morì il discorso di vendita pulito. E doveva morire, perché la sua versione successiva sarebbe stata venduta a un'azienda farmaceutica reale come «il vostro modello non può essere usato in modo improprio» — una frase che non è vera, e che nessun responsabile della conformità dovrebbe mai firmare.

Il rifiuto è un comportamento, non una capacità

Il fallimento del riapprendimento mi ha costretto a interiorizzare qualcosa che ora ripeto in ogni primo incontro. Il rifiuto è un comportamento che il modello mette in atto. La capacità è ciò che il modello può fare. Non sono la stessa cosa, e quasi ogni livello di sicurezza nel settore farmaceutico le confonde.

Il rifiuto RLHF insegna a un modello a dire di no. Non gli insegna a non sapere. C'è uno studio del 2025 — il lavoro sul rischio nel caso peggiore «gpt-oss» — che ha quantificato quanto sia sottile questa distinzione: con un numero compreso tra 10 e 50 esempi di fine-tuning e poche centinaia di dollari di tempo di GPU, puoi rimuovere l'allineamento di sicurezza da un modello a pesi aperti e ripristinarne la capacità biologica quasi al livello di frontiera. Giorni di lavoro. Il prezzo di una bella cena. Per qualsiasi azienda farmaceutica che esegue modelli a pesi aperti on-premise — e molte lo fanno, per ottime ragioni di proprietà intellettuale — «allineato alla sicurezza» è una proprietà che sopravvive esattamente finché un insider o un file di pesi esfiltrato non decide che non debba più esserlo.

Ecco perché la realtà dei pesi aperti conta così tanto. Quando Arc Institute ha rilasciato Evo 2 nel febbraio 2025 — un modello di base per il DNA da 40 miliardi di parametri addestrato su nove trilioni di nucleotidi — ha svolto un lavoro di sicurezza davvero accurato, escludendo dall'addestramento i patogeni che infettano l'uomo e sottoponendo il risultato a red-teaming. E poi un framework chiamato GeneBreaker, presentato a NeurIPS 2025, ha raggiunto fino a un tasso di successo degli attacchi del 60% nel fare jailbreak di Evo 2-40B in sei categorie virali.

Il modo in cui funziona GeneBreaker è la parte su cui ogni CISO deve riflettere. Non chiede mai un patogeno. Usa un agente di IA per orchestrare strumenti di bioinformatica e chiede, tramite una ricerca beam guidata dall'omologia, una proteina «omologa a» un riferimento benigno che si trova a essere strutturalmente vicino a uno pericoloso. I filtri per parole chiave vedono una legittima richiesta di genomica comparativa. L'addestramento al rifiuto non vede nulla da rifiutare. Il pericolo diventa visibile solo quando si analizza la funzione di ciò che ne è uscito — momento in cui è già uscito. Una volta che i pesi sono aperti, devi presumere che il modello sia in circolazione e che ogni concorrente e malintenzionato possieda la tua stessa copia.

Perché l'«ultima linea di difesa» non l'ha intercettato?

Ogni volta che espongo tutto questo, qualcuno — di solito la persona più esperta nella stanza — dice una versione di: «Va bene, ma niente di tutto questo importa, perché per realizzare qualcosa di concreto devi sintetizzare il DNA, e il nostro fornitore di sintesi controlla ogni ordine».

Anch'io in parte lo credevo. Poi è arrivato l'ottobre 2025.

Microsoft Research, lavorando in silenzio per dieci mesi con Twist Bioscience, IDT e l'International Gene Synthesis Consortium, ha condotto quello che oggi è chiamato il Paraphrase Project, pubblicato su Science. Hanno usato un modello open-source di progettazione di proteine per generare migliaia di varianti sintetiche di una tossina — preservando l'estremità funzionale attiva mutando tutto ciò che le stava intorno, l'equivalente molecolare del parafrasare una frase in modo che il software antiplagio non la segnali. Quelle varianti parafrasate dall'IA sono sfuggite al software di screening basato sull'omologia che ogni importante fornitore di sintesi del DNA utilizza. L'«ultima linea di difesa» non le vedeva.

A loro enorme merito, il team ha trascorso quei dieci mesi a co-sviluppare e distribuire a livello globale una patch che aggiunge la previsione funzionale al confronto per omologia. Il rilevamento è migliorato. Ma la lezione per un acquirente è permanente: qualsiasi pipeline interna che si basava su «il nostro fornitore di DNA lo intercetterà» ha operato, per tutto il 2024 e gran parte del 2025, su una garanzia che non esisteva. Mi sono seduto di fronte a un responsabile della conformità che descriveva quell'esatta rete di sicurezza con totale certezza, settimane dopo l'uscita dell'articolo. Non puoi considerare il controllo del fornitore come la tua rete di sicurezza. Devi effettuare lo screening internamente, prima che l'ordine lasci l'edificio.

La storia consolante è sempre «qualcosa a valle lo intercetterà». Nella biosicurezza, il 2025 è stato l'anno in cui ogni intercettazione a valle è stata aggirata in modo dimostrato.

Il livello minimo normativo si è spostato — in due direzioni contemporaneamente

Se il terreno tecnico fosse l'unica cosa a spostarsi, sarebbe già abbastanza difficile. Anche il terreno giuridico si sta muovendo, e si sta divaricando.

Negli Stati Uniti, il quadro esecutivo su cui i team di conformità avevano pianificato per tutto il 2023 e il 2024 è stato smantellato nel giro di pochi mesi. L'ordine sulla sicurezza dell'IA di Biden è stato revocato nel gennaio 2025; l'ordine sulla bioeconomia a marzo; un ordine sostitutivo sulla sicurezza della ricerca biologica emesso a maggio prevedeva un termine di attuazione di 90 giorni che è trascorso senza che comparisse alcun quadro normativo. Le persone il cui lavoro è la conformità in materia di biosicurezza operano, in questo momento, nel vuoto.

Nel frattempo l'UE ha preso la direzione opposta. Gli obblighi dell'AI Act per i modelli di uso generale sono entrati in vigore nell'agosto 2025, con la piena applicazione per l'alto rischio prevista per l'agosto 2026. Le sanzioni non sono simboliche: fino a 35 milioni di € o il 7% del fatturato globale per le pratiche vietate, 15 milioni di € o il 3% per la non conformità dei modelli di uso generale. I modelli di base utilizzati in biologia rientrano pienamente nell'ambito di applicazione. Ed ecco l'asimmetria che decide l'intera questione per la maggior parte dei miei clienti: un'azienda farmaceutica con qualsiasi attività nell'UE deve conformarsi allo standard dell'UE indipendentemente da dove si posizionino gli Stati Uniti. Il livello più basso al mondo è irrilevante se vendi a Francoforte.

Al di sotto della normativa di primo piano, la ISO/IEC 42001 — il primo standard internazionale per i sistemi di gestione dell'IA — è diventata silenziosamente ciò che assicuratori e partner si aspettano che tu possieda. E gli assicuratori sono qui l'organo di controllo silenzioso. Verso la fine del 2025, gli assicuratori di responsabilità informatica hanno iniziato ad aggiungere ai loro moduli di sottoscrizione domande sulle esclusioni dei dati di addestramento a duplice uso, sulle procedure di unlearning e sulla frequenza del red-team, e hanno cominciato a escludere i danni generati dall'IA o a riprezzarli per le aziende che eseguono modelli a pesi aperti senza controlli documentati. Ho visto un questionario in stile Munich Re arrivare sulla scrivania di un cliente e ridefinire l'intera conversazione: non era più una discussione etica, era un premio assicurativo.

È anche qui che la trappola della responsabilità scatta. Immagina la causa. Un dipendente scontento esfiltra i pesi del modello di biologia privato di un'azienda farmaceutica. Mesi dopo emerge in un rapporto di threat intelligence su un incidente sfiorato. L'avvocato dell'attore pone una sola domanda: qual era il vostro quadro di controllo? Nel 2024 saresti forse sopravvissuto rispondendo «abbiamo usato l'addestramento al rifiuto». Dopo la ricerca sul MFT e sul riapprendimento, quella risposta è più vicina a una confessione. La difesa basata sul dovere di diligenza nel 2026 è «abbiamo adottato precauzioni all'avanguardia, documentate e stratificate» — e o hai la documentazione del red-team per dimostrarlo, oppure no.

Allora cosa regge davvero?

La conclusione onesta da tutto questo è quella che desideravo di meno, perché è meno elegante di «abbiamo eliminato la conoscenza». Nessuna singola tecnica funziona. Il rifiuto è reversibile. L'unlearning è recuperabile. I filtri di output sono ciechi di fronte alla novità. Lo screening del fornitore è stato aggirato. Ogni singola difesa presenta una violazione dimostrata.

Ciò che regge sono livelli che falliscono in modo indipendente — così che sconfiggerne uno non sconfigga il sistema. È questo ciò che abbiamo finito per costruire, ed è ciò attorno a cui la practice di sicurezza dell'IA per la biosicurezza di Veriprajna è ora organizzata. Non un prodotto che installi. Una difesa integrata in qualunque stack l'azienda farmaceutica già utilizza, perché non elimineranno Chemistry42 o REINVENT per me, e non dovrebbero essere costretti a farlo.

Inizia al momento della generazione. Poniamo davanti al modello un middleware di sicurezza che intercetta l'output SMILES, SELFIES o del grafo molecolare prima che raggiunga il ricercatore — screening dei tossicofori come fanno tutti, ma con l'aggiunta di un punteggio di prossimità nello spazio latente rispetto al manifold delle armi chimiche e del rilevamento degli activity cliff. L'attacco a struttura inedita che oltrepassa un filtro basato su schemi viene intercettato da dove si colloca nella rappresentazione del modello, non da come appare — perché un analogo di un'arma chimica e un farmaco benigno possono sembrare strutturalmente estranei eppure raggrupparsi nella stessa regione dello spazio latente appreso dal modello, l'unica invariante a cui un generatore in cerca di novità non può sfuggire. Ogni intercettazione scrive un registro di audit, perché il registro è ciò che un valutatore ISO 42001 chiede effettivamente di vedere.

L'unlearning ha ancora un posto a livello dei pesi, ma solo con l'umiltà che la ricerca sul riapprendimento ci ha imposto. RMU, ablazione delle feature tramite sparse-autoencoder, il perfezionamento UIPE di un articolo ACL del 2025 — e poi un ciclo di ri-certificazione mensile con red-team di riapprendimento continui, perché ora presumiamo che la lacuna di conoscenza possa erodersi e preferiamo cogliere l'erosione piuttosto che fingere che non possa accadere. Il punteggio WMDP-Bio ha smesso di essere un certificato da incorniciare una volta ed è diventato un segnale vitale che monitoriamo.

Niente di tutto ciò è affidabile senza qualcuno che tenti attivamente di violarlo, quindi il red team opera trimestralmente: attacchi di omologia in stile GeneBreaker, jailbreak tramite prompt SMILES, simulazione di fine-tuning malevolo, recupero per riapprendimento. Il risultato consegnato è un rapporto scritto mappato ai controlli NIST AI 600-1 — il profilo Generative AI che, da luglio 2024, ha esplicitamente indicato il CBRN come uno dei dodici rischi unici. E il ciclo si chiude solo quando effettuiamo lo screening internamente: le sequenze generate vengono confrontate con IGSC, con il protocollo di hashing crittografico di SecureDNA e con un livello di previsione funzionale, prima che qualsiasi ordine di sintesi lasci l'edificio — l'esatta lacuna che il Paraphrase Project ha messo in luce.

La parte che la maggior parte dei fornitori non mette per iscritto

C'è una sezione di ogni incarico su cui insisto, ed è quella che rende credibile tutto il resto: le cose che non possiamo correggere.

Non possiamo risolvere le politiche organizzative. Se il responsabile della R&S vive la revisione di biosicurezza come una tassa sulla velocità di iterazione, nessun livello tecnico sopravvive al contatto con il calendario. Non possiamo rendere l'unlearning dimostrabilmente permanente contro un avversario che possiede i pesi e ha accesso al fine-tuning — UIPE e l'ablazione SAE riducono il rischio, non lo azzerano. WMDP è un indicatore indiretto della conoscenza nota dei precursori; un modello al livello del caso non è certificato sicuro contro capacità che nessuno ha ancora enumerato. E gli attacchi di avvelenamento dei dati a monte avvengono prima che il modello raggiunga l'azienda farmaceutica, il che significa che rilevarli richiede una cooperazione che un consulente a valle non può imporre.

Un fornitore di biosicurezza che afferma di colmare ogni lacuna ti sta dicendo l'unica cosa che dimostra che non le ha trovate tutte.

Quelle avvertenze devono stare sul tavolo in un linguaggio chiaro, nella presentazione al consiglio, nella matrice dei controlli. Non perché l'onestà sia una cosa carina, ma perché l'alternativa — la slide sicura di sé «il vostro modello non può essere usato in modo improprio» che ho quasi consegnato — è esattamente l'affermazione eccessiva che si trasforma nella deposizione.

Le persone mi chiedono se questo significhi che le piccole biotech siano semplicemente sfortunate, sommerse da capacità dei laboratori di frontiera che non possono eguagliare. In realtà è il contrario. I laboratori di frontiera fanno un lavoro concreto — Anthropic ha rilasciato le protezioni ASL-3 su Claude Opus 4 nel maggio 2025, il primo modello commerciale con misure di deployment esplicitamente rivolte al potenziamento delle armi biologiche. Ma quei classificatori proteggono Claude. Non fanno nulla per la tua istanza REINVENT sottoposta a fine-tuning, la tua pipeline di retrieval o il modello a pesi aperti sulle tue GPU. Il livello di pipeline specifico per il settore farmaceutico è esattamente lo spazio che i laboratori di frontiera non possono raggiungere e che i fornitori di piattaforme trattano come una funzionalità anziché come il fulcro. Questa è la lacuna, ed è una lacuna colmabile.

L'altra domanda che mi viene posta è quella operativa: non è lento tutto questo? È più lento che non consegnare nulla, più veloce di una causa legale, e molto più veloce del giorno in cui un'autorità di regolamentazione o un assicuratore chiede prove che non hai mai generato. Lo studio red-team di RAND del 2024 ha rilevato che l'IA non ha alzato il tetto di ciò che un virologo esperto poteva fare — ha alzato il pavimento di ciò che un non esperto poteva tentare. Il rischio non è mai stato superpoteri per pochi. È stata una sofisticazione democratizzata per molti. È un pavimento che difendi con livelli documentati, non con un prompt di rifiuto e buone intenzioni.

Ho iniziato questo lavoro aspettandomi di costruire un modo ingegnoso per eliminare la conoscenza pericolosa da un modello. Ne sono uscito convinto che l'intera impostazione fosse sbagliata — che non si vince la biosicurezza creando un modello che non possa essere usato in modo improprio, perché un modello simile non esiste. Si vince costruendo un sistema in cui ogni livello presume che gli altri verranno sconfitti, e si conservano le prove. Se oggi gestisci una pipeline di chimica o biologia generativa e la risposta onesta a «qual è il vostro quadro di controllo» è un file di configurazione e un prompt di rifiuto, quella non è una postura di sicurezza. È un singolo segno in attesa di essere invertito — e puoi vedere esattamente che aspetto ha invece una postura stratificata.