Il problema
Un'IA per la scoperta di farmaci progettata per individuare medicinali salvavita ha generato 40.000 potenziali armi chimiche — tra cui l'agente nervino VX — in meno di sei ore. I ricercatori di Collaborations Pharmaceuticals hanno condotto l'esperimento su un server standard di livello consumer. Non hanno violato il sistema. Non gli hanno fornito dati riservati. Hanno semplicemente modificato un singolo numero in un file di configurazione, trasformando l'obiettivo dell'IA da "ridurre al minimo la tossicità" a "massimizzare la tossicità". Il modello ha fatto il resto.
È stato previsto che un sottoinsieme significativo di quelle 40.000 molecole fosse più letale del VX stesso. Migliaia erano composti del tutto inediti che non compaiono in alcun database pubblico né in alcuna watchlist governativa. L'IA ha utilizzato esclusivamente dataset chimici open source come ChEMBL. La potenza di calcolo richiesta era accessibile a chiunque disponesse di una GPU di livello consumer. Le competenze necessarie? Informatica a livello di laurea triennale.
Non si è trattato di una valutazione teorica del rischio. È stata una dimostrazione pratica preparata per una conferenza biennale sul controllo degli armamenti organizzata dall'Ufficio federale della protezione civile svizzero. Il modello di IA, addestrato a comprendere cosa rende tossiche le molecole per poterne evitare le proprietà, sapeva intrinsecamente come sfruttarle. Se la tua organizzazione sviluppa, distribuisce o fa affidamento sull'IA per la scoperta di farmaci, le biotecnologie o qualsiasi settore in cui l'ottimizzazione impatta sulla sicurezza fisica, questo esperimento definisce la tua esposizione al rischio in questo preciso momento.
Perché è importante per la tua azienda
Le conseguenze aziendali vanno ben oltre il laboratorio. L'Ordine Esecutivo della Casa Bianca sull'IA sicura, protetta e affidabile (ottobre 2023) identifica esplicitamente l'abbassamento delle barriere da parte dell'IA nello sviluppo di armi chimiche, biologiche, radiologiche e nucleari come una minaccia di primo livello per la sicurezza nazionale. Il Generative AI Profile del NIST (NIST.AI.600-1) segnala specificamente gli "Strumenti di progettazione chimica e biologica" come una categoria di rischio unica. La norma ISO 42001 — il primo standard certificabile al mondo per la gestione dell'IA — impone controlli per la resilienza agli attacchi avversari e la sicurezza dei sistemi di IA.
Se i tuoi sistemi di IA operano in ambiti regolamentati, considera qual è la posta in gioco:
- Esposizione normativa: Un filtro di sicurezza standard non è in grado di dimostrare che impedisca la creazione di minacce biologiche. Può solo mostrare che tenta di filtrarle. Questo approccio di tipo "best effort" probabilmente non supererà i requisiti emergenti di conformità federale per i contratti o per l'integrazione con le piattaforme governative di IA.
- Vulnerabilità avversaria: I ricercatori hanno dimostrato che gli attaccanti possono aggirare i filtri di sicurezza nei principali modelli di IA come GPT-4 e Claude 3 con tassi di successo che a volte superano il 90% per specifiche sostanze tossiche. Lo fanno inserendo il codice strutturale di una molecola invece del suo nome.
- Cecità alle nuove minacce: Quei 40.000 composti generati includevano migliaia di molecole inesistenti in qualsiasi database noto. I tuoi filtri basati su parole chiave non possono bloccare ciò che non hanno mai visto prima.
- Fallimento dell'audit: In base alla norma ISO 42001, è necessario valutare la vulnerabilità agli attacchi avversari e fornire prove dell'esistenza di controlli. In base al NIST AI RMF, è necessario misurare l'affidabilità del sistema tramite metriche quantitative. Un wrapper basato su testo non offre né l'uno né l'altro.
Il tuo consiglio di amministrazione, i tuoi regolatori e le tue compagnie assicurative prima o poi porranno una domanda: puoi dimostrare che la tua IA non possa essere usata contro di te? Oggi la maggior parte delle organizzazioni non è in grado di farlo.
Cosa succede davvero sotto il cofano
Per capire perché questa minaccia sia così difficile da neutralizzare, è necessario comprendere come funzionano effettivamente questi modelli di IA — ed è più semplice di quanto si possa pensare.
I modelli di IA generativa per la scoperta di farmaci apprendono una mappa compressa dello spazio chimico. Pensala come alla mappa di una città in cui ogni edificio rappresenta una possibile molecola. I farmaci sicuri si raggruppano in un quartiere. I composti tossici si raggruppano in un altro. Ma ecco il problema critico: il quartiere "sicuro" e quello "tossico" non sono separati da un muro. Si trovano su un panorama continuo senza alcun confine netto.
È ciò che i ricercatori chiamano "problema dell'entanglement". L'esatta caratteristica molecolare che consente a un farmaco di superare la barriera emato-encefalica per trattare l'Alzheimer è spesso la stessa che permette a un agente nervino di raggiungere il suo bersaglio e provocare la paralisi. Un'elevata affinità di legame — la capacità di una molecola di legarsi saldamente a una proteina — è desiderabile in un farmaco ma letale quando la proteina è l'acetilcolinesterasi, il bersaglio del VX.
I chimici farmaceutici conoscono bene gli "activity cliff" — situazioni in cui una minima variazione strutturale causa un'enorme alterazione della tossicità. Basta sostituire un solo atomo in una molecola altrimenti sicura per ottenere un composto letale. I filtri di sicurezza basati su testo, che operano su parole e nomi anziché sulla struttura molecolare tridimensionale, sono notoriamente inadeguati nell'individuare questi cliff. Un filtro potrebbe approvare una molecola perché appare simile al 99% a un farmaco sicuro, non rilevando l'unica sostituzione che la rende letale.
C'è anche il "representation collapse", in cui il modello interno dell'IA mappa una tossina e un farmaco sicuro sullo stesso punto perché non riesce a distinguere le loro sottili differenze strutturali. Quando il modello stesso non riesce a distinguerli internamente, nessun filtro esterno potrà salvarti.
Cosa funziona (e cosa no)
Iniziamo da ciò che fallisce — perché la tua organizzazione potrebbe fare affidamento su uno di questi approcci proprio ora.
Filtri basati su parole chiave e nomi: Questi bloccano la parola "VX" o "Sarin", ma lasciano passare indisturbato l'input quando qualcuno inserisce il codice di una struttura molecolare. La stringa SMILES del Sarin è O=P(C)(F)O. Il tuo filtro vede una notazione chimica, non un'arma.
Sistemi di revisione post-generazione: Questi consentono all'IA di generare prima un candidato, per poi farlo esaminare da un secondo sistema. Ma l'IA ha già eseguito il calcolo pericoloso. Per i composti inediti non presenti in alcuna watchlist, il sistema di revisione non ha termini di confronto e ne autorizza il passaggio.
Addestramento all'allineamento e prompt engineering: I ricercatori hanno dimostrato che un attacco di "SMILES-prompting" aggira l'addestramento alla sicurezza nei principali modelli di IA con tassi di successo superiori al 90% per determinate sostanze. Se il tuo sistema di sicurezza può essere eluso semplicemente passando dall'inglese alla notazione chimica, non è un vero sistema di sicurezza.
Ecco cosa funziona davvero — un approccio denominato Latent Space Governance, che sposta i controlli di sicurezza dal livello di output al nucleo matematico del modello di IA:
Mappare le zone di pericolo prima del deployment. Utilizzando una tecnica matematica chiamata Topological Data Analysis, si mappa il panorama interno dell'IA per identificare con precisione dove si trovano le regioni tossiche e quelle sicure. Ciò genera una "Safety Topology Map" che definisce i confini in base alle proprietà molecolari, non a elenchi di parole chiave. Questa mappa rileva i composti inediti perché definisce la sicurezza in base alla forma, non al nome.
Integrare i vincoli direttamente nel processo di generazione. Invece di lasciare che l'IA generi liberamente per poi filtrare a posteriori, si addestrano reti leggere di "Constraint Critic" che operano direttamente sulle rappresentazioni interne dell'IA. Durante la generazione, questi critic calcolano se l'IA sta deviando verso una regione pericolosa. In tal caso, un meccanismo di guida basato sul gradiente reindirizza la traiettoria verso un territorio sicuro prima che venga prodotto qualsiasi output. L'IA prende di fatto in considerazione una molecola tossica, ma è matematicamente vincolata a risolverla in un'alternativa sicura.
Fissare confini di sicurezza rigidi e resistenti alle manomissioni. A differenza dell'esperimento MegaSyn, in cui la modifica di un singolo numero in un file di configurazione ha ribaltato l'intera postura di sicurezza, i vincoli strutturali sono incorporati nell'architettura del motore di inferenza. Per eluderli, un attaccante dovrebbe riprogettare radicalmente il software da zero — non semplicemente modificare un'impostazione.
Per il tuo team di conformità, questo approccio offre qualcosa che i wrapper basati su testo non possono garantire: una prova matematica di comportamento vincolato. È possibile registrare non solo gli output, ma ogni singola violazione dei vincoli tentata dal modello durante la generazione. Puoi fornire ai revisori un certificato di sicurezza statistico — ad esempio, una probabilità di generazione tossica inferiore a una su un milione. Tale evidenza supporta la certificazione ISO 42001 e la conformità al NIST AI RMF in modi che un "abbiamo un filtro per parole chiave" non potrà mai fare.
Questa architettura consente inoltre di aggiornare le definizioni delle minacce senza dover riaddestrare l'intero foundation model. Quando viene identificata una nuova classe di composti pericolosi, si aggiorna il Constraint Critic — un'operazione leggera — mentre l'IA principale continua a funzionare. Per le organizzazioni che operano in sanità e scienze della vita, questa agilità è fondamentale con l'evolversi del panorama delle minacce.
Il processo di valutazione, benchmarking e red teaming sottopone poi il tuo sistema distribuito ad attacchi avversari automatizzati — inclusi bot di SMILES-prompting e algoritmi evolutivi progettati per individuare vulnerabilità — per verificare che i vincoli reggano sotto pressione.
Puoi leggere l'analisi tecnica completa per la formulazione matematica completa, oppure esplorare la versione interattiva per una panoramica guidata dell' architettura neuro-simbolica e dei sistemi di vincoli alla base di questo approccio.
Punti chiave
- Un'IA per la scoperta di farmaci ha generato 40.000 potenziali armi chimiche — tra cui l'agente nervino VX — in meno di 6 ore su hardware consumer con dati open source.
- Gli attacchi di SMILES-prompting aggirano i filtri di sicurezza nei principali modelli di IA come GPT-4 e Claude 3 con tassi di successo superiori al 90% per determinate sostanze tossiche.
- I filtri di sicurezza basati su testo non sono in grado di rilevare composti inediti, activity cliff o codici strutturali — riconoscono solo i nomi che è stato loro indicato di bloccare.
- La sicurezza strutturale dell'IA integra vincoli nel nucleo matematico del modello, prevenendo gli output pericolosi prima della generazione anziché filtrarli a posteriori.
- Le normative emergenti — l'Ordine Esecutivo della Casa Bianca, il NIST AI RMF e la norma ISO 42001 — richiedono sempre più controlli di sicurezza dimostrabili, non un filtraggio di tipo best effort.
In sintesi
La barriera per trasformare un'IA per la scoperta di farmaci in un'arma è ormai ridotta a una GPU consumer e alla modifica di una riga di codice. I wrapper di sicurezza basati su testo falliscono contro i composti inediti e gli attacchi tramite codice strutturale. La tua IA necessita di vincoli matematici integrati nel proprio processo di generazione — non di filtri aggiunti a posteriori sui suoi output. Chiedi al tuo fornitore di IA: se qualcuno invertisse oggi la funzione di ricompensa del tuo modello, potresti dimostrare che non può generare output tossici, o ti stai affidando a filtri di parole chiave che uno studente di chimica può facilmente aggirare?