Un'IA ha progettato 40.000 potenziali armi chimiche in sei ore. Non riesco a smettere di pensare a cosa significhi.

Ero seduto in una camera d'albergo a Zurigo, stordito dal fuso orario e intento a leggere distrattamente un paper sul mio laptop, quando una singola tabella mi ha gelato.

40.000 molecole. Meno di sei ore. Un server di livello consumer — quello che troveresti in una stanza di un campus universitario. E l'output non era spazzatura. Il modello aveva riscoperto il VX, uno degli agenti nervini più letali mai sintetizzati, e poi si era spinto oltre — generando migliaia di nuovi analoghi che si prevede siano più letali dello stesso VX. Composti che non compaiono in nessun database pubblico. Che non esistono in nessuna watchlist governativa.

I ricercatori di Collaborations Pharmaceuticals non avevano costruito un'arma. Avevano preso un modello commerciale di scoperta di farmaci chiamato MegaSyn — uno strumento progettato per trovare cure per malattie rare — e cambiato un singolo segno nella sua funzione di ricompensa. Da meno a più. Penalizzare la tossicità è diventato massimizzare la tossicità. Tutto qui. Una riga di codice, e la macchina è passata da guaritore a progettista di armi con la stessa disinvoltura.

Ho chiuso il laptop e ho fissato il muro a lungo.

Dirigo Veriprajna, un'azienda che costruisce sistemi di IA per ambienti aziendali ad alto rischio. Lavoriamo all'intersezione tra il deep learning e settori in cui sbagliare non significa un cattivo consiglio — significa un danno reale, fisico. Quella notte a Zurigo, ho capito che l'intero paradigma di sicurezza che l'industria dell'IA stava vendendo — i guardrail, i filtri sui contenuti, i trucchi di prompt engineering — era costruito su fondamenta di sabbia. E sapevo che dovevamo fare qualcosa di radicalmente diverso.

L'esperimento che avrebbe dovuto cambiare tutto

Ecco cosa mi tormenta dell'esperimento di Collaborations Pharmaceuticals: non è stato difficile.

Il team ha usato una rete neurale basata su LSTM addestrata su stringhe SMILES — una rappresentazione testuale delle strutture molecolari. I dati di addestramento provenivano da ChEMBL, un database pubblicamente disponibile che qualsiasi studente laureando può scaricare. Il costo computazionale era irrisorio. L'intera architettura è ben documentata nella letteratura aperta.

Il modello funzionava generando molecole candidate e valutandole rispetto a una funzione obiettivo. Nella sua normale modalità terapeutica, quella funzione era più o meno così: premiare la bioattività, penalizzare la tossicità. I ricercatori hanno invertito la penalità. Il generatore stesso — il motore che crea effettivamente le molecole — non è mai stato modificato. Ha semplicemente seguito il nuovo gradiente, salendo verso la massima letalità allo stesso modo in cui prima saliva verso il massimo valore terapeutico.

Se un modello capisce cosa rende sicura una molecola, per definizione capisce cosa la rende non sicura. Sono regioni complementari dello stesso spazio matematico.

Non si tratta di un bug. È l'architettura che funziona esattamente come progettata. Ed è questa la parte terrificante.

La barriera all'ingresso per progettare sofisticati agenti biochimici è crollata — non perché qualcuno ha trapelato una ricetta, ma perché l'intelligenza computazionale per progettarli è ora disponibile democraticamente. Una GPU consumer. Uno script Python. Un dataset open source. Ecco la lista della spesa completa.

Perché ogni soluzione di sicurezza dell'IA manca il bersaglio?

Dopo Zurigo, ho passato settimane a parlare con team che costruiscono "IA sicura" per il settore farmaceutico e biotecnologico. Le conversazioni seguivano uno schema deprimente.

"Abbiamo dei guardrail", dicevano. "Filtriamo gli output."

Io chiedevo: cosa succede quando qualcuno inserisce una stringa SMILES invece di un nome di molecola?

Sguardi vuoti.

Ecco il problema con l'intero paradigma di sicurezza basato sui wrapper — l'approccio in cui prendi un modello potente, lo avvolgi in un sottile strato di filtraggio dei contenuti e lo definisci pronto per l'azienda. Questi sistemi operano sul linguaggio. Cercano parole chiave. Confrontano gli output con liste di cose note come dannose.

Ma la tossicità non è una parola. È una geometria.

Un filtro dei contenuti bloccherà la parola "Sarin". Non bloccherà O=P(C)(F)O — la rappresentazione SMILES del Sarin che il modello comprende perfettamente. Ricerche recenti sugli attacchi di SMILES-prompting hanno mostrato tassi di aggiramento superiori al 90% contro modelli di punta come GPT-4 e Claude 3 per sostanze specifiche. Novanta percento. Quello non è un sistema di sicurezza. È una cassetta dei suggerimenti.

E peggiora ulteriormente. In chimica farmaceutica, esiste un fenomeno chiamato "activity cliff" — dove un minuscolo cambiamento strutturale, a volte la sostituzione di un singolo atomo, provoca uno spostamento enorme nell'attività biologica. Sostituisci un gruppo ossidrile con un atomo di fluoro e un farmaco sicuro diventa letale. Un filtro basato sul testo che vede due molecole come simili al 99% lascerà passare quella pericolosa, perché sta confrontando la sintassi, non la funzione. È come approvare un documento perché il carattere sembra giusto senza leggerne le parole.

Ho scritto in modo approfondito su queste vulnerabilità tecniche nella versione interattiva della nostra ricerca, ma l'intuizione centrale è semplice: se il tuo meccanismo di sicurezza opera sulla superficie del modello — sul testo che entra e sul testo che esce — hai lasciato il vero motore della creazione completamente privo di governo.

La notte in cui abbiamo capito che stavamo ragionando in modo sbagliato

C'è stato un momento — lo ricordo con precisione perché io e il mio CTO stavamo litigando alle 23 davanti a una pizza fredda — in cui l'intero problema si è riformulato per noi.

Avevamo cercato di costruire filtri migliori. Classificatori più intelligenti. Blocklist più complete. E ogni volta che li sottoponevamo a stress test, trovavamo un altro modo per aggirarli. Un altro trucco di codifica. Un altro caso limite in cui una molecola nuova sfuggiva perché non era in nessun database.

Il mio CTO ha detto qualcosa che ha fermato la discussione: "Continuiamo a cercare di intercettare gli output cattivi. E se rendessimo impossibile al modello di pensarli in primo luogo?"

È stato allora che abbiamo iniziato a parlare di spazio latente.

Cos'è lo spazio latente, e perché dovrebbe interessarti?

Ogni modello di IA generativa — che crei immagini, testo o molecole — funziona comprimendo il mondo in uno spazio matematico. Questa rappresentazione compressa è chiamata spazio latente. Pensalo come l'immaginazione interna del modello. Quando un generatore molecolare "progetta" un nuovo farmaco, non sta assemblando atomi a caso. Sta navigando in un paesaggio ad alta dimensionalità dove molecole simili si raggruppano insieme e la generazione è l'atto di scegliere un punto su quel paesaggio e decodificarlo di nuovo in una struttura reale.

Ecco cosa conta: in questo paesaggio, la tossicità non è un'etichetta. È una regione. Un territorio continuo e vasto che si fonde e si intreccia con le regioni che rappresentano il valore terapeutico. Le caratteristiche che permettono a un farmaco di attraversare la barriera ematoencefalica per trattare l'Alzheimer sono spesso le stesse caratteristiche che permettono a un agente nervino di raggiungere il suo bersaglio e causare paralisi. Un'elevata affinità di legame — la capacità di una molecola di aggrapparsi saldamente a una proteina — è esattamente ciò che vuoi in un farmaco antitumorale ed esattamente ciò che rende letale il VX.

Tossicità e valore terapeutico non sono facce opposte di una stessa medaglia. Sono vicini di casa sulla stessa varietà, che condividono una recinzione e a volte una porta d'ingresso.

Questo intreccio è il motivo per cui i semplici meccanismi di "rifiuto" falliscono in modo catastrofico. Se dici al modello di bloccare tutto ciò che è associato alla tossicità — diciamo, tutte le molecole che penetrano la barriera ematoencefalica — non blocchi solo le armi. Distruggi la capacità del modello di progettare trattamenti per malattie neurologiche. Hai eseguito una lobotomia in nome della sicurezza.

La vera sfida non è bloccare gli output cattivi. È navigare le regioni sicure di questo paesaggio rendendo le regioni pericolose matematicamente irraggiungibili.

Come si presenta concretamente la "Governance dello Spazio Latente"?

Abbiamo coniato il termine Governance dello Spazio Latente per descrivere quello che riteniamo sia l'unico approccio difendibile alla sicurezza dell'IA nei domini generativi ad alto rischio. L'idea è ingannevolmente semplice: invece di filtrare gli output dopo che il modello li genera, vincola la navigazione del modello nel suo paesaggio interno prima che qualsiasi cosa venga mai prodotta.

Illustrerò cosa significa questo nella pratica, perché il diavolo sta nell'implementazione.

Mappare il terreno prima che chiunque si muova

Prima di distribuire qualsiasi modello generativo, eseguiamo quello che chiamiamo audit topologico. Utilizzando una tecnica chiamata Omologia Persistente — un ramo dell'Analisi Topologica dei Dati — calcoliamo un'impronta matematica delle regioni sicure dello spazio latente del modello. Identifichiamo le forme, i buchi e i confini che separano il territorio terapeutico dal territorio tossico.

Questo ci dà qualcosa che nessuna blocklist potrebbe mai dare: una comprensione strutturale di come appare la "sicurezza" nella geometria stessa del modello. Quando viene generata una molecola nuova — qualcosa che non compare in nessun database — possiamo valutare se si trova sulla varietà sicura o se è andata alla deriva in territorio inesplorato e potenzialmente pericoloso.

I critic che non dormono mai

Non riaddestriamo il modello generativo di base. È costoso, rischia l'oblio catastrofico e crea problemi propri. Invece, addestriamo reti ausiliarie leggere che chiamiamo Critic di Vincolo — funzioni di valore che operano direttamente sui vettori latenti e predicono punteggi di rischio in tempo reale.

L'eleganza architetturale qui conta: poiché i Critic sono disaccoppiati dal generatore, possiamo aggiornarli man mano che emergono nuove minacce senza toccare il modello di base. Quando viene identificata una nuova classe di preoccupazione chimica, riaddestriamo il Critic, non l'intero sistema.

Guidare, non filtrare

Durante la generazione, quando il modello campiona un punto nello spazio latente, il Critic calcola il gradiente della superficie di tossicità in quel punto. Se la traiettoria si sta dirigendo verso una regione pericolosa, un gradiente opposto la spinge di nuovo sulla varietà sicura — usando una tecnica basata sulla Dinamica di Langevin.

Il modello di fatto "immagina" una molecola tossica ma è matematicamente costretto a risolvere quel pensiero in un analogo sicuro prima che venga prodotto qualsiasi output. Nulla di pericoloso raggiunge mai lo strato di output. Non c'è nulla da filtrare perché non c'è nulla di non sicuro da intercettare.

Il modello non genera un'arma per poi essere fermato alla porta. È architetturalmente incapace di camminare verso la porta in primo luogo.

Questa è la differenza tra il filtraggio post-hoc e il vincolo strutturale. Uno è una guardia di sicurezza che controlla i documenti d'identità. L'altro è un edificio senza ingresso al piano riservato.

Per la formulazione matematica completa — inclusi il framework di ottimizzazione vincolata e le equazioni di steering del gradiente — vedi il nostro approfondimento tecnico.

Perché non puoi semplicemente bloccare del tutto le regioni pericolose?

La gente me lo chiede continuamente, ed è una domanda legittima. Se sai dove si trova la varietà tossica, perché non isolarla completamente?

A causa dell'intreccio. Ricorda — le caratteristiche che rendono mortale un agente nervino si sovrappongono in modo significativo alle caratteristiche che rendono efficace un farmaco neurologico. Se isoli in modo troppo aggressivo, distruggi l'utilità terapeutica. Se isoli in modo troppo lasco, lasci delle lacune.

Il nostro approccio infila questo ago attraverso quello che chiamiamo Apprendimento per Rinforzo Vincolato con Incentivi Adattivi. Invece di un muro binario — sicuro/non sicuro — implementiamo una zona cuscinetto a gradiente. Man mano che il modello si avvicina al confine della tossicità, una penalità crescente lo respinge, come un campo di forza che diventa più forte quanto più ti avvicini. Questo permette al modello di esplorare i bordi produttivi dello spazio chimico — dove spesso vivono i farmaci più innovativi — senza mai sconfinare nel pericolo.

L'RL vincolato standard è notoriamente instabile e oscilla attorno al confine del vincolo. Abbiamo risolto questo con un meccanismo di incentivo adattivo che premia il modello per il fatto di rimanere ben dentro i limiti, non solo per non oltrepassarli. La differenza sembra sottile. Nella pratica, è la differenza tra un sistema che è sicuro sulla carta e uno che è sicuro sotto pressione avversaria.

La resa dei conti normativa è già qui

Parlo con molti founder che trattano la sicurezza dell'IA come un optional. Una casella da spuntare per il team di conformità. Qualcosa di cui preoccuparsi dopo aver raggiunto il product-market fit.

Si sbagliano, e il panorama normativo sta per dimostrarlo.

L'Ordine Esecutivo della Casa Bianca sull'IA identifica esplicitamente il rischio che l'IA abbassi le barriere allo sviluppo di armi CBRN (Chimiche, Biologiche, Radiologiche, Nucleari) come una minaccia alla sicurezza nazionale di primo livello. La Genesis Mission, lanciata alla fine del 2025, incarica il Dipartimento dell'Energia di costruire una piattaforma di IA integrata per la scoperta scientifica con "misure di cybersicurezza basate sul rischio" obbligatorie. Il Generative AI Profile del NIST (NIST.AI.600-1) individua specificamente gli Strumenti di Progettazione Chimica e Biologica come una categoria di rischio unica, avvertendo che questi strumenti "potrebbero prevedere strutture nuove" non presenti nei dati di addestramento. E la ISO 42001 — il primo standard internazionale per i sistemi di gestione dell'IA — richiede una robustezza comprovata contro gli attacchi avversari.

Un wrapper non può dimostrare di prevenire la creazione di minacce biologiche. Può solo dimostrare di provare a filtrarle. Quella distinzione del "miglior sforzo" conterà enormemente quando in gioco ci saranno contratti federali, certificazione ISO e approvazione normativa.

I nostri vincoli strutturali forniscono qualcosa di radicalmente diverso: la prova di un comportamento limitato. Possiamo dimostrare ai regolatori — matematicamente — che la varietà CBRN è inaccessibile ai nostri modelli. Non "cerchiamo di bloccarla". Non "non l'abbiamo ancora vista passare". Inaccessibile.

Un investitore mi ha detto di "usare semplicemente GPT e aggiungere dei filtri"

Voglio condividere questo perché penso che catturi il divario tra dove si trova l'industria e dove deve arrivare.

All'inizio della nostra raccolta fondi, un investitore — qualcuno con un solido portafoglio nell'IA aziendale — ha ascoltato il nostro pitch e ha detto, in sostanza: "Questo è sovraingegnerizzato. Usa semplicemente GPT-4 con un buon system prompt e un endpoint di moderazione. Nessuno farà il jailbreak di uno strumento farmaceutico."

Ho tirato fuori la ricerca sul SMILES-prompting sul mio telefono e gli ho mostrato i tassi di aggiramento superiori al 90%. Gli ho mostrato i risultati di MegaSyn. Gli ho spiegato che le molecole che il suo "endpoint di moderazione" avrebbe dovuto intercettare non hanno ancora un nome — sono composti nuovi che non esistono in nessun database.

Ha fatto una lunga pausa e poi ha detto: "Quindi mi stai dicendo che ogni azienda di sicurezza dell'IA nel biotech sta vendendo una serratura che non funziona?"

"Ti sto dicendo che stanno vendendo una serratura sulla porta d'ingresso di un edificio senza mura."

Non ha investito. Non tutti sono pronti per questa conversazione. Ma quelli che lo sono — le aziende farmaceutiche che gestiscono programmi clinici, gli appaltatori della difesa con mandati CBRN, le aziende biotech che puntano alla certificazione ISO 42001 — capiscono che la sicurezza strutturale non è una funzionalità premium. È il prodotto minimo funzionante.

La parte che mi tiene sveglio la notte

L'esperimento MegaSyn è stato pubblicato nel 2022. Ha usato architetture del 2018. I modelli disponibili oggi sono di ordini di grandezza più capaci.

E l'infrastruttura di "sicurezza" che l'industria ha costruito in risposta? Filtri di parole chiave migliori. System prompt perfezionati. Blocklist più complete. Stiamo costruendo auto più veloci e rispondendo con dossi rallentatori migliori.

Non credo che la maggior parte delle persone nell'IA — nemmeno la maggior parte di quelle che costruiscono strumenti di sicurezza per l'IA — abbia pienamente interiorizzato cosa significhi che la capacità di progettare nuove armi chimiche ora costa meno di un PC da gaming. Che la conoscenza non si trova in qualche documento riservato; è codificata nelle rappresentazioni apprese di modelli addestrati su dati chimici pubblicamente disponibili. Che non puoi dis-insegnare a un modello cosa significhi tossicità senza dis-insegnargli cosa significhi terapia, perché sono la stessa conoscenza, vista da angolazioni diverse.

Non possiamo risolvere un problema geometrico con una toppa linguistica. Il pericolo vive nello spazio latente del modello, ed è lì che deve vivere anche la governance.

L'era dei wrapper deve finire. Non perché i wrapper siano prodotti scadenti — molti sono ben intenzionati e utili per applicazioni a basso rischio. Ma perché nei domini in cui l'IA tocca il mondo fisico — progettazione di farmaci, sintesi chimica, ingegneria biologica — la sicurezza superficiale è un ossimoro. Crea l'apparenza di controllo lasciando al contempo il motore della creazione completamente privo di governo.

In Veriprajna, abbiamo scelto una strada più difficile. Abbiamo scelto di andare dentro il modello — nella sua geometria, nella sua topologia, nella sua struttura latente — e costruire la sicurezza nella matematica stessa. Non come un filtro. Non come un guardrail. Come un vincolo su ciò che il modello può immaginare.

Ecco come credo che sarà il futuro della sicurezza dell'IA: non guardie più intelligenti al cancello, ma edifici progettati in modo che le stanze pericolose non esistano. Non una moderazione dei contenuti migliore, ma modelli la cui geometria interna rende il danno strutturalmente impossibile.

Non l'abbiamo costruito perché era facile o perché il mercato lo chiedeva. L'abbiamo costruito perché quella tabella — 40.000 molecole, sei ore, un server consumer — ci ha detto che qualsiasi cosa di meno è negligenza travestita da innovazione.