Un modello perfetto non può impedire al vostro laboratorio a guida autonoma di eseguire una sintesi fallimentare. Ho costruito il gate che lo fa.
I ricercatori che vedono ciò che costruiamo continuano a farmi la stessa domanda, e per molto tempo ho risposto nel modo in cui volevano. «Qual è il vostro moltiplicatore di efficienza campionaria?» Di quanti esperimenti in meno ha bisogno il vostro ciclo rispetto allo screening per forza bruta? È una domanda lecita. Ma è anche, sono giunto a credere, quella sbagliata da cui partire, e non ne ho capito il motivo finché non mi sono seduto a guardare un robot simulato impegnarsi allegramente in una ricetta che si sarebbe ossidata all'aria prima ancora di finire la miscelazione.
Sono Ashutosh e guido Veriprajna. Costruiamo il cervello, il gate di sicurezza e il livello di provenienza per i laboratori a guida autonoma, sull'hardware che un laboratorio già possiede. Non una struttura robotica in hosting. Non un sostituto per gli strumenti che un gruppo di scienza dei materiali ha impiegato un decennio ad acquistare. Il sottile strato software portante che decide cosa eseguire dopo, rifiuta gli esperimenti destinati al fallimento e conserva il tipo di registro richiesto da un ente regolatorio. Questa demo, che potete aprire e provare voi stessi su veriprajna.com/it/demos/autonomous-lab-ai-il-safety-gate-e-l-audit-trail-per-un-laboratorio-a-guida-autonoma, è il luogo in cui sono andato a dimostrare a me stesso che il prodotto è il layer, non il modello.
Il numero che tutti mi chiedono è quello sbagliato
Ho trascorso il primo mese di questo sviluppo a inseguire il moltiplicatore, perché è ciò che il settore premia. La discussione attuale sui laboratori a guida autonoma è una corsa verso un surrogato migliore e un rapporto di ottimizzazione bayesiana rispetto allo screening più elevato. Lo capisco. È un numero pulito e citabile. Sul nostro obiettivo nascosto, il ciclo chiuso raggiunge un materiale conforme alle specifiche in 75 esperimenti dove lo screening casuale ne richiederebbe circa 1.491, che la dashboard riporta come 19,9 volte inferiore. Questo è un risultato reale su una baseline reale e riproducibile, e sono felice che ci sia.
Ma ecco la cosa che mi ha fermato. Un surrogato perfetto, capace di prevedere ogni proprietà in modo impeccabile, non può comunque impedire l'esecuzione di una sintesi con sbilanciamento di carica. Non può rifiutare una composizione che si ossiderà a contatto con l'aria umida. Non può produrre un registro che un ente regolatore del farmaco accetterebbe. E non può, da solo, chiudere il ciclo. Il modello è la parte su cui tutti competono, ed è la parte che ha il valore meno duraturo, perché nel momento in cui il vostro modello è buono, il vostro problema non è più la previsione. È il controllo, la sicurezza e la prova.
Un modello migliore non rende affidabile un laboratorio autonomo. Lo rende solo più veloce nell'eseguire esperimenti per i quali non potete ancora dimostrare che avreste dovuto eseguire.
L'A-Lab di Berkeley, uno dei progetti di sintesi autonoma più citati, ha riportato una percentuale di successo del 71%, il che significa che circa il 29% dei suoi tentativi non ha prodotto il target (A-Lab, Nature, 2023). Leggete questo numero come lo legge un direttore di laboratorio. Quasi un terzo del tempo robot e dei reagenti è andato in esperimenti che non hanno prodotto nulla. Una funzione di acquisizione migliore non risolve questo problema. Deve farlo qualcos'altro.
Quanto costa davvero un esperimento destinato a fallire?
Ho costruito il gate per secondo, ed è risultato essere la cosa che avrei dovuto costruire per prima. Si trova al di fuori degli agenti, in codice deterministico, e ogni candidato proposto dall'ottimizzatore deve passarvi attraverso prima che venga toccato anche un solo reagente. Esegue cinque controlli, e ognuno di essi è chimica pubblicata, non un'euristica inventata da me: fattore di tolleranza di Goldschmidt al di fuori della finestra di formabilità delle perovskiti, fattore ottaedrico al di fuori della finestra degli ottaedri stabili, neutralità di carica violata da una sostituzione nel sito B non compensata, un rischio di ossidazione di Sn(II) all'umidità di processo, e ricottura al di sopra della temperatura alla quale i precursori organici si decompongono. Se un candidato viola uno qualsiasi di essi, il gate restituisce BLOCKED, cita la regola e riporta il denaro e le ore-robot appena risparmiati.
La prima volta che ho fatto clic su una di queste schede bloccate, ho sentito che la questione era risolta. Guardate cosa mostra il pannello. Una composizione ricca di Sn(II), all'umidità di processo, che il gemello digitale rifiuta perché lo stagno in quello stato di ossidazione si ossida all'aria umida. Non è una previsione errata che il modello avrebbe dovuto cogliere. È un dato di fatto fisico che il modello non è mai stato lo strumento adatto a far rispettare. Il gate ha risparmiato 105 dollari e poco più di due ore-robot su quel singolo candidato, e ha emesso una ricevuta per la decisione. Moltiplicatelo per un'intera campagna e non starete più parlando di un optional gradito. State parlando di aver chiuso intenzionalmente quella perdita del 29%.
Voglio essere preciso su cosa sia questo, perché un'impostazione onesta mi interessa più di una impressionante. Il «laboratorio» dietro questo gate è un simulatore con un'interfaccia modellata su SiLA-2, e l'obiettivo è un benchmark sintetico motivato fisicamente, non DFT reale e non dati reali di laboratorio. Non sto sostenendo che abbiamo sintetizzato un materiale. Sostengo che il meccanismo, il rifiuto deterministico della chimica destinata al fallimento, è reale, ispezionabile e indipendente da quanto sia valido qualsiasi modello.
Ho provato a lasciare che il modello si controllasse da solo. Mi ha mentito senza battere ciglio.
All'inizio non credevo che il gate dovesse essere deterministico. Il mio primo istinto, a dire il vero, è stato quello di moda: lasciare che gli agenti basati su modelli linguistici ragionassero sulla fattibilità. Avevo un agente Lab Director che raccontava la strategia e un agente Critic che segnalava le derive, e sembrava elegante chiedere semplicemente loro, in effetti: «questo candidato è sicuro e ragionevole?» Così per un pomeriggio ho lasciato che il giudizio del modello sostituisse il controllo.
Ha razionalizzato una composizione sbilanciata nella carica. Con estrema sicurezza. Mi ha fornito un paragrafo fluido sul perché la sostituzione nel sito B andasse probabilmente bene, e il paragrafo era errato, e nulla nel suo tono faceva trasparire che fosse sbagliato. Quello è stato il pomeriggio in cui il principio di progettazione ha smesso di essere uno slogan ed è diventato una regola inderogabile.
Gli agenti consigliano, il codice decide. In un laboratorio a guida autonoma questa non è una limitazione. È l'unico modo in cui l'autonomia guadagna il diritto di funzionare senza supervisione.
Così ho spostato in modo permanente la decisione su fattibilità e sicurezza fuori dagli agenti e nel codice deterministico, e ho reso anche l'ottimizzatore indipendente dal modello linguistico. Gli agenti descrivono e criticano, e se eseguite la demo senza una chiave API ripiegano su una narrazione deterministica e tutto continua a funzionare, perché il gate e l'ottimizzatore non dipendono mai dal modello in alcun modo. L'ottimizzatore in sé non è esotico, e preferisco essere onesto piuttosto che impressionare: è un surrogato basato su processi gaussiani con acquisizione ParEGO orientata al target, scritto in numpy e scipy. Un metodo maturo, volutamente non appariscente. Il passaggio alla produzione prevede BoTorch e Ax. Il punto non è mai stato avere un ottimizzatore ingegnoso. Il punto era che la parte a cui affidate la sicurezza non può essere quella che si esprime con paragrafi sicuri di sé.
Il tabellone che mi interessa davvero
Ora guardo questo tabellone in modo diverso rispetto a quando ho iniziato. L'occhio di tutti va alla cifra di 19,9 volte, ed è davvero notevole. Ma il numero che indico quando un responsabile R&D chiede cosa cambiamo realmente è quello subito accanto: 38 candidati non fattibili bloccati prima della sintesi, 4.419 $ di reagenti sprecati e 90,1 ore-robot evitati, e zero esperimenti fallimentari eseguiti. Sul medesimo obiettivo nascosto, lo screening casuale non avrebbe solo richiesto più tempo. Avrebbe consumato tutto questo.
Il moltiplicatore diventa meno impressionante man mano che i modelli di tutti migliorano. Lo spreco evitato dal gate e il registro che esso conserva diventano soltanto più preziosi.
Notate cosa non ha fatto il ciclo. Non ha preteso la perfezione. Nel benchmark multi-seed, il ciclo chiuso ha risolto 9 esecuzioni su 10 entro il budget, non 10 su 10, e il ciclo assorbe un tasso dal 10 al 15% di guasti robotici iniettati, poiché i robot reali falliscono e fingere il contrario renderebbe la demo una menzogna. Uno dei record nella traccia di audit è una sintesi che è fallita ed è stata acquisita come dato negativo, perché un laboratorio a guida autonoma che scarta i propri fallimenti sta buttando via esattamente l'informazione che affina i confini. L'ho mantenuto visibile di proposito.
E il moltiplicatore ha un perimetro da cui non permetterò a nessuno di prescindere. Il risultato di 75 rispetto a 1.491, le 19,9 volte, i 4.419 $, tutto ciò è ottimizzazione bayesiana rispetto a baseline su un unico obiettivo sintetico nascosto. È una prova a supporto del fatto che il motore funziona. Non è una garanzia open-world, e se il ciclo non fosse riuscito a battere le baseline, starei riportando quello. Il valore da cui parto, lo spreco evitato e la provenienza, si mantiene a qualsiasi livello di qualità del modello. Il moltiplicatore è la parte che dipende dal benchmark, quindi è la parte a cui tengo saldamente legata questa precisazione.
Un ente regolatorio crederebbe al vostro robot?
Non mi aspettavo che il livello di provenienza fosse l'elemento che avrebbe convinto le persone, ma è quello che colpisce di più chiunque lavori sotto un ente regolatorio. I «Guiding Principles for AI in drug development» del 2026 di FDA ed EMA richiedono una provenienza attribuibile e contemporanea. In parole povere: per ogni decisione automatizzata, chi o cosa l'ha presa, su quali basi, in quale momento, e potete dimostrare che il record non è stato modificato da allora? Un surrogato migliore non vi avvicina di un millimetro a questo. Un record sì.
Un laboratorio a guida autonoma che non può dimostrare cosa ha fatto la scorsa notte non è autonomo. È irresponsabile, e nessun laboratorio regolamentato lo farà funzionare due volte.
Così ogni decisione presa dal sistema, sia una sintesi sia un blocco, diventa un record ALCOA+ in append-only: una marca temporale, l'algoritmo che ha effettuato la scelta, le proprietà previste e la loro incertezza, la motivazione, il verdetto del gate e il risultato misurato. Ciascun record contiene un hash SHA-256 concatenato a quello precedente. Nell'intera campagna con seed-411 si è arrivati a 113 record, 75 sintesi e 38 blocchi, ed è possibile esportare l'intero contenuto sia in formato JSON che come report renderizzato.
Qui è dove devo fare attenzione, e dove ho visto altri fare promesse eccessive. Questa è la provenienza ALCOA+ mappata, e non è validata IQ/OQ/PQ rispetto alla procedura operativa standard di un cliente. Quella validazione rappresenta l'incarico su misura, non è una casella da spuntare in una demo. Ciò che posso mostrarvi è che la proprietà è reale e ispezionabile, non decorativa. Perciò ho creato un test di manomissione (Tamper test) che modifica un record ed esegue nuovamente la verifica della catena.
La prima volta che ho eseguito quel test e l'ho visto stampare «Chain broken at record #2: tamper detected. The filed audit is provably altered», ho capito cosa avevo realmente costruito. Non un ottimizzatore più veloce. Un layer che consente a un laboratorio di dimostrare, a posteriori, che le sue decisioni autonome sono esattamente quelle riportate nei registri. Questa è la cosa che non si può comprare con un modello migliore, ed è ciò che un ente regolatorio, un auditor o voi stessi in futuro chiederete.
Cosa penso che manchi nella corsa ai laboratori a guida autonoma
Non intendevo schierarmi contro l'efficienza campionaria, e voglio chiarire che non lo sto facendo. Raggiungere un obiettivo con meno esperimenti ha un valore reale e il nostro ciclo lo garantisce. Ciò di cui mi sono convinto, dopo aver costruito l'intero sistema e aver compreso dove risiedesse davvero la mia fiducia, è che il settore si è fissato sull'unico numero che diventa meno duraturo con la maturazione della tecnologia. Quando ogni gruppo disporrà di un buon surrogato, il moltiplicatore smetterà di essere un elemento di differenziazione. Il gate che rifiuta la chimica destinata al fallimento e il registro che dimostra ciò che è stato eseguito diventano solo più preziosi, perché sono i componenti di cui l'autonomia ha bisogno prima che qualcuno le permetta di funzionare senza supervisione.
Quindi la mossa controintuitiva, quella su cui scommetterei l'azienda, è collocare la decisione su fattibilità e sicurezza in codice deterministico, al di fuori degli agenti, e trattare ogni decisione automatizzata come qualcosa che si deve poter dimostrare in seguito. Non perché i modelli siano scarsi. Ma perché le questioni che stabiliscono se a un laboratorio a guida autonoma sia consentito funzionare durante la notte non riguardano la previsione. Riguardano la sicurezza e la provenienza, e queste richiedono codice e hash, non paragrafi sicuri di sé.
Potete aprire il ciclo, bloccare una sintesi destinata a fallire, interrompere voi stessi la catena di audit e verificare se siete d'accordo, su veriprajna.com/it/demos/autonomous-lab-ai-il-safety-gate-e-l-audit-trail-per-un-laboratorio-a-guida-autonoma.
E se preferite vederlo piuttosto che leggermi mentre lo descrivo, ecco l'intero sistema in esecuzione end-to-end.
La domanda su cui continuo a riflettere, e a cui vorrei davvero una risposta da chiunque gestisca un'automazione reale: se il vostro laboratorio eseguisse stanotte mille esperimenti senza supervisione, a quale di queste due cose ricorrereste domattina, a un modello migliore o a un registro che potete dimostrare?
