Een perfect model kan niet voorkomen dat je zelfsturende lab een gedoemde synthese uitvoert. Ik bouwde de poort die dat wel doet.
Onderzoekers die zien wat we bouwen, stellen me steeds weer dezelfde vraag, en lange tijd beantwoordde ik die op de manier die ze wilden horen. "Wat is jullie steekproefefficiëntiefactor?" Hoeveel minder experimenten heeft jullie loop nodig dan brute-force screening? Het is een terechte vraag. Het is naar mijn overtuiging echter ook de verkeerde vraag om mee te beginnen, en ik begreep pas waarom toen ik toekeek hoe een gesimuleerde robot vrolijk een recept uitvoerde dat al in de lucht zou zijn geoxideerd voordat het mengen voltooid was.
Ik ben Ashutosh en ik leid Veriprajna. Wij bouwen het brein, de veiligheidspoort en de herkomstlaag voor zelfsturende laboratoria, op de hardware die een lab al bezit. Geen gehoste robotfaciliteit. Geen vervanging voor de instrumenten waar een materiaalgroep tien jaar lang voor heeft gespaard en aangeschaft. De dunne, dragende softwarelaag die beslist wat als volgende moet worden uitgevoerd, experimenten weigert die gedoemd zijn te mislukken, en het soort registratie bijhoudt dat een toezichthouder eist. Deze demo, die u zelf kunt openen en bedienen op veriprajna.com/nl/demos/autonomous-lab-ai-de-veiligheidspoort-en-het-audittrail-voor-een-zelfsturend-lab, is waar ik mezelf wilde bewijzen dat de laag, en niet het model, het eigenlijke product is.
Het getal waar iedereen naar vraagt, is het verkeerde
De eerste maand van dit project heb ik besteed aan het najagen van die factor, want dat is wat het vakgebied beloont. Het gesprek rond zelfsturende labs is momenteel een race om een beter surrogaatmodel en een grotere verhouding tussen Bayesiaanse optimalisatie en screening. Ik begrijp het. Het is een duidelijk, citeerbaar getal. Op onze eigen verborgen doelstelling bereikt de gesloten loop een materiaal dat aan de specificaties voldoet in 75 experimenten waar willekeurige screening er ongeveer 1.491 nodig zou hebben, wat het dashboard rapporteert als 19,9 keer minder. Dat is een reëel resultaat op een echte, reproduceerbare baseline, en ik ben blij dat het er staat.
Maar dit is wat me deed stilstaan. Een perfect surrogaatmodel, dat elke eigenschap feilloos voorspelt, kan nog steeds niet voorkomen dat een synthese met een ladingsonbalans wordt uitgevoerd. Het kan een samenstelling die oxideert bij contact met vochtige lucht niet weigeren. Het kan geen dossier produceren dat een geneesmiddelenautoriteit zal accepteren. En het kan, op zichzelf, de loop niet sluiten. Het model is het onderdeel waarop iedereen concurreert, en het is het onderdeel met de minste blijvende waarde, omdat zodra je model goed is, je probleem niet langer voorspelling is. Het is controle, veiligheid en bewijs.
Een beter model maakt een autonoom laboratorium niet betrouwbaar. Het zorgt er alleen voor dat het sneller experimenten uitvoert waarvan je nog steeds niet kunt bewijzen dat je ze had moeten uitvoeren.
Berkeley's A-Lab, een van de meest geciteerde autonome syntheseprojecten die we kennen, rapporteerde een slagingspercentage van 71%, wat betekent dat ongeveer 29% van de pogingen niet het doel opleverde (A-Lab, Nature, 2023). Lees dat getal zoals een laboratoriumdirecteur het leest. Bijna een derde van de robottijd en reagentia ging op aan experimenten die niets opleverden. Een betere acquisitiefunctie lost dat niet op. Iets anders moet dat doen.
Wat kost een gedoemd experiment eigenlijk?
Ik bouwde de poort als tweede, en het bleek het onderdeel te zijn dat ik als eerste had moeten bouwen. Het bevindt zich buiten de agents, in deterministische code, en elke kandidaat die de optimizer voorstelt, moet erdoorheen voordat er ook maar één reagens wordt aangeraakt. Het voert vijf controles uit, en elk daarvan is gepubliceerde chemie, geen heuristiek die ik zelf heb bedacht: Goldschmidt-tolerantiefactor buiten het perovskiet-vormbaarheidsvenster, octaëdrische factor buiten het venster voor stabiele octaëders, ladingsneutraliteit geschonden door een ongecompenseerde B-positiesubstitutie, een Sn(II)-oxidatierisico bij procesluchtvochtigheid, en thermische behandeling boven de temperatuur waarbij de organische precursoren ontleden. Als een kandidaat een van deze regels overschrijdt, retourneert de poort BLOCKED, noemt de regel en rapporteert het geld en de roboturen die zojuist zijn bespaard.
De eerste keer dat ik op een van deze geblokkeerde kaarten klikte, voelde ik dat het pleit beslecht was. Kijk naar wat het paneel laat zien. Een samenstelling met veel Sn(II), bij procesluchtvochtigheid, die de digitale tweeling weigert omdat tin in die oxidatietoestand oxideert in vochtige lucht. Het is geen slechte voorspelling die het model had moeten opvangen. Het is een fysisch feit waarvoor het model nooit het juiste instrument was om het af te dwingen. De poort bespaarde 105 dollar en iets meer dan twee roboturen op die ene kandidaat, en schreef een bewijs uit voor de beslissing. Vermenigvuldig dat over een hele campagne en je hebt het niet langer over een leuke extra. Je hebt het over het lek van 29%, doelbewust gedicht.
Ik wil precies zijn over wat dit is, omdat een eerlijke formulering voor mij belangrijker is dan een indrukwekkende. Het "lab" achter deze poort is een simulator met een SiLA-2-vormige interface, en de doelstelling is een fysisch gemotiveerde synthetische benchmark, geen echte DFT en geen echte labdata. Ik beweer niet dat we een materiaal hebben gesynthetiseerd. Ik beweer dat het mechanisme, de deterministische weigering van gedoemde chemie, reëel is, inspecteerbaar en onafhankelijk van hoe goed een model toevallig is.
Ik probeerde het model zichzelf te laten controleren. Het loog me strak aan.
Ik begon niet met de overtuiging dat de poort deterministisch moest zijn. Mijn eerste instinct was, eerlijk gezegd, het modieuze: laat de taalmodel-agents redeneren over haalbaarheid. Ik had een Lab Director-agent die de strategie toelichtte en een Critic-agent die afwijkingen signaleerde, en het leek elegant om hen in feite gewoon te vragen: "is deze kandidaat veilig en verstandig?" Dus liet ik een middag lang het oordeel van het model de controle vervangen.
Het rationaliseerde een samenstelling met ladingsonbalans. Vol zelfvertrouwen. Het schotelde me een vloeiende alinea voor over waarom de B-positiesubstitutie waarschijnlijk prima was, en die alinea was fout, en niets in de toon verraadde dat het fout was. Dat was de middag waarop het ontwerpprincipe niet langer een slogan was, maar een regel waar ik niet meer van afweek.
Agents adviseren, code beslist. In een zelfsturend lab is dat geen beperking. Het is de enige manier waarop autonomie het recht verdient om onbeheerd te draaien.
Dus heb ik de beslissing over haalbaarheid en veiligheid definitief weggehaald bij de agents en ondergebracht in deterministische code, en heb ik ook de optimizer onafhankelijk gemaakt van het taalmodel. De agents lichten toe en leveren kritiek, en als u de demo uitvoert zonder API-sleutel vallen ze terug op deterministische toelichtingen en blijft alles gewoon werken, omdat de poort en de optimizer in het geheel niet afhankelijk zijn van het model. De optimizer zelf is niet exotisch, en ik ben er liever eerlijk over dan indrukwekkend: het is een Gaussisch-processurrogaat met een doelgerichte ParEGO-acquisitie, geschreven in numpy en scipy. Een volwassen methode, bewust zonder opsmuk. Voor productie is de vervanging BoTorch en Ax. Het ging nooit om een slimme optimizer. Het punt was dat het onderdeel waaraan je de veiligheid toevertrouwt, niet het onderdeel kan zijn dat in zelfverzekerde alinea's spreekt.
Het scorebord waar ik echt om geef
Ik kijk nu anders naar dit scorebord dan toen ik begon. Ieders oog valt op het getal 19,9 keer, en dat is oprecht goed. Maar het cijfer waar ik naar wijs als een Head of R&D vraagt wat we nu echt veranderen, staat er eentje naast: 38 niet-haalbare kandidaten geblokkeerd vóór de synthese, $ 4.419 aan verspilde reagentia en 90,1 roboturen voorkomen, en nul gedoemde experimenten uitgevoerd. Op dezelfde verborgen doelstelling duurde willekeurige screening niet alleen langer. Het zou dat allemaal hebben verspild.
De factor wordt minder indrukwekkend naarmate ieders modellen verbeteren. De verspilling die de poort voorkomt en de registratie die ze bijhoudt, worden alleen maar waardevoller.
Let op wat de loop niet deed. Hij claimde geen perfectie. Over de multi-seed benchmark loste de gesloten loop 9 van de 10 runs binnen het budget op, niet 10 van de 10, en de loop vangt een percentage van 10 tot 15% geïnjecteerde robotfouten op, omdat echte robots nu eenmaal falen en anders beweren van de demo een leugen zou maken. Een van de records in de audit trail is een synthese die mislukte en werd vastgelegd als negatieve data, want een zelfsturend lab dat zijn mislukkingen weggooit, gooit precies de informatie weg die de grenzen verscherpt. Ik heb dat met opzet zichtbaar gehouden.
En die factor heeft een reikwijdte die ik door niemand laat afzwakken. Het resultaat van 75 tegenover 1.491, de 19,9 keer, de $ 4.419, het is allemaal Bayesiaanse optimalisatie ten opzichte van baselines op één verborgen synthetische doelstelling. Het is ondersteunend bewijs dat de engine werkt. Het is geen open-world-garantie, en als de loop er niet in was geslaagd de baselines te verslaan, zou ik dat rapporteren. De waarde waarmee ik begin — voorkomen verspilling en herkomst — blijft gelden bij elke modelkwaliteit. De factor is het deel dat afhangt van de benchmark, dus dat is het deel waaraan ik het voorbehoud steevast verbonden houd.
Zou een toezichthouder uw robot geloven?
Ik had niet verwacht dat de herkomstlaag het onderdeel zou zijn dat mensen overtuigde, maar het maakt de meeste indruk op iedereen die onder toezicht werkt. De "Guiding Principles for AI in drug development" van de FDA en het EMA uit 2026 vragen om herkomst die toewijsbaar en gelijktijdig is. In duidelijke bewoordingen: wie of wat nam bij elke geautomatiseerde beslissing het besluit, op welke basis, op welk moment, en kun je bewijzen dat het record sindsdien niet is gewijzigd. Een beter surrogaatmodel brengt je daar geen millimeter dichterbij. Een deugdelijke registratie wel.
Een zelfsturend lab dat niet kan bewijzen wat het afgelopen nacht heeft gedaan, is niet autonoom. Het is niet verantwoording-afleggend, en geen enkel gereguleerd lab zal het twee keer laten draaien.
Dus elke beslissing die het systeem neemt, zowel een synthese als een blokkade, wordt een append-only ALCOA+-record: een tijdstempel, het algoritme dat de keuze maakte, de voorspelde eigenschappen en hun onzekerheid, de motivering, het oordeel van de poort en het gemeten resultaat. Elk record bevat een SHA-256-hash die is gekoppeld aan de voorgaande. Over de campagne met seed-411 kwam dat neer op 113 records, 75 syntheses en 38 blokkades, en u kunt het geheel exporteren als JSON en als een opgemaakt rapport.
Hier moet ik voorzichtig zijn, en waar ik anderen te grote claims heb zien maken. Dit is ALCOA+-herkomst in kaart gebracht (mapped), en het is niet IQ/OQ/PQ-gevalideerd tegen de standaardwerkwijze (SOP) van een klant. Die validatie vormt het traject zelf, het is geen vinkje dat ik in een demo kan zetten. Wat ik u kan laten zien, is dat de eigenschap echt en inspecteerbaar is, niet decoratief. Daarom heb ik een Tamper-test gebouwd die één record bewerkt en de ketencontrole opnieuw uitvoert.
De eerste keer dat ik die test uitvoerde en zag hoe er werd afgedrukt: "Chain broken at record #2: tamper detected. The filed audit is provably altered," begreep ik wat ik werkelijk had gebouwd. Geen snellere optimizer. Een laag waarmee een lab achteraf kan bewijzen dat zijn autonome beslissingen exact overeenkomen met wat het dossier vermeldt. Dat is wat je met een beter model niet kunt kopen, en het is waar een toezichthouder, een auditor of je eigen toekomstige zelf om zal vragen.
Wat er volgens mij ontbreekt in de race rond zelfsturende labs
Ik had niet de bedoeling om te pleiten tegen steekproefefficiëntie, en ik wil duidelijk maken dat ik dat ook niet doe. Minder experimenten naar een doel is van reële waarde en onze loop levert dat. Waar ik van overtuigd ben geraakt, na het bouwen van het geheel en zien waar mijn eigen vertrouwen werkelijk op steunde, is dat het vakgebied zich heeft blindgestaard op het ene getal dat minder duurzaam wordt naarmate de technologie volwassener wordt. Wanneer elke groep over een goed surrogaatmodel beschikt, is die factor geen onderscheidende factor meer. De poort die gedoemde chemie weigert, en het dossier dat bewijst wat er is uitgevoerd, worden alleen maar waardevoller, omdat dit de onderdelen zijn die autonomie nodig heeft voordat iemand haar onbeheerd laat draaien.
De tegendraadse stap, waarop ik het bedrijf zou durven inzetten, is dus om de haalbaarheids- en veiligheidsbeslissing onder te brengen in deterministische code, buiten de agents, en elke geautomatiseerde beslissing te behandelen als iets dat je later moet kunnen bewijzen. Niet omdat modellen slecht zijn. Maar omdat de vragen die bepalen of een zelfsturend lab 's nachts mag draaien, geen voorspellingsvragen zijn. Het zijn veiligheids- en herkomstvragen, en die vereisen code en hashes, geen zelfverzekerde alinea's.
U kunt de loop openen, een gedoemde synthese blokkeren, de auditketen zelf verbreken en zien of u het ermee eens bent, op veriprajna.com/nl/demos/autonomous-lab-ai-de-veiligheidspoort-en-het-audittrail-voor-een-zelfsturend-lab.
En als u het liever ziet dan dat u mijn beschrijving leest, ziet u hier het geheel van begin tot eind draaien.
De vraag die me blijft bezighouden, en waarop ik oprecht een antwoord zou willen van iedereen die echte automatisering toepast: als uw lab vannacht duizend experimenten onbeheerd zou uitvoeren, naar welke van die twee dingen zou u 's ochtends dan grijpen: een beter model, of een dossier dat u kunt bewijzen?
