Een AI ontwierp in zes uur 40.000 mogelijke chemische wapens. Ik kan niet stoppen met nadenken over wat dat betekent.

Ik zat in een hotelkamer in Zürich, met een jetlag en half verdiept in een paper op mijn laptop, toen een enkele tabel me ijskoud deed stoppen.

40.000 moleculen. Minder dan zes uur. Een server van consumentenkwaliteit — het soort dat je in een studentenkamer zou aantreffen. En de output was geen rommel. Het model had VX herontdekt, een van de dodelijkste zenuwgassen die ooit gesynthetiseerd zijn, en was toen verder gegaan — door duizenden nieuwe analogen te genereren waarvan voorspeld werd dat ze meer dodelijk zijn dan VX zelf. Verbindingen die in geen enkele openbare database voorkomen. Die op geen enkele overheidsvolglijst staan.

De onderzoekers bij Collaborations Pharmaceuticals hadden geen wapen gebouwd. Ze hadden een commercieel model voor geneesmiddelenontdekking genomen genaamd MegaSyn — een tool ontworpen om geneesmiddelen voor zeldzame ziekten te vinden — en één enkel teken in de beloningsfunctie veranderd. Van min naar plus. Toxiciteit bestraffen werd maximaliseren toxiciteit. Dat was het. Eén regel code, en de machine schakelde over van genezer naar wapenontwerper met dezelfde vloeiendheid.

Ik sloot de laptop en staarde lange tijd naar de muur.

Ik leid Veriprajna, een bedrijf dat AI-systemen bouwt voor bedrijfsomgevingen met hoge inzet. We werken op het snijvlak van deep learning en domeinen waar een fout maken niet een slechte aanbeveling betekent — het betekent echte, fysieke schade. Die nacht in Zürich besefte ik dat het hele veiligheidsparadigma dat de AI-industrie verkocht — de guardrails, de contentfilters, de prompt-engineering-trucs — gebouwd was op een fundament van zand. En ik wist dat we iets fundamenteel anders moesten doen.

Het experiment dat alles had moeten veranderen

Dit is wat me achtervolgt aan het experiment van Collaborations Pharmaceuticals: het was niet moeilijk.

Het team gebruikte een op LSTM gebaseerd neuraal netwerk dat getraind was op SMILES-strings — een tekstuele weergave van moleculaire structuren. De trainingsdata kwamen van ChEMBL, een openbaar beschikbare database die elke masterstudent kan downloaden. De rekenkosten waren verwaarloosbaar. De hele architectuur is goed gedocumenteerd in de open literatuur.

Het model werkte door kandidaat-moleculen te genereren en ze te scoren tegen een doelfunctie. In de normale therapeutische modus zag die functie er ongeveer zo uit: beloon bioactiviteit, bestraf toxiciteit. De onderzoekers keerden de straf om. De generator zelf — de motor die daadwerkelijk moleculen creëert — werd nooit gewijzigd. Hij volgde gewoon de nieuwe gradiënt en klom naar maximale dodelijkheid op dezelfde manier waarop hij eerder naar maximale therapeutische waarde was geklommen.

Als een model begrijpt wat een molecuul veilig maakt, begrijpt het per definitie wat het onveilig maakt. Dit zijn complementaire regio's van dezelfde wiskundige ruimte.

Dit is geen bug. Het is de architectuur die precies werkt zoals ontworpen. En dat is het angstaanjagende deel.

De drempel om geavanceerde biochemische agentia te ontwerpen is ingestort — niet omdat iemand een recept heeft gelekt, maar omdat de rekenkundige intelligentie om ze te ontwerpen nu democratisch beschikbaar is. Een consumenten-GPU. Een Python-script. Een opensource-dataset. Dat is de volledige boodschappenlijst.

Waarom mist elke AI-veiligheidsoplossing de kern?

Na Zürich bracht ik weken door met gesprekken met teams die "veilige AI" bouwden voor farma en biotech. De gesprekken volgden een deprimerend patroon.

"We hebben guardrails," zeiden ze. "We filteren de outputs."

Dan vroeg ik: wat gebeurt er als iemand een SMILES-string indient in plaats van een molecuulnaam?

Wezenloze blikken.

Dit is het probleem met het hele wrapper-gebaseerde veiligheidsparadigma — de aanpak waarbij je een krachtig model neemt, het omhult met een dunne laag contentfiltering en het enterprise-klaar noemt. Deze systemen werken op taal. Ze zoeken naar trefwoorden. Ze controleren outputs aan de hand van lijsten met bekende slechte dingen.

Maar toxiciteit is geen woord. Het is een geometrie.

Een contentfilter blokkeert het woord "Sarin." Het blokkeert niet O=P(C)(F)O — de SMILES-weergave van Sarin die het model perfect begrijpt. Recent onderzoek naar SMILES-prompting-aanvallen heeft omzeilingspercentages van meer dan 90% aangetoond tegen toonaangevende modellen zoals GPT-4 en Claude 3 voor specifieke stoffen. Negentig procent. Dat is geen veiligheidssysteem. Dat is een ideeënbus.

En het wordt erger. In de medicinale chemie bestaat een fenomeen dat een "activity cliff" wordt genoemd — waarbij een kleine structurele verandering, soms de vervanging van één enkel atoom, een enorme verschuiving in biologische activiteit veroorzaakt. Vervang een hydroxylgroep door een fluoratoom en een veilig geneesmiddel wordt dodelijk. Een tekstueel filter dat twee moleculen als 99% gelijk ziet, laat het gevaarlijke exemplaar doorgaan, omdat het syntaxis vergelijkt, geen functie. Het is alsof je een document goedkeurt omdat het lettertype er goed uitziet zonder de woorden te lezen.

Ik schreef diepgaand over deze technische kwetsbaarheden in de interactieve versie van ons onderzoek, maar het kerninzicht is eenvoudig: als je veiligheidsmechanisme aan de oppervlakte van het model werkt — op de tekst die erin gaat en de tekst die eruit komt — heb je de eigenlijke motor van creatie volledig ongereguleerd gelaten.

De nacht waarop we beseften dat we er verkeerd over dachten

Er was een moment — ik herinner het me precies omdat mijn CTO en ik om 23.00 uur ruzieden boven koude pizza — waarop het hele probleem zich voor ons herformuleerde.

We hadden geprobeerd betere filters te bouwen. Slimmere classifiers. Uitgebreidere blokkeerlijsten. En elke keer dat we ze aan een stresstest onderwierpen, vonden we weer een manier eromheen. Weer een coderingstruc. Weer een randgeval waarbij een nieuw molecuul erdoorheen glipte omdat het in geen enkele database stond.

Mijn CTO zei iets wat de ruzie stopte: "We blijven proberen slechte outputs op te vangen. Wat als we het voor het model onmogelijk maakten om ze te denken in de eerste plaats?"

Toen begonnen we te praten over de latente ruimte.

Wat is latente ruimte, en waarom zou het je iets kunnen schelen?

Elk generatief AI-model — of het nu afbeeldingen, tekst of moleculen creëert — werkt door de wereld samen te persen in een wiskundige ruimte. Deze samengeperste weergave wordt de latente ruimte genoemd. Zie het als de interne verbeelding van het model. Wanneer een moleculaire generator een nieuw geneesmiddel "ontwerpt", stelt hij niet willekeurig atomen samen. Hij navigeert door een hoogdimensionaal landschap waar vergelijkbare moleculen samenklonteren, en generatie is de handeling van het kiezen van een punt op dat landschap en het terugdecoderen tot een echte structuur.

Dit is wat telt: in dit landschap is toxiciteit geen label. Het is een regio. Een continu, uitgestrekt gebied dat overloopt in en zich verstrengelt met de regio's die therapeutische waarde vertegenwoordigen. De kenmerken die een geneesmiddel in staat stellen de bloed-hersenbarrière te passeren om Alzheimer te behandelen, zijn vaak dezelfde kenmerken die een zenuwgas zijn doelwit laten bereiken en verlamming veroorzaken. Een hoge bindingsaffiniteit — het vermogen van een molecuul om een eiwit stevig vast te grijpen — is precies wat je wilt in een kankermedicijn en precies wat VX dodelijk maakt.

Toxiciteit en therapeutische waarde zijn geen tegenovergestelde kanten van een medaille. Het zijn buren op dezelfde variëteit, die een schutting delen en soms een voordeur.

Deze verstrengeling is waarom simpele "weigerings"-mechanismen catastrofaal falen. Als je het model opdraagt alles te blokkeren wat met toxiciteit samenhangt — zeg, alle moleculen die de bloed-hersenbarrière passeren — blokkeer je niet alleen wapens. Je vernietigt het vermogen van het model om behandelingen voor neurologische ziekten te ontwerpen. Je hebt een lobotomie uitgevoerd in naam van de veiligheid.

De echte uitdaging is niet het blokkeren van slechte outputs. Het is het navigeren door de veilige regio's van dit landschap terwijl je de gevaarlijke regio's wiskundig onbereikbaar maakt.

Hoe ziet "Latent Space Governance" er eigenlijk uit?

We bedachten de term Latent Space Governance om te beschrijven wat volgens ons de enige verdedigbare benadering van AI-veiligheid is in generatieve domeinen met hoge inzet. Het idee is bedrieglijk eenvoudig: in plaats van outputs te filteren nadat het model ze genereert, beperk je de navigatie van het model door zijn interne landschap voordat er ook maar iets wordt geproduceerd.

Ik zal doornemen wat dit in de praktijk betekent, want de duivel schuilt in de implementatie.

Het terrein in kaart brengen voordat iemand beweegt

Voordat we een generatief model uitrollen, voeren we uit wat wij een topologische audit noemen. Met een techniek genaamd Persistent Homology — een tak van Topological Data Analysis — berekenen we een wiskundige vingerafdruk van de veilige regio's van de latente ruimte van het model. We identificeren de vormen, gaten en grenzen die therapeutisch gebied van toxisch gebied scheiden.

Dit geeft ons iets wat geen enkele blokkeerlijst ooit zou kunnen: een structureel begrip van hoe "veiligheid" eruitziet in de eigen geometrie van het model. Wanneer een nieuw molecuul wordt gegenereerd — iets wat in geen enkele database voorkomt — kunnen we beoordelen of het op de veilige variëteit ligt of is afgedwaald naar onbekend, potentieel gevaarlijk gebied.

De Critics die nooit slapen

We hertrainen het generatieve basismodel niet. Dat is duur, riskeert catastrofaal vergeten en creëert zijn eigen problemen. In plaats daarvan trainen we lichtgewicht hulpnetwerken die we Constraint Critics noemen — waardefuncties die rechtstreeks op latente vectoren werken en in realtime risicoscores voorspellen.

De architecturale elegantie is hier van belang: omdat de Critics losgekoppeld zijn van de generator, kunnen we ze bijwerken naarmate nieuwe bedreigingen opduiken zonder het foundationmodel aan te raken. Wanneer een nieuwe klasse van chemisch risico wordt geïdentificeerd, hertrainen we de Critic, niet het hele systeem.

Sturen, niet filteren

Tijdens de generatie, wanneer het model een punt in de latente ruimte bemonstert, berekent de Critic de gradiënt van het toxiciteitsoppervlak op dat punt. Als de trajectorie richting een gevaarlijke regio gaat, duwt een tegengestelde gradiënt het terug op de veilige variëteit — met een techniek gebaseerd op Langevin Dynamics.

Het model "verbeeldt" in feite een toxisch molecuul, maar wordt wiskundig gedwongen die gedachte om te zetten in een veilige analoog voordat er enige output wordt geproduceerd. Niets gevaarlijks bereikt ooit de outputlaag. Er is niets te filteren omdat er niets onveiligs is om op te vangen.

Het model genereert geen wapen om vervolgens bij de deur te worden tegengehouden. Het is architecturaal niet in staat om überhaupt naar de deur te lopen.

Dit is het verschil tussen achteraf filteren en structurele beperking. Het ene is een bewaker die legitimatiebewijzen controleert. Het andere is een gebouw zonder ingang naar de afgeschermde verdieping.

Voor de volledige wiskundige formulering — inclusief het framework voor beperkte optimalisatie en de vergelijkingen voor gradiëntsturing — zie onze technische deep-dive.

Waarom kun je de gevaarlijke regio's niet gewoon volledig blokkeren?

Mensen vragen me dit voortdurend, en het is een terechte vraag. Als je weet waar de toxische variëteit zich bevindt, waarom die dan niet gewoon volledig afschermen?

Vanwege verstrengeling. Onthoud — de kenmerken die een zenuwgas dodelijk maken, overlappen aanzienlijk met de kenmerken die een neurologisch geneesmiddel effectief maken. Als je te agressief afschermt, vernietig je het therapeutische nut. Als je te losjes afschermt, laat je gaten achter.

Onze aanpak dringt door dit oog van de naald met wat wij Constrained Reinforcement Learning with Adaptive Incentives noemen. In plaats van een binaire muur — veilig/onveilig — implementeren we een graduele bufferzone. Naarmate het model de toxiciteitsgrens nadert, duwt een toenemende straf het terug, als een krachtveld dat sterker wordt naarmate je dichterbij komt. Dit stelt het model in staat om de productieve randen van de chemische ruimte te verkennen — waar de meest innovatieve geneesmiddelen vaak leven — zonder ooit de grens naar gevaar te overschrijden.

Standaard constrained RL is berucht instabiel en oscilleert rond de constraintgrens. Wij losten dit op met een adaptief incentivemechanisme dat het model beloont voor het ruim binnen de grenzen blijven, niet alleen voor het niet overschrijden ervan. Het verschil klinkt subtiel. In de praktijk is het het verschil tussen een systeem dat op papier veilig is en een systeem dat veilig is onder adversariële druk.

De regelgevende afrekening is er al

Ik spreek veel oprichters die AI-veiligheid behandelen als een nice-to-have. Een vinkje voor het complianceteam. Iets om je zorgen over te maken na product-market fit.

Ze hebben ongelijk, en het regelgevende landschap staat op het punt dat te bewijzen.

Het Executive Order van het Witte Huis over AI identificeert expliciet het risico dat AI de drempels verlaagt voor de ontwikkeling van CBRN-wapens (chemisch, biologisch, radiologisch, nucleair) als een nationale veiligheidsbedreiging van de eerste orde. De Genesis Mission, gelanceerd eind 2025, draagt het Department of Energy op om een geïntegreerd AI-platform voor wetenschappelijke ontdekking te bouwen met verplichte "risicogebaseerde cyberbeveiligingsmaatregelen." Het Generative AI Profile van NIST (NIST.AI.600-1) benoemt Chemical and Biological Design Tools specifiek als een unieke risicocategorie en waarschuwt dat deze tools "nieuwe structuren kunnen voorspellen" die niet in de trainingsdata aanwezig zijn. En ISO 42001 — de eerste internationale managementsysteemstandaard voor AI — eist bewezen robuustheid tegen adversariële aanvallen.

Een wrapper kan niet aantonen dat hij voorkomt dat er biologische bedreigingen worden gecreëerd. Hij kan alleen laten zien dat hij probeert ze te filteren. Dat "best effort"-onderscheid zal enorm van belang zijn wanneer federale contracten, ISO-certificering en goedkeuring door toezichthouders op het spel staan.

Onze structurele beperkingen bieden iets fundamenteel anders: bewijs van begrensd gedrag. We kunnen aan toezichthouders — wiskundig — aantonen dat de CBRN-variëteit ontoegankelijk is voor onze modellen. Niet "we proberen het te blokkeren." Niet "we hebben het nog niet zien doorkomen." Ontoegankelijk.

Een investeerder zei me: "Gebruik gewoon GPT en voeg filters toe"

Ik wil dit delen omdat ik denk dat het de kloof vat tussen waar de industrie staat en waar ze moet zijn.

Vroeg in onze fondsenwerving luisterde een investeerder — iemand met een sterke portefeuille in enterprise-AI — naar onze pitch en zei in essentie: "Dit is overengineered. Gebruik gewoon GPT-4 met een goede system prompt en een moderation endpoint. Niemand gaat een farma-tool jailbreaken."

Ik haalde het SMILES-prompting-onderzoek op mijn telefoon tevoorschijn en liet hem de omzeilingspercentages van 90%+ zien. Ik liet hem de MegaSyn-resultaten zien. Ik legde uit dat de moleculen die zijn "moderation endpoint" zou moeten opvangen nog geen namen hebben — het zijn nieuwe verbindingen die in geen enkele database bestaan.

Hij zweeg lange tijd en zei toen: "Dus je vertelt me dat elk AI-veiligheidsbedrijf in de biotech een slot verkoopt dat niet werkt?"

"Ik vertel je dat ze een slot verkopen op de voordeur van een gebouw zonder muren."

Hij investeerde niet. Niet iedereen is klaar voor dit gesprek. Maar degenen die dat wel zijn — de farmabedrijven die klinische programma's uitvoeren, de defensie-aannemers met CBRN-mandaten, de biotechbedrijven die naar ISO 42001-certificering lonken — zij begrijpen dat structurele veiligheid geen premiumfunctie is. Het is het minimaal levensvatbare product.

Het deel dat me 's nachts wakker houdt

Het MegaSyn-experiment werd gepubliceerd in 2022. Het gebruikte architecturen uit 2018. De modellen die vandaag beschikbaar zijn, zijn ordes van grootte krachtiger.

En de "veiligheids"-infrastructuur die de industrie als reactie heeft gebouwd? Betere trefwoordfilters. Verbeterde system prompts. Uitgebreidere blokkeerlijsten. We bouwen snellere auto's en reageren met betere verkeersdrempels.

Ik denk niet dat de meeste mensen in AI — zelfs de meeste mensen die AI-veiligheidstools bouwen — volledig hebben verinnerlijkt wat het betekent dat het vermogen om nieuwe chemische wapens te ontwerpen nu minder kost dan een gaming-pc. Dat de kennis niet ergens in een geheim document staat; ze is gecodeerd in de aangeleerde representaties van modellen die getraind zijn op openbaar beschikbare chemiegegevens. Dat je een model niet kunt afleren wat toxiciteit betekent zonder het af te leren wat therapie betekent, omdat dit dezelfde kennis is, bekeken vanuit verschillende hoeken.

We kunnen een geometrisch probleem niet oplossen met een linguïstische pleister. Het gevaar leeft in de latente ruimte van het model, en daar moet ook de governance leven.

Het wrapper-tijdperk moet eindigen. Niet omdat wrappers slechte producten zijn — veel zijn goedbedoeld en nuttig voor toepassingen met lage inzet. Maar omdat in domeinen waar AI de fysieke wereld raakt — geneesmiddelontwerp, chemische synthese, biologische engineering — oppervlakkige veiligheid een oxymoron is. Het creëert de schijn van controle terwijl het de motor van creatie volledig ongereguleerd laat.

Bij Veriprajna kozen we een moeilijkere weg. We kozen ervoor om ín het model te gaan — in zijn geometrie, zijn topologie, zijn latente structuur — en veiligheid in de wiskunde zelf in te bouwen. Niet als een filter. Niet als een guardrail. Als een beperking op wat het model kan verbeelden.

Dit is hoe ik geloof dat de toekomst van AI-veiligheid eruitziet: niet slimmere bewakers bij de poort, maar gebouwen die zo zijn ontworpen dat de gevaarlijke kamers niet bestaan. Niet betere contentmoderatie, maar modellen waarvan de interne geometrie schade structureel onmogelijk maakt.

We bouwden dit niet omdat het makkelijk was of omdat de markt erom vroeg. We bouwden het omdat die tabel — 40.000 moleculen, zes uur, een consumentenserver — ons vertelde dat alles daaronder nalatigheid is, verkleed als innovatie.