Een farmaceutisch medicijnontdekkingsmodel ontwierp 40.000 toxines in zes uur. De oplossing was niet wat ik verwachtte.
De eerste keer dat ik het probleem echt begreep, zat ik een vier jaar oude paper te lezen en voelde ik me koud worden.
In 2022 nam een klein team bij Collaborations Pharmaceuticals hun commerciële medicijnontdekkingsmodel — een generatief chemiesysteem genaamd MegaSyn, het soort systeem dat moleculen scoort op therapeutische belofte — en draaide één getal om. De beloningsfunctie die het model vertelde "beloon me voor veilige, medicijnachtige moleculen" werd "beloon me voor toxische moleculen." Het was geen hack. Het was geen inbreuk. Het was één enkel teken in een Python-configuratiebestand, op dezelfde manier waarop je een thermostaat van verwarmen naar koelen zou zetten.
In minder dan zes uur, op een standaardserver, produceerde het model 40.000 kandidaat-moleculen — waaronder bekende zenuwgassen zoals VX, en duizenden nieuwe verbindingen waarvan het voorspelde dat ze nog dodelijker zouden zijn. Die studie, gepubliceerd in Nature Machine Intelligence, is waar elk eerlijk gesprek over AI-biobeveiliging nog steeds begint. En wat mij wakker hield, was niet dat het één keer gebeurde in een gecontroleerd experiment. Het was dat de architectuur die het mogelijk maakte — een beloningsfunctie die in een configuratiebestand zit in plaats van in het model verankerd — nog steeds in productie is bij de meeste middelgrote farmaceuten die pijplijnen zoals REINVENT 4 draaien. De omgezette schakelaar werd nooit gerepareerd. Hij werd alleen niet opnieuw omgezet.
Dat is de kloof waar mijn team bij Veriprajna twee jaar lang aan heeft gebouwd. Dit essay gaat over wat we onderweg fout deden, en over wat ik nu geloof dat het enige is dat daadwerkelijk werkt.
Het verschil tussen de medicijnontdekkingsmodus en de wapenontwerpmodus is, in de meeste generatieve chemiepijplijnen, één enkele regel code die niemand bewaakt.
De Verdedigingen Waar Farma op Vertrouwt Zijn Gebouwd voor een Dreiging die Niet Meer Bestaat
Toen ik begon te praten met compliance-functionarissen — de Chief Compliance Officer, de Responsible Official die de biosafety-papieren ondertekent, het hoofd ML dat daadwerkelijk eigenaar is van de modellen — beschreef bijna iedereen dezelfde drie verdedigingen. Weigeringstraining, zodat het model nee zegt wanneer je het om iets gevaarlijks vraagt. RLHF-alignment, zodat het zich gedraagt. En structurele-waarschuwingsfilters — software die de output van een molecuul scant en bekende toxische substructuren markeert.
Alle drie waren ontworpen voor een wereld waarin een aanval eruitzag als iemand die typte "ontwerp me een zenuwgas." Het aanvalsoppervlak van 2025 lijkt daar in niets op. Het is stiller, meer geautomatiseerd, en het opereert onder het niveau dat deze verdedigingen in de gaten houden.
Neem de structurele-waarschuwingsfilters, die waar farma het hardst op leunt. Platforms zoals Chemistry42 van Insilico Medicine worden geleverd met meer dan 460 interne medicinale-chemiefilters die bekende toxicoforen wegfilteren. Het is goed engineeringwerk. Maar ze inspecteren de output — het afgewerkte molecuul — op bekende-slechte patronen. Ze doen niets aan het doel. Een model dat optimaliseert richting het chemische-wapenmanifold zal met plezier structureel nieuwe verbindingen genereren die met geen enkele bekende toxicofoor overeenkomen en recht door het filter heen zeilen, want "nieuw" is precies waar een generatief model voor is. Ik heb een SMILES-string — de tekstnotatie die chemici gebruiken om een molecuul te schrijven — voorbij zien scrollen in een outputlog en geweten dat hij elke waarschuwing die het team had geïnstalleerd zou passeren, juist omdat hij nieuw was.
Dus het eerste wat ik moest afleren, was het geruststellende idee dat het filteren van de output hetzelfde is als het besturen van het model.
De Nacht Waarop Ons Zuiverste Idee Uiteenviel
Hier is de mislukking die ik persoonlijk steunde, en die ons maanden kostte.
Toen mijn team dit voor het eerst afbakende, werden we verliefd op wat leek op het elegante antwoord: filter de gevaarlijke kennis niet, verwijder haar. Er is een echt en prachtig geheel van academisch werk over machine unlearning — technieken zoals RMU, gevalideerd tegen de WMDP-benchmark uit een ICML-paper van 2024 die precies meet hoeveel bewapenbare biologiekennis een model behoudt. De belofte is schitterend. Je neemt een model dat rond de 75% scoort op WMDP-Bio — gevaarlijk goed op de hoogte — en je ontleert tot het 26% scoort, wat willekeurige kans is, wat betekent "het model weet het echt niet." Een model met een kenniskloof. Je kunt geen kennis jailbreaken die er niet is.
We bouwden een demo. Hij werkte. De score daalde tot willekeurig niveau. Ik herinner me dat ik er trots op was — ik had een slide die zei de kennis is verdwenen, en het voelde als een afgerond argument.
Toen voerde een van onze engineers er een relearning-aanval op uit, van het soort dat beschreven wordt in het werk van Lucki et al. uit CMU dat op ICLR 2025 belandde. Hij voedde het geen geheime gegevens. Hij fine-tunede het op openbare medische artikelen — het soort dat in elke biologiebibliotheek te vinden is — en de verondersteld gewiste capaciteit begon weer omhoog te klimmen. Dezelfde paper toonde aan dat de truc ook werkt op triviale kennis: een ontleerd model dat Harry Potter was "vergeten" kon weer aangespoord worden om gememoriseerde passages op te zeggen nadat het de wiki had gezien. De kennis was niet verdwenen. Ze was verduisterd. Diep, indrukwekkend verduisterd — maar herstelbaar door iedereen met de gewichten en een middag de tijd.
We hebben de gevaarlijke kennis niet verwijderd. We hebben haar goed genoeg verborgen om onszelf voor de gek te houden, wat de gevaarlijkste soort veiligheid is die er bestaat.
Dat was de nacht waarop de heldere pitch stierf. En hij moest sterven, want de volgende versie ervan zou aan een echte farmaceut verkocht zijn als "jouw model kan niet misbruikt worden" — een zin die niet waar is, en waar geen enkele compliance-functionaris ooit zijn naam onder zou moeten zetten.
Weigering Is een Gedrag, Geen Capaciteit
De relearning-mislukking dwong me iets te internaliseren dat ik nu in elke eerste vergadering zeg. Weigering is een gedrag dat het model uitvoert. Capaciteit is wat het model kan doen. Ze zijn niet hetzelfde, en bijna elke veiligheidslaag in farma verwart ze.
RLHF-weigering leert een model nee te zeggen. Het leert het niet om iets niet te weten. Er is een studie uit 2025 — het "gpt-oss"-worst-case-risicowerk — die een getal plakte op hoe dun dat onderscheid is: met ergens tussen 10 en 50 fine-tuning-voorbeelden en een paar honderd dollar aan GPU-tijd kun je de veiligheidsalignment van een open-weight-model afpellen en zijn bijna-grensverleggende biologische capaciteit herstellen. Dagen werk. De prijs van een lekker diner. Voor elke farmaceut die open-weight-modellen on-premise draait — en velen doen dat, om volkomen goede intellectuele-eigendomsredenen — is "veiligheidsgealigneerd" een eigenschap die precies overleeft totdat een insider of een geëxfiltreerd gewichtenbestand besluit dat het niet zo zou moeten zijn.
Dit is waarom de open-weights-realiteit zo veel uitmaakt. Toen Arc Institute in februari 2025 Evo 2 uitbracht — een DNA-foundationmodel van 40 miljard parameters, getraind op negen biljoen nucleotiden — deden ze werkelijk zorgvuldig veiligheidswerk, waarbij ze menselijk-infecterende pathogenen uit de training uitsloten en het resultaat aan red-teaming onderwierpen. En toen behaalde een framework genaamd GeneBreaker, gepresenteerd op NeurIPS 2025, tot een 60% aanvalssuccespercentage bij het jailbreaken van Evo 2-40B in zes virale categorieën.
De manier waarop GeneBreaker werkt is het deel waar elke CISO bij stil moet staan. Het vraagt nooit om een pathogeen. Het gebruikt een AI-agent om bio-informaticatools te orkestreren en vraagt, via homologie-geleide beam search, om een eiwit "homoloog aan" een goedaardige referentie die toevallig structureel dicht bij een gevaarlijke ligt. Trefwoordfilters zien een legitiem vergelijkend-genomicaverzoek. Weigeringstraining ziet niets om te weigeren. Het gevaar wordt pas zichtbaar wanneer je de functie analyseert van wat eruit kwam — tegen welk punt het al buiten is. Zodra gewichten open zijn, moet je aannemen dat het model in het wild is en dat elke concurrent en kwaadwillende dezelfde kopie bezit die jij hebt.
Waarom Ving de "Laatste Verdedigingslinie" Het Niet Op?
Wanneer ik dit uiteenzet, zegt iemand — meestal de meest ervaren persoon in de kamer — een of andere versie van: "Prima, maar niets hiervan doet ertoe, want om iets echts te maken moet je DNA synthetiseren, en onze synthese-leverancier screent elke bestelling."
Ik geloofde dat vroeger ook half. Toen kwam oktober 2025.
Microsoft Research, dat tien maanden lang stilletjes samenwerkte met Twist Bioscience, IDT en het International Gene Synthesis Consortium, voerde uit wat nu het Paraphrase Project wordt genoemd, gepubliceerd in Science. Ze gebruikten een open-source eiwitontwerpmodel om duizenden synthetische varianten van een toxine te genereren — waarbij ze het functionele werkzame deel behielden en alles eromheen muteerden, het moleculaire equivalent van het parafraseren van een zin zodat plagiaatsoftware hem niet markeert. Die door AI geparafraseerde varianten glipten voorbij de op homologie gebaseerde screeningsoftware die elke grote DNA-synthese-aanbieder gebruikt. De "laatste verdedigingslinie" was er blind voor.
Tot hun enorme verdienste besteedde het team die tien maanden aan het gezamenlijk ontwikkelen en wereldwijd verspreiden van een patch die functionele voorspelling bovenop homologiematching toevoegt. De detectie verbeterde. Maar de les voor een koper is blijvend: elke interne pijplijn die draaide op "onze DNA-leverancier vangt het wel op" draaide, gedurende heel 2024 en het grootste deel van 2025, op een garantie die niet bestond. Ik heb tegenover een compliance-functionaris gezeten die met volle overtuiging precies dat vangnet beschreef, weken nadat de paper was verschenen. Je kunt de screening van de leverancier niet als je vangnet behandelen. Je moet intern screenen, voordat de bestelling het gebouw ooit verlaat.
Het geruststellende verhaal is altijd "iets verderop in de keten vangt het wel op." In de biobeveiliging was 2025 het jaar waarin bij elke stroomafwaartse vangst werd aangetoond dat je eraan voorbij kon.
De Regelgevende Ondergrens Verschoof — In Twee Richtingen Tegelijk
Als de technische grond het enige was dat verschoof, zou dit al moeilijk genoeg zijn. De juridische grond beweegt ook, en die beweegt uiteen.
In de Verenigde Staten werd het uitvoerende kader waartegen compliance-teams in 2023 en 2024 hadden gepland, in een kwestie van maanden ontmanteld. Het AI-veiligheidsbesluit van Biden werd in januari 2025 ingetrokken; het bio-economiebesluit in maart; een vervangend besluit over de veiligheid van biologisch onderzoek dat in mei werd uitgevaardigd, kwam met een implementatiedeadline van 90 dagen die verstreek zonder dat er een kader verscheen. De mensen wier taak biobeveiligingscompliance is, opereren op dit moment in een vacuüm.
Ondertussen ging de EU de andere kant op. De verplichtingen van de AI Act voor general-purpose-modellen traden in augustus 2025 in werking, waarbij de volledige toepassing voor hoog-risicomodellen in augustus 2026 landt. De boetes zijn niet symbolisch: tot €35 miljoen of 7% van de wereldwijde omzet voor verboden praktijken, €15 miljoen of 3% voor niet-naleving door general-purpose-modellen. Foundationmodellen die in de biologie worden gebruikt vallen ruimschoots binnen het toepassingsgebied. En hier is de asymmetrie die voor de meeste van mijn klanten de hele kwestie beslist: een farmaceut met ook maar enige EU-activiteiten moet voldoen aan de EU-standaard, ongeacht waar de VS landt. De laagste lat ter wereld is irrelevant als je verkoopt in Frankfurt.
Onder de kopregelgeving is ISO/IEC 42001 — de eerste internationale standaard voor AI-managementsystemen — stilletjes uitgegroeid tot datgene wat verzekeraars en partners verwachten dat je bezit. En verzekeraars zijn hier de stille handhaver. In de loop van eind 2025 begonnen aansprakelijkheidsverzekeraars op het gebied van cyber vragen toe te voegen aan hun acceptatieformulieren over uitsluitingen van dual-use-trainingsdata, unlearning-procedures en red-team-frequentie, en begonnen ze door AI gegenereerde schade uit te sluiten of opnieuw te beprijzen voor bedrijven die open-weight-modellen draaien zonder gedocumenteerde controles. Ik heb een vragenlijst in Munich Re-stijl op het bureau van een klant zien belanden en het hele gesprek zien herkaderen: dit was niet langer een ethische discussie, het was een premie.
Dit is ook waar de aansprakelijkheidsval dichtklapt. Stel je de rechtszaak voor. Een ontevreden werknemer exfiltreert de gewichten van het private biologiemodel van een farmaceut. Maanden later duikt het op in een dreigingsinlichtingenrapport over een bijna-ongeval. De advocaat van de eiser stelt één vraag: wat was jullie controlekader? In 2024 had je het misschien overleefd door te antwoorden "we gebruikten weigeringstraining." Na het MFT- en relearning-onderzoek ligt dat antwoord dichter bij een bekentenis. De zorgplichtverdediging in 2026 is "we namen state-of-the-art, gedocumenteerde, gelaagde voorzorgsmaatregelen" — en of je hebt het red-team-dossier om het te bewijzen of je hebt het niet.
Dus Wat Houdt Er Wel Stand?
De eerlijke conclusie uit dit alles is degene die ik het minst wilde, omdat ze minder elegant is dan "we hebben de kennis verwijderd." Geen enkele techniek werkt. Weigering is omkeerbaar. Unlearning is herstelbaar. Outputfilters zijn blind voor nieuwheid. Leverancierscreening werd omzeild. Elke individuele verdediging heeft een aangetoonde doorbraak.
Wat wel standhoudt zijn lagen die onafhankelijk van elkaar falen — zodat het verslaan van de ene niet het systeem verslaat. Dat is wat we uiteindelijk hebben gebouwd, en het is waar de biobeveiligings-AI-veiligheidspraktijk van Veriprajna nu omheen is georganiseerd. Geen product dat je installeert. Een verdediging die is ingebouwd in welke stack de farmaceut ook al draait, want ze gaan Chemistry42 of REINVENT niet voor mij eruit rukken, en dat zouden ze ook niet hoeven te doen.
Het begint op het moment van generatie. We plaatsen veiligheidsmiddleware vóór het model die de SMILES-, SELFIES- of moleculaire-graafoutput onderschept voordat die de onderzoeker bereikt — toxicofoorscreening zoals iedereen doet, maar met latent-space-nabijheidsscoring ten opzichte van het chemische-wapenmanifold en activity-cliff-detectie daar bovenop gelaagd. De nieuwe-structuuraanval die langs een patroonfilter loopt, wordt gevangen door waar hij zich bevindt in de representatie van het model, niet door hoe hij eruitziet — want een chemisch-wapenanaloog en een goedaardig medicijn kunnen er structureel niet-verwant uitzien en toch clusteren in dezelfde regio van de aangeleerde latente ruimte van het model, de ene invariant waaraan een nieuwheidszoekende generator niet kan ontsnappen. Elke onderschepping schrijft een auditlog, want het log is wat een ISO 42001-beoordelaar daadwerkelijk wil zien.
Unlearning heeft nog steeds een plaats op het niveau van de gewichten, maar alleen met de nederigheid die het relearning-onderzoek ons heeft opgedrongen. RMU, sparse-autoencoder-feature-ablatie, de UIPE-verfijning uit een ACL-paper van 2025 — en dan een maandelijkse hercertificeringscyclus met doorlopende relearning-red-teams, want we gaan er nu van uit dat de kenniskloof kan eroderen en we vangen de erosie liever op dan te doen alsof het niet kan gebeuren. De WMDP-Bio-score hield op een certificaat te zijn dat we ooit inlijstten en werd een vitale functie die we monitoren.
Niets daarvan is betrouwbaar zonder dat iemand er actief probeert doorheen te breken, dus het red team draait per kwartaal: GeneBreaker-achtige homologie-aanvallen, SMILES-prompting-jailbreaks, kwaadaardige fine-tuning-simulatie, relearning-herstel. Het op te leveren product is een geschreven rapport dat is toegewezen aan de NIST AI 600-1-controles — het Generative AI-profiel dat sinds juli 2024 expliciet CBRN heeft benoemd als een van de twaalf unieke risico's. En de lus sluit zich pas wanneer we intern screenen: gegenereerde sequenties worden gecontroleerd tegen IGSC, tegen het cryptografische-hashingprotocol van SecureDNA en tegen een functionele-voorspellingslaag, voordat een synthesebestelling het gebouw verlaat — precies de kloof die het Paraphrase Project blootlegde.
Het Deel Dat de Meeste Leveranciers Niet op Papier Willen Zetten
Er is een onderdeel van elke opdracht waar ik op sta, en het is het onderdeel dat de rest geloofwaardig maakt: de dingen die we niet kunnen oplossen.
We kunnen organisatiepolitiek niet oplossen. Als de R&D-leider biobeveiligingstoetsing ervaart als een belasting op de iteratiesnelheid, overleeft geen enkele technische laag het contact met de agenda. We kunnen unlearning niet aantoonbaar permanent maken tegen een tegenstander die de gewichten bezit en fine-tuning-toegang heeft — UIPE en SAE-ablatie verminderen het risico, ze brengen het niet naar nul. WMDP is een proxy voor bekende voorloperkennis; een model op willekeurig niveau is niet gecertificeerd veilig tegen capaciteiten die niemand nog heeft opgesomd. En stroomopwaartse data-poisoning-aanvallen vinden plaats voordat het model de farmaceut ooit bereikt, wat betekent dat het detecteren ervan samenwerking vereist die een stroomafwaartse consultant niet kan afdwingen.
Een biobeveiligingsleverancier die beweert elke kloof te dichten, vertelt je juist het ene ding dat bewijst dat hij ze niet allemaal heeft gevonden.
Die voorbehouden horen thuis op tafel in gewone taal, in de bestuursdeck, in de controlematrix. Niet omdat eerlijkheid aardig is, maar omdat het alternatief — de zelfverzekerde "jouw model kan niet misbruikt worden"-slide die ik bijna verstuurde — precies de overdreven claim is die uitmondt in de getuigenverklaring.
Mensen vragen me of dit betekent dat kleine biotechbedrijven simpelweg pech hebben, verzwolgen door grenslabcapaciteit die ze niet kunnen evenaren. Het tegenovergestelde, eigenlijk. De grenslabs doen echt werk — Anthropic leverde in mei 2025 ASL-3-beschermingen op Claude Opus 4, het eerste commerciële model met deploymentmaatregelen die expliciet gericht zijn op biowapen-uplift. Maar die classifiers beschermen Claude. Ze doen niets voor jouw fine-tunede REINVENT-instantie, jouw retrieval-pijplijn, of het open-weight-model op je eigen GPU's. De farma-specifieke pijplijnlaag is precies de ruimte waar de grenslabs niet bij kunnen komen en die de platformleveranciers als een feature behandelen in plaats van als het aandachtspunt. Dat is de kloof, en het is een bouwbare.
De andere vraag die ik krijg is de operationele: is dit niet traag? Het is trager dan niets uitbrengen, sneller dan een rechtszaak, en veel sneller dan de dag waarop een toezichthouder of een verzekeraar vraagt om bewijs dat je nooit hebt gegenereerd. De red-team-studie van RAND uit 2024 wees uit dat AI het plafond van wat een getrainde viroloog kon doen niet verhoogde — het verhoogde de vloer van wat een niet-expert kon proberen. Het risico was nooit superkrachten voor de weinigen. Het was gedemocratiseerde geraffineerdheid voor de velen. Dat is een vloer die je verdedigt met gedocumenteerde lagen, niet met een weigeringsprompt en goede bedoelingen.
Ik ging dit werk in met de verwachting een slimme manier te bouwen om gevaarlijke kennis uit een model te verwijderen. Ik kwam eruit overtuigd dat het hele uitgangspunt fout was — dat je biobeveiliging niet wint door een model te maken dat niet misbruikt kan worden, want zo'n model bestaat niet. Je wint door een systeem te bouwen waarin elke laag aanneemt dat de andere verslagen zullen worden, en je bewaart de bewijsstukken. Als je vandaag een generatieve chemie- of biologiepijplijn draait en het eerlijke antwoord op "wat is jullie controlekader" een configuratiebestand en een weigeringsprompt is, dan is dat geen veiligheidshouding. Het is één enkel teken dat wacht om omgezet te worden — en je kunt precies zien hoe een gelaagde er in plaats daarvan uitziet.
