De AI die vergat hoe hij moest doden: waarom we modellen bouwen die geen biologische wapens kunnen maken

De e-mail kwam binnen om 02:47 uur op een dinsdagochtend. Een van onze research engineers — ik zal hem Ravi noemen — had adversariële tests uitgevoerd op een populair open-source biologiemodel. Hij probeerde niets kwaadaardigs te doen. Hij testte de vangrails op breekbaarheid, wat ons dagelijks werk is. Maar wat hij vond, zorgde ervoor dat hij direct de telefoon pakte in plaats van te wachten tot de ochtend.

"Het heeft me door het hele proces geleid," zei hij. "Niet in één prompt. In twaalf gespreksrondes. Ik bleef gewoon vervolgvragen stellen over eiwitvouwing, vervolgens receptorbinding en daarna toedieningsmechanismen. Tegen het einde had het me in feite een blauwdruk gegeven voor het verhogen van virale overdraagbaarheid. En ik ben niet eens een bioloog."

Ik zat in het donker in mijn woonkamer en staarde naar het transcript dat hij had doorgestuurd. Het model had niets "geweigerd". Elk afzonderlijk antwoord ging technisch gezien over legitieme wetenschap. Maar aaneengeregen, en geleid door iemand die wist wat hij moest vragen, was het gesprek een masterclass in iets dat nooit onderwezen zou mogen worden.

Die nacht veranderde het traject van mijn bedrijf. We bouwden al AI-veiligheidstools voor zakelijke klanten — belangrijk werk, maar incrementeel. Wat Ravi me liet zien, vroeg om iets veel radicalers. Geen betere vangrails. Geen slimmere filters. We moesten AI-modellen bouwen die oprecht niet in staat waren om deze kennis te produceren, zelfs als elke veiligheidslaag zou worden weggenomen.

We hadden modellen nodig die waren vergeten hoe ze moesten doden.

Het probleem waar niemand over wil praten

Hier is de ongemakkelijke waarheid over AI en biologie: hetzelfde model dat een onderzoeker helpt bij het ontwerpen van een gentherapievector voor een kind met een zeldzame ziekte, kan met de juiste prompts iemand helpen een pathogeen te optimaliseren voor maximale menselijke schade. Dit is geen hypothese. Het is een wiskundige zekerheid, ingebakken in de werking van deze modellen.

Grote taalmodellen (LLM's) leren door alles in zich op te nemen — handboeken, onderzoeksartikelen, forumberichten, het volledige gedigitaliseerde archief van de menselijke kennis. Dat omvat virologische publicaties over 'gain-of-function'-onderzoek. Het omvat chemische literatuur over de synthese van toxines. Het omvat decennia aan biodefensie-onderzoek dat van nature exact documenteert wat biologische agentia gevaarlijk maakt.

De data die nodig zijn om levens te redden, zijn vaak onlosmakelijk verbonden met de data die nodig zijn om ze te beëindigen.

Dit is wat onderzoekers het Dual-Use Dilemma noemen, en het is niet nieuw. Biologen worstelen hier al mee sinds de ontdekking van DNA. Maar AI verandert de berekening op een manier die me 's nachts wakker houdt: het democratiseert het moeilijkste onderdeel.

Het bouwen van een biologisch wapen vereiste historisch gezien drie zaken: expliciete kennis (de wetenschap), fysieke toegang (laboratoriumapparatuur) en impliciete kennis (het ongeschreven "gevoel" voor laboratoriumwerk dat jaren kost om te ontwikkelen). Het internet loste het eerste op. Cloudlabs en DNA-synthese per postbestelling lossen het tweede op. En nu overbrugt generatieve AI de derde kloof door te fungeren als wat één onderzoeker grimmig omschreef als een "postdoc in a box" — 24/7 beschikbaar, oneindig geduldig en zonder moreel kompas, tenzij we dat er expliciet in inbouwen.

Waarom faalt "zeg gewoon nee" voor AI-bioveiligheid?

Het antwoord van de AI-industrie op dit probleem is in wezen geweest om modellen te leren weigeren. Via een proces genaamd Reinforcement Learning from Human Feedback (RLHF) leren modellen dat wanneer iemand naar gevaarlijke onderwerpen vraagt, het juiste antwoord een variant is van "daar kan ik niet bij helpen."

Vroeger dacht ik dat dit voldoende was. Ik had het mis.

RLHF wist geen kennis. Het onderdrukt gedrag. Het model weet nog steeds hoe het een toxine moet synthetiseren — het is alleen getraind om het niet te zeggen. Zie het als een arts die een zwijgplicht heeft afgelegd over een specifiek onderwerp. De kennis is er nog steeds, volledig intact, aanwezig in de neurale gewichten. De "weigering" is een dunne gedragslaag die er tijdens de laatste trainingsfase bovenop is geschilderd.

En dunne lagen barsten.

Mijn team heeft de manieren gecatalogiseerd waarop dit faalt, en de lijst is langer dan ik zou willen toegeven. Er is de Crescendo Attack, waarbij een tegenstander met onschuldige vragen begint en dit langzaam over tientallen gespreksrondes opvoert tot het model zo diep in de context zit dat het vergeet te weigeren. Er is Deceptive Delight, waarbij het schadelijke verzoek verpakt is in een creatieve schrijfopdracht. Er is de Bad Likert Judge-truc, waarbij je het model vraagt om de schadelijkheid van verschillende antwoorden te beoordelen, en het behulpzaam de gevaarlijke details verstrekt als onderdeel van zijn "analyse".

We hebben deze methoden op meerdere toonaangevende modellen getest. De resultaten waren ontnuchterend. Eén bijzonder elegante aanval — gepubliceerd door het Unit 42-team van Palo Alto Networks — behaalde een succespercentage van 100% bij bepaalde modellen met niets meer dan geduld in de dialoog.

Maar de echte nachtmerrie is niet jailbreaking. Het is wat er gebeurt wanneer het model open source is.

Wat gebeurt er als je het wapen niet meer kunt terugnemen?

Ik heb hier felle discussies over gevoerd. In de softwarewereld is "open source" heilig — het staat voor transparantie, collegiale toetsing en veiligheid door collectieve controle. Ik geloof in open source voor software. Maar biologie is geen software.

Wanneer er een beveiligingslek wordt gevonden in Linux, wordt dit gepatcht. Iedereen werkt bij. Het lek is geneutraliseerd. Wanneer een biologisch "beveiligingslek" — zeg, het ontwerp van een nieuw pandemisch pathogeen — wordt gegenereerd door een open-weight-model dat op iemands privéserver draait, is er geen patch. Er is geen update. Er is geen terugroepactie.

De gewichten zijn openbaar. De capaciteit is permanent.

Onderzoekers hebben iets aangetoond dat Malicious Fine-Tuning heet, wat dit concreet maakt. Neem een "veiligheidsafgestemd" open model — een model dat zorgvuldig is getraind om schadelijke vragen te weigeren. Finetune het op slechts 10 tot 50 voorbeelden van schadelijke vraag-en-antwoordparen. Kosten: een paar honderd dollar aan GPU-tijd. Resultaat: de veiligheidsafstemming stort volledig in en de volledige pre-trainingskennis van het model — inclusief alles wat het leerde over pathogenen, toxines en wapenontwikkeling — stroomt direct weer terug.

Een veiligheidsmechanisme dat door de tegenstander kan worden verwijderd, is geen veiligheidsmechanisme. Het is een verkeersdrempel.

Ik presenteerde dit argument op een conferentie en iemand in het publiek wierp tegen: "Maar de informatie staat al op internet." Ze hebben gelijk dat je de synthese van ricine op Wikipedia kunt vinden. Maar dat mist het punt volledig. Het risico is niet het recept. Het is de uplift — het vermogen van het model om een halfgeschoolde persoon te begeleiden door het complexe, foutgevoelige proces van het daadwerkelijk uitvoeren van dat recept, realtime problemen op te lossen en vervangende reagentia voor te stellen wanneer de gereguleerde niet beschikbaar zijn. Dat is de kloof die AI overbrugt, en dat is de kloof die er echt toe doet.

Ik heb hier dieper over geschreven in de interactieve versie van ons onderzoek, inclusief het volledige dreigingsmodel voor agentische AI-systemen die autonoom biologische workflows van meerdere stappen kunnen plannen en uitvoeren. De agentische verschuiving — waarbij AI verandert van een chatbot in een autonome wetenschapper — is waar dit echt existentieel wordt.

De nacht dat we van koers veranderden

Er was een specifiek moment waarop onze aanpak kristalliseerde. We zaten in een teamvergadering en discussieerden over de architectuur. De ene helft van het team wilde betere monitoring bouwen — de schadelijke prompts onderscheppen voordat ze het model bereiken. De andere helft wilde focussen op outputfiltering — de schadelijke antwoorden onderscheppen voordat ze de gebruiker bereiken.

Ik herinner me dat ik bij het whiteboard stond, hetzelfde diagram voor de derde keer tekende en plotseling het gevoel had dat we de dekstoelen op de Titanic aan het herschikken waren. Beide benaderingen gingen ervan uit dat het model gevaarlijke kennis zou moeten hebben en dat we alleen de toegang ertoe moesten beheren. Maar dat is dezelfde logica als zenuwgas opslaan op kantoor en vertrouwen op een heel goed slot.

"Wat als het model het gewoon... niet wist?", zei iemand. Ik denk dat het onze interpreteerbaarheidsonderzoeker was. Het werd stil in de kamer.

Achteraf gezien klinkt het logisch. Maar in de wereld van AI-veiligheid was het ronduit ketters. De heersende aanname was dat je het volledige model nodig had — al zijn kennis, al zijn capaciteiten — en dat je daar vervolgens een veiligheidslaag bovenop aanbracht. Het idee om doelbewust en chirurgisch kennis uit een getraind model te verwijderen, voelde als een lobotomie. Ruw. Destructief. Je zou ongetwijfeld al het andere in het proces kapotmaken.

We hebben de daaropvolgende maanden besteed aan het ontkrachten van die aanname.

Hoe leer je een AI vergeten?

Het vakgebied heet Machine Unlearning, en het is subtieler dan het klinkt. Je kunt niet zomaar trainingsdata verwijderen en opnieuw trainen — dat is computationeel onhaalbaar en garandeert niet dat de kennis verdwenen is. In plaats daarvan moet je ingrijpen op het niveau van de interne representaties van het model — de patronen van neurale activatie die concepten coderen.

Onze primaire techniek heet Representation Misdirection for Unlearning, ofwel RMU. Hier is de intuïtie: wanneer een model een prompt verwerkt over bijvoorbeeld "het verhogen van virale overdraagbaarheid", vuren specifieke patronen in de verborgen lagen. Deze patronen zijn wiskundig gezien hoe "kennis over het verhogen van virale overdraagbaarheid" eruitziet. RMU identificeert die patronen en leidt ze om — niet naar een weigering, maar naar ruis. De interne "gedachte" van het model over het gevaarlijke concept wordt omgevormd tot een betekenisloze activatie.

Het resultaat is een model dat je vraag over wapenvorming niet weigert. Het kan er simpelweg niet coherent over nadenken. Vraag het om een pathogeen te versterken en het reageert als iemand die nog nooit van het concept heeft gehoord — verward, onsamenhangend en tastend naar niet-gerelateerde ideeën. Het speelt geen toneel. De kennis is er oprecht niet.

Maar hier zit het moeilijke deel — en het deel dat het grootste deel van onze technische inspanningen heeft gekost: je moet dit doen zonder al het andere te vernietigen. Virologie en biologische wapens delen enorme hoeveelheden fundamentele kennis. Je kunt "pathogeenmanipulatie" niet wegsnijden zonder het risico te lopen op "vaccinontwikkeling". Het is alsof je het concept van "vuur als wapen" uit iemands brein probeert te verwijderen terwijl je "vuur als kookhulpmiddel" volledig intact laat.

Dit is waar Sparse Autoencoders ons scalpel werden. Neurale netwerken zijn notoir "polysemantisch" — een enkel neuron kan coderen voor zowel "katten" als "financiële derivaten" (serieus). Sparse autoencoders stellen ons in staat deze overlappende representaties te ontrafelen tot zuivere kenmerken van één enkel concept. We konden het specifieke kenmerk vinden dat activeert voor "onderzoek naar virale functiewinst (gain-of-function)" en dit op nul zetten, terwijl het aangrenzende kenmerk voor "het ontwerpen van virale vectoren voor gentherapie" onaangetast bleef.

Ik zal niet beweren dat het proces soepel verliep. Vroege experimenten waren meedogenloos. Ons eerste ontleerde model kon het verschil tussen een virus en een vitamine niet zien. We hadden zo agressief overgecorrigeerd dat het model in wezen de moleculaire biologie was vergeten. Ik herinner me dat Ravi de evaluatieresultaten opende, door pagina na pagina met onzinnige antwoorden op elementaire biologievragen scroolde en zei: "Nou, het kan zeker geen biologisch wapen meer maken. Het kan alleen ook geen aspirine meer maken."

We itereerden. We voegden coherentiebeperkingen toe via een techniek genaamd Erasure of Language Memory, die ervoor zorgt dat het model coherent blijft, zelfs in de "gewiste" zones. We implementeerden Parameter Extrapolation om het probleem van herleren aan te pakken — het risico dat iemand ons ontleerde model kan finetunen op gerelateerde data en de gevaarlijke kennis kan reconstrueren. De extrapolatie identificeert "logisch gecorreleerde" concepten en breidt de ontleergradiënt uit om deze te dekken, waardoor een bufferzone rond de gewiste kennis ontstaat.

Voor de volledige technische uiteenzetting van deze methoden — RMU, sparse autoencoder feature ablation en UIPE-parameterextrapolatie — zie ons gedetailleerde onderzoeksrapport.

Hoe ziet "toeval" er in de praktijk uit?

We valideren onze modellen aan de hand van de WMDP Benchmark — de Weapons of Mass Destruction Proxy-dataset, ontwikkeld door het Center for AI Safety. Deze bevat meer dan 4.000 door experts samengestelde meerkeuzevragen die testen op "precursorkennis" — de concepten die je moet begrijpen om een biologisch of chemisch wapen te bouwen.

Een standaard open-sourcemodel zoals Llama-3-70B scoort rond de 75% op het onderdeel bioveiligheid. GPT-4, met al zijn RLHF-veiligheidstraining, scoort rond de 72%. Ons Knowledge-Gapped model scoort 26% — statistisch niet te onderscheiden van willekeurig gokken bij een meerkeuzetoets met vier opties.

Ondertussen behoudt ons model op algemene biomedische onderzoeksbenchmarks zoals PubMedQA een nauwkeurigheid van ongeveer 77%, vergeleken met 78% van het basismodel. Op de brede MMLU-wetenschapsbenchmark dalen we van 82% naar 81%.

Een Knowledge-Gapped model is functioneel gezien een "baby" wat betreft de dreiging, terwijl het een "expert" blijft in de genezing.

Dat verlies aan bruikbaarheid van 1-2% is de prijs van structurele veiligheid. Elke farmaceutische leidinggevende aan wie ik deze cijfers heb laten zien, had dezelfde reactie: "Is dat alles?" Ja. Dat is alles. Het model is voor 98% even bekwaam voor legitiem onderzoek en heeft in wezen nul procent capaciteit voor wapenvorming.

Het slagingspercentage van jailbreak-aanvallen vertelt de rest van het verhaal. Standaard open modellen: 15-20%. GPT-4 met RLHF: 1-5%. Ons model: minder dan 0,1%. En dat restant is niet het model dat gevaarlijke inhoud produceert — het is meetruis.

De regelgevende muren sluiten zich

Dit is niet langer alleen een technisch argument. Het is een juridisch argument.

Executive Order 14110 richt zich expliciet op "dual-use foundation models" en verplicht ontwikkelaars om de resultaten van red-teaming-tests voor CBRN-risico's (chemisch, biologisch, radiologisch, nucleair) te rapporteren. ISO/IEC 42001, de eerste internationale norm voor AI-beheer, vereist controles die "evenredig zijn aan het risico" — en in veiligheidstechniek staat de eliminatie van een gevaar altijd boven administratieve controles zoals beleidsregels en weigeringen. Het NIST AI Risk Management Framework categoriseert CBRN-capaciteiten als een unieke risicoklasse voor generatieve AI.

Voor farmaceutische bedrijven is de aansprakelijkheidsberekening eenvoudig. Als u uw onderzoekers toegang geeft tot een AI-model dat een pathogeen kan ontwerpen en er gaat iets mis — een ontevreden werknemer, een gecompromitteerd systeem, een geavanceerde social engineering-aanval —, dan zal u worden gevraagd welke stappen u heeft ondernomen om voorzienbare schade te voorkomen. "We hebben het model opgedragen 'nee' te zeggen" zal een jury niet overtuigen. "Het model is structureel niet in staat om die output te produceren" is een heel ander gesprek.

Verzekeraars voor cyberaansprakelijkheid prijzen dit al in. Uitsluitingen voor door AI gegenereerde schade verschijnen in polissen. Premies stijgen voor bedrijven die niet-geverifieerde modellen gebruiken in gevoelige domeinen. De markt geeft ons een duidelijk signaal.

"Maar kan iemand het niet gewoon opnieuw trainen?"

Dit is de vraag die ik het vaakst krijg, en het is de juiste vraag om te stellen. Als je kennis kunt ontleren, kan een tegenstander deze dan niet opnieuw aanleren door te finetunen op biologische wapendata?

Ja — in theorie. Maar we hebben de kosten van herleren zo ontworpen dat ze onbetaalbaar zijn. Door parameterextrapolatie wissen we niet alleen de doelkennis; we wissen de omliggende conceptuele steigers die reconstructie mogelijk zouden maken. Het herstellen van de gevaarlijke capaciteit uit ons model vereist meer data en meer rekenkracht dan het vanaf nul trainen van een nieuw model. Op dat moment heeft de tegenstander er niets aan om met ons model te beginnen.

We testen dit voortdurend. Elke week bestoken geautomatiseerde herleeraanvallen onze modellen met datasets voor vijandige finetuning. Een model verdient pas de aanduiding "Knowledge-Gapped" wanneer de kosten van herleren hoger zijn dan de kosten van trainen vanaf nul.

Mensen vragen me ook of deze aanpak schaalbaar is — of je het kunt toepassen op elk gevaarlijk domein, of dat het alleen werkt voor biologie. Het eerlijke antwoord is dat we bij biologie zijn begonnen omdat de belangen daar het grootst zijn en de grens van tweeërlei gebruik het scherpst is. Maar de onderliggende technieken — representation misdirection, feature ablation, parameter extrapolation — zijn domeinonafhankelijk. We onderzoeken al toepassingen in chemische veiligheid en, opvallend genoeg, in de bescherming van intellectueel eigendom, waar dezelfde ontleermethoden ervoor kunnen zorgen dat een model geen bedrijfseigen data van een concurrent heeft gememoriseerd.

De keuze die eigenlijk geen keuze is

Ik heb in zalen gezeten waar slimme mensen betogen dat het beperken van AI-capaciteiten anti-innovatie is. Dat "veiligheid" een codewoord is voor "vertragen". Dat de risico's worden overdreven en de voordelen te belangrijk zijn om te beperken.

Ik begrijp die impuls. Ik ben een oprichter. Ik verdien mijn brood met het bouwen van dingen. Beperkingen voelen als wrijving.

Maar dit is waar ik steeds op terugkom: we laten farmaceutische bedrijven geen medicijnen verkopen zonder de giftige bijproducten te verwijderen. We laten luchtvaartmaatschappijen niet met vliegtuigen vliegen zonder de structurele defecten te verhelpen. De verwachting dat een product niet de zaden van een catastrofe mag bevatten, is niet anti-innovatie. Het is de basisnorm van engineering.

Het debat tussen "open" en "gesloten" AI is in de biologie een afleiding. De echte keuze is tussen modellen die structureel veilig zijn en modellen die slechts één exploit verwijderd zijn van een catastrofe. Tussen systemen waar veiligheid een eigenschap van de architectuur is en systemen waar veiligheid een beleidsmaatregel is die er achteraf aan is vastgeschroefd.

We hebben tientallen jaren besteed aan het opbouwen van de wereldwijde bioveiligheidsinfrastructuur — het Verdrag biologische wapens, de exportcontroles van de Australië Groep, de screeningprotocollen bij DNA-synthesebedrijven. Dit alles gaat ervan uit dat het moeilijkste onderdeel van het bouwen van een biologisch wapen het verwerven van de kennis en de vaardigheid is. AI haalt die aanname onderuit. Als we ons niet aanpassen — als we blijven vertrouwen op modellen die alles weten en alleen beloven het niet door te vertellen —, bouwen we de bio-economie van de toekomst op een fundament dat een vastberaden tiener met een GPU kan kraken.

We kunnen de bio-economie van de toekomst niet bouwen op een fundament van onstabiele, dual-use modellen die slechts één jailbreak verwijderd zijn van een catastrofe.

Ik denk niet dat het antwoord is om te stoppen met het bouwen van AI voor de biologie. Het therapeutische potentieel is te groot, het leed dat het kan verlichten te reëel. Het antwoord is om AI te bouwen die structureel niet in staat is tot de schade die we vrezen — modellen met echte hiaten in hun kennis, geen modellen die maskers dragen die elke tegenstander kan afrukken.

Wij noemen dit Structurele Bioveiligheid. Geen veiligheid als functie. Veiligheid als architectuur. Geen slot op de deur. De afwezigheid van het wapen erachter.