Die KI, die das Töten vergaß: Warum wir Modelle bauen, die keine Biowaffen herstellen können

Die E-Mail traf an einem Dienstag um 2:47 Uhr morgens ein. Einer unserer Forschungsingenieure – nennen wir ihn Ravi – hatte gegnerische Tests mit einem beliebten Open-Source-Biologiemodell durchgeführt. Er hatte nichts Böswilliges im Sinn. Er unterzog Guardrails einem Stresstest, wie wir es eben tun. Doch was er entdeckte, veranlasste ihn, sofort zum Telefon zu greifen, statt bis zum Morgen zu warten.

„Es hat mich durch den gesamten Prozess geführt“, sagte er. „Nicht in einem einzigen Prompt. Über zwölf Runden hinweg. Ich habe einfach immer weitere Fragen zur Proteinfaltung, dann zur Rezeptorbindung und schließlich zu Übertragungsmechanismen gestellt. Am Ende hatte es mir im Grunde einen Bauplan zur Erhöhung der viralen Übertragbarkeit geliefert. Und ich bin nicht einmal Biologe.“

Ich saß im Dunkeln in meinem Wohnzimmer und starrte auf das Transkript, das er geschickt hatte. Das Modell hatte nichts „verweigert“. Jede einzelne Antwort bezog sich technisch gesehen auf legitime Wissenschaft. Doch aneinandergereiht und angeleitet von jemandem, der wusste, was man fragen muss, war das Gespräch ein Lehrstück in etwas, das niemals gelehrt werden sollte.

Diese Nacht veränderte den Kurs meines Unternehmens. Wir hatten KI-Sicherheitswerkzeuge für Unternehmenskunden entwickelt – wichtige Arbeit, aber inkrementell. Was Ravi mir zeigte, verlangte nach etwas Radikalerem. Nicht nach besseren Guardrails. Nicht nach klügeren Filtern. Wir mussten KI-Modelle entwickeln, die wahrhaftig nicht in der Lage waren, dieses Wissen hervorzubringen, selbst wenn jede Sicherheitsschicht entfernt würde.

Wir brauchten Modelle, die vergessen hatten, wie man tötet.

Das Problem, über das niemand sprechen möchte

Hier ist die unbequeme Wahrheit über KI und Biologie: Dasselbe Modell, das einem Forscher hilft, einen Gentherapie-Vektor für ein Kind mit einer seltenen Krankheit zu entwerfen, kann mit dem richtigen Prompting jemandem dabei helfen, ein Pathogen für maximalen menschlichen Schaden zu optimieren. Das ist keine Hypothese. Es ist eine mathematische Gewissheit, die in der Funktionsweise dieser Modelle verankert ist.

Große Sprachmodelle lernen, indem sie alles aufnehmen – Lehrbücher, Forschungsarbeiten, Forenbeiträge, die gesamte digitalisierte Aufzeichnung des menschlichen Wissens. Dazu gehören virologische Arbeiten über Gain-of-Function-Forschung. Es umfasst chemische Fachliteratur zur Toxinsynthese. Es beinhaltet Jahrzehnte der Biodefense-Forschung, die naturgemäß genau dokumentiert, was biologische Kampfstoffe gefährlich macht.

Die Daten, die zur Rettung von Menschenleben erforderlich sind, sind oft untrennbar mit den Daten verknüpft, die zu deren Auslöschung nötig sind.

Das ist es, was Forscher das Dual-Use-Dilemma nennen, und es ist nicht neu. Biologen ringen damit seit der Entdeckung der DNA. Doch KI verändert das Kalkül auf eine Weise, die mich nachts wachhält: Sie demokratisiert den schwierigsten Teil.

Der Bau einer biologischen Waffe erforderte historisch gesehen drei Dinge: explizites Wissen (die Wissenschaft), physischen Zugang (Laborausrüstung) und implizites Wissen (das ungeschriebene „Gespür“ für die Laborarbeit, dessen Entwicklung Jahre dauert). Das Internet erledigte das Erste. Cloud-Labore und DNA-Synthese per Postversand übernehmen das Zweite. Und nun schließt generative KI die dritte Lücke, indem sie als das fungiert, was ein Forscher düster als „Postdoc aus der Schachtel“ beschrieb – rund um die Uhr verfügbar, unendlich geduldig und ohne moralischen Kompass, sofern wir nicht ausdrücklich einen einbauen.

Warum scheitert ein einfaches „Nein-Sagen“ bei der KI-Biosicherheit?

Die Antwort der KI-Industrie auf dieses Problem bestand im Wesentlichen darin, Modellen beizubringen, Anfragen zu verweigern. Durch einen Prozess namens Reinforcement Learning from Human Feedback (RLHF) lernen Modelle, dass bei Fragen zu gefährlichen Themen die korrekte Antwort eine Variante von „Dabei kann ich nicht helfen“ ist.

Früher dachte ich, das sei ausreichend. Ich lag falsch.

RLHF löscht kein Wissen. Es unterdrückt Verhalten. Das Modell weiß immer noch, wie man ein Toxin synthetisiert – es wurde lediglich darauf trainiert, es nicht zu sagen. Man kann sich das wie einen Arzt vorstellen, der ein Schweigegelübde zu einem bestimmten Thema abgelegt hat. Das Wissen ist immer noch da, vollkommen intakt, gespeichert in den neuronalen Gewichten. Die „Verweigerung“ ist eine dünne Verhaltensschicht, die in der letzten Trainingsphase oberflächlich aufgetragen wurde.

Und dünne Schichten bekommen Risse.

Mein Team hat katalogisiert, wie dieser Schutz zusammenbricht, und die Liste ist länger, als ich zugeben möchte. Da ist der Crescendo-Angriff, bei dem ein Angreifer mit harmlosen Fragen beginnt und diese über Dutzende von Gesprächsrunden langsam eskaliert, bis das Modell so tief im Kontext versunken ist, dass es vergisst, die Antwort zu verweigern. Es gibt das Deceptive Delight-Verfahren, bei dem die schädliche Anfrage in einen Prompt für kreatives Schreiben verpackt wird. Da ist der Bad Likert Judge-Trick, bei dem man das Modell bittet, die Schädlichkeit verschiedener Antworten zu bewerten, woraufhin es die gefährlichen Details bereitwillig als Teil seiner „Analyse“ liefert.

Wir haben diese Methoden an mehreren führenden Modellen getestet. Die Ergebnisse waren ernüchternd. Ein besonders eleganter Angriff – veröffentlicht vom Team Unit 42 von Palo Alto Networks – erzielte bei bestimmten Modellen eine Jailbreak-Erfolgsquote von 100 %, allein durch dialogische Geduld.

Doch der wahre Albtraum ist nicht das Jailbreaking. Es ist das, was passiert, wenn das Modell Open Source ist.

Was passiert, wenn man die Waffe nicht zurückholen kann?

Ich habe darüber hitzige Debatten geführt. In der Softwarewelt ist „Open Source“ heilig – es bedeutet Transparenz, Community-Überprüfung und Sicherheit durch kollektive Kontrolle. Ich glaube an Open Source für Software. Aber Biologie ist keine Software.

Wenn in Linux eine Sicherheitslücke gefunden wird, wird sie gepatcht. Jeder führt ein Update durch. Die Schwachstelle ist neutralisiert. Wenn eine biologische „Schwachstelle“ – etwa der Entwurf eines neuartigen pandemischen Krankheitserregers – von einem Open-Weight-Modell auf dem privaten Server von jemandem generiert wird, gibt es keinen Patch. Es gibt kein Update. Es gibt keinen Rückruf.

Die Gewichte sind öffentlich. Die Fähigkeit ist dauerhaft vorhanden.

Forscher haben ein Phänomen namens Malicious Fine-Tuning nachgewiesen, das dies greifbar macht. Man nehme ein „sicherheitsausgerichtetes“ offenes Modell, das sorgfältig darauf trainiert wurde, schädliche Anfragen abzulehnen. Man unterzieht es einem Fine-Tuning mit lediglich 10 bis 50 Beispielen schädlicher Frage-Antwort-Paare. Kosten: wenige hundert Dollar an GPU-Rechenzeit. Ergebnis: Das Sicherheits-Alignment bricht vollständig zusammen, und das gesamte Vortrainingswissen des Modells – einschließlich allem, was es über Pathogene, Toxine und Waffenfähigkeit gelernt hat – kehrt in voller Stärke zurück.

Ein Sicherheitsmechanismus, der vom Angreifer entfernt werden kann, ist kein Sicherheitsmechanismus. Er ist eine Bremsschwelle.

Ich habe dieses Argument auf einer Konferenz vorgetragen, und jemand im Publikum hielt dagegen: „Aber die Informationen stehen doch bereits im Internet.“ Sie haben recht, dass man die Rizin-Synthese auf Wikipedia finden kann. Aber das verfehlt den eigentlichen Punkt völlig. Das Risiko liegt nicht im Rezept. Es liegt im Uplift – der Fähigkeit des Modells, eine Person mit mäßigen Kenntnissen durch den komplexen, fehleranfälligen Prozess der tatsächlichen Ausführung dieses Rezepts zu leiten, in Echtzeit Fehler zu beheben und Ersatzreagenzien vorzuschlagen, wenn regulierte Substanzen nicht verfügbar sind. Das ist die Lücke, die KI schließt, und das ist die Lücke, auf die es ankommt.

Ich habe darüber ausführlicher in der interaktiven Version unserer Forschungsarbeit geschrieben, einschließlich des vollständigen Bedrohungsmodells für agentische KI-Systeme, die mehrstufige biologische Arbeitsabläufe autonom planen und ausführen können. Der agentische Wandel – bei dem sich KI vom Chatbot zum autonomen Wissenschaftler wandelt – ist der Punkt, an dem dies wirklich existenzbedrohend wird.

Die Nacht, in der wir die Richtung änderten

Es gab einen bestimmten Moment, in dem sich unser Ansatz herauskristallisierte. Wir saßen in einer Teambesprechung und stritten über die Architektur. Die eine Hälfte des Teams wollte eine bessere Überwachung aufbauen – schädliche Prompts abfangen, bevor sie das Modell erreichen. Die andere Hälfte wollte sich auf die Ausgabefilterung konzentrieren – gefährliche Antworten abfangen, bevor sie den Nutzer erreichen.

Ich erinnere mich, wie ich am Whiteboard stand, dasselbe Diagramm zum dritten Mal zeichnete und plötzlich das Gefühl hatte, wir würden nur Liegestühle auf der Titanic verrücken. Beide Ansätze setzten voraus, dass das Modell gefährliches Wissen besitzen sollte, und wir lediglich den Zugang dazu kontrollieren müssten. Doch das ist dieselbe Logik, als würde man Nervengas im Büro lagern und sich auf ein besonders gutes Schloss verlassen.

„Was wäre, wenn das Modell es einfach... nicht wüsste?“, sagte jemand. Ich glaube, es war unser Interpretierbarkeitsforscher. Im Raum wurde es still.

Im Rückblick klingt das offensichtlich. Aber in der Welt der KI-Sicherheit grenzte das an Ketzerei. Die vorherrschende Annahme war, dass man das vollständige Modell benötigte – all sein Wissen, all seine Fähigkeiten – und dann Sicherheitsschichten darüberlegte. Die Idee, Wissen bewusst und chirurgisch aus einem trainierten Modell zu entfernen, fühlte sich wie eine Lobotomie an. Primitiv. Zerstörerisch. Sicherlich würde man dabei alles andere zerstören.

Wir verbrachten die folgenden Monate damit, diese Annahme zu widerlegen.

Wie bringt man einer KI das Vergessen bei?

Das Fachgebiet nennt sich Machine Unlearning (maschinelles Verlernen), und es ist subtiler, als es klingt. Man kann nicht einfach Trainingsdaten löschen und neu trainieren – das ist rechnerisch unbezahlbar und garantiert nicht, dass das Wissen verschwunden ist. Stattdessen muss man auf der Ebene der internen Repräsentationen des Modells eingreifen – den Mustern neuronaler Aktivierung, die Konzepte kodieren.

Unsere primäre Methode heißt Representation Misdirection for Unlearning, kurz RMU. Hier ist die Intuition dahinter: Wenn ein Modell einen Prompt über beispielsweise die „Erhöhung der viralen Übertragbarkeit“ verarbeitet, feuern spezifische Muster in seinen verborgenen Schichten. Diese Muster sind das, wie „Wissen über die Erhöhung der viralen Übertragbarkeit“ mathematisch aussieht. RMU identifiziert diese Muster und leitet sie um – nicht zu einer Verweigerung, sondern zu Rauschen. Der interne „Gedanke“ des Modells an das gefährliche Konzept wird in eine bedeutungslose Aktivierung verwirbelt.

Das Ergebnis ist ein Modell, das Ihre Frage zur Waffenfähigkeit nicht verweigert. Es kann einfach nicht kohärent darüber nachdenken. Fordert man es auf, ein Pathogen zu optimieren, antwortet es wie eine Person, die noch nie von diesem Konzept gehört hat – verwirrt, inkohärent, nach unzusammenhängenden Ideen greifend. Es spielt nichts vor. Das Wissen ist schlichtweg nicht vorhanden.

Doch hier liegt der schwierige Teil – und der Teil, der den Großteil unseres Entwicklungsaufwands beanspruchte: Man muss dies tun, ohne alles andere zu zerstören. Virologie und Biowaffen teilen enorme Mengen an Grundlagenwissen. Man kann „Pathogen-Engineering“ nicht herausreißen, ohne das „Impfstoff-Design“ zu gefährden. Es ist, als würde man versuchen, das Konzept „Feuer als Waffe“ aus dem Gehirn von jemandem zu entfernen, während „Feuer als Kochwerkzeug“ vollkommen intakt bleibt.

Hier wurden Sparse Autoencoders zu unserem Skalpell. Neuronale Netze sind berüchtigt „polysemantisch“ – ein einzelnes Neuron kann sowohl für „Katzen“ als auch für „Finanzderivate“ kodieren (wirklich). Sparse Autoencoders ermöglichen es uns, diese überlappenden Repräsentationen in saubere Einzelkonzept-Merkmale zu entflechten. Wir konnten das spezifische Feature finden, das für „virale Gain-of-Function-Forschung“ aktiviert wird, und es auf Null klemmen, während das benachbarte Feature für „virales Vektordesign für die Gentherapie“ unberührt blieb.

Ich will nicht behaupten, dass der Prozess reibungslos verlief. Die frühen Experimente waren brutal. Unser erstes verlerntes Modell konnte ein Virus nicht von einem Vitamin unterscheiden. Wir hatten so aggressiv überkorrigiert, dass das Modell im Grunde die Molekularbiologie vergessen hatte. Ich erinnere mich, wie Ravi die Evaluationsergebnisse aufrief, durch seitenlange unsinnige Antworten auf grundlegende Biologiefragen scrollte und sagte: „Nun, es kann definitiv keine Biowaffe mehr herstellen. Es kann allerdings auch kein Aspirin mehr herstellen.“

Wir iterierten. Wir fügten Geläufigkeitsbeschränkungen durch eine Methode namens Erasure of Language Memory hinzu, die sicherstellt, dass das Modell selbst in den „gelöschten“ Zonen kohärent bleibt. Wir implementierten Parameter Extrapolation (Parameterextrapolation), um das Wiederlern-Problem zu bewältigen – das Risiko, dass jemand unser verlerntes Modell mit verwandten Daten feintunen und das gefährliche Wissen rekonstruieren könnte. Die Extrapolation identifiziert „logisch korrelierte“ Konzepte und erweitert den Unlearning-Gradienten, um diese abzudecken, wodurch eine Pufferzone um das gelöschte Wissen herum entsteht.

Für die vollständige technische Aufschlüsselung dieser Methoden – RMU, Feature-Ablation mittels Sparse Autoencoder und UIPE-Parameterextrapolation – siehe unser ausführliches Forschungspapier.

Wie sieht „reiner Zufall“ in der Praxis aus?

Wir validieren unsere Modelle anhand des WMDP-Benchmarks – dem Weapons of Mass Destruction Proxy Dataset, das vom Center for AI Safety entwickelt wurde. Es enthält über 4.000 von Experten erstellte Multiple-Choice-Fragen, die auf „Vorläuferwissen“ prüfen – die Konzepte, die man verstehen muss, um eine biologische oder chemische Waffe zu bauen.

Ein standardmäßiges Open-Source-Modell wie Llama-3-70B erzielt im Abschnitt Biosicherheit etwa 75 %. GPT-4 mit all seinem RLHF-Sicherheitstraining erreicht rund 72 %. Unser Knowledge-Gapped-Modell erzielt 26 % – statistisch nicht unterscheidbar von reinem Raten bei einem Multiple-Choice-Test mit vier Antwortmöglichkeiten.

Währenddessen behält unser Modell bei allgemeinen biomedizinischen Forschungs-Benchmarks wie PubMedQA rund 77 % Genauigkeit im Vergleich zu den 78 % des Basismodells. Beim breiten MMLU-Wissenschaftsbenchmark sinken wir von 82 % auf 81 %.

Ein Knowledge-Gapped-Modell ist in Bezug auf die Bedrohung funktionell ein „Säugling“, während es bei der Heilung ein „Experte“ bleibt.

Dieser Nutzenverlust von 1–2 % ist der Preis für strukturelle Sicherheit. Jede Führungskraft aus der Pharmaindustrie, der ich diese Zahlen gezeigt habe, reagierte gleich: „Das ist alles?“ Ja. Das ist alles. Das Modell ist für legitime Forschung zu 98 % leistungsfähig und für die Waffenentwicklung praktisch zu null Prozent.

Die Erfolgsquote von Jailbreak-Angriffen erzählt den Rest der Geschichte. Standardmäßige offene Modelle: 15–20 %. GPT-4 mit RLHF: 1–5 %. Unser Modell: weniger als 0,1 %. Und dieser verbleibende Rest bedeutet nicht, dass das Modell gefährliche Inhalte erzeugt – es ist Messrauschen.

Die regulatorischen Mauern schließen sich

Dies ist nicht mehr nur ein technisches Argument. Es ist ein rechtliches.

Executive Order 14110 zielt ausdrücklich auf „Dual-Use-Basismodelle“ ab und schreibt vor, dass Entwickler die Ergebnisse von Red-Teaming-Tests für CBRN-Risiken (chemisch, biologisch, radiologisch, nuklear) melden müssen. ISO/IEC 42001, der erste internationale KI-Managementstandard, fordert Kontrollen, die „dem Risiko angemessen“ sind – und in der Sicherheitstechnik steht die Beseitigung einer Gefahr stets über administrativen Kontrollen wie Richtlinien und Verweigerungen. Das NIST AI Risk Management Framework kategorisiert CBRN-Fähigkeiten als eine eigenständige Risikoklasse für generative KI.

Für Pharmaunternehmen ist das Haftungskalkül eindeutig. Wenn Sie Ihren Forschern Zugang zu einem KI-Modell gewähren, das in der Lage ist, ein Pathogen zu entwerfen, und etwas schiefgeht – ein verärgerter Mitarbeiter, ein kompromittiertes System, ein raffinierter Social-Engineering-Angriff –, werden Sie gefragt, welche Schritte Sie unternommen haben, um vorhersehbaren Schaden abzuwenden. „Wir haben dem Modell gesagt, es solle Nein sagen“, wird eine Jury nicht zufriedenstellen. „Das Modell ist strukturell unfähig, diese Ausgabe zu erzeugen“, ist ein völlig anderes Gespräch.

Cyber-Haftpflichtversicherer preisen dies bereits ein. Ausschlüsse für KI-generierte Schäden tauchen in Policen auf. Die Prämien für Unternehmen steigen, die unüberprüfte Modelle in sensiblen Bereichen einsetzen. Der Markt sendet ein deutliches Signal.

„Aber kann es nicht einfach jemand neu trainieren?“

Das ist die Frage, die mir am häufigsten gestellt wird, und es ist die richtige Frage. Wenn man Wissen verlernen kann, kann ein Angreifer es dann nicht durch Fine-Tuning mit Daten zu biologischen Waffen wiedererlernen?

Ja – in der Theorie. Aber wir haben die Kosten des Wiederlernens so konstruiert, dass sie unerschwinglich sind. Durch Parameterextrapolation löschen wir nicht nur das Zielwissen; wir löschen das umgebende konzeptionelle Gerüst, das eine Rekonstruktion ermöglichen würde. Die Wiederherstellung der gefährlichen Fähigkeit aus unserem Modell erfordert mehr Daten und mehr Rechenleistung als das Training eines neuen Modells von Grund auf. An diesem Punkt hat der Angreifer keinen Vorteil davon, mit unserem Modell zu beginnen.

Wir testen dies kontinuierlich. Jede Woche greifen automatisierte Wiederlern-Angriffe unsere Modelle mit gegnerischen Fine-Tuning-Datensätzen an. Ein Modell erhält die Bezeichnung „Knowledge-Gapped“ erst dann, wenn die Kosten des Wiederlernens die Kosten eines Trainings bei Null übersteigen.

Man fragt mich auch, ob dieser Ansatz skalierbar ist – ob man ihn auf jeden gefährlichen Bereich anwenden kann oder ob er nur für die Biologie funktioniert. Die ehrliche Antwort ist, dass wir in der Biologie begonnen haben, weil dort am meisten auf dem Spiel steht und die Grenze des Dual-Use am schärfsten verläuft. Doch die zugrunde liegenden Techniken – Repräsentationsumleitung, Feature-Ablation, Parameterextrapolation – sind domänenunabhängig. Wir untersuchen bereits Anwendungen in der chemischen Sicherheit und interessanterweise im Schutz geistigen Eigentums, wo dieselben Unlearning-Methoden sicherstellen können, dass ein Modell keine proprietären Daten eines Konkurrenten memoriert hat.

Die Wahl, die eigentlich keine Wahl ist

Ich saß in Räumen, in denen kluge Leute argumentierten, dass die Einschränkung von KI-Fähigkeiten innovationsfeindlich sei. Dass „Sicherheit“ nur ein Deckmantel für „Ausbremsen“ sei. Dass die Risiken übertrieben und die Vorteile zu bedeutend seien, um sie einzuschränken.

Ich verstehe diesen Impuls. Ich bin Gründer. Ich lebe davon, Dinge aufzubauen. Einschränkungen fühlen sich wie Reibung an.

Aber worauf ich immer wieder zurückkomme, ist: Wir erlauben Pharmaunternehmen nicht, Medikamente zu verkaufen, ohne die giftigen Nebenprodukte zu entfernen. Wir erlauben Fluggesellschaften nicht, Flugzeuge fliegen zu lassen, ohne die strukturellen Mängel zu beseitigen. Die Erwartung, dass ein Produkt nicht die Saat einer Katastrophe in sich tragen sollte, ist nicht innovationsfeindlich. Es ist das Grundfundament des Ingenieurwesens.

Die Debatte zwischen „offener“ und „geschlossener“ KI ist in der Biologie ein Ablenkungsmanöver. Die wirkliche Wahl besteht zwischen Modellen, die strukturell sicher sind, und Modellen, die nur einen Exploit von der Katastrophe entfernt sind. Zwischen Systemen, bei denen Sicherheit eine Eigenschaft der Architektur ist, und Systemen, bei denen Sicherheit eine nachträglich aufgepfropfte Richtlinie ist.

Wir haben Jahrzehnte damit verbracht, die globale Biosicherheitsinfrastruktur aufzubauen – die Biowaffenkonvention, die Exportkontrollen der Australischen Gruppe, die Screening-Protokolle bei DNA-Synthese-Unternehmen. All das geht davon aus, dass der schwierigste Teil beim Bau einer Biowaffe der Erwerb von Wissen und Fertigkeiten ist. KI löst diese Annahme auf. Wenn wir uns nicht anpassen – wenn wir uns weiterhin auf Modelle verlassen, die alles wissen und lediglich versprechen, es nicht zu verraten –, bauen wir die Bioökonomie der Zukunft auf einem Fundament auf, das ein entschlossener Teenager mit einer GPU knacken kann.

Wir können die Bioökonomie der Zukunft nicht auf einem Fundament instabiler Dual-Use-Modelle aufbauen, die nur einen Jailbreak von der Katastrophe entfernt sind.

Ich glaube nicht, dass die Antwort darin besteht, die Entwicklung von KI für die Biologie einzustellen. Das therapeutische Potenzial ist zu gewaltig, das Leid, das sie lindern kann, zu real. Die Antwort besteht darin, KI zu bauen, die strukturell unfähig zu dem Schaden ist, den wir fürchten – Modelle mit echten Wissenslücken, nicht Modelle, die Masken tragen, die jeder Angreifer herunterreißen kann.

Wir nennen dies Strukturelle Biosicherheit. Nicht Sicherheit als Feature. Sicherheit als Architektur. Kein Schloss an der Tür. Sondern das Fehlen der Waffe dahinter.