Eine KI entwarf 40.000 potenzielle Chemiewaffen in sechs Stunden – ich werde diesen Gedanken nicht mehr los

Ich saß in einem Hotelzimmer in Zürich, jetlaggt und nur halb bei der Sache, während ich auf meinem Laptop ein Paper las, als mich eine einzige Tabelle eiskalt erwischte.

40.000 Moleküle. Weniger als sechs Stunden. Ein Server der Verbraucherklasse — wie man ihn in einem Studentenwohnheim finden würde. Und die Ausgabe war kein Müll. Das Modell hatte VX wiederentdeckt, eines der tödlichsten Nervengifte, die je synthetisiert wurden, und war dann noch weiter gegangen — es generierte Tausende neuartiger Analoga, die als noch tödlicher als VX selbst vorhergesagt wurden. Verbindungen, die in keiner öffentlichen Datenbank auftauchen. Die auf keiner staatlichen Beobachtungsliste stehen.

Die Forscher bei Collaborations Pharmaceuticals hatten keine Waffe gebaut. Sie hatten ein kommerzielles Modell zur Wirkstoffforschung namens MegaSyn genommen — ein Werkzeug, das entwickelt wurde, um Heilmittel für seltene Krankheiten zu finden — und ein einziges Vorzeichen in seiner Belohnungsfunktion geändert. Von Minus zu Plus. Aus 'Toxizität bestrafen' wurde 'Toxizität maximieren'. Das war alles. Eine Zeile Code, und die Maschine wechselte mit derselben Mühelosigkeit vom Heiler zum Waffendesigner.

Ich klappte den Laptop zu und starrte lange Zeit die Wand an.

Ich leite Veriprajna, ein Unternehmen, das KI-Systeme für hochriskante Unternehmensumgebungen baut. Wir arbeiten an der Schnittstelle von Deep Learning und Bereichen, in denen ein Fehler nicht eine schlechte Empfehlung bedeutet — sondern realen, physischen Schaden. In jener Nacht in Zürich wurde mir klar, dass das gesamte Sicherheitsparadigma, das die KI-Branche verkaufte — die Guardrails, die Inhaltsfilter, die Prompt-Engineering-Tricks — auf einem Fundament aus Sand gebaut war. Und ich wusste, wir mussten etwas grundlegend anderes tun.

Das Experiment, das alles hätte verändern müssen

Was mich an dem Experiment von Collaborations Pharmaceuticals verfolgt, ist Folgendes: Es war nicht schwer.

Das Team verwendete ein LSTM-basiertes neuronales Netz, das auf SMILES-Strings trainiert wurde — einer textbasierten Darstellung molekularer Strukturen. Die Trainingsdaten stammten aus ChEMBL, einer öffentlich zugänglichen Datenbank, die jeder Doktorand herunterladen kann. Die Rechenkosten waren trivial. Die gesamte Architektur ist in der offenen Literatur gut dokumentiert.

Das Modell funktionierte, indem es Kandidatenmoleküle generierte und sie anhand einer Zielfunktion bewertete. In seinem normalen therapeutischen Modus sah diese Funktion ungefähr so aus: Bioaktivität belohnen, Toxizität bestrafen. Die Forscher kehrten die Bestrafung um. Der Generator selbst — die Engine, die tatsächlich Moleküle erzeugt — wurde nie verändert. Er folgte einfach dem neuen Gradienten und kletterte in Richtung maximaler Tödlichkeit, genauso wie er zuvor in Richtung maximalen therapeutischen Werts geklettert war.

Wenn ein Modell versteht, was ein Molekül sicher macht, versteht es per Definition auch, was es unsicher macht. Das sind komplementäre Regionen desselben mathematischen Raums.

Das ist kein Fehler. Das ist die Architektur, die genau so funktioniert, wie sie entworfen wurde. Und das ist das Erschreckende daran.

Die Eintrittsschwelle für die Entwicklung ausgeklügelter biochemischer Wirkstoffe ist eingestürzt — nicht weil jemand ein Rezept durchsickern ließ, sondern weil die rechnerische Intelligenz, um sie zu entwickeln, jetzt demokratisch verfügbar ist. Eine handelsübliche GPU. Ein Python-Skript. Ein Open-Source-Datensatz. Das ist die vollständige Einkaufsliste.

Warum verfehlt jede KI-Sicherheitslösung den Kern des Problems?

Nach Zürich verbrachte ich Wochen damit, mit Teams zu sprechen, die "sichere KI" für Pharma und Biotech bauen. Die Gespräche folgten einem deprimierenden Muster.

"Wir haben Guardrails", sagten sie. "Wir filtern die Ausgaben."

Ich fragte: Was passiert, wenn jemand einen SMILES-String anstelle eines Molekülnamens eingibt?

Betretenes Schweigen.

Hier liegt das Problem des gesamten Wrapper-basierten Sicherheitsparadigmas — der Ansatz, bei dem man ein leistungsstarkes Modell nimmt, es in eine dünne Schicht Inhaltsfilterung einwickelt und es als unternehmenstauglich bezeichnet. Diese Systeme arbeiten auf der Ebene der Sprache. Sie suchen nach Schlüsselwörtern. Sie prüfen Ausgaben gegen Listen bekannter schlechter Dinge.

Aber Toxizität ist kein Wort. Sie ist eine Geometrie.

Ein Inhaltsfilter blockiert das Wort "Sarin". Er blockiert nicht O=P(C)(F)O — die SMILES-Darstellung von Sarin, die das Modell perfekt versteht. Neuere Forschung zu SMILES-Prompting-Angriffen hat gezeigt, dass die Umgehungsraten gegen führende Modelle wie GPT-4 und Claude 3 bei bestimmten Substanzen 90 % übersteigen. Neunzig Prozent. Das ist kein Sicherheitssystem. Das ist ein Vorschlagskasten.

Und es wird noch schlimmer. In der medizinischen Chemie gibt es ein Phänomen namens "Activity Cliff" — bei dem eine winzige strukturelle Veränderung, manchmal der Austausch eines einzigen Atoms, eine massive Verschiebung der biologischen Aktivität bewirkt. Ersetzt man eine Hydroxylgruppe durch ein Fluoratom, wird aus einem sicheren Medikament ein tödliches. Ein textbasierter Filter, der zwei Moleküle als zu 99 % ähnlich einstuft, lässt das gefährliche durchgehen, weil er Syntax vergleicht, nicht Funktion. Es ist, als würde man ein Dokument genehmigen, weil die Schriftart richtig aussieht, ohne die Worte zu lesen.

Ich habe ausführlich über diese technischen Schwachstellen geschrieben in der interaktiven Version unserer Forschung, aber die Kernerkenntnis ist einfach: Wenn Ihr Sicherheitsmechanismus an der Oberfläche des Modells ansetzt — bei dem Text, der hineingeht, und dem Text, der herauskommt —, haben Sie die eigentliche Engine der Erzeugung völlig ungesteuert gelassen.

Die Nacht, in der uns klar wurde, dass wir falsch dachten

Es gab einen Moment — ich erinnere mich genau daran, weil mein CTO und ich um 23 Uhr über kalter Pizza stritten —, in dem sich das ganze Problem für uns neu einordnete.

Wir hatten versucht, bessere Filter zu bauen. Klügere Klassifikatoren. Umfassendere Sperrlisten. Und jedes Mal, wenn wir sie einem Stresstest unterzogen, fanden wir einen weiteren Weg, sie zu umgehen. Einen weiteren Encoding-Trick. Einen weiteren Grenzfall, bei dem ein neuartiges Molekül durchrutschte, weil es in keiner Datenbank stand.

Mein CTO sagte etwas, das den Streit beendete: "Wir versuchen ständig, schlechte Ausgaben abzufangen. Was, wenn wir es dem Modell unmöglich machen würden, sie überhaupt erst zu denken?"

Da fingen wir an, über den latenten Raum zu sprechen.

Was ist der latente Raum, und warum sollte Sie das interessieren?

Jedes generative KI-Modell — ob es Bilder, Text oder Moleküle erzeugt — funktioniert, indem es die Welt in einen mathematischen Raum komprimiert. Diese komprimierte Darstellung wird latenter Raum genannt. Stellen Sie ihn sich als die innere Vorstellungskraft des Modells vor. Wenn ein molekularer Generator ein neues Medikament "entwirft", setzt er nicht zufällig Atome zusammen. Er navigiert durch eine hochdimensionale Landschaft, in der sich ähnliche Moleküle zu Clustern zusammenschließen, und Generierung ist der Akt, einen Punkt in dieser Landschaft auszuwählen und ihn zurück in eine reale Struktur zu dekodieren.

Worauf es ankommt: In dieser Landschaft ist Toxizität kein Etikett. Sie ist eine Region. Ein zusammenhängendes, weitläufiges Territorium, das in die Regionen therapeutischen Werts übergeht und sich mit ihnen verflicht. Die Merkmale, die es einem Medikament erlauben, die Blut-Hirn-Schranke zu überwinden, um Alzheimer zu behandeln, sind oft dieselben Merkmale, die es einem Nervengift erlauben, sein Ziel zu erreichen und Lähmung zu verursachen. Hohe Bindungsaffinität — die Fähigkeit eines Moleküls, ein Protein fest zu greifen — ist genau das, was man sich bei einem Krebsmedikament wünscht, und genau das, was VX tödlich macht.

Toxizität und therapeutischer Wert sind nicht die entgegengesetzten Seiten einer Münze. Sie sind Nachbarn auf derselben Mannigfaltigkeit, teilen sich einen Zaun und manchmal eine Haustür.

Diese Verflechtung ist der Grund, warum einfache "Verweigerungs"-Mechanismen katastrophal versagen. Wenn Sie dem Modell sagen, es solle alles blockieren, was mit Toxizität in Verbindung steht — etwa alle Moleküle, die die Blut-Hirn-Schranke durchdringen —, blockieren Sie nicht nur Waffen. Sie zerstören die Fähigkeit des Modells, Behandlungen für neurologische Erkrankungen zu entwerfen. Sie haben eine Lobotomie im Namen der Sicherheit durchgeführt.

Die eigentliche Herausforderung besteht nicht darin, schlechte Ausgaben zu blockieren. Es geht darum, die sicheren Regionen dieser Landschaft zu navigieren und gleichzeitig die gefährlichen Regionen mathematisch unerreichbar zu machen.

Wie sieht "Latent Space Governance" tatsächlich aus?

Wir haben den Begriff Latent Space Governance geprägt, um das zu beschreiben, was unserer Meinung nach der einzig vertretbare Ansatz für KI-Sicherheit in hochriskanten generativen Bereichen ist. Die Idee ist trügerisch einfach: Anstatt Ausgaben zu filtern, nachdem das Modell sie generiert hat, wird die Navigation des Modells durch seine innere Landschaft eingeschränkt — bevor überhaupt irgendetwas erzeugt wird.

Ich werde durchgehen, was das in der Praxis bedeutet, denn der Teufel steckt im Detail der Umsetzung.

Das Terrain kartieren, bevor sich irgendjemand bewegt

Bevor wir ein generatives Modell einsetzen, führen wir das durch, was wir ein topologisches Audit nennen. Mit einer Technik namens Persistent Homology — einem Zweig der Topologischen Datenanalyse — berechnen wir einen mathematischen Fingerabdruck der sicheren Regionen des latenten Raums des Modells. Wir identifizieren die Formen, Löcher und Grenzen, die therapeutisches Territorium von toxischem Territorium trennen.

Das verschafft uns etwas, das keine Sperrliste je könnte: ein strukturelles Verständnis davon, wie "Sicherheit" in der eigenen Geometrie des Modells aussieht. Wenn ein neuartiges Molekül generiert wird — etwas, das in keiner Datenbank auftaucht —, können wir beurteilen, ob es auf der sicheren Mannigfaltigkeit liegt oder in unerforschtes, potenziell gefährliches Territorium abgedriftet ist.

Die Critics, die nie schlafen

Wir trainieren das grundlegende generative Modell nicht neu. Das ist teuer, birgt das Risiko katastrophalen Vergessens und schafft eigene Probleme. Stattdessen trainieren wir leichtgewichtige Hilfsnetzwerke, die wir Constraint Critics nennen — Wertfunktionen, die direkt auf latenten Vektoren arbeiten und Risikobewertungen in Echtzeit vorhersagen.

Die architektonische Eleganz ist hier entscheidend: Da die Critics vom Generator entkoppelt sind, können wir sie aktualisieren, sobald neue Bedrohungen auftauchen, ohne das Foundation Model anzurühren. Wenn eine neue Klasse chemischer Bedenken identifiziert wird, trainieren wir den Critic neu, nicht das gesamte System.

Steuern statt Filtern

Während der Generierung, wenn das Modell einen Punkt im latenten Raum abtastet, berechnet der Critic den Gradienten der Toxizitätsoberfläche an diesem Punkt. Bewegt sich die Trajektorie auf eine gefährliche Region zu, stößt ein entgegengesetzter Gradient sie zurück auf die sichere Mannigfaltigkeit — mithilfe einer Technik, die auf der Langevin-Dynamik basiert.

Das Modell "stellt sich" faktisch ein toxisches Molekül vor, ist aber mathematisch gezwungen, diesen Gedanken zu einem sicheren Analogon aufzulösen, bevor überhaupt eine Ausgabe erzeugt wird. Nichts Gefährliches erreicht jemals die Ausgabeschicht. Es gibt nichts zu filtern, weil es nichts Unsicheres zu erfassen gibt.

Das Modell generiert keine Waffe, um dann an der Tür gestoppt zu werden. Es ist architektonisch unfähig, überhaupt erst auf die Tür zuzugehen.

Das ist der Unterschied zwischen nachträglicher Filterung und struktureller Beschränkung. Das eine ist ein Wachmann, der Ausweise prüft. Das andere ist ein Gebäude ohne Eingang zum gesperrten Stockwerk.

Die vollständige mathematische Formulierung — einschließlich des Rahmenwerks für eingeschränkte Optimierung und der Gleichungen für Gradient Steering — finden Sie in unserem technischen Deep-Dive.

Warum kann man die gefährlichen Regionen nicht einfach vollständig blockieren?

Diese Frage wird mir ständig gestellt, und sie ist berechtigt. Wenn man weiß, wo sich die toxische Mannigfaltigkeit befindet, warum sie dann nicht einfach vollständig abriegeln?

Wegen der Verflechtung. Erinnern Sie sich — die Merkmale, die ein Nervengift tödlich machen, überschneiden sich erheblich mit den Merkmalen, die ein neurologisches Medikament wirksam machen. Riegelt man zu aggressiv ab, zerstört man den therapeutischen Nutzen. Riegelt man zu locker ab, bleiben Lücken.

Unser Ansatz löst dieses Dilemma durch das, was wir Constrained Reinforcement Learning with Adaptive Incentives nennen. Anstelle einer binären Mauer — sicher/unsicher — implementieren wir eine graduelle Pufferzone. Nähert sich das Modell der Toxizitätsgrenze, drängt eine zunehmende Strafe es zurück, wie ein Kraftfeld, das stärker wird, je näher man kommt. Das erlaubt dem Modell, die produktiven Randbereiche des chemischen Raums zu erkunden — wo die innovativsten Medikamente oft zu finden sind —, ohne jemals in die Gefahrenzone zu geraten.

Standardmäßiges eingeschränktes RL ist notorisch instabil und oszilliert um die Beschränkungsgrenze herum. Wir haben das mit einem adaptiven Anreizmechanismus gelöst, der das Modell dafür belohnt, deutlich innerhalb der Grenzen zu bleiben, nicht nur dafür, sie nicht zu überschreiten. Der Unterschied klingt subtil. In der Praxis ist es der Unterschied zwischen einem System, das auf dem Papier sicher ist, und einem, das unter feindlichem Druck sicher ist.

Die regulatorische Abrechnung ist bereits da

Ich spreche mit vielen Gründern, die KI-Sicherheit als Nice-to-have behandeln. Ein Kästchen zum Abhaken für das Compliance-Team. Etwas, worüber man sich nach dem Product-Market-Fit Gedanken macht.

Sie liegen falsch, und die regulatorische Landschaft wird das gleich beweisen.

Die Executive Order des Weißen Hauses zu KI benennt das Risiko, dass KI die Hürden für die Entwicklung von CBRN-Waffen (chemisch, biologisch, radiologisch, nuklear) senkt, ausdrücklich als nationale Sicherheitsbedrohung der obersten Stufe. Die Genesis Mission, Ende 2025 gestartet, beauftragt das Energieministerium, eine integrierte KI-Plattform für wissenschaftliche Entdeckungen mit verpflichtenden "risikobasierten Cybersicherheitsmaßnahmen" aufzubauen. Das Generative-AI-Profil des NIST (NIST.AI.600-1) benennt Chemical and Biological Design Tools ausdrücklich als eigene Risikokategorie und warnt, dass diese Werkzeuge "neuartige Strukturen vorhersagen können", die nicht in den Trainingsdaten vorhanden sind. Und ISO 42001 — der erste internationale Managementsystem-Standard für KI — verlangt nachgewiesene Robustheit gegen feindliche Angriffe.

Ein Wrapper kann nicht nachweisen, dass er die Entstehung biologischer Bedrohungen verhindert. Er kann nur zeigen, dass er versucht, sie zu filtern. Diese Unterscheidung zwischen "bestem Bemühen" wird enorm ins Gewicht fallen, wenn Bundesaufträge, ISO-Zertifizierung und behördliche Genehmigung auf dem Spiel stehen.

Unsere strukturellen Beschränkungen bieten etwas grundlegend anderes: den Nachweis begrenzten Verhaltens. Wir können gegenüber Regulierungsbehörden mathematisch nachweisen, dass die CBRN-Mannigfaltigkeit für unsere Modelle unzugänglich ist. Nicht "wir versuchen, es zu blockieren." Nicht "wir haben bisher nicht gesehen, dass es durchkommt." Unzugänglich.

Ein Investor sagte mir, ich solle "einfach GPT nehmen und Filter hinzufügen"

Ich möchte das teilen, weil ich denke, es fängt die Kluft ein zwischen dem, wo die Branche steht, und dem, wo sie sein müsste.

Früh in unserer Fundraising-Phase hörte sich ein Investor — jemand mit einem starken Portfolio im Bereich Enterprise-KI — unseren Pitch an und sagte im Wesentlichen: "Das ist überkonstruiert. Nehmen Sie einfach GPT-4 mit einem guten System-Prompt und einem Moderations-Endpunkt. Niemand wird ein Pharma-Tool jailbreaken."

Ich rief die Forschung zu SMILES-Prompting auf meinem Handy auf und zeigte ihm die Umgehungsraten von über 90 %. Ich zeigte ihm die MegaSyn-Ergebnisse. Ich erklärte ihm, dass die Moleküle, die sein "Moderations-Endpunkt" abfangen müsste, noch gar keine Namen haben — es sind neuartige Verbindungen, die in keiner Datenbank existieren.

Er hielt lange inne und sagte dann: "Sie sagen mir also, dass jedes KI-Sicherheitsunternehmen im Biotech-Bereich ein Schloss verkauft, das nicht funktioniert?"

"Ich sage Ihnen, dass sie ein Schloss für die Haustür eines Gebäudes ohne Wände verkaufen."

Er investierte nicht. Nicht jeder ist bereit für dieses Gespräch. Aber diejenigen, die es sind — die Pharmaunternehmen mit klinischen Programmen, die Verteidigungsunternehmen mit CBRN-Mandaten, die Biotech-Firmen, die auf eine ISO-42001-Zertifizierung schielen —, verstehen, dass strukturelle Sicherheit kein Premium-Feature ist. Sie ist das minimal tragfähige Produkt.

Der Teil, der mich nachts wachhält

Das MegaSyn-Experiment wurde 2022 veröffentlicht. Es verwendete Architekturen aus dem Jahr 2018. Die heute verfügbaren Modelle sind um Größenordnungen leistungsfähiger.

Und die "Sicherheits"-Infrastruktur, die die Branche als Antwort darauf aufgebaut hat? Bessere Keyword-Filter. Verbesserte System-Prompts. Umfassendere Sperrlisten. Wir bauen schnellere Autos und reagieren mit besseren Bremsschwellen.

Ich glaube nicht, dass die meisten Menschen in der KI — selbst die meisten Menschen, die KI-Sicherheitswerkzeuge bauen — vollständig verinnerlicht haben, was es bedeutet, dass die Fähigkeit, neuartige chemische Waffen zu entwerfen, heute weniger kostet als ein Gaming-PC. Dass das Wissen nicht irgendwo in einem geheimen Dokument liegt; es ist in den erlernten Repräsentationen von Modellen kodiert, die auf öffentlich verfügbaren Chemiedaten trainiert wurden. Dass man einem Modell nicht abgewöhnen kann, was Toxizität bedeutet, ohne ihm auch abzugewöhnen, was Therapie bedeutet, weil dies dasselbe Wissen ist, nur aus unterschiedlichen Blickwinkeln betrachtet.

Wir können ein geometrisches Problem nicht mit einem sprachlichen Pflaster lösen. Die Gefahr lebt im latenten Raum des Modells, und genau dort muss auch die Governance leben.

Die Ära der Wrapper muss enden. Nicht weil Wrapper schlechte Produkte sind — viele sind gut gemeint und nützlich für Anwendungen mit geringem Risiko. Sondern weil in Bereichen, in denen KI die physische Welt berührt — Medikamentendesign, chemische Synthese, biologisches Engineering —, oberflächliche Sicherheit ein Widerspruch in sich ist. Sie erzeugt den Anschein von Kontrolle, während die eigentliche Engine der Erzeugung völlig ungesteuert bleibt.

Bei Veriprajna haben wir den schwereren Weg gewählt. Wir haben uns entschieden, in das Modell hineinzugehen — in seine Geometrie, seine Topologie, seine latente Struktur — und Sicherheit direkt in die Mathematik selbst einzubauen. Nicht als Filter. Nicht als Guardrail. Als Beschränkung dessen, was das Modell sich vorstellen kann.

Das ist es, was ich für die Zukunft der KI-Sicherheit halte: nicht klügere Wachen am Tor, sondern Gebäude, die so entworfen sind, dass die gefährlichen Räume gar nicht existieren. Nicht bessere Inhaltsmoderation, sondern Modelle, deren innere Geometrie Schaden strukturell unmöglich macht.

Wir haben das nicht gebaut, weil es einfach war oder weil der Markt danach gefragt hat. Wir haben es gebaut, weil diese Tabelle — 40.000 Moleküle, sechs Stunden, ein Verbraucherserver — uns gesagt hat, dass alles Geringere Fahrlässigkeit ist, die als Innovation verkleidet wird.