Kann KI in der Wirkstoffforschung als Waffe eingesetzt werden? Ja — in 6 Stunden

Das Problem

Eine KI für die Wirkstoffforschung, die eigentlich lebensrettende Medikamente finden sollte, generierte in weniger als sechs Stunden 40.000 potenzielle chemische Kampfstoffe — darunter das Nervengift VX. Forscher von Collaborations Pharmaceuticals führten das Experiment auf einem handelsüblichen Standardserver durch. Sie haben das System nicht gehackt. Sie haben es nicht mit vertraulichen Daten gefüttert. Sie haben lediglich eine einzige Zahl in einer Konfigurationsdatei geändert und damit das Ziel der KI von "Toxizität minimieren" auf "Toxizität maximieren" umgestellt. Den Rest erledigte das Modell.

Für eine beträchtliche Teilmenge dieser 40.000 Moleküle wurde vorhergesagt, dass sie tödlicher als VX selbst sein würden. Tausende waren völlig neuartige Verbindungen, die in keiner öffentlichen Datenbank und auf keiner staatlichen Beobachtungsliste vorkommen. Die KI nutzte ausschließlich quelloffene chemische Datensätze wie ChEMBL. Die erforderliche Rechenleistung stand jedem mit einer handelsüblichen GPU zur Verfügung. Das benötigte Fachwissen? Informatikkenntnisse auf Bachelor-Niveau.

Dies war keine theoretische Risikobewertung. Es war eine Live-Demonstration, die für eine alle zwei Jahre stattfindende Rüstungskontrollkonferenz des Schweizer Bundesamts für Bevölkerungsschutz vorbereitet wurde. Das KI-Modell, das darauf trainiert war zu verstehen, was Moleküle toxisch macht, um diese Eigenschaften zu vermeiden, wusste von Natur aus, wie man sie ausnutzt. Wenn Ihre Organisation KI in der Wirkstoffforschung, der Biotechnologie oder in einem Bereich entwickelt, bereitstellt oder nutzt, in dem Optimierung die physische Sicherheit berührt, definiert dieses Experiment Ihr aktuelles Risikoprofil.

Warum das für Ihr Unternehmen von Bedeutung ist

Die geschäftlichen Konsequenzen reichen weit über das Labor hinaus. Die Executive Order des Weißen Hauses zu sicherer und vertrauenswürdiger KI (Oktober 2023) stuft die Senkung von Hürden für die Entwicklung chemischer, biologischer, radiologischer und nuklearer Waffen durch KI ausdrücklich als Bedrohung der nationalen Sicherheit der Stufe 1 ein. Das NIST Generative AI Profile (NIST.AI.600-1) kennzeichnet „Chemical and Biological Design Tools“ ausdrücklich als eigenständige Risikokategorie. Die ISO 42001 — der weltweit erste zertifizierbare Standard für KI-Managementsysteme — schreibt Kontrollen für die Widerstandsfähigkeit gegen adversariale Angriffe und die Sicherheit von KI-Systemen vor.

Wenn Ihre KI-Systeme regulierte Bereiche berühren, bedenken Sie, was auf dem Spiel steht:

• Regulatorische Exponierung: Ein standardmäßiger Sicherheitsfilter kann nicht nachweisen, dass er die Erzeugung biologischer Bedrohungen verhindert. Er kann lediglich zeigen, dass er versucht, sie herauszufiltern. Dieser „Best-Effort“-Ansatz wird neuen behördlichen Compliance-Anforderungen für Verträge oder die Integration in staatliche KI-Plattformen voraussichtlich nicht genügen.
• Adversariale Anfälligkeit: Forscher haben gezeigt, dass Angreifer Sicherheitsfilter in führenden KI-Modellen wie GPT-4 und Claude 3 bei bestimmten toxischen Substanzen mit Erfolgsraten von mitunter über 90 % umgehen können. Sie tun dies, indem sie den Strukturcode eines Moleküls anstelle seines Namens eingeben.
• Blindheit gegenüber neuartigen Bedrohungen: Zu diesen 40.000 generierten Verbindungen gehörten Tausende von Molekülen, die in keiner bekannten Datenbank existieren. Ihre stichwortbasierten Filter können nichts blockieren, was sie noch nie zuvor gesehen haben.
• Scheitern bei Audits: Gemäß ISO 42001 müssen Sie die Anfälligkeit für adversariale Angriffe bewerten und Nachweise für Kontrollmechanismen erbringen. Gemäß dem NIST AI RMF müssen Sie die Systemzuverlässigkeit anhand quantitativer Metriken messen. Ein textbasierter Wrapper bietet keines von beidem.

Ihr Vorstand, Ihre Aufsichtsbehörden und Ihre Versicherer werden letztlich eine entscheidende Frage stellen: Können Sie beweisen, dass Ihre KI nicht gegen Sie gewendet werden kann? Die meisten Unternehmen können dies heute nicht.

Was tatsächlich unter der Haube passiert

Um zu verstehen, warum diese Bedrohung so schwer zu beheben ist, müssen Sie verstehen, wie diese KI-Modelle tatsächlich funktionieren — und das ist einfacher, als Sie vielleicht denken.

Generative KI-Modelle für die Wirkstoffforschung erlernen eine komprimierte Karte des chemischen Raums. Stellen Sie es sich wie einen Stadtplan vor, auf dem jedes Gebäude ein mögliches Molekül darstellt. Sichere Medikamente häufen sich in einem Viertel. Toxische Verbindungen häufen sich in einem anderen. Doch hier liegt das entscheidende Problem: Das „sichere“ Viertel und das „toxische“ Viertel sind nicht durch eine Mauer getrennt. Sie liegen in einer kontinuierlichen Landschaft ohne feste Grenze.

Dies bezeichnen Forscher als das „Verschränkungsproblem“ (Entanglement Problem). Genau das molekulare Merkmal, das es einem Medikament ermöglicht, die Blut-Hirn-Schranke zur Behandlung von Alzheimer zu überwinden, ist oft dasselbe Merkmal, das es einem Nervengift ermöglicht, sein Ziel zu erreichen und Lähmungen hervorzurufen. Eine hohe Bindungsaffinität — die Fähigkeit eines Moleküls, sich fest an ein Protein zu binden — ist bei einem Medikament erwünscht, aber tödlich, wenn es sich bei dem Protein um Acetylcholinesterase handelt, das Angriffsziel von VX.

Medizinalchemiker kennen das Phänomen der „Aktivitätsklippen“ (Activity Cliffs) — Situationen, in denen eine winzige strukturelle Änderung eine massive Verschiebung der Toxizität bewirkt. Tauscht man ein einzelnes Atom in einem ansonsten sicheren Molekül aus, erhält man eine tödliche Verbindung. Textbasierte Sicherheitsfilter, die auf Wörtern und Namen statt auf dreidimensionalen Molekülstrukturen basieren, erkennen solche Klippen bekanntermaßen extrem schlecht. Ein Filter billigt möglicherweise ein Molekül, weil es zu 99 % einem sicheren Wirkstoff ähnelt, übersieht dabei aber die einzelne Substitution, die es tödlich macht.

Hinzu kommt der sogenannte „Repräsentationskollaps“ (Representation Collapse), bei dem das interne Modell der KI ein Toxin und ein sicheres Medikament auf denselben Punkt abbildet, weil es deren feine strukturelle Unterschiede nicht unterscheiden kann. Wenn das Modell selbst intern nicht dazu in der Lage ist, sie auseinanderzuhalten, kann Sie kein externer Filter davor bewahren.

Was funktioniert (und was nicht)

Beginnen wir mit dem, was fehlschlägt — denn möglicherweise verlässt sich Ihr Unternehmen derzeit auf einen dieser Ansätze.

Stichwort- und namensbasierte Filter: Diese blockieren das Wort „VX“ oder „Sarin“, greifen jedoch nicht, wenn jemand einen molekularen Strukturcode eingibt. Der SMILES-String für Sarin lautet O=P(C)(F)O. Ihr Filter sieht chemische Notation, keine Waffe.

Prüfsysteme nach der Generierung: Diese lassen die KI zunächst einen Kandidaten generieren, den anschließend ein zweites System prüft. Die KI hat die gefährliche Berechnung zu diesem Zeitpunkt bereits durchgeführt. Bei neuartigen Verbindungen, die auf keiner Beobachtungsliste stehen, fehlt dem Prüfsystem jede Vergleichsgrundlage, sodass sie durchgewunken werden.

Alignment-Training und Prompt Engineering: Forscher haben einen „SMILES-Prompting“-Angriff nachgewiesen, der das Sicherheitstraining führender KI-Modelle bei bestimmten Substanzen mit Erfolgsraten von über 90 % umgeht. Wenn Ihr Sicherheitssystem dadurch ausgehebelt werden kann, dass von natürlicher Sprache zu chemischer Notation gewechselt wird, ist es kein Sicherheitssystem.

Hier ist, was tatsächlich funktioniert — ein Ansatz namens Latent Space Governance, der Sicherheitskontrollen von der Ausgabeebene direkt in den mathematischen Kern des KI-Modells verlagert:

1. Gefahrenzonen vor der Bereitstellung kartieren. Mithilfe einer mathematischen Methode namens topologische Datenanalyse (Topological Data Analysis) kartieren Sie die interne Landschaft der KI, um genau zu identifizieren, wo toxische und sichere Regionen liegen. Dadurch entsteht eine „Safety Topology Map“, die Grenzen anhand molekularer Eigenschaften statt anhand von Stichwortlisten definiert. Diese Karte erfasst auch neuartige Verbindungen, da sie Sicherheit anhand der Form und nicht anhand des Namens definiert.

2. Beschränkungen direkt in den Generierungsprozess einbetten. Anstatt die KI frei generieren zu lassen und die Ergebnisse im Nachhinein zu filtern, trainieren Sie schlanke „Constraint-Critic“-Netzwerke, die direkt auf den internen Repräsentationen der KI operieren. Während der Generierung berechnen diese Critics, ob die KI in eine gefährliche Region abdriftet. Ist dies der Fall, lenkt ein gradientenbasierter Steuermechanismus die Trajektorie zurück in sicheres Terrain, bevor überhaupt eine Ausgabe erzeugt wird. Die KI zieht zwar ein toxisches Molekül in Betracht, wird jedoch mathematisch gezwungen, es in eine sichere Alternative zu überführen.

3. Manipulationssichere Sicherheitsgrenzen fest verankern. Anders als beim MegaSyn-Experiment, bei dem das Ändern einer einzelnen Zahl in einer Konfigurationsdatei das gesamte Sicherheitsverhalten umkehrte, sind strukturelle Beschränkungen fest in die Architektur der Inferenz-Engine eingebettet. Um sie zu überwinden, müsste ein Angreifer die Software grundlegend umgestalten — und nicht bloß eine Einstellung ändern.

Für Ihr Compliance-Team liefert dieser Ansatz etwas, das textbasierte Wrapper nicht bieten können: einen mathematischen Beweis für beschränktes Verhalten. Sie können nicht nur Ausgaben protokollieren, sondern jede Verletzung von Beschränkungen, die das Modell während der Generierung versucht hat. Sie können Auditoren ein statistisches Sicherheitszertifikat vorlegen — beispielsweise eine Wahrscheinlichkeit toxischer Generierung von unter eins zu einer Million. Diese Belege unterstützen die Zertifizierung nach ISO 42001 und die Einhaltung des NIST AI RMF auf eine Weise, wie es die Aussage „Wir haben einen Stichwortfilter“ niemals leisten kann.

Diese Architektur bedeutet zudem, dass Sie Bedrohungsdefinitionen aktualisieren können, ohne Ihr gesamtes Foundation-Modell neu zu trainieren. Wenn eine neue Klasse gefährlicher Verbindungen identifiziert wird, aktualisieren Sie den Constraint Critic — ein ressourcenschonender Vorgang —, während Ihre Kern-KI unterbrechungsfrei weiterläuft. Für Unternehmen im Bereich Gesundheitswesen und Life Sciencesist diese Agilität entscheidend, da sich Bedrohungslandschaften ständig weiterentwickeln.

Der Prozess für Evaluierung, Benchmarking und Red Teaming unterzieht Ihr bereitgestelltes System anschließend automatisierten adversarialen Angriffen — einschließlich SMILES-Prompting-Bots und evolutionären Algorithmen, die Schwachstellen aufdecken sollen —, um nachzuweisen, dass Ihre Beschränkungen auch unter Belastung standhalten.

Sie können die vollständige technische Analyse lesen , um die vollständige mathematische Formulierung einzusehen, oder die interaktive Version erkunden , um eine geführte Übersicht über die neuro-symbolische Architektur und die Constraint-Systeme hinter diesem Ansatz zu erhalten.