ある製薬企業の創薬モデルは、わずか6時間で4万種の毒物を設計した。その解決策は、私の予想とは違った。

私がこの問題を本当に理解した最初のとき、私は4年前の論文を読みながら、背筋が寒くなるのを感じていた。

2022年、Collaborations Pharmaceuticalsの小さなチームが、自社の商用創薬モデル——分子の治療的有望性を採点するようなもの、MegaSynと呼ばれる生成化学システム——を用いて、ある一つの数値を反転させた。「安全で薬らしい分子に報酬を与えよ」とモデルに指示していた報酬関数が、「毒性のある分子に報酬を与えよ」に変わったのだ。それはハッキングではなかった。侵入でもなかった。それはPython設定ファイルの中のたった一つの符号にすぎず、サーモスタットを暖房から冷房に切り替えるのとまったく同じことだった。

標準的なサーバー上で、6時間足らずのうちに、モデルが生成したのは4万個の候補分子——VXのような既知の神経剤や、さらに致死性が高いと予測された数千もの新規化合物を含む——だった。この研究は、『Nature Machine Intelligence』に掲載され、AIバイオセキュリティに関するあらゆる誠実な議論が今なお始まる出発点となっている。そして私を眠れなくさせたのは、それが管理された実験の中で一度起きたということではなかった。それを可能にしたアーキテクチャ——モデルに溶接されて組み込まれているのではなく、設定ファイルの中に置かれた報酬関数——が、今なお本番稼働している——REINVENT 4のようなパイプラインを運用するほとんどの中堅製薬企業において——ということだった。反転させられたスイッチが直されることはなかった。ただ二度と反転させられなかっただけなのだ。

それこそが、私のVeriprajnaのチームが2年をかけて取り組んできた隙間だ。この記事は、その途上で私たちが誤ったこと、そして今、私が唯一実際に機能すると信じていることについてのものだ。

ほとんどの生成化学パイプラインにおいて、創薬モードと兵器設計モードの違いは、誰も守っていないたった一行のコードにすぎない。

製薬業界が信頼する防御は、もはや存在しない脅威のために作られた

私がコンプライアンス責任者——最高コンプライアンス責任者、バイオセーフティの書類に署名する責任担当官、実際にモデルを所有する機械学習部門の責任者——と話し始めたとき、ほとんど誰もが同じ三つの防御を挙げた。危険なものを要求されたときにモデルが拒否するようにする拒否訓練。モデルが行儀よく振る舞うようにするRLHFアライメント。そして構造アラートフィルター——分子の出力をスキャンし、既知の毒性部分構造を検出するソフトウェアだ。

この三つはいずれも、攻撃が、誰かがこうタイプするような姿をしていた世界のために設計されたものだった——「神経剤を設計してくれ」と。2025年の攻撃対象領域は、それとはまったく似ても似つかない。より静かで、より自動化されており、これらの防御が監視している水準の下で動作する。

製薬業界が最も強く頼っている構造アラートフィルターを例に取ろう。Insilico MedicineのChemistry42のようなプラットフォームは、既知のトキソフォアを排除する460を超える自社製の医薬化学フィルターを備えて出荷される。それらは優れた工学だ。しかし、それらが検査するのは出力——完成した分子——を、既知の悪いパターンについてであって、まったく手をつけないのは目的関数だ。化学兵器多様体に向けて最適化するモデルは、既知のトキソフォアに一致しない構造的に新規な化合物を平然と生成し、そのままフィルターをすり抜けていく。なぜなら「新規」であることこそ、生成モデルの存在意義そのものだからだ。私は、SMILES文字列——化学者が分子を書き表すために使うテキスト記法——が出力ログを流れていくのを見て、それがチームの導入したあらゆるアラートを通り抜けるだろうと分かったことがある。まさに、それが新しかったからだ。

だから私が最初に捨て去らねばならなかったのは、出力をフィルタリングすることがモデルを統治することと同じだ、という心地よい思い込みだった。

私たちの最もきれいなアイデアが崩れ去った夜

これは私が個人的に支持した失敗であり、私たちに数か月を費やさせた。

私のチームが最初にこれを検討したとき、私たちは一見エレガントな答えに惚れ込んだ。危険な知識をフィルタリングするのではなく、それを削除するのだ、と。機械学習の忘却(アンラーニング)については、実在する美しい学術研究の蓄積がある——RMUのような技術で、モデルが兵器化可能な生物学の知識をどれだけ保持しているかを正確に測定する2024年のICML論文によるWMDPベンチマークに照らして検証されている。その約束は見事だ。WMDP-Bioで約75%を記録する——危険なほど知識豊富な——モデルを取り、26%を記録するまで忘却させる。26%はランダムな当てずっぽうであり、「モデルが本当に知らない」ということだ。知識に欠落を持つモデル。そこに存在しない知識をジェイルブレイクすることはできない。

私たちはデモを作った。それは機能した。スコアは当てずっぽうの水準まで下がった。私はそれを誇りに思ったのを覚えている——私が持っていたスライドにはこう書かれていた——知識は消え去った、と。そしてそれは、完結した論証のように感じられた。

その後、私たちのエンジニアの一人が、それに対して再学習攻撃を仕掛けた。ICLR 2025で発表された、CMUのLuckiらの研究に記述されている類のものだ。彼は秘密のデータを与えたわけではない。彼が微調整(ファインチューニング)に使ったのは、公開された医学論文——どんな生物学の蔵書にもあるようなもの——であり、消去されたはずの能力が再び這い上がり始めた。同じ論文は、この手口が雑学知識にも通用することを示した。ハリー・ポッターを「忘れた」はずの忘却済みモデルが、ウィキを見た後には、記憶していた一節を再び暗唱するよう促され得たのだ。知識は消え去ってはいなかった。それは難読化されていた。深く、見事に難読化されていた——しかし、重みと午後のひとときさえあれば、誰にでも回復可能だった。

私たちは危険な知識を削除してはいなかった。私たちはそれを、自分自身を欺くのに十分なほどうまく隠しただけであり、それこそが、存在しうる安全策の中で最も危険な種類のものだ。

それは、あのきれいな売り込み文句が死んだ夜だった。そしてそれは死ななければならなかった。なぜなら、その次のバージョンは、実在の製薬企業に「あなたのモデルは悪用されえない」として売られていたはずだからだ——それは真実ではない一文であり、いかなるコンプライアンス責任者も決して自らの名を署名すべきでない一文だ。

拒否は振る舞いであって、能力ではない

この再学習の失敗は、私が今ではあらゆる初回の打ち合わせで口にすることを、骨身に染みて理解させた。拒否とは、モデルが行う振る舞いだ。能力とは、モデルにできることだ。両者は同じものではなく、製薬業界のほとんどすべての安全層は、それらを混同している。

RLHFによる拒否がモデルに教えるのは、ノーと言うことである。それがモデルに教えないのは、知らないでいることである。2025年のある研究——「gpt-oss」の最悪ケースリスクに関する研究——が、その区別がいかに薄っぺらいかを数値で示した。すなわち、10から50個の微調整用サンプルと数百ドル分のGPU時間さえあれば、オープンウェイトのモデルから安全アライメントを剥ぎ取り、そのフロンティアに迫る生物学的能力を復元できる、というのだ。数日の作業。上等なディナー一回分の値段だ。オープンウェイトのモデルをオンプレミスで運用するあらゆる製薬企業にとって——そして知的財産上のまったく正当な理由から、多くがそうしている——「安全にアライメントされている」という性質は、内部者、あるいは流出した重みファイルが、そうあるべきでないと決めた瞬間まで、まさにそこまでしか持ちこたえない。

これこそが、オープンウェイトという現実がこれほどまでに重要である理由だ。Arc Instituteが2025年2月にEvo 2——9兆個のヌクレオチドで訓練された400億パラメータのDNA基盤モデル——を公開したとき、彼らは本当に入念な安全対策を行い、ヒトに感染する病原体を訓練から除外し、その結果をレッドチーミングで検証した。そしてその後、NeurIPS 2025で発表されたGeneBreakerと呼ばれるフレームワークが、最大60%の攻撃成功率を、6つのウイルスカテゴリーにわたってEvo 2-40Bをジェイルブレイクすることで達成した。

GeneBreakerの仕組みこそ、あらゆるCISOがじっくり向き合う必要のある部分だ。それは決して病原体を求めない。AIエージェントを使ってバイオインフォマティクスのツールを統率し、相同性に導かれたビームサーチを通じて、あるタンパク質を求める。すなわち、「〜と相同な」たまたま危険なものと構造的に近い、無害な参照配列に対して、である。キーワードフィルターには、正当な比較ゲノム学の要求に見える。拒否訓練には、拒否すべきものが何も見えない。危険性が見えるようになるのは、出てきたものの機能を解析したときだけであり——その時点では、もう外に出てしまっている。ひとたび重みが公開されれば、モデルは野に放たれたと想定しなければならず、あらゆる競合他社や悪意ある者が、あなたと同じコピーを手にしていることになる。

なぜ「最後の防衛線」はそれを捕らえなかったのか?

私がこれを説明するたびに、誰か——たいていはその部屋で最も経験豊富な人物——が、こんな趣旨のことを口にする——「なるほど、しかしこんなことはどれも問題ではない。なぜなら、実際に何かを作るにはDNAを合成しなければならず、我々の合成ベンダーはあらゆる注文を審査しているのだから」

私もかつては、半ばそれを信じていた。そこへ、2025年10月がやって来た。

Microsoft Researchは、Twist Bioscience、IDT、そしてInternational Gene Synthesis Consortiumと共に10か月にわたって静かに作業を進め、現在ではParaphrase Projectと呼ばれる取り組みを実施した。それが掲載されたのは、Science誌だ。彼らはオープンソースのタンパク質設計モデルを使い、ある毒素の合成変異体を数千個生成した——機能上の要となる部分を保ちつつ、その周囲のすべてを変異させたのだ。それは、盗用検出ソフトに引っかからないように文章を言い換えるのと、分子レベルで等価な行為だ。それらのAIによって言い換えられた変異体は、相同性に基づくスクリーニングソフトをすり抜けた。そのソフトは、すべての主要なDNA合成プロバイダーが使用しているものだ。「最後の防衛線」は、それらをまったく見抜けなかった。

彼らの多大なる功績として、そのチームはこの10か月を費やして、相同性照合の上に機能予測を追加するパッチを共同開発し、世界規模で配布した。検出は改善した。しかし、購入者にとっての教訓は永続的だ。すなわち、「我々のDNAベンダーが捕らえてくれる」という前提で動いていたあらゆる社内パイプラインは、2024年の全期間と2025年の大半にわたって、存在しない保証の上で動いていたのだ。私は、論文が出た数週間後に、まさにその安全網を完全な自信をもって語るコンプライアンス責任者と、向かい合って座ったことがある。ベンダーのスクリーニングを、自社の安全網として扱ってはならない。注文が建物を出る前に、社内でスクリーニングしなければならないのだ。

心地よい物語はいつも「下流の何かが捕らえてくれる」というものだ。バイオセキュリティにおいて、2025年は、あらゆる下流の捕捉が突破されて見せられた年だった。

規制の下限が動いた——それも一度に二つの方向へ

動いているのが技術的な地盤だけであれば、それでも十分に厄介だろう。法的な地盤もまた動いており、しかもそれは、互いに分かれる方向へ動いている。

米国では、コンプライアンスチームが2023年と2024年を費やして対策を練ってきた大統領令の枠組みが、数か月のうちに解体された。バイデン政権のAI安全に関する大統領令は2025年1月に撤回され、バイオエコノミーに関する大統領令は3月に、そして5月に発令された代わりの生物学研究セキュリティに関する大統領令には90日の実施期限が付いていたが、枠組みが現れることのないまま、その期限は過ぎ去った。バイオセキュリティ・コンプライアンスを職務とする人々は、今まさに、真空の中で活動している。

一方でEUは、逆の方向へ進んだ。AI法の汎用モデルに対する義務は2025年8月に発効し、高リスク用途への全面適用は2026年8月に到来する。その罰則は象徴的なものではない。すなわち、最大で3,500万ユーロまたは全世界売上高の7%が禁止行為に対して、1,500万ユーロまたは3%が汎用モデルの不遵守に対して科される。生物学に用いられる基盤モデルは、まさに適用範囲に入る。そして、私の顧客の大半にとって問題全体を決定づけるのが、この非対称性だ。すなわち、EU域内で何らかの事業を持つ製薬企業は、米国がどこに着地しようとも、EUの基準に従わなければならない。フランクフルトに向けて販売しているのなら、世界で最も低い基準など、無関係なのだ。

見出しを飾る規制の下では、ISO/IEC 42001——AIマネジメントシステムに関する初の国際規格——が、保険会社やパートナーがあなたに保有を期待するものへと、静かに変わってきた。そして、ここでの静かな執行者は保険会社だ。2025年後半を通じて、サイバー賠償責任保険の引受会社は、デュアルユースの訓練データ除外、忘却の手順、レッドチームの頻度についての質問を引受審査書類に加え始め、文書化された管理策なしにオープンウェイトのモデルを運用する企業に対しては、AIが生み出した損害を補償対象から除外したり、保険料を付け直したりし始めた。私は、ミュンヘン再保険社ふうの質問票が顧客の机に届き、会話全体の枠組みを一変させるのを見てきた。それはもはや倫理の議論ではなく、保険料の問題だったのだ。

ここはまた、賠償責任の罠が閉じる場所でもある。その訴訟を思い描いてほしい。不満を抱いた従業員が、ある製薬企業の非公開の生物学モデルの重みを流出させる。数か月後、それが、危機一髪の事例に関する脅威インテリジェンス報告書に浮上する。原告側の弁護士は、ただ一つの質問をする——あなたの管理策の枠組みは何でしたか?と。2024年であれば、「拒否訓練を使っていました」と答えて切り抜けられたかもしれない。MFTと再学習の研究を経た今、その答えは自白に近い。2026年における注意義務の抗弁は、「我々は最先端の、文書化された、層状の予防策を講じた」というものだ——そして、それを証明するレッドチームの記録があるか、ないか、そのどちらかなのだ。

では、実際に持ちこたえるものは何か?

このすべてから導かれる誠実な結論は、私が最も望まなかったものだ。なぜなら、それは「我々は知識を削除した」よりもエレガントさに欠けるからだ。単独で機能する技術は、一つもない。拒否は元に戻せる。忘却は回復できる。出力フィルターは、新規性を見抜けない。ベンダーのスクリーニングは迂回された。個々の防御には、いずれも実証された突破口がある。

持ちこたえるのは、独立して破綻する層——だ。それによって、一つを打ち破っても、システム全体が打ち破られることはない。それこそが私たちが最終的に作り上げたものであり、それは、VeriprajnaのバイオセキュリティAI安全部門が今や中心に据えているものだ。それは、インストールする製品ではない。製薬企業がすでに運用しているどんなスタックにも組み込まれた防御だ。なぜなら、彼らが私のためにChemistry42やREINVENTを引き剥がすことはないし、そうする必要もないからだ。

それは生成の時点から始まる。私たちはモデルの前に安全ミドルウェアを置き、SMILES、SELFIES、あるいは分子グラフの出力を、それが研究者のもとに届く前に傍受する——皆がやっているようなトキソフォアのスクリーニングだが、その上に、化学兵器多様体への潜在空間上の近接度スコアリングと、活性の崖(アクティビティ・クリフ)検出を積み重ねている。パターンフィルターをすり抜ける新規構造の攻撃が捕らえられるのは、それがモデルの表現の中でどこに位置するかによってであって、それがどう見えるかによってではない——なぜなら、化学兵器の類似体と無害な薬剤は、構造的には無関係に見えても、モデルが学習した潜在空間の同じ領域に集まりうるからだ。それは、新規性を追い求める生成器が逃れられない唯一の不変量だ。傍受のたびに監査ログが書き込まれる。なぜなら、そのログこそ、ISO 42001の評価者が実際に見せてほしいと求めるものだからだ。

忘却は依然として重みのレベルで居場所を持つが、それは、再学習の研究が私たちに強いた謙虚さを伴ってのみだ。RMU、スパースオートエンコーダによる特徴アブレーション、2025年のACL論文によるUIPEの改良——そしてさらに、月次の再認証サイクルを、継続的な再学習レッドチームとともに回す。なぜなら私たちは今や、知識の欠落が浸食されうると想定しており、それが起こりえないふりをするよりも、その浸食を捕らえたいと考えているからだ。WMDP-Bioのスコアは、一度額に入れて飾る証明書であることをやめ、私たちが監視し続ける生体信号(バイタルサイン)となった。

そのどれも、誰かが能動的に破ろうと試みることなしには信頼できない。だからこそレッドチームは四半期ごとに稼働する——GeneBreaker流の相同性攻撃、SMILESプロンプトによるジェイルブレイク、悪意あるファインチューニングのシミュレーション、再学習による回復だ。成果物は、NIST AI 600-1の管理策に対応づけられた、文書化された報告書だ——それは2024年7月以降、CBRNを12の固有リスクの一つとして明示的に名指ししている生成AIプロファイルである。そして、このループが閉じるのは、私たちが社内でスクリーニングを行うときだけだ。すなわち、生成された配列を、IGSCに照らし、SecureDNAの暗号ハッシュ・プロトコルに照らし、機能予測の層に照らして、いかなる合成注文も建物を出る前に検査する——まさに、Paraphrase Projectが露呈させた、その隙間である。

ほとんどのベンダーが書面にしようとしない部分

私がすべての契約で必ず設けるよう主張するセクションがあり、それこそが残りの部分に信頼性を与えるものだ。すなわち、私たちが解決できないことだ。

私たちは、組織内の政治を解決することはできない。もし研究開発の責任者が、バイオセキュリティ審査を反復速度への課税として体験するなら、いかなる技術的な層も、カレンダーとの接触には耐えられない。私たちは、重みを保有しファインチューニングのアクセス権を持つ敵対者に対して、忘却を証明可能な形で永続的なものにすることはできない——UIPEとSAEアブレーションはリスクを減らすが、それをゼロにはしない。WMDPは、既知の前駆知識の代理指標にすぎない。ランダムな当てずっぽうの水準にあるモデルであっても、まだ誰も列挙していない能力に対して安全だと認証されているわけではない。そして上流のデータポイズニング攻撃は、モデルが製薬企業に届くよりも前に起こる。つまり、それを検出するには、下流のコンサルタントには強制できない協力が必要なのだ。

あらゆる隙間を塞ぐと主張するバイオセキュリティ・ベンダーは、彼らがそのすべてを見つけてはいないことを証明する、まさにその一言を、あなたに告げているのだ。

そうした但し書きは、平易な言葉で、テーブルの上に、取締役会の資料に、管理策のマトリクスに載せられるべきものだ。それは正直さが好ましいからではなく、その代替案——私が危うく出荷しかけた、自信たっぷりの「あなたのモデルは悪用されえない」というスライド——こそ、まさに宣誓証言へと変わる過大な主張だからだ。

これは、小規模なバイオテック企業が単に運に見放され、太刀打ちできないフロンティアラボの能力に飲み込まれてしまうことを意味するのか、と人々は私に尋ねる。実のところ、その逆だ。フロンティアラボは本物の仕事をしている——Anthropicは2025年5月にClaude Opus 4にASL-3の保護を搭載した。これは、生物兵器の能力向上を明示的に標的とした展開時の措置を備えた、初の商用モデルだ。しかし、それらの分類器が保護するのは、Claudeだ。それらは、あなたのファインチューニングされたREINVENTインスタンス、あなたの検索パイプライン、あるいはあなた自身のGPU上で動くオープンウェイトのモデルに対しては、何もしない。製薬に特化したパイプライン層こそ、フロンティアラボが手を伸ばせず、プラットフォームのベンダーが焦点ではなく一機能として扱う、まさにその領域だ。それが隙間であり、しかも構築可能な隙間なのだ。

私が受けるもう一つの質問は、運用に関するものだ。すなわち、これは遅いのではないか?というものだ。それは、何も出荷しないよりは遅いが、訴訟よりは速く、そして規制当局や保険会社が、あなたが一度も生成しなかった証拠を求めてくる日よりも、はるかに速い。2024年のRANDのレッドチーム研究が明らかにしたのは、AIは訓練を受けたウイルス学者にできることの天井を引き上げたのではなく——引き上げたのは、下限だ——非専門家が試みうることの下限だ。リスクとは決して、少数者のための超能力ではなかった。それは、多数者に民主化された高度さだった。それは、拒否プロンプトと善意によってではなく、文書化された層によって守る下限なのだ。

私はこの仕事に、モデルから危険な知識を削除する巧妙な方法を作り上げるつもりで踏み込んだ。そして、その枠組み全体が間違っているという確信を抱いて出てきた——つまり、悪用されえないモデルを作ることでバイオセキュリティに勝つことはできない、なぜなら、そのようなモデルは存在しないからだ。勝つには、あらゆる層が他の層は破られると想定するシステムを構築し、そして証拠を残しておくことだ。もしあなたが今日、生成化学あるいは生物学のパイプラインを運用していて、「あなたの管理策の枠組みは何か」という問いへの正直な答えが、設定ファイルと拒否プロンプトなのだとしたら、それは安全態勢とは呼べない。それは、反転させられるのを待つ、たった一つの符号だ——そして、あなたは正確に見て取ることができる、その代わりに、層状の態勢がどのようなものになるのかを。