あるAIは、6時間足らずで4万個の化学兵器候補を設計した——その意味を、私は考えずにはいられない

私はチューリッヒのホテルの一室で、時差ボケのままノートパソコンで論文を半ば流し読みしていた。そのとき、たった一つの表に、私は凍りついた。

4万個の分子。6時間足らず。大学の寮に置いてあるような、コンシューマー向けのサーバー。しかもその出力はガラクタではなかった。そのモデルは、これまでに合成された中で最も致死性の高い神経剤の一つであるVXを再発見し、さらにその先へと進んだ——数千もの新規類似体を生成し、それらはさらにVX自体をも上回る致死性を持つと予測されたのだ。公開データベースには一切現れない化合物。いかなる政府の監視リストにも存在しない化合物。

Collaborations Pharmaceuticals の研究者たちは、兵器を作ったわけではなかった。彼らは MegaSyn という商用の創薬モデル——希少疾患の治療法を見つけるために設計されたツール——を手に取り、その報酬関数の符号をたった一つ変えただけだった。マイナスからプラスへ。「毒性を罰する」が「毒性を最大化する」へと変わった。ただそれだけだ。たった一行のコードで、機械は同じ流暢さをもって、治療者から兵器設計者へと転じたのだ。

私はノートパソコンを閉じ、長いあいだ壁を見つめていた。

私は Veriprajna という、リスクの高いエンタープライズ環境向けにAIシステムを構築する会社を経営している。私たちは、ディープラーニングと、判断を誤れば単なる不適切な推奨では済まされない——現実の、物理的な危害を意味する——領域との交差点で仕事をしている。あのチューリッヒの夜、私は悟った。AI業界が売り込んでいた安全性のパラダイム全体——ガードレール、コンテンツフィルター、プロンプトエンジニアリングの小手先の技——が、砂の上に築かれていたことを。そして、私たちは根本的に異なる何かをしなければならないと確信した。

すべてを変えるはずだった実験

Collaborations Pharmaceuticals の実験について私を苛み続けているのは、こういうことだ——それは、難しくなかった。

チームは、SMILES文字列——分子構造をテキストで表現したもの——で学習させたLSTMベースのニューラルネットワークを用いた。学習データは、どんな大学院生でもダウンロードできる公開データベース ChEMBL から取得された。計算コストはごくわずか。アーキテクチャ全体は、公開されている文献に十分に記録されている。

そのモデルは、候補分子を生成し、それを目的関数に照らして採点することで機能した。通常の治療モードでは、その関数はおおむね「生物活性を報酬とし、毒性を罰する」といったものだった。研究者たちは、その罰の符号を反転させた。ジェネレーター自体——実際に分子を作り出すエンジン——は一切変更されていない。それはただ新しい勾配に従い、かつて最大の治療価値へと登っていったのとまったく同じやり方で、最大の致死性へと登っていったのだ。

モデルが、ある分子を安全にするものを理解しているなら、それは定義上、その分子を危険にするものも理解している。これらは、同じ数学的空間における相補的な領域なのだ。

これはバグではない。アーキテクチャが設計どおりに正確に機能しているのだ。そして、そここそが恐ろしい部分である。

高度な生化学剤を設計するための参入障壁は崩壊した——誰かがレシピを漏らしたからではなく、それらを設計するための計算知能が、いまや誰の手にも民主的に手に入るからだ。コンシューマー向けGPU。Pythonスクリプト。オープンソースのデータセット。それが買い物リストのすべてだ。

なぜ、あらゆるAI安全ソリューションは的を外すのか?

チューリッヒの後、私は何週間もかけて、製薬やバイオテック向けに「安全なAI」を構築しているチームと話をした。その会話は、気の滅入るパターンをたどった。

「私たちにはガードレールがあります」と彼らは言う。「出力をフィルタリングしています」

私は尋ねる。誰かが分子名の代わりにSMILES文字列を入力したら、どうなりますか、と。

きょとんとした沈黙。

ラッパー型の安全性パラダイム全体には、こういう問題がある——強力なモデルを取り上げ、それを薄いコンテンツフィルタリングの層で包み、それをエンタープライズ対応と称するアプローチだ。これらのシステムは言語の上で動作する。キーワードを探す。既知の危険物のリストに照らして出力をチェックする。

だが、毒性は言葉ではない。それは幾何学だ。

コンテンツフィルターは「サリン」という語をブロックするだろう。だが、次のものはブロックしない——O=P(C)(F)O。これは、モデルが完璧に理解しているサリンのSMILES表記だ。SMILESプロンプティング攻撃に関する最近の研究では、特定の物質について、GPT-4やClaude 3といった主要モデルに対し90%を超える回避率が示されている。90パーセント。それは安全システムではない。目安箱だ。

そして、事態はさらに悪化する。医薬品化学には「活性の崖(アクティビティ・クリフ)」と呼ばれる現象がある——ごくわずかな構造変化、時にはたった一つの原子の置換が、生物活性に劇的な変化を引き起こすというものだ。ヒドロキシ基をフッ素原子に置き換えれば、安全な薬が致死性を帯びる。二つの分子を99%似ていると見なすテキストベースのフィルターは、危険なほうを通してしまう。なぜなら、それは機能ではなく構文を比較しているからだ。それは、言葉を読まずにフォントが正しく見えるからと文書を承認するようなものだ。

これらの技術的脆弱性については、私たちの研究のインタラクティブ版で詳しく論じたが、核心となる洞察はシンプルだ。もしあなたの安全メカニズムがモデルの表層——入ってくるテキストと出てくるテキスト——の上で動作しているなら、あなたは創造の実エンジンをまったく統治されないまま放置しているのだ。

私たちが、考え方を間違えていたと気づいた夜

ある瞬間があった——私とCTOが夜11時に冷めたピザを前に議論していたので、正確に覚えている——問題全体が、私たちの中で捉え直された瞬間が。

私たちは、より良いフィルターを作ろうとしていた。より賢い分類器を。より網羅的なブロックリストを。そして、それらをストレステストにかけるたびに、また別の抜け道を見つけた。また別のエンコーディングの小技を。どのデータベースにも載っていないために新規分子がすり抜けてしまう、また別のエッジケースを。

CTOが、議論を止める一言を口にした。「私たちは悪い出力を捕まえようとし続けている。だが、そもそもモデルがそれらを思考することすら不可能にできたら、どうだろう?」

そのとき、私たちは潜在空間について語り始めた。

潜在空間とは何か、そしてなぜそれを気にかけるべきなのか?

あらゆる生成AIモデルは——画像を生み出すのであれ、テキストであれ、分子であれ——世界を数学的空間へと圧縮することで機能する。この圧縮された表現が、潜在空間と呼ばれるものだ。それをモデルの内なる想像力だと考えてほしい。分子ジェネレーターが新しい薬を「設計する」とき、それは原子をランダムに組み立てているわけではない。似た分子どうしが寄り集まる高次元の地形を航行しているのであり、生成とは、その地形上の一点を選び取り、それを現実の構造へと復号し戻す行為なのだ。

重要なのはこうだ。この地形において、毒性はラベルではない。それは一つの領域なのだ。連続的に広がる領土であり、治療価値を表す領域へと滲み出し、絡み合っている。薬がアルツハイマー病を治療するために血液脳関門を越えることを可能にする特徴は、しばしば、神経剤が標的に到達して麻痺を引き起こすことを可能にする特徴とまったく同じである。高い結合親和性——タンパク質をしっかりと掴む分子の能力——は、抗がん剤にまさに求められるものであり、そしてVXを致死的にするものでもある。

毒性と治療価値は、コインの裏表ではない。それらは同じ多様体の上の隣人であり、垣根を、時には玄関先を共有している。

この絡み合いこそが、単純な「拒否」メカニズムが破滅的に失敗する理由だ。毒性に関連するすべて——たとえば血液脳関門を透過するすべての分子——をブロックするようモデルに命じれば、あなたは兵器だけをブロックするのではない。神経疾患の治療法を設計するモデルの能力をも破壊してしまう。あなたは安全の名のもとに、ロボトミー手術を施したのだ。

真の課題は、悪い出力をブロックすることではない。この地形の安全な領域を航行しながら、危険な領域を数学的に到達不可能にすることなのだ。

「潜在空間ガバナンス」とは、実際にはどのようなものか?

私たちは、リスクの高い生成系ドメインにおけるAI安全性への唯一の擁護可能なアプローチだと信じるものを表現するために、「潜在空間ガバナンス」という言葉を作った。その発想は、見かけによらずシンプルだ。モデルが出力を生成した後にそれをフィルタリングするのではなく、モデルの内部地形における航行そのものを制約するのだ。何ひとつ生み出される前に、だ。

これが実際に何を意味するのか、順を追って説明しよう。なぜなら、悪魔は実装の細部に宿るからだ。

誰かが動き出す前に、地形を地図化する

生成モデルをデプロイする前に、私たちは「トポロジー監査」と呼ぶものを実施する。パーシステント・ホモロジー——トポロジカルデータ解析の一分野——と呼ばれる手法を用いて、モデルの潜在空間の安全な領域の数学的な指紋を計算する。治療の領土を毒性の領土から隔てる形状、穴、境界を特定するのだ。

これによって、いかなるブロックリストにも決してもたらせなかったものが得られる。すなわち、モデル自身の幾何学において「安全性」がどのようなものかについての構造的な理解だ。新規分子が——どのデータベースにも現れないものが——生成されたとき、私たちはそれが安全な多様体の上に位置しているのか、それとも未踏の、潜在的に危険な領土へと漂い出てしまったのかを評価できる。

決して眠らないクリティック

私たちは、ベースとなる生成モデルを再学習させたりはしない。それはコストがかかり、破滅的忘却のリスクを伴い、それ自体が新たな問題を生む。その代わりに、私たちは「制約クリティック(Constraint Critics)」と呼ぶ軽量な補助ネットワークを学習させる——潜在ベクトルの上で直接動作し、リスクスコアをリアルタイムで予測する価値関数だ。

ここでのアーキテクチャ的な優雅さには意味がある。クリティックはジェネレーターから切り離されているため、基盤モデルに手を触れることなく、新たな脅威が現れるたびにそれらを更新できる。新しい種類の化学的懸念が特定されたときには、システム全体ではなく、クリティックだけを再学習させるのだ。

フィルタリングではなく、ステアリング

生成の最中、モデルが潜在空間内の一点をサンプリングすると、クリティックはその点における毒性曲面の勾配を計算する。もしその軌道が危険な領域へと向かっているなら、反対向きの勾配がそれを安全な多様体へと押し戻す——ランジュバン動力学に基づく手法を用いて。

モデルは事実上、毒性のある分子を「想像する」が、いかなる出力も生み出される前に、その思考を安全な類似体へと解決するよう数学的に強制される。危険なものが出力層に到達することは決してない。捕まえるべき危険なものが存在しないのだから、フィルタリングすべきものも存在しないのだ。

モデルは、兵器を生成してから扉のところで止められるのではない。そもそもアーキテクチャ的に、扉へと歩み寄ることすらできないのだ。

これが、事後的なフィルタリングと構造的な制約との違いだ。一方は、身分証を確認する警備員。もう一方は、立入制限フロアへの入口がそもそも存在しない建物である。

完全な数学的定式化——制約付き最適化のフレームワークや勾配ステアリングの方程式を含む——については、私たちの技術的な詳細解説をご覧いただきたい。

なぜ、危険な領域をまるごと封鎖してしまえないのか?

人々は私にこれを絶えず尋ねてくるが、それはもっともな問いだ。毒性の多様体がどこにあるか分かっているのなら、なぜそれを完全に壁で囲ってしまわないのか、と。

絡み合いのためだ。思い出してほしい——神経剤を致死的にする特徴は、神経系の薬を有効にする特徴と大幅に重なり合っている。あまりに積極的に壁で囲えば、治療上の有用性を破壊してしまう。あまりに緩く囲えば、隙間を残してしまう。

私たちのアプローチは、「適応的インセンティブ付き制約強化学習(Constrained Reinforcement Learning with Adaptive Incentives)」と呼ぶものによって、この難所を切り抜ける。安全か危険かという二値の壁の代わりに、私たちは勾配的な緩衝地帯を実装する。モデルが毒性の境界に近づくにつれて、増大するペナルティがそれを押し戻す。近づけば近づくほど強くなる力場のように。これによってモデルは、危険へと踏み込むことなく、化学空間の生産的な縁——最も革新的な薬がしばしば息づく場所——を探索できるようになる。

標準的な制約付き強化学習は、制約境界のまわりで振動し、悪名高いほど不安定だ。私たちはこれを、境界を越えないことだけでなく、境界の十分内側にとどまることに対してモデルを報酬づける適応的インセンティブ機構によって解決した。この違いは些細に聞こえる。だが実際には、これは、紙の上で安全なシステムと、敵対的な圧力のもとで安全なシステムとの違いなのだ。

規制の清算は、すでに到来している

私は、AI安全性を「あれば嬉しいもの」として扱う多くの創業者と話をする。コンプライアンスチームのためのチェックボックス。プロダクトマーケットフィットの後に心配すればいいもの、というわけだ。

彼らは間違っている。そして規制環境が、まさにそれを証明しようとしている。

ホワイトハウスのAIに関する大統領令は、AIがCBRN(化学・生物・放射性・核)兵器開発への障壁を引き下げるリスクを、第一級の国家安全保障上の脅威として明確に特定している。2025年後半に開始された「ジェネシス・ミッション」は、エネルギー省に対し、義務的な『リスクベースのサイバーセキュリティ対策』を備えた科学的発見のための統合AIプラットフォームを構築するよう指示している。NISTの生成AIプロファイル(NIST.AI.600-1)は、化学・生物学的設計ツールを固有のリスクカテゴリーとして特に名指しし、これらのツールが学習データには存在しない『新規構造を予測しうる』と警告している。そしてISO 42001——AIに関する初の国際的なマネジメントシステム規格——は、敵対的攻撃に対する実証された堅牢性を要求している。

ラッパーが証明できないのは、自らが防止しているということ——生物学的脅威の生成を——である。示せるのはせいぜい、自らが試みているということ——それらをフィルタリングしようと——だけだ。この「最善の努力」という区別は、連邦政府との契約、ISO認証、そして規制当局の承認がかかっているとき、途方もなく大きな意味を持つことになる。

私たちの構造的な制約は、根本的に異なる何かを提供する。すなわち、有界な挙動の証明だ。私たちは規制当局に対して——数学的に——CBRNの多様体が私たちのモデルにとって到達不可能であることを実証できる。「ブロックしようと努めています」ではない。「まだ突破された例を見ていません」でもない。到達不可能なのだ。

ある投資家は私に「GPTを使ってフィルターを足せばいい」と言った

これを共有したいのは、業界が今いる場所と、業界があるべき場所との隔たりを、これがよく捉えていると思うからだ。

資金調達の初期、ある投資家——エンタープライズAIで有力なポートフォリオを持つ人物——が、私たちのピッチを聞いて、要するにこう言った。「これは過剰設計だ。優れたシステムプロンプトとモデレーション用エンドポイントを備えたGPT-4を使えばいい。製薬ツールをジェイルブレイクしようとする者などいないよ」

私はスマートフォンでSMILESプロンプティングの研究を呼び出し、90%を超える回避率を彼に見せた。MegaSynの結果も見せた。彼の言う「モデレーション用エンドポイント」が捕まえなければならない分子には、まだ名前がないのだと説明した——それらはどのデータベースにも存在しない新規化合物なのだ、と。

彼は長いあいだ黙り込み、それからこう言った。「つまり君は、バイオテック分野のあらゆるAI安全企業が、機能しない錠前を売っていると言っているのか?」

「私が言っているのは、彼らが、壁のない建物の玄関ドアに錠前を売っている、ということです」

彼は投資しなかった。誰もがこの対話への準備ができているわけではない。だが準備のできている者たち——臨床プログラムを走らせる製薬企業、CBRNの任務を負う防衛請負業者、ISO 42001認証を視野に入れるバイオテック企業——は理解している。構造的な安全性はプレミアム機能ではないのだと。それは、実用最小限の製品(ミニマム・バイアブル・プロダクト)なのだ。

私を夜も眠らせないもの

MegaSynの実験は2022年に発表された。そこで使われたのは2018年のアーキテクチャだ。今日利用できるモデルは、桁違いに高性能である。

では、それに応じて業界が築いてきた「安全」インフラはどうか?より優れたキーワードフィルター。改良されたシステムプロンプト。より網羅的なブロックリスト。私たちはより速い車を作りながら、より良い段差(スピードバンプ)で応じているのだ。

AIに携わるほとんどの人——AI安全ツールを作っているほとんどの人でさえ——は、新規化学兵器を設計する能力がいまやゲーミングPCよりも安上がりになった、ということの意味を、十分に自分のものとして理解してはいないと私は思う。その知識は、どこかの機密文書の中にあるのではない。それは、公開されている化学データで学習されたモデルの、学習された表現の中に符号化されているのだ。そして、モデルに毒性の意味を教え忘れさせることは、治療の意味を教え忘れさせることなしには不可能だ。なぜなら、これらは同じ知識であり、異なる角度から眺めたものにすぎないからだ。

私たちは、幾何学的な問題を言語的なパッチで解決することはできない。危険はモデルの潜在空間の中に棲んでおり、ガバナンスもまた、そこに棲まなければならないのだ。

ラッパーの時代は終わらなければならない。ラッパーが悪い製品だからではない——その多くは善意によるものであり、リスクの低い用途では有用だ。そうではなく、AIが物理世界に触れる領域——創薬、化学合成、生物工学——においては、表層的な安全性は語義矛盾だからだ。それは、見せかけの制御を生み出す一方で、創造のエンジンをまったく統治されないまま放置してしまう。

Veriprajna では、私たちはより困難な道を選んだ。私たちは、モデルの内部へ——その幾何学、そのトポロジー、その潜在構造の中へ——分け入り、安全性を数学そのものの中に組み込むことを選んだ。フィルターとしてではない。ガードレールとしてでもない。モデルが想像しうるものへの制約として、だ。

これこそが、AI安全性の未来はこうあるべきだと私が信じる姿だ。門により賢い番人を置くのではなく、危険な部屋がそもそも存在しないように設計された建物。より優れたコンテンツモデレーションではなく、その内部の幾何学によって危害を構造的に不可能にするモデル、である。

私たちがこれを築いたのは、それが簡単だったからでも、市場が求めていたからでもない。私たちがこれを築いたのは、あの表——4万個の分子、6時間、コンシューマー向けサーバー——が、それに満たないものはすべて、イノベーションを装った怠慢にすぎない、と告げていたからだ。