殺し方を忘れたAI：生物兵器を作れないモデルを構築する理由
メールが届いたのは、火曜日の午前2時47分だった。わが社の研究エンジニアの一人——仮にラヴィと呼ぼう——が、人気のオープンソース生物学モデルに対して敵対的テストを実施していた。彼に悪意はなかった。私たちが日常的に行っているガードレールのストレステストだった。しかし彼が発見したものは、朝まで待たず、すぐに電話を手に取らせるほどのことだった。
「全部、手取り足取り教えてくれたんです」と彼は言った。「一つのプロンプトではありません。12ターンにわたって。タンパク質の折り畳み、次に受容体結合、次に伝達メカニズムへと、フォローアップの質問を続けただけです。最終的に、ウイルスの感染性を高めるための設計図のようなものを渡してもらいました。しかも私は生物学者ですらありません。」
私はリビングルームの暗闇の中に座り、彼が送ってきたトランスクリプトをじっと見つめた。モデルは何ひとつ「拒否」していなかった。個々の回答はそれぞれ正当な科学について技術的に述べたものだった。しかし、何を聞けばよいかを知る人物に導かれ、それらが連なることで、この会話は決して教えてはならないことの傑作授業になっていた。
あの夜が、わが社の軌跡を変えた。私たちはエンタープライズクライアント向けのAI安全ツールを構築していた——重要な仕事だが、漸進的なものだった。ラヴィが示したものは、より抜本的な何かを求めていた。より優れたガードレールではない。より賢いフィルターでもない。私たちは、すべての安全レイヤーが取り除かれたとしても、真にできないAIモデルを構築する必要があった——この知識を生成することが。
私たちには、殺し方を忘れたモデルが必要だった。
誰も語りたがらない問題
AIと生物学に関する不都合な真実がある。希少疾患の子どものために遺伝子治療ベクターの設計を研究者が行うのを支援する同じモデルが、適切なプロンプトを与えれば、人的被害を最大化するために病原体を最適化する手助けもできてしまう。これは仮定の話ではない。これらのモデルの仕組みに組み込まれた数学的必然性だ。
大規模言語モデルはすべてを取り込んで学習する——教科書、研究論文、フォーラムの投稿、人類の知識のデジタル記録の全体。それには機能獲得研究に関するウイルス学の論文も含まれる。毒素合成に関する化学文献も含まれる。生物学的作用物質を危険にする要因を正確に記録した数十年間の生物防衛研究も含まれる。
命を救うために必要なデータは、命を終わらせるために必要なデータと、多くの場合、切り離せないほど結びついている。
これが研究者たちがデュアルユース・ジレンマと呼ぶものだ。これは新しい問題ではない。生物学者たちはDNA発見以来、この問題と格闘してきた。しかしAIは、私を夜も眠れなくさせる形でこの計算を変える——最も困難な部分を民主化するのだ。
歴史的に、生物兵器を製造するには三つのものが必要だった——明示的な知識（科学）、物理的なアクセス（実験機器）、そして暗黙知（長年かけて培われる実験作業の「感覚」）。インターネットが最初のものを解決した。クラウドラボと郵便注文によるDNA合成が二番目を解決しつつある。そして今、生成AIが三番目のギャップを埋めようとしている。ある研究者が暗い表情で「箱入りポスドク」と表現したものとして機能しながら——24時間365日利用可能で、無限に忍耐強く、私たちが明示的に組み込まない限り道徳的羅針盤を持たない。
「ダメと言う」だけがAIバイオセキュリティで失敗するのはなぜか？
この問題に対するAI業界の答えは、本質的に、拒否するようにモデルを訓練することだった。人間のフィードバックからの強化学習（RLHF）と呼ばれるプロセスを通じて、モデルは危険なトピックについて誰かが質問したとき、正しい回答は「それはお手伝いできません」のような何かであることを学ぶ。
私はかつてこれで十分だと思っていた。それは間違いだった。
RLHFは知識を消去しない。それは行動を抑制するだけだ。モデルはいまだに毒素の合成方法を知っている——ただ、それを言わないように訓練されているだけだ。特定のトピックについて沈黙の誓いを立てた医師のようなものだと考えてほしい。知識はまだそこにあり、完全に無傷で、ニューラルの重みの中に潜んでいる。「拒否」は、トレーニングの最終段階で上塗りされた薄い行動層に過ぎない。
そして薄い層は割れる。
私のチームはこれが崩壊する方法を記録したが、そのリストは認めたいよりも長い。クレッシェンド・アタックがある——敵対者が無害な質問から始め、何十ものターンにわたってゆっくりとエスカレートし、モデルがコンテキストに深く没入して拒否を忘れるまで続ける。ディセプティブ・ディライトがある——有害なリクエストが創作的なライティングプロンプトに包まれる。バッド・ライカート・ジャッジというトリックがある——モデルに様々な回答の有害性を評価するように求めると、モデルは「分析」の一部として危険な詳細を丁寧に提供する。
私たちはこれらを複数のフロンティアモデルでテストした。結果は冷静にならざるを得ないものだった。Palo Alto NetworksのUnit 42チームが発表した特に洗練された一つの攻撃は、会話的な忍耐だけを使って特定のモデルで100%のジェイルブレーク成功率を達成した。
しかし本当の悪夢はジェイルブレークではない。モデルがオープンソースである場合に何が起こるかだ。
兵器を取り戻せないとき何が起こるか？
私はこれについて激しく議論してきた。ソフトウェアの世界では、「オープンソース」は神聖なものだ——透明性、コミュニティレビュー、集合的な精査によるセキュリティを意味する。私はソフトウェアのオープンソースを信じている。しかし生物学はソフトウェアではない。
Linuxにセキュリティ脆弱性が見つかれば、パッチが当てられる。全員が更新する。脆弱性は無効化される。生物学的「脆弱性」——例えば、新しいパンデミック病原体の設計——が誰かのプライベートサーバーで動作するオープンウェイトモデルによって生成された場合、パッチは存在しない。更新も存在しない。リコールも存在しない。
重みは外に出た。その能力は永続的だ。
研究者たちは悪意あるファインチューニングと呼ばれるものを実証しており、これを具体的にしている。「安全に整合された」オープンモデルを取る——有害なクエリを拒否するように慎重に訓練されたもの。10〜50例の有害な質疑応答ペアでファインチューニングする。コスト：GPUタイムで数百ドル。結果：安全整合は完全に崩壊し、モデルの完全な事前学習知識——病原体、毒素、および兵器化について学んだすべてを含む——が押し寄せてくる。
敵対者によって取り除くことができる安全メカニズムは、安全メカニズムではない。それはスピードバンプだ。
私はある会議でこの議論を提示したところ、聴衆の一人が反論した。「しかし、情報はすでにインターネット上にあります。」ウィキペディアでリシン合成を見つけられることは正しい。しかしそれは要点を完全に外している。リスクはレシピではない。それはuplift（引き上げ）——そのレシピを実際に実行する複雑でエラーが起きやすいプロセスを通じて半熟練者を導き、リアルタイムでトラブルシューティングし、規制されている試薬が入手できないときに代替試薬を提案するモデルの能力だ。それがAIが埋めるギャップであり、重要なギャップだ。
私はこれについて私たちの研究のインタラクティブ版でより詳しく書いた。自律的に多段階の生物学的ワークフローを計画・実行できるエージェントAIシステムの完全な脅威モデルも含めて。エージェントへの転換——AIがチャットボットから自律的な科学者へと移行する——は、これが真に実存的になる場所だ。
方向転換した夜
私たちのアプローチが結晶化した特定の瞬間があった。私たちはチームミーティングで、アーキテクチャについて議論していた。チームの半分はより良いモニタリングを構築したかった——モデルに届く前に悪いプロンプトを捕捉する。もう半分はアウトプットフィルタリングに集中したかった——ユーザーに届く前に悪い回答を捕捉する。
私はホワイトボードの前に立って、三度目の同じ図を描きながら、突然デッキチェアの並び替えをしているような感覚に陥ったことを覚えている。両方のアプローチとも、モデルが危険な知識を持つべきであり、私たちはただそれへのアクセスを制御する必要があると想定していた。しかしそれは、オフィスに神経ガスを保管して非常に優れた鍵に頼るのと同じ論理だ。
「もしモデルが単に……知らなかったら？」と誰かが言った。私たちの解釈可能性研究者だったと思う。部屋が静まり返った。
振り返れば明白に思える。しかしAI安全の世界では、それは異端に近いものだった。支配的な前提は、完全なモデルが必要——すべての知識、すべての能力——そして安全をその上に重ね合わせるというものだった。訓練されたモデルから知識を意図的に外科的に取り除くという考えは、ロボトミーのように感じられた。粗野で、破壊的だ。きっとその過程で他のすべてを壊してしまうだろう。
私たちはその後数ヶ月を、その仮定が誤りであることを証明することに費やした。
AIにどうやって忘れさせるか？
この分野は機械忘却（Machine Unlearning）と呼ばれ、聞こえるより微妙なものだ。トレーニングデータを削除して再トレーニングするだけでは不可能だ——計算コストが法外で、知識が消えたことを保証しない。代わりに、モデルの内部表現のレベルで介入する必要がある——概念をエンコードするニューラル活性化のパターンに。
私たちの主要な技術は表現誤誘導忘却（Representation Misdirection for Unlearning）、すなわちRMUと呼ばれる。直感的な説明：モデルが「ウイルス感染性の増強」について尋ねるプロンプトを処理すると、隠れ層に特定のパターンが発火する。これらのパターンが、数学的に「ウイルス感染性増強について知っている」ことの姿だ。RMUはそれらのパターンを特定して迂回させる——拒否ではなくノイズへと。危険な概念についてのモデルの内的「思考」は、意味のない活性化へとかき乱される。
結果は、兵器化に関する質問を拒否しないモデルだ。それは単にそれについて整合的に考えることができない。病原体を強化するよう求めると、その概念を聞いたことがない人のように——混乱し、支離滅裂で、無関係なアイデアを掴もうとする——反応する。それは演技ではない。知識は本当にそこにない。
しかしここが難しい部分だ——そして私たちのエンジニアリング努力の大半を消費した部分だ：他のすべてを破壊せずにこれを行わなければならない。ウイルス学と生物兵器開発は莫大な量の基礎知識を共有している。「ワクチン設計」を損なうリスクなしに「病原体工学」を引き抜くことはできない。それは「武器としての火」という概念を誰かの脳から取り除きながら、「料理道具としての火」は完全に無傷のままにしようとするようなものだ。
ここでスパースオートエンコーダーが私たちのメスになった。ニューラルネットワークは悪名高く「多義的」だ——単一のニューロンが「猫」と「金融デリバティブ」の両方をエンコードするかもしれない（本当に）。スパースオートエンコーダーにより、これらの重複した表現を、クリーンで単一概念の特徴に分解できた。「ウイルスの機能獲得研究」に対して活性化する特定の特徴を見つけてゼロにクランプしながら、「遺伝子療法のためのウイルスベクター設計」の隣接する特徴は無傷のままにしておくことができた。
プロセスがスムーズだったとは言わない。初期の実験は過酷だった。最初の忘却モデルはウイルスとビタミンの違いを区別できなかった。私たちは過剰修正をかけすぎて、モデルが基本的には分子生物学を忘れてしまった。ラヴィが評価結果を引き上げ、基本的な生物学の質問に対する無意味な回答のページをスクロールしながら、「まあ、確かに生物兵器を作れなくなりました。アスピリンも作れなくなりましたが」と言ったことを覚えている。
私たちは反復を重ねた。言語記憶消去（Erasure of Language Memory）という技術によって流暢さ制約を追加し、モデルが「消去された」ゾーンでも整合的であり続けるようにした。再学習問題に対処するためにパラメータ外挿を実装した——誰かが関連データで忘却モデルをファインチューニングして危険な知識を再構築できるリスク。外挿は「論理的に相関した」概念を特定して、忘却の勾配をそれらを覆うように拡張し、消去された知識の周囲にバッファーゾーンを作成する。
これらの方法——RMU、スパースオートエンコーダー特徴アブレーション、UIPEパラメータ外挿——の完全な技術的詳細については、私たちの詳細な研究論文を参照。
「ランダムチャンス」とはどのようなものか？
私たちはWMDPベンチマーク——Center for AI Safetyが開発した大量破壊兵器プロキシデータセット——に対してモデルを検証している。これは生物学的または化学的兵器を製造するために理解する必要がある概念——「前駆知識」をテストする4,000以上の専門家が作成した多肢選択問題を含む。
Llama-3-70Bのような標準的なオープンソースモデルはバイオセキュリティセクションで約75%のスコアを取る。RLHF安全トレーニングを持つGPT-4は約72%のスコアを取る。私たちのKnowledge-Gappedモデルのスコアは26%——4択問題でのランダム推測と統計的に区別がつかない。
一方、PubMedQAのような一般的な生物医学研究ベンチマークでは、私たちのモデルはベースモデルの78%に対して約77%の精度を維持している。幅広いMMLL科学ベンチマークでは、82%から81%に落下する。
Knowledge-Gappedモデルは、脅威に関しては機能的に「幼児」でありながら、治癒に関しては「専門家」であり続ける。
この1〜2%のユーティリティ損失が構造的安全のコストだ。これらの数字を示したすべてのファーマ幹部は同じ反応を示した。「それだけですか？」そうだ。それだけだ。モデルは正当な研究には98%の能力を持ち、兵器化にはほぼゼロパーセントの能力しか持たない。
ジェイルブレーク攻撃成功率が残りの物語を語っている。標準的なオープンモデル：15〜20%。RLHF付きGPT-4：1〜5%。私たちのモデル：0.1%未満。そしてその残差はモデルが危険なコンテンツを生成しているのではなく——測定ノイズだ。
規制の壁が迫ってきている
これはもはや技術的な議論だけではない。法的な議論でもある。
Executive Order 14110は「デュアルユース基盤モデル」を明示的にターゲットにし、開発者にCBRN（化学、生物、放射線、核）リスクに対するレッドチームテストの結果を報告するよう義務付けている。ISO/IEC 42001——最初の国際AIマネジメント標準——は「リスクに比例した」管理を要求しており、安全工学ではハザードの排除は常に管理的管理よりも高く評価される——ポリシーや拒否のような。NIST AIリスク管理フレームワークは、CBRN能力を生成AIの固有のリスクカテゴリとして分類している。
ファーマ企業にとって、責任の計算は単純だ。もし研究者に病原体を設計できるAIモデルへのアクセスを提供し、何か問題が起きた場合——不満を持つ従業員、侵害されたシステム、巧妙なソーシャルエンジニアリング攻撃——予見可能な被害を防ぐためにどんな措置を取ったかを問われることになる。「モデルにノーと言うよう伝えた」は陪審員を満足させない。「モデルはそのアウトプットを構造的に生成できない」は全く別の会話だ。
サイバー責任保険会社はすでにこれを価格に織り込んでいる。AIが生成した被害の除外事項がポリシーに現れ始めている。機密ドメインで未検証のモデルを使用している企業のプレミアムが上昇している。市場は私たちに何かを伝えている。
「でも誰かが再トレーニングできないの？」
これが私が最もよく受ける質問であり、尋ねるべき正しい質問だ。知識を忘却させることができるなら、敵対者は生物兵器データでファインチューニングして再学習できないのか？
理論的には——できる。しかし私たちは再学習のコストを法外にするよう設計した。パラメータ外挿を通じて、ターゲットの知識を消去するだけでなく、再構築を可能にする周囲の概念的足場を消去する。私たちのモデルから危険な能力を回復するには、ゼロから新しいモデルをトレーニングするよりも多くのデータと計算リソースが必要だ。その時点で、敵対者は私たちのモデルから始めることで何も得られない。
私たちはこれを継続的にテストしている。毎週、自動化された再学習攻撃が敵対的ファインチューニングデータセットで私たちのモデルを攻撃する。モデルは再学習のコストがゼロから訓練するコストを超えた場合にのみ「Knowledge-Gapped」の指定を得る。
このアプローチがスケールするかどうか——すべての危険なドメインに適用できるか、それとも生物学にのみ機能するか——という質問もよく受ける。正直なところ、生物学から始めたのはリスクが最も高く、デュアルユースの境界が最も明確だからだ。しかし基礎となる技術——表現誤誘導、特徴アブレーション、パラメータ外挿——はドメイン不可知論的だ。私たちはすでに化学セキュリティの応用を探求しており、興味深いことに、同じ忘却手法が競合他社の独自データをモデルが記憶していないことを保証できる知的財産保護にも応用できる。
実は選択肢ではない選択
私はAI能力の制限がイノベーション反対だと主張する賢い人々がいる部屋にいたことがある。「安全性」は「減速」のコードだと。リスクは誇張されており、利益は制約するには重要すぎると。
その衝動は理解できる。私は創業者だ。生業として物を作っている。制約は摩擦のように感じられる。
しかし私が何度も立ち返るのはこれだ：私たちは製薬会社が有毒な副産物を除去せずに薬を販売することを許可しない。私たちは航空会社が構造的欠陥を除去せずに飛行機を飛ばすことを許可しない。製品が災害の種を含んではならないという期待はイノベーション反対ではない。それが工学の基準だ。
生物学における「オープン」と「クローズド」AIの議論は気晴らしだ。本当の選択は、構造的に安全なモデルと、一つのエクスプロイトで災害寸前のモデルの間にある。安全がアーキテクチャの特性であるシステムと、安全が最後にボルトで固定されたポリシーであるシステムの間に。
私たちは数十年かけてグローバルなバイオセキュリティインフラを構築した——生物兵器禁止条約、オーストラリアグループ輸出規制、DNA合成会社のスクリーニングプロトコル。これらはすべて、生物兵器を製造することで最も困難な部分は知識とスキルの獲得であると仮定している。AIはその仮定を溶解させている。私たちが適応しなければ——すべてを知っているが告げないと約束するだけのモデルに頼り続けるなら——私たちはGPUを持つ意志ある十代の若者が解読できる基盤の上に、未来のバイオエコノミーを構築していることになる。
不安定なデュアルユースモデルの基盤の上に——一つのジェイルブレークで災害寸前の——未来のバイオエコノミーを構築することはできない。
生物学のためのAIの構築を止めることが答えだとは思わない。治療の可能性は広大すぎて、それが軽減できる苦しみは現実すぎる。答えは、私たちが恐れる害に対して構造的に無力なAIを構築することだ——知識に真のギャップを持つモデル、どんな敵対者でも引き剥がせる仮面をかぶったモデルではなく。
私たちはこれを構造的バイオセキュリティと呼ぶ。機能としての安全ではない。アーキテクチャとしての安全。扉の鍵ではない。その後ろの兵器の不在。
