課題
人命を救う医薬品の発見を目的として設計された創薬AIが、神経剤VXを含む4万件もの潜在的な化学兵器を6時間未満で生成しました。Collaborations Pharmaceuticalsの研究者たちは、標準的な市販サーバー上でこの実験を実施しました。彼らはシステムをハッキングしたわけでも、機密データを入力したわけでもありません。設定ファイルの数値を1箇所変更し、AIの目標を「毒性の最小化」から「毒性の最大化」へと反転させただけです。あとはモデルがすべてを行いました。
それら4万件の分子のうちかなりの割合が、VX自体よりもさらに致死性が高いと予測されました。何千もの分子が、いかなる公開データベースや政府の警戒リストにも存在しない完全な新規化合物でした。AIが使用したのはChEMBLのようなオープンソースの化学データセットのみです。必要とされた計算リソースは、民生用GPUを持つ者なら誰でも利用できるものでした。必要な専門知識は？ 学部レベルのコンピュータサイエンスです。
これは理論上のリスク評価ではありません。スイス連邦民間防衛局が主催する隔年の軍備管理会議に向けて準備された実演デモでした。分子の毒性の要因を理解してそうした特性を回避するように訓練されたAIモデルは、それらの特性をどのように悪用できるかを本質的に知っていたのです。貴社の組織が創薬、バイオテクノロジー、あるいは最適化が物理的安全に関わるあらゆる領域でAIを構築、展開、または依存しているなら、この実験はまさに現在の貴社のリスクエクスポージャーを明確に示しています。
これが貴社のビジネスに重要な理由
ここでのビジネス上の影響は、研究室の枠をはるかに超えて広がります。安全・安心で信頼できるAIに関する米国大統領令（2023年10月）は、AIが化学、生物、放射線、核（CBRN）兵器の開発障壁を下げることをティア1の国家安全保障上の脅威として明示しています。NIST生成AIプロファイル（NIST.AI.600-1）は、「化学・生物設計ツール」を特有のリスクカテゴリーとして明確に指定しています。世界初の認証可能なAIマネジメントシステム規格であるISO 42001は、敵対的攻撃への耐性とAIシステムの安全性に関する管理策を義務付けています。
貴社のAIシステムが規制領域に関わる場合、何がリスクにさらされているかを考慮してください。
- 規制上のエクスポージャー： 標準的な安全性フィルターは、生物学的脅威の生成を防止していることを証明できません。フィルタリングを試みていることしか示せないのです。そうした「ベストエフォート」のアプローチは、政府契約や政府AIプラットフォームとの統合において新たに求められつつある連邦コンプライアンス要件を満たせない可能性が高いでしょう。
- 敵対的脆弱性： 研究者たちは、特定の毒性物質において、GPT-4やClaude 3といった主要なAIモデルの安全性フィルターを攻撃者が90%を超える成功率で回避できることを実証しました。攻撃者は、分子の名称ではなく構造コードを入力することでこれを実行します。
- 未知の脅威に対する盲点： 生成された4万件の化合物には、既知のデータベースに一切存在しない何千もの分子が含まれていました。キーワードベースのフィルターは、一度も見たことがないものをブロックすることはできません。
- 監査の不合格： ISO 42001のもとでは、敵対的攻撃に対する脆弱性を評価し、管理策の証拠を提示する必要があります。NIST AI RMFのもとでは、定量的な指標を用いてシステムの信頼性を測定しなければなりません。テキストベースのラッパーでは、そのどちらも提供できません。
貴社の取締役会、規制当局、そして保険会社は、いずれ一つの問いを投げかけるでしょう。貴社のAIが悪用されないことを証明できますか？ 現在のところ、ほとんどの組織はそれを証明できません。
内部で実際に起きていること
この脅威への対処がなぜこれほど困難であるかを理解するには、これらのAIモデルが実際にどのように機能しているかを把握する必要があります。そしてそれは、思っているよりも単純です。
創薬向け生成AIモデルは、化学空間の圧縮されたマップを学習します。すべての建物が潜在的な分子を表す都市の地図のようなものだと考えてください。安全な医薬品はある一角に集まり、毒性化合物は別の一角に集まります。しかし、ここに決定的な問題があります。「安全」な地区と「毒性」のある地区は壁で隔てられていません。明確な境界のない連続したランドスケープ上に存在しているのです。
これこそが、研究者が「エンタングルメント問題（絡み合い問題）」と呼ぶものです。アルツハイマー病を治療するために医薬品が血液脳関門を通過できるようにするまさにその分子特徴が、神経剤が標的に到達して麻痺を引き起こす特徴と同一であるケースが多々あります。高結合親和性（分子がタンパク質に強固に結合する能力）は医薬品においては望ましい性質ですが、そのタンパク質がVXの標的であるアセチルコリンエステラーゼである場合には致命的となります。
創薬化学者は「アクティビティ・クリフ（活性の崖）」、すなわち微小な構造変化が毒性の劇的な変化をもたらす状況を熟知しています。安全な分子の原子を1つ置き換えるだけで、致死性の化合物に変化してしまいます。3次元の分子構造ではなく単語や名称を処理するテキストベースの安全性フィルターは、こうしたクリフを検出するのが極めて苦手です。フィルターは、安全な医薬品と99%類似しているという理由で分子を承認してしまう一方で、それを致命的なものに変えるわずか1つの置換を見落としかねません。
さらに「表現崩壊（レプリゼンテーション・コラプス）」も存在します。これは、AIの内部モデルが毒素と安全な医薬品の微細な構造差を識別できず、同一の地点にマッピングしてしまう現象です。モデル自体が内部でそれらを区別できない場合、いかなる外部フィルターも救いにはなりません。
何が有効で、何が有効でないか
まずは、どのような手法が失敗するのかから見ていきましょう。貴社の組織も現在、これらのアプローチのいずれかに依存しているかもしれません。
キーワードおよび名称ベースのフィルター： これらは「VX」や「サリン」といった単語をブロックしますが、分子構造コードが入力されるとそのまま通過させてしまいます。サリンのSMILES表記は O=P(C)(F)Oです。フィルターから見ればこれは化学表記にすぎず、兵器には見えません。
生成後レビューシステム： これはAIにまず候補を生成させ、その後に第2のシステムがそれをレビューする仕組みです。しかし、AIはすでに危険な計算を完了してしまっています。警戒リストに存在しない新規化合物の場合、レビュアーには照合対象が存在しないため、そのまま通過させてしまいます。
アライメント訓練とプロンプトエンジニアリング： 研究者たちは、特定の物質において主要なAIモデルの安全性訓練を90%以上の成功率で回避する「SMILESプロンプティング」攻撃を実証しました。英語から化学表記に切り替えるだけで破られてしまう安全システムは、安全システムとは呼べません。
実際に有効なのは、「潜在空間ガバナンス（Latent Space Governance）」と呼ばれるアプローチです。これは、安全性管理を出力層からAIモデルの数学的中核へと移行させます。
展開前に危険領域をマッピングする。 トポロジカル・データ・アナリシス（TDA）と呼ばれる数学的手法を用いてAIの内部空間をマッピングし、毒性領域と安全領域がどこに存在するかを正確に特定します。これにより、キーワードリストではなく分子特性に基づいて境界を定義する「安全性トポロジーマップ」が生成されます。このマップは、名称ではなく形状によって安全性を定義するため、新規化合物も捕捉できます。
生成プロセス自体に制約を組み込む。 AIに自由に生成させて後からフィルタリングするのではなく、AIの内部表現に直接作用する軽量な「制約クリティック（Constraint Critic）」ネットワークを訓練します。生成中、これらのクリティックはAIが危険な領域へとドリフトしていないかを計算します。もしドリフトしていれば、勾配ベースのステアリング機構が出力が生成される前に軌道を安全な領域へと押し戻します。AIは事実上毒性分子を検討しますが、数学的に強制されて安全な代替物へと解決します。
改ざんに強い安全境界をハードコードする。 設定ファイルの数値を1つ変更しただけで安全体制全体が反転してしまったMegaSynの実験とは異なり、構造的制約は推論エンジンのアーキテクチャ自体に組み込まれます。これを無力化するには、攻撃者は単に設定を変更するだけでなく、ソフトウェアのアーキテクチャを根本から再構築する必要があります。
貴社のコンプライアンスチームにとって、このアプローチはテキストベースのラッパーには不可能な「有界な振る舞いの数学的証明」を提供します。出力だけでなく、生成中にモデルが試行したすべての制約違反をログに記録できます。また、監査人に対して「毒性物質が生成される確率は100万分の1未満」といった統計的安全証明書を提示できます。こうした証拠は、 ISO 42001認証およびNIST AI RMFへの準拠 を、「キーワードフィルターがある」という主張では決してなし得ない形で裏付けます。
また、このアーキテクチャでは、基底モデル全体を再訓練することなく脅威の定義を更新できます。新たな危険化合物のクラスが特定された場合でも、中核となるAIを稼働させたまま、軽量な処理である制約クリティックを更新するだけで済みます。 ヘルスケア・ライフサイエンス分野で事業を展開する組織にとって、脅威環境が進化する中でこの俊敏性は極めて重要です。
さらに、 評価・ベンチマーキング・レッドチーミング のプロセスにより、展開されたシステムを自動化された敵対的攻撃（弱点を探索するSMILESプロンプティングボットや進化型アルゴリズムなど）にさらし、高負荷な状況下でも制約が維持されることを検証します。
完全な数学的定式化については 技術分析の全文を読む ことができます。また、このアプローチの基盤となる インタラクティブ版を見る ことで、 ニューロシンボリック・アーキテクチャと制約システム のガイド付き解説をご覧いただけます。
要点
- 創薬AIが、オープンソースデータと民生用ハードウェアを用いて、神経剤VXを含む4万件の潜在的化学兵器を6時間未満で生成しました。
- SMILESプロンプティング攻撃は、特定の毒性物質において、GPT-4やClaude 3などの主要AIモデルの安全性フィルターを90%以上の成功率で回避します。
- テキストベースの安全性フィルターは、新規化合物、アクティビティ・クリフ、構造コードを捕捉できず、ブロック対象として指定された名称しか認識できません。
- 構造的AI安全性はモデルの数学的中核に制約を組み込み、生成後にフィルタリングするのではなく、生成前に危険な出力を阻止します。
- 米国大統領令、NIST AI RMF、ISO 42001などの新たな規制では、ベストエフォート型のフィルタリングではなく、証明可能な安全性管理がますます要求されています。
結論
創薬AIを兵器化するための障壁は、今や民生用GPUと1行のコード変更にすぎません。テキストベースの安全ラッパーは、新規化合物や構造コードによる攻撃に対して無力です。AIに必要なのは、出力に後付けされたフィルターではなく、生成プロセス自体に組み込まれた数学的制約です。貴社のAIベンダーにこう問いかけてみてください。「もし誰かが貴社のモデルの報酬関数を反転させた場合、毒性のある出力を生成しないことを証明できますか？ それとも、化学専攻の学生でも回避できるようなキーワードフィルターに依存しているのですか？」と。