問題点
数百万冊の化学教科書で学習したAIモデルが、貴社の電池用電解質の新しい分子構造を提案したところです。見た目は正しく、読み味も良く思えます。しかし、それは原子の結合を支配する根本法則である、基本的な原子価規則に違反しています。もっともらしさの層の下に埋もれたその単一のエラーは、熱暴走イベントを引き起こしかねません。熱暴走とは、バッテリーパックをミリ秒のうちに火災へと変える自己伝播型の連鎖反応です。その一方で、メディア部門では、生成系オーディオツールが、著作権で保護されたビートルズの旋律に統計的に似たサウンドトラックを生成したばかりです。貴社のチームは気づいていません。しかし、原告側の弁護士は気づきます。
これが今日の生成AIの中核的な危険性です。これらのシステムは回答を計算しているのではなく、最も可能性の高い次の単語、ピクセル、音波を予測しています。それらは真実のエンジンではなく、もっともらしさのエンジンです。出力は99%が説得力があり、1%が物理的に不可能または法的に権利侵害です。貴社のビジネスにとって、その1%は丸め誤差ではありません。そこは大惨事が潜む隙間です。標準的な大規模言語モデルは電子密度ではなくトークンを予測します。拡散モデルは所有権や出所の概念なしにオーディオを生成します。ユーザーフレンドリーなインターフェースは、モデルの推測を洗練されたダッシュボードの背後に隠し、貴社はリスクを目にすることはありません。バッテリーが発火するか、著作権侵害のクレームが貴社の机に届くまでは。
なぜこれが貴社のビジネスにとって重要なのか
ここでの財務的・法的リスクは理論上のものではありません。それは貴社の貸借対照表、コンプライアンス義務、そして取締役会のリスク許容度に直接対応します。
まず物理面から考えてみましょう。リチウムイオン電池は、決定論的な三段階のカスケードで故障します。段階1はわずか80°Cで始まり、負極の保護層が崩壊します。段階2では110°C–135°Cでセパレータが溶けて可燃性ガスが発生します。200°Cを超えると正極が崩壊して酸素を放出し、燃焼が始まります。貴社の電解質は、この最終段階における燃料です。AIが熱力学的に不安定な電解質材料——保持されるどころか分解してしまうような材料——を提案すれば、貴社はバッテリーではなく爆弾を設計したことになります。
次に、法的側面を考えてみましょう：
- **無意識の剽窃が貴社の責任になります。**生成されたオーディオトラックに、著作権で保護された楽曲と同一の4小節のループが含まれていれば、誰も意図していなかったとしても、貴社は権利侵害の責任を負います。
- **「クリーンなデータ」という主張は貴社を守りません。**著作権で保護された素材でAIを学習させることの法的地位は、Andersen v. Stability AI や New York Times v. OpenAI などの事件で現在も争われています。裁判所がモデル提供者に不利な判決を下せば、貴社の生成資産は一夜にして無効になる可能性があります。
- 化学探索空間は途方もなく広大です。無機結晶の組み合わせには10^100通りあると推定されています。ランダムな実験的探索のヒット率は**1%**未満です。ここを誤ることは、研究開発費の無駄になるだけでなく、失敗した候補1件ごとに市場投入までの期間を数か月遅らせます。
CFOは無駄になった研究開発費を見ます。法務責任者は定量化できない知的財産リスクを見ます。安全担当役員はリコール責任を見ます。3つの問題すべてが同じ根本原因にさかのぼります。すなわち、検証済みの回答ではなく、もっともらしい推測を生成するAIです。
内部で実際に起きていること
安全性が重要な環境で標準的な生成AIがなぜ失敗するのかを理解する最も簡単な方法を紹介しましょう。非常に才能のあるオウムだと考えてください。そのオウムは、化学や音楽に関する何百万もの会話を聞いてきました。専門家の話とそっくりに聞こえる言葉をつなぎ合わせることができます。しかし、言葉の意味は理解していません。原子が結合規則に従うことを知りません。旋律に所有者がいることを知らないのです。
大規模言語モデルも同じように動作します。系列の中で統計的に最も確率の高い次のトークンを予測するのです。分子構造の設計を依頼すると、学習データ内のパターンに基づいて「化学のように見える」ものを組み立てます。しかし、提案された構造が熱力学の法則に従うかどうかを確認することは決してありません。内部に物理エンジンは存在しません。法的コンプライアンスチェックも存在しません。
これにより、研究で言う**出所の不明化(provenance obfuscation)**が生じます。オーディオ生成の出力は、学習データの数学的なブレンドです。どの著作物が出力に寄与したかを追跡することはできません。モデルは高次元空間をたどって新しいものを生成しますが、「新しい」は「清浄」を意味しません。過学習を起こして、学習セットから認識可能な旋律や声質を再現してしまうかもしれません。そうではないことを証明できる監査証跡は、貴社には存在しないのです。
材料科学では、故障モードは異なりますが、同様に危険です。ニューラルネットワークは、候補となる電解質の形成エネルギーが低い——つまり安定しているはずだ——と予測するかもしれません。しかし、形成エネルギーが低いだけでは不十分です。材料が真に安定するのは、物理学者が**凸包(convex hull)**と呼ぶもの、すなわち特定の化学組成に対する最低可能エネルギー境界上に位置する場合だけです。この境界より上にある材料は自発的に分解します。標準的なAIモデルには、凸包上の位置を検証する仕組みがありません。モデルは推測し、貴社はそれを信じるのです。
有効な対策(と無効な対策)
まず、もっともらしく聞こえるのに実践では失敗する3つのアプローチから見ていきましょう：
**「もっと良いプロンプトを使えばよい」。**プロンプトエンジニアリングは、言語モデルに物理学の知識を追加しません。「注意深く」と頼むことはできます。それでもモデルは熱力学的安定性ではなくトークンを予測するのです。
**「クリーンなデータで学習した」。**ライセンスされたデータセットで学習したモデルでさえ、過学習を起こして認識可能なパターンを再現することがあります。しかも「クリーン」の法的定義は現在係属中の訴訟で決められつつあります。貴社のリスクが消滅するわけではありません。
**「免責事項を追加した」。**免責事項は熱暴走を止めません。著作権侵害のクレームも防げません。規制当局と裁判所が関心を持つのは、貴社のシステムが実際に何をしたかであり、フッターに何と書いてあったかではありません。
実際に機能するのは次の通りです。AIを答えのエンジンではなく提案エンジンとして扱う、3段階のアーキテクチャです：
**AIが広大な探索空間から候補を提案します。**材料については、GNoMEと呼ばれるグラフニューラルネットワークが結晶構造をグラフとして扱います。原子がノード、結合がエッジです。数千の候補構造を生成し、それらの安定性を予測します。オーディオについては、Demucsと呼ばれるソース分離モデルが既存のライセンス済みオーディオを孤立したステム(ボーカル、ドラム、ベース)に分解し、検証済みの構成要素のライブラリを作ります。貴社のAIは、既知の許諾済み素材から始めるのです。
**決定論的な検証レイヤーがすべての提案を正解データと突き合わせます。材料の場合、これは密度汎関数理論(DFT)、すなわち結晶の実際の電子密度とエネルギーを計算する量子力学的計算を意味します。DFTは、ニューラルネットワークが誤った構造を捉える「神託(オラクル)」です。アクティブラーニングのループを通じて、AIが提案し、DFTが検証し、正しい回答がモデルの再学習に還流します。このサイクルにより、ヒット率はランダム探索の1%未満から80%**超へと押し上げられます。オーディオの場合、FAISSと呼ばれる検索システムが、ライセンスされた音声録音のデータベースを検索します。出力におけるすべての音響的ディテール(息継ぎの質、共鳴)は、ノイズから生成されるのではなく、特定の許諾済みデータポイントから引き出されます。
**暗号技術による監査証跡がすべての出力にスタンプを押します。**C2PA標準(コンテンツの出所を示すオープンプロトコル)は、改ざん検知可能なマニフェストを各メディアファイルに直接埋め込みます。このマニフェストは、ソース素材、使用されたライセンス済み音声モデル、実行されたすべての処理ステップ、および貴社の組織によるデジタル署名を記録します。放送局、ストリーミングサービス、貴社自身の法務チームなど、あらゆる下流のユーザーが、出力が完全に許諾済みの資産から構築されたことを検証できます。
材料については、DFT検証ヒエラルキーを通じて同様の監査が存在します。合格したすべての候補は、計算された分解エネルギーと凸包に対する相対位置を保持しています。貴社は、ある材料が承認された理由を規制当局に正確に示せます。すなわち、hull上方エネルギーが0 meV/atom(安定)または50 meV/atom未満(準安定で合成可能)であり、ニューラルネットワークの推測ではなく量子力学的計算によって検証されている、という具合です。
これがブラックボックスとホワイトボックスの違いです。貴社のコンプライアンスチームは、すべての出力をそのソースまで追跡できます。法務チームは、すべての資産を法廷で擁護できます。安全エンジニアは、すべての材料を物理学に照らして検証できます。
問われているのは、貴社のAIが印象的かどうかではありません。問われているのは、貴社のAIに説明責任があるかどうかなのです。
要点
- 標準的な生成AIは正しい出力ではなく最もありそうな出力を予測します。99%のもっともらしさでも、残る1%は壊滅的になりえます。
- 電池の熱暴走はわずか80°Cで始まる決定論的なカスケードであり、AIが提案する電解質は実際の物理学に照らして検証しなければなりません。
- AI生成メディアには隠れた著作権リスクがあります。どの学習データが出力に影響したかを追跡できないためです。
- AIが提案し、物理学や検索システムが検証するという検証レイヤー型アーキテクチャにより、材料探索のヒット率は1%未満から80%超へと押し上げられます。
- C2PAのような暗号技術による監査証跡により、法務・コンプライアンスチームはすべてのAI出力がどのように構築されたかを正確に証明できます。
結論
生成AIは膨大な可能性の探索には強力ですが、安全性が重要な判断や法的に敏感な決定の最終的な権威にはなれません。解決策となるのは、誰かが行動する前に、すべてのAI出力が決定論的な検証レイヤー(材料なら物理学、メディアならライセンス済み検索)を通過するというアーキテクチャです。AIベンダーに尋ねてください。モデルが材料を提案したりメディア資産を生成したりするとき、出力が物理法則と知的財産権を遵守していることを証明する検証の記録を見せられますか。それとも、自信ありげな推測にすぎないのでしょうか。