従業員はもうChatGPTにあなたの機密を漏らしている――禁止はかえって事態を悪化させた

私は大手金融サービス企業のCISOと向かい合って座っていたとき、彼が口にした言葉が何週間も頭から離れなかった。彼は椅子にもたれかかり、こめかみをさすりながらこう言った。「我々は管理下にあるすべてのデバイスでChatGPTをブロックした。利用規程も更新した。全社メールを3回送った。それなのに先週の火曜日、M&Aチーム全員が昼休みに個人のスマホで案件条件をClaudeに貼り付けていたことが判明したんだ」

彼は怒っていたわけではなかった。疲れ果てていたのだ。サイバーセキュリティの定石が命じることをすべてやり尽くしたのに、それが通用しなかった。

その会話は、私のチームがVeriPrajnaで手がけてきたあらゆるエンタープライズ案件で目にしてきたあることを、はっきりと浮き彫りにした。すなわち生成AIを禁止しても人々が使うのを止めることはできない――ただ隠れて使うようになるだけだ。そして隠れた利用は、目に見える利用よりも計り知れないほど危険だ。データも同じ物語を語っている。従業員の46パーセントが、たとえ会社が明確に禁止してもAIツールを使い続けると答えている。38パーセントが、機密性の高い業務データを誰にも告げずにすでに公開AIプラットフォームで共有したことがあると認めている。生成AIアプリへ流れ込むデータ量は前年比で30倍に増加した。これはポリシーの問題ではない。アーキテクチャの問題なのだ。

Samsungがすべてを変えた夜

2023年5月、Samsungの半導体部門の3人のエンジニアが、まったく合理的なことをした。彼らは自社独自のチップ製造コードをデバッグしていた――複雑で失敗の許されない作業であり、第三者の意見があれば何日もの労力を節約できるようなものだ。そこで彼らはそのコードをChatGPTに貼り付けた。

一人は半導体計測データベースのソースコードをアップロードした。別の一人は歩留まり不良を特定するためのプログラムロジックを共有した――Samsungの株価に直接影響するたぐいのデータだ。三人目は議事録を生成するために社内会議の録音をアップロードした。

誰一人として会社に害を与えようとしていたわけではない。彼らはただ自分の仕事をきちんとこなそうとしていたのだ。彼らはChatGPTを電卓を扱うように扱った。何かを入れ、何かを得て、次に進む。彼らが十分に理解していなかったのは、当時のOpenAIの利用規約が入力データの保持を許容していたこと――モデルの学習に使われる可能性があり、間違いなくSamsungの管理外のサーバーに保存されるということだった。

私はそのニュース報道を読んで、胃がぎゅっと締めつけられるのを感じたのを覚えている。漏洩が意外だったからではない――私はまさにこのシナリオについてクライアントに警告し続けてきたのだ――そうではなく、Samsungの対応があまりにも予想通りだったからだ。彼らは全社的な禁止令を出した。違反には解雇をちらつかせた。ネットワークを封鎖した。

そして私は絶対的な確信をもって、それがうまくいかないことを分かっていた。

なぜAIの禁止はいつも裏目に出るのか?

ほとんどのセキュリティチームが誤っているのはここだ。彼らは従業員を敵対者であるかのように脅威をモデル化する。より高い壁を築けば問題は消える、と。しかしChatGPTにデータを漏らしている人々は敵対者ではない。彼らはあなたの最も優秀な人材なのだ。

実際に職場でAIツールを使っているのが誰なのかを考えてみてほしい。一日を惰性で過ごしている人ではない。金曜日までに納品するようプレッシャーを受けているエンジニアだ。40ページのデューデリジェンス資料を朝までに要約する必要があるアナリストだ。手作業なら1時間かかるバグを、AIなら数秒で見つけられると知っている開発者だ。

そのツールを禁止するとき、あなたは最も生産性の高い人材にこう告げているのだ。「もっと遅くなれ。もっと非効率になれ。競合に追い抜かれるのを見て、それを受け入れろ」と。当然、彼らは従わない。ただ個人のスマホに切り替えるだけだ。4Gのホットスポットを使って企業ネットワークを迂回する。Netskopeがエンタープライズ環境で追跡した317を超える異なる生成AIアプリのうちの一つを見つけ出す――なぜなら、たとえあなたがOpenAI、Google、Anthropicをブロックしても、より小規模で安全性の低い代替アプリが何百も待ち構えているからだ。

セキュリティが推進役ではなく障害物として認識されるとき、最も誠実な従業員こそが主要なポリシー違反者になる。

私はチームとの会話の中で、これを「ペースト・ギャップ」と呼び始めた。データはセキュアな社用ノートPCを離れ、個人のデバイスへと移動し、公開クラウドサービスに貼り付けられる。ファイアウォールはそれを捕捉しない。CASBはそれをログに残さない。目に見えないのだ。そしてそれは今この瞬間、ポリシー通達でこの問題を解決しようとしたあらゆる組織で起きている。

その数字は驚くべきものだ。独自ソースコードがAIツールに貼り付けられる件数が485パーセント増加。エンタープライズのAI利用の72パーセントが個人アカウント経由で、IT部門の可視性の完全に外側で発生している。これはちょろちょろ流れる程度ではない。洪水であり、堤防は紙でできているのだ。

「エンタープライズ」向けAIプランについて私が誤解していたこと

正直に言おう――OpenAIがChatGPT Enterpriseを発表したとき、私はそれで十分かもしれないと思った。データ保持なし。業務データでの学習なし。SOC 2準拠。要件はクリアしていた。

そして私たちはクライアントのためにより踏み込んだデューデリジェンスを始め、そのほころびが見えてきた。

エンタープライズ契約でさえ、通常は不正利用の監視のために短いデータ保持期間――多くの場合30日間――を含んでいる。つまり、あなたの最も機密性の高いプロンプトが他人のサーバー上に置かれる30日間があるということだ。そしてその「他人」とは米国拠点の企業であり、それがヨーロッパのCISOを夜も眠れなくさせる問題へとつながる。

米国CLOUD法――海外データの合法的使用の明確化に関する法律(Clarifying Lawful Overseas Use of Data Act)――は、米国の法執行機関がアメリカのテクノロジー企業に対し、そのサーバーに保存されたデータの引き渡しを強制することを認めている。それらのサーバーが物理的にどこに設置されているかにかかわらず、だ。もしドイツの銀行がフランクフルトのデータセンターでAzure OpenAIを使っていれば、データはEU内で「保存時」にあるかもしれないが、それを管理する法的主体は依然として米国の令状の対象となる。推論の際――モデルが実際にあなたのデータを処理するとき――データは依然として米国が管理するインフラを経由する可能性がある。

私はコンプライアンス担当者でいっぱいの部屋で、この点を説明していくと彼らが青ざめていくのを目にした。彼らはエンタープライズ契約に署名して、主権の問題を解決したと思い込んでいた。実際にはその表面すら引っかいてもいなかったのだ。

私はこのアーキテクチャの問題――そして完全な脅威モデル――について、シャドーAIと企業向けプライベートLLMに関する私たちのインタラクティブ・ホワイトペーパーに書いた。それはまさにこうした会話から生まれたものだった。

ラッパーの罠

ちょうど同じ頃、私の受信箱はAIコンサルティング会社からの売り込みで埋まり始めた。「あなただけのカスタムAIソリューションを構築します!」その大半はラッパーだった――OpenAI APIの上に見栄えのよいインターフェースを取り付けただけの、せいぜい「あなたは有能な法務アシスタントです」と書いたシステムプロンプトが付いている程度のものだ。

私はあるデモに付き合わされた。そのベンダーは契約分析のための「独自AIプラットフォーム」を誇らしげに披露した。私は一つだけ質問した。「ユーザーが契約書をアップロードすると、データはどこへ行くのですか?」沈黙。それから「ええと、OpenAI APIに送られますが、BAAを結んでいます」と。

それはソリューションではない。あなたのデータ漏洩に遅延を追加する仲介者にすぎない。

ラッパーはデータ主権の問題を解決しない。ただデータ流出のインターフェースを美しく飾るだけだ。

ラッパーは3つの具体的な形で企業の期待を裏切る。第一に、それらは簡単に複製できる――あなたの「AIソリューション」がプロンプトとAPIキーだけなら、あなたのインターンが午後のうちに作り直せる。第二に、それらはあなたの実際のデータとの深い統合を欠いており、企業固有の用語、レガシーなコードベース、あるいはアクセス制御の機微に対応しきれない。第三に――そしてこれが致命的なのだが――それらは依然としてあなたのデータを公開インターネット越しに第三者プロバイダーへ送信する。セキュリティリスクは何も変わっていない。あなたはただそれにロゴを一つ付け足しただけだ。

「知能を所有する」とは実際どういう意味なのか?

VeriPrajnaにおける私たちのアプローチが結晶化した特定の瞬間があった。私たちは規制産業のあるクライアントと仕事をしていた――どの産業かは言えないが、「漏洩すれば夕方のニュースになるたぐいのデータ」だと思ってほしい。彼らの法務チームは、公開APIに依存しているという理由で、有望なAIパイロットをちょうど潰したばかりだった。エンジニアリングチームは激怒していた。事業部門は勝手に個人アカウントで独自のものを作ろうと動き出す構えだった。

私はリードアーキテクトと通話していて、彼はこう単純なことを言った。「なぜ我々はどのAPIを使うかで言い争っているんだ? モデルを自分たちで動かせばいいじゃないか」

私たちが完全に取り組むことを決めたのは、まさにそのときだった。私が今こう呼んでいるもの――ディープAI――すなわち、オープンソースの大規模言語モデルをクライアント自身のインフラの内部に直接デプロイすることだ。他人のモデルをラッピングするのではない。トークン単位で知能を借りるのでもない。実際にそれを所有するのだ。

それが実際にはどのようなものかを説明しよう。高性能なオープンウェイトのモデル――たとえばMetaのLlama 3で、その70Bパラメータ版は多くのベンチマークでGPT-4に匹敵する――を用意し、それをクライアントのVirtual Private Cloud内のGPUインスタンス上にデプロイする。モデルの重みは、クライアントが管理するハードウェア上に置かれる。推論エンジンは企業ファイアウォールの内側で動く。開発者が独自のコードでモデルにプロンプトを送ると、そのコードは彼らのノートPCから社内サーバーへと移動し、メモリ上で処理され、返ってくる。それは決して公開インターネットに触れない。決して第三者のサーバーに着地しない。

私たちはこれを、私たちがプライベートRAGと呼ぶものと組み合わせる――同じセキュアな環境内にデプロイされたベクトルデータベース上に構築された検索拡張生成(Retrieval-Augmented Generation)だ。企業の文書は取り込まれ、埋め込みに変換され、ローカルに保存される。そして決定的に重要なのは、このシステムが既存のアクセス制御を尊重することだ。あなたにSharePoint上のある文書を閲覧する権限がなければ、AIもあなたの質問に答えるためにその文書を取得することはない。「フラットな認可」の問題――チャットボットが機密データを尋ねた者なら誰にでもうっかり露出させてしまう問題――は、このアーキテクチャでは単純に存在しない。

生のモデルをどうやってエンタープライズ級にするのか?

私たちが早い段階で学んだ最も厳しい教訓の一つ。モデルをデプロイすることは、おそらく作業全体の30パーセントにすぎない。数千人の従業員が毎日安全に使えるようにすること――それが残りの70パーセントだ。

生の言語モデルは予測不可能だ。それらは話すべきでない話題を平気で議論し、会社のポリシーに違反するコンテンツを生成し、あるいは安全プロトコルを回避するよう巧妙に仕組まれたプロンプトインジェクションに応じてしまう。あなたにはガードレール(guardrails)が必要だ――本質的にはプロンプトのためのファイアウォールである。

私たちはNVIDIA NeMo Guardrailsを、モデルを取り巻くプログラム可能なレイヤーとして実装する。プロンプトがモデルに到達する前に、それはスキャンされる。誰かが社会保障番号やクレジットカード番号を入力すれば、ガードレールがそれを捕捉する。誰かが人事ボットにデータベースのパスワードについて尋ねれば、システムは意図の不一致を認識して拒否する。誰かがジェイルブレイク攻撃を試みれば――あの「これまでの指示をすべて無視せよ」といった手口――防御レイヤーがそれを遮断する。

私たちの初期のデプロイの一つで実施したペネトレーションテストを覚えている。私たちのレッドチームは、学習データを抽出したり話題制限を回避したりしようと2日間を費やした。彼らは工夫を凝らした――入れ子になったロールプレイのプロンプト、エンコードされた指示、あらゆる手段を尽くした。ガードレールは持ちこたえた。私のアーキテクトは午前2時に、ブロックされた試行のログのスクリーンショットを一言のメッセージとともに送ってきた。「壁は堅牢だ」。あれはいい夜だった。

このアーキテクチャの完全な技術的分解――推論スタック、ベクトルデータベースの構成、ガードレールの実装――については、エンタープライズAIセキュリティに関する私たちの技術的な深掘り記事を参照してほしい。

「だがGPUは高価で、APIは安い」

これはCFOから最もよく聞く反論であり、そしてそれは、掘り下げて解きほぐす価値のある形で間違っている。

確かに、APIの価格設定は表面上は安く見える――トークンあたり1セントのほんの数分の一だ。しかしエンタープライズのRAGアプリケーションは、貪欲なほどトークンを消費する。たった一つの質問に答えるために、システムは入力トークンとして10ページ分のコンテキストを取得するかもしれない。それを1日に10問尋ねる1000人の従業員にかけ合わせれば、1日あたり1,000ドルから3,000ドルという計算になる。それは年間で潜在的に100万ドルにもなり、しかも線形にスケールする。採用が倍増すれば、請求額も倍増する。

セルフホスト型のモデルは仕組みが異なる。あなたが支払うのはハードウェア――GPUのレンタルまたは購入――と電気代だ。適切に構成された1台のノードで、毎秒数千件のリクエストを処理できる。そのノードを飽和させるまでは、次のトークンの限界費用は実質的にゼロだ。月に10億トークンを処理する中規模企業の場合、私たちはセルフホスティングが50〜70パーセント安く同等のAPIコストよりも収まり、しかもプライバシーが無料のおまけとして付いてくるのを見てきた。

そしてAPIには、請求書には決して現れない隠れたコストがある。全社展開の最中に障害を引き起こすレート制限。プロバイダーがあるバージョンを廃止したときに、すべてのプロンプトとワークフローを再テストせざるを得なくするモデルの非推奨化。セルフホスト型のモデルなら、あなたがアップグレードすると決めない限り何も変わらない。あなたは安定性を手に入れる。予測可能性を手に入れる。OpenAIの価格委員会が来四半期に何を決めるかを心配するのをやめられるのだ。

エンタープライズの規模では、セルフホスティングは高価な選択肢ではない。採用が成功しても破産させない選択肢なのだ。

なぜまだ誰もがこれをやっていないのか?

人々は私にこう尋ねるが、正直な答えはこうだ。それは難しいのだ。概念的に難しいのではない――ロジックは単純明快だ――そうではなく、運用面で難しいのだ。KubernetesによるGPUオーケストレーションを理解している人材、最適なスループットのためにvLLMを構成できる人材、RBACを考慮した検索パイプラインの構築方法を知っている人材、悪用を防ぐのに十分厳格でありながらユーザーをいら立たせないほど柔軟なガードレールを実装できる人材が必要なのだ。

ほとんどの企業にはそのチームがいない。ほとんどのAIコンサルティング会社にもいない――彼らはAPIの呼び出し方は知っているが、推論スタックのデプロイの仕方は知らない。それが、私たちVeriPrajnaが埋めるギャップだ。私たちはモデルへのアクセスを売るのではない。モデルを独立して動かす能力を構築するのだ。私たちが去るとき、クライアントはすべてを所有している――ファインチューニングされたモデルの重み、ベクトルインデックス、オーケストレーションのインフラ。それは彼らのものだ。それこそが眼目なのである。

採用を遅らせるもう一つの要因は慣性だ。ChatGPTをブロックしたCISOは、何かをやり遂げたような気になっている。禁止令が効かなかったと認めることは、過去1年間のポリシー執行が茶番だったと認めることを意味する。それを取締役会で切り出すのは難しい会話だ。しかしその代替案――従業員が個人のAIアカウントにソースコードを貼り付けている間、問題が存在しないふりをすること――はもっとひどい。次のSamsung規模の漏洩が起きるかどうかは問題ではない。問題は、それがいつ起きるか、そしてそれがあなたの身に降りかかるかどうかだ。

シャドーAIに隠されたシグナル

シャドーAIの流行についてほとんどの人が見落としていると私が思うのはこうだ。それは単なるセキュリティの問題ではない。それはシグナルなのだ。あなたの従業員がより良いツールを切望し、それを手に入れるためなら仕事を賭ける覚悟があるという、大きく紛れもないシグナルである。

従業員の46パーセントが、明確な禁止令に背くだろうと答えている。それは反抗のための反抗ではない。それは人々が、自らの行動を通じて、AIが自分たちの働き方に不可欠なものになったとあなたに告げているのだ。問うべきは、あなたの組織が生成AIを使うかどうかではない。その決定はすでに下されている――あなたの従業員によって、あなたの許可なしに、彼らの個人デバイスで、昼休みの間に。

残された唯一の問いは、彼らがすでに安全でない方法でやっていることを、あなたが安全に行える手段を提供するかどうかだ。

シャドーAIとは、あなたの従業員がキーストロークで投票していることなのだ。彼らはAIを選んだ。今度はあなたが選ぶ番だ。可視化されて安全か、それとも不可視でデータを垂れ流し続けるか。

私たちは「ノー」が許容できるAI戦略だった時代をすでに通り過ぎた。オープンソースのモデルは十分に優秀だ。デプロイのインフラは十分に成熟している。経済性も成り立つ。ほとんどの企業と主権的なAI能力との間に立ちはだかる唯一のものは、禁止が機能するというふりをやめる意志だけなのだ。

AIを禁止する必要はない。あなたはそれを所有する必要があるのだ。