自社のプライベートAIが、社員に見せてはならない給与額を手渡した日
効果のない社内通達
いままさに、あなたの会社のどこかで、誰かが顧客との契約書を要約させようとチャットボットに貼り付けています。許可は取っていません。悪意があるわけでもありません。締め切りが迫っていて、使えるツールがあった。ただそれだけです。そしてそのツールは、たまたまその契約書を、別の大陸にある企業が所有するサーバーへ送っていたのです。
こう言えるのは、私が一緒に仕事をしてきたCISOが皆、同じダッシュボードを持ち、そこに同じ物語が映し出されているからです。あるCISOは会議中にNetskopeを開き、組織全体で317種類もの生成AIアプリが実際に使われている様子を見せてくれました。彼が正式に承認していたのは、そのうちほんの一握り。残りはすべて、従業員たちが一度に一つずつ貼り付けながら、自分の課題を自力で解決していたものだったのです。
このギャップ――あなたが承認したAIと、社員が実際に使っているAIとの間の隔たり――こそが、私がキャリアの直近を費やしてVeriprajnaを築き、解決しようとしてきた問題です。私たちが手がけているのは、プライベートLLMの導入です。能力の高い大規模言語モデルを、あなた自身のインフラの内側に、あなた自身の管理下で設置する。そうすることで、社員がすでにAIで行っている業務が、建物の脇からこぼれ出ていくのを止めるのです。ソブリンAIは、国家の技術的独立をうたう思想的な売り込みではありません。それは、あらゆるセキュリティ責任者がすでに答えられずにいる問いへの、実務的な答えです。すなわち――私たちのデータはどこへ流れているのか、そしてそれを証明できるのか？
そのダッシュボードを初めて目にしたとき、まず湧いてくる衝動は、通達を出すことです。ツールを禁止せよ、と。私も早い段階でその考え方を試しにあてはめてみました。そして、それがなぜ破綻するのかを、あなたにきちんと伝えたいのです――なぜなら、その失敗こそが、この会社が存在する理由そのものだからです。
AIを禁止しても、それが会社から消えるわけではありません。ただ、あなたがそれを見通す力が消えるだけです。
数字は、私が語るよりもはるかに雄弁にこのことを物語ります。IBMの2025年版「データ侵害のコスト」レポートによれば、5組織に1組織が、すでにシャドーAIに起因する侵害を経験している――IT部門が知らないうちに使われた、承認外のツールによるものです。こうした侵害がもたらすコストは、平均して$670,000多く、従来のインシデントを上回りました。そして検知までに247日を要し、それ以外の事案の241日を上回っています。別の調査はもっと率直に言い切っています。従業員の43%が、雇用主が一度も承認していないAIツールに、機密性の高い業務情報を共有したことを認めているのです。禁止令はこの行動を変えません。ただ、問題が起きたときにあなたが最後に知る立場になることを、保証するだけです。
なぜプライベートなチャットボットではシャドーAIを解決できないのか？
では禁止できないのなら、安全な代替手段を用意することになります。社内向けのチャットボットを立ち上げ、優れたモデルにつなぎ、皆にそちらを使うよう伝える。ここで私は、最も高くついた過ちを犯しました。ほとんど誰もが同じ過ちを犯すので、じっくり掘り下げる価値があります。
私が間近で関わった最初の社内導入は、デモでは見事なものでした。すっきりしたインターフェース、素早い応答、そして会社の文書を熟知したモデル。私たちはそれを誇りに思っていました。ところが試験運用中、下位の役職にいる社員が報酬制度について質問すると――モデルはそれに答えたのです。完全に。正確に。その社員が本来読むべきでない文書から引き出した詳細も添えて。
何かがハッキングされたわけではありません。検索システムは、私たちが構築したとおりのことを正確に行いました。すなわち、最も関連性の高い文書を見つけ出し、モデルに与えたのです。私たちはただ、それに教え損ねていました――関連性と権限は別物だということを。そのチャットボットは、建物内の施錠されたすべての部屋のマスターキーを渡された、忠実な司書だったのです。
あの午後、問題全体の捉え方が私の中で変わりました。難しいのは、決してモデルではありませんでした。本当に難しいのは、権限なのです。
ベンダーのデモでは誰も教えてくれないことがあります。ほとんどの企業は、Active Directoryの奥深くに何年もかけて積み上がったアクセス制御のロジックを抱えています――入れ子になったセキュリティグループ、継承された権限、配布リスト、そして何年も前に去った人々によって幾重にも重ねられた組織単位。検索システムを構築するとき、素朴なやり方は、テキストの各断片に「誰が閲覧できるか」の平坦なリストをタグ付けすることです。しかしそれは、現実世界のグループの入れ子構造にぶつかった瞬間に崩れ去ります。ある文書はグループからアクセス権を継承し、そのグループはさらに別のグループから継承し、そのグループには何年も前に、たった一つのプロジェクトのために契約社員が追加されていた――というように。
これを正しく実現することこそが、本当の仕事です。私たちは、IDプロバイダー――Active Directory、Okta、Azure AD――と、文書が格納されたベクターデータベースとの間に位置する同期レイヤーを構築しました。それはグループのメンバーシップを再帰的に解決し、継承の連鎖を平坦化し、アクセスに関するメタデータを短い間隔で更新します。ほとんどの導入では、60〜90秒ごとに同期します。しかし、あなたを夜も眠らせないのは退職のケースです。午前9時に誰かが会社から連れ出されたとして、午前9時5分にシステムがまだその人物のアクセス権で回答している、という事態は許されません。ですから権限の取り消しは、次の同期を待ちません――OktaまたはAzure ADのWebhookが、アカウントが無効化された瞬間に即時のパージを発火させるのです。
関連性と権限は同じものではありません。両者を取り違える検索システムは、まさに最も渡してはいけない相手に、正しい答えを手渡してしまいます。主要なRAGプラットフォームで、これを標準で解決できるものは一つもありません――私は実際に探し回りました。
これはマーケティング上の自信ではありません――実際に探して分かったことです。TrueFoundry、Databricks、クラウドネイティブな検索製品――いずれも部分的な答えは持っています。読み取り専用の権限チェック、定期的な同期などです。しかしどれも、規制対象の企業が実際に依拠しているグループポリシーや属性ベースのルール――期限付きのアクセス、「管理対象デバイスからのみ」、機密区分レベル――の全体像を継承してはいません。ですから私たちは、そのポリシーエンジンを個別のカスタム開発として構築します。そこに近道はないからです。この権限適用が端から端までどのように機能するのか、その全体アーキテクチャを知りたい方は、ソブリンAIとプライベートLLM導入のページにまとめてあります。
フランクフルトのデータセンターは、あなたのAIを欧州のものにするのか？
第二の罠があります。それはコンプライアンスのように見えるぶん、より見抜きにくいものです。多くの企業は、マネージド型の選択肢――Azure OpenAI、AWS Bedrock――に手を伸ばし、安心を覚えます。データは自社のクラウドテナント内にとどまります。VPCエンドポイント、プライベートネットワーク、積み重なった各種認証もあります。多くの企業にとって、それは本当に正しい答えであり、そうであれば私はクライアントに面と向かってそう伝えます。
しかし、その技術的な事実の下には、人々が絶えず見落としているのを私が目にしてきた、ある法的な事実があります。AIをフランクフルトのデータセンターでホスティングしても、それが欧州のものになるわけではありません。MicrosoftとAmazonは米国に本社を置く企業であり、そのため米国のCLOUD Actの適用を受けます。この法律は、米国の法執行機関が、米国企業に対し、世界のどこに保存していようとデータの引き渡しを強制することを可能にします。GDPRの第48条は、外国の裁判所命令が欧州で有効なのは国際協定がある場合に限られる、と定めています。この二つの法律は正反対の方向を指しており、あなたのデータはその狭間に置かれているのです。
これが机上の話でなくなったのは、2026年3月のことでした。オーストリアのデータ保護当局は、ウィーンのあるフィンテック企業に、EUR 450,000の制裁金を科しました。米国拠点のAI APIを通じて信用スコアリングを行っていたことに対するもので、GDPRの下では違法なデータ移転にあたると判断されたのです。その企業は、ほぼ誰もがそうするように、欧州リージョンでのホスティングで十分だと思い込んでいました。しかしそうではありませんでした。私はこの判断をブックマークして手元に置いています。ほとんどの取締役会が、自分たちが抱えていると気づいていないリスクを、これほど明快に示す実例はほかに見つけていないからです。
これと鏡合わせの事例が、米国の病院チェーンです。そこではCLOUD Actはほとんど問題になりませんが、代わりにHIPAAのビジネスアソシエイト要件が、そして――連邦政府との契約に触れた瞬間には――NIST AIリスクマネジメントフレームワークとFedRAMP Highが、あなたが引くべき境界線となります。管轄権をめぐる問いは同じ形を保ったまま、壁に掛かった法令だけが入れ替わるのです。
欧州に顧客を持たない米国の金融会社にとっては、こうしたことは何一つ問題にならず、Azure OpenAIがまさに正解であることも多いのです。一方、自国の顧客データを扱う欧州の銀行にとっては、その計算は逆転します――そして、CLOUD Actへのエクスポージャーを完全に取り除ける唯一の構成は、オープンウェイトのモデルを、その運用者が米国の管轄権に服さないインフラ上で稼働させる、セルフホスト型の導入だけです。それこそが、欧州のソブリンクラウド事業者――OVHcloud、Scaleway、そして欧州で新たに稼働し始めるBlackwell容量――が果たす、本当の役割です。愛国心ではありません。管轄権なのです。
そして、その期限は現実のものです。EU AI法の第50条が定める透明性義務が施行されるのは、2026年8月2日です。AI法の罰則をGDPRの罰則の上に積み上げれば、その合算の上限はEUR 55 million、すなわち全世界の年間売上高の11%に達します。それは、吸収して済ませられる罰金ではありません。それは、キャリアを終わらせる数字です。
「APIを使えばいい」――私が毎月交わしている会話
私が最もよく受ける反論は費用に関するもので、それはもっともなことです。セルフホスティングは高くつきそうに聞こえます。APIならクレジットカードの請求一つで済むのに、なぜGPUを買い、チームを雇うのか、と。
それは、採算が逆転するからです。しかも逆転する地点は、人々が予想するよりもずっと具体的です。セルフホストした700億パラメータのモデルの場合、推論のコストはおよそ1,000トークンあたり$0.013です。同じ処理をGPT-4o miniのようなホスト型APIで行った場合のコストは、$0.15〜$0.60（1,000トークンあたり）です。これは端数のような差ではありません。しかしそれが意味を持つのは、ある一定の処理量を超えた場合だけです。セルフホストのGPUは、使っていようと遊休させていようと、費用がかかるからです。
損益分岐点は、およそ1日200万トークンのあたりにあります。その線を下回るなら、APIに軍配が上がります――遊休するハードウェアに費用を払わずに済むからで、私は迷わずクライアントにAPIのままでいるよう勧めます。それを上回れば、セルフホスティングは推論コストを60〜85%削減します。私が知るあるフィンテック企業は、ハイブリッドなセルフホスティングへ移行することで、月々のAI費用を$47,000から$8,000へと削減しました。
しかし――そして、これこそGPUの値札が覆い隠している部分ですが――ハードウェアが最大の費目になることは、めったにありません。現在の価格では、H100のレンタルは1時間あたり$2.50〜$3.50で、Llama 3.3 70Bのようなオープンウェイトモデルを動かすH100一台で、2秒未満のレイテンシーで30〜50人の同時利用者に対応できます。高くつくのは人です。MLOpsエンジニアが必要で――本番環境の信頼性を確保するには最低でも二人――一人あたり$200,000〜$350,000、加えて監視、評価パイプライン、ロールバック戦略も要ります。モデルの運用に不慣れなチームの場合、総所有コストは初年度で、生のAPIコストのおよそ3.2倍に落ち着きます。既存のツール群を備えた成熟したチームなら、それは約1.8倍まで下がります。
あれほど劇的に費用を削減したフィンテック企業ですか？それがうまくいったのは、ひとえにすでにKubernetesチームと、18か月分の運用で刻まれた傷跡とも言うべき経験を抱えていたからです。同じ手を、現場で学びながら進めるチームが打っていたら、破産していたでしょう。
GPUは、セルフホスティングの中で最も安い部分です。それを動かし続ける二人のエンジニアこそが、この採算が実際に成り立つかどうかを決める費目なのです――そして「セルフホストすべきか？」という問いに、「あなたの処理量とチーム次第です」より速く答える者は、あなたに何かを売りつけようとしているのです。
このすべての底にある朗報は、オープンウェイトのモデルが、そもそもこの問いを立てる価値があるほどに優秀になったということです。Llama 3.3 70BはMMLUベンチマークで86%に達し、セルフホストすれば同等のAPIよりおよそ25倍安く動きます。DeepSeek-V3は88.5%を記録し――この指標では最先端のプロプライエタリなモデルをわずかに上回っています。企業タスクの大多数にとって、自社の壁の内側で動かせるモデルは、もはや2年前のような妥協の産物ではありません。
AIが「話す」だけでなくなったとき、何が起きるのか
ある一つの動きが、これらすべてを「賢明な備え」から「緊急の課題」へと変えます。あなたの会社のAIは、まもなくチャットボットであることをやめ、エージェントになろうとしています――質問に答えるだけでなく、あなたのシステムへの恒常的なアクセス権を持ちながら、行動を起こすソフトウェアです。
Gartnerは、2026年末までに企業向けアプリケーションの40%がAIエージェントを組み込むと予測しています。1年前の5%未満からの上昇です。しかし、実際にエージェントを試験運用から本番へと移した企業は、わずか約5%にすぎません。そしてセキュリティの状況は、本当に憂慮すべきものです。セキュリティ責任者の92%が、自社の環境ですでに稼働しているAIのアイデンティティを完全には把握できていないと述べています。あなたのCRMを読み、チケットを起票し、お金を動かせるエージェントは、PDFを要約できるチャットボットとはまったく異なるリスクなのです。
これまで私が述べてきたすべて――権限の適用、管轄権の制御、プロンプトインジェクションを捕捉する実行時のガードレール――は、あなたのAIが行動できるようになった瞬間、「あれば嬉しいもの」ではなくなります。誤った文書を取ってくるチャットボットは、恥ずかしい事態で済みます。恒常的なアクセス権を持ち、権限の境界を持たないエージェントは、日付が決まるのを待つばかりのインシデントです。
これが、私があなたに残したい捉え直しです。ここでもガードレールのレイヤーは重要です――そして知っておく価値があるのは、NVIDIAのNeMo Guardrailsのような既製の選択肢が、呼び出しごとに100〜300ミリ秒という実際のレイテンシーを加える、という点です。だからこそ私たちは、汎用フィルターを後付けするのではなく、ポリシーのロジックをその企業固有のコンプライアンスパターンに合わせて調整するのです。しかし、より本質的な論点はアーキテクチャにあります。自分が管理していないインフラの上にエージェントを置いて、それを「統制されている」と呼ぶことはできません。
人々が必ず反発してくる部分
人々は私に、本当に二者択一を迫られるのか――クラウドAPIをいくつか残したまま、それでも自分たちを「ソブリン」と呼べるのか、と尋ねます。答えはイエスです。私が推奨する導入のほとんどはハイブリッドで、機密性の高いワークロードはプライベートなインフラに、低リスクなものはマネージドAPIに置き、どちらがどちらかを明確なポリシーの境界線が決めます。ソブリンティは、決して「全か無か」の誓いではありませんでした。それは、正しい場所に線を引き、その線がどこにあるかを証明できるようにすることなのです。
もう一つの問いはタイミングです――まだ早すぎるのではないか、と。オーストリアの制裁金は、すでに下されました。第50条の期限は、カレンダーに記されています。あなたがこれを読んでいる間にも、社員たちは、あなたが承認していない何百ものツールにデータを貼り付けています。早く動くことのコストは、一つのプロジェクトです。遅く動くことのコストは、売上高の11%という上限に照らして測られます。
私がVeriprajnaを立ち上げたのは、忠実な小さなチャットボットが、決して見せてはならない給与額を若手社員に手渡す様子を目の当たりにし、そして本当の問題が「制御」であるにもかかわらず、業界全体が「モデル」を売っていることに気づいたからです。モデルは簡単な部分です。ずっとそうでした。
あなたの社員は、AIを使う許可を待ってなどいません。唯一残された問いは、彼らが使っているそのAIが、あなたに対して責任を負っているかどうかです。
私たちが特定のリスクプロファイルに対してその制御をどう設計するのか――プライベートとマネージドの境界線をどこに引くべきか、権限のレイヤーをどう構築するのか、あなたのチームにとって実際の総コストがどう見えるのか――を知りたい方のために、私たちは正直に、そして特定ベンダーに偏らない形で、VeriprajnaのソブリンAIページにそれをまとめています。あなたのダッシュボードを持ってきてください。そこに何が書かれているか、私にはもうおおよそ分かっています。
