我們的私有 AI 把不該看的薪資交到員工手上的那一天
行不通的那份備忘錄
此刻在你公司的某個角落，有人正把一份客戶合約貼進聊天機器人請它摘要。他們沒有詢問，也並非心懷惡意。他們只是趕著交件，手邊有個好用的工具，而那個工具恰好把合約送到了另一個大陸上某家公司所擁有的伺服器。
我之所以知道，是因為我合作過的每一位資安長都有同樣的儀表板，而它們述說著同樣的故事。其中一位在會議上調出 Netskope，讓我看到全公司正在使用中的 317 款不同的生成式 AI 應用。他核准過的只是其中寥寥數款，其餘全是他的員工在自行解決各自的問題，一次一貼。
那道落差——在你已核准的 AI 與你的員工實際在用的 AI 之間——正是我職涯近期投注心力打造 Veriprajna 所要解決的問題。我們所做的是私有大型語言模型部署：我們把一套有能力的大型語言模型放進你自己的基礎設施裡，置於你自己的控管之下，讓你員工早已在用 AI 進行的工作不再從建築的側門洩漏出去。主權 AI 並不是一套關於國家科技獨立的理念推銷，而是對一個每位資安主管早已無法回答的問題所給出的務實答案：我們的資料去了哪裡，而我們能否證明？
當你第一次看到那份儀表板時，本能反應是發一份備忘錄，把工具禁掉。我早年也曾試著套用這種思路，而我想確切地告訴你它為何會土崩瓦解——因為這場失敗正是這家公司之所以存在的全部理由。
禁用 AI 並不會把它從你的公司裡移除，只會移除你對它的可見性。
數字比我更能說明問題。IBM 的《2025 資料外洩成本報告》發現，每五家機構就有一家已經歷過與影子 AI 相關的外洩——那是在 IT 部門不知情下所使用的未核准工具。這類外洩的平均成本比傳統事件高出 67 萬美元，且需要 247 天才能偵測到，相比之下其他一切事件為 241 天。另一份調查則直言不諱：43% 的員工承認曾將敏感的工作資訊分享給雇主從未核准的 AI 工具。禁令改變不了這種行為，只會確保出了差錯時你會是最後一個知道的人。
為什麼私有聊天機器人無法解決影子 AI？
所以，既然你無法禁用它，你就得打造安全的替代方案。架起一個內部聊天機器人，接上一個好模型，告訴大家改用它。這正是我犯下代價最高昂錯誤的地方，值得細說，因為幾乎每個人都會犯這個錯。
我近距離參與的第一個內部部署在展示時看起來很棒。介面乾淨、回應迅速，模型也懂公司的文件。我們為它感到自豪。然後，在試行期間，一位資淺職位的人向它問了一個關於薪酬方案的問題——而它回答了。完整地。準確地。附上從一份那個人根本無權閱讀的文件中擷取的細節。
沒有任何東西被駭。檢索系統確實做了我們打造它去做的事：找出最相關的文件並餵給模型。我們只是從未教會它，相關性與權限是兩回事。這個聊天機器人是個忠實的圖書館員，卻被交到了建築裡每一間上鎖房間的萬能鑰匙。
那個下午為我重新定義了整個問題。模型從來都不是難的部分。難的部分是權限。
以下是廠商展示裡沒人會告訴你的事：多數企業都背負著多年累積、深埋在 Active Directory 裡的存取邏輯——巢狀安全群組、繼承而來的權限、通訊群組清單、由多年前已離職的人層層疊加的組織單位。當你打造檢索系統時，天真的做法是為每一段文字標上一份誰能看到它的扁平清單。這一撞上真實世界的群組巢狀結構就會瓦解。一份文件從一個群組繼承存取權，那個群組又從另一個群組繼承，而某個約聘人員多年前因為一個單一專案被加進了那個群組。
把這件事做對才是真正的工作。我們打造了一個同步層，坐落於身分提供者——Active Directory、Okta、Azure AD——與存放文件的向量資料庫之間。它會遞迴解析群組成員關係、把那些繼承鏈攤平，並以緊湊的節奏更新存取中繼資料。對多數部署而言，我們每 60 到 90 秒同步一次。但真正讓你夜不成眠的情境是離職：某人在早上九點被請出公司，你不能容許系統在九點零五分還以他的存取權在回答。所以撤銷不會等到下一次同步——當帳號被停用的那一刻，一個 Okta 或 Azure AD 的 webhook 就會觸發立即清除。
相關性與權限並非同一回事，而一個把兩者混為一談的檢索系統，會把正確的答案交給恰恰錯誤的人。沒有任何一個主流 RAG 平台開箱即用地解決了這件事——我去找過了。
那不是行銷式的自信——那是我尋找後的發現。TrueFoundry、Databricks、那些雲原生搜尋產品都只有部分答案：唯讀的權限檢查、週期性的同步。它們沒有一個能繼承群組政策與基於屬性的規則的完整全貌——限時存取、「僅限受管裝置」、機密分級——而這些正是受監管企業實際賴以運作的東西。所以我們把那套政策引擎當作客製化工作來打造，因為沒有捷徑可走。如果你想了解這套權限強制執行從頭到尾的完整架構，都陳列在我們的主權 AI 與私有大型語言模型部署頁面上。
法蘭克福的資料中心會讓你的 AI 變成歐洲的嗎？
還有第二個陷阱，而且它更隱微，因為它看起來像是合規。許多企業轉向一個受管選項——Azure OpenAI、AWS Bedrock——並感到安心。資料留在他們的雲端租戶裡。有 VPC 端點、私有網路、一疊認證。對許多公司來說，那確實是正確的答案，而當它確實如此時，我會當著客戶的面這麼說。
但在那個技術事實底下，還有一個法律事實，我不斷看到人們忽略它。把你的 AI 託管在法蘭克福的資料中心，並不會讓它變成歐洲的。微軟和亞馬遜都是總部設在美國的公司，這使它們受制於美國的《CLOUD 法案》，該法案允許美國執法部門強制一家美國公司交出它儲存在世界任何地方的資料。GDPR 第 48 條規定，外國法院命令唯有在有國際協定的情況下才在此地有效。這兩部法律指向相反的方向，而你的資料就卡在那道縫隙裡。
這在 2026 年 3 月不再只是理論。奧地利的資料保護局對一家維也納的金融科技公司開罰45 萬歐元，因其透過一個位於美國的 AI API 進行信用評分——裁定這在 GDPR 之下構成非法資料傳輸。這家公司如同幾乎所有人一樣，假定託管在歐洲區域就足夠了。事實並非如此。我把那項裁決加了書籤，因為它是我所找到對於一項多數董事會不知道自己正背負的風險最清晰的例證。
鏡像對照的案例是一家美國連鎖醫院：在那裡，《CLOUD 法案》幾乎不成問題，但 HIPAA 的業務夥伴要求——以及一旦你觸及聯邦合約——NIST AI 風險管理框架與 FedRAMP High 就成了你改而劃下的那條界線。管轄權的問題維持著相同的形狀，只有牆上掛的法規換了。
對一家沒有歐洲客戶的美國金融公司而言，這一切都無關緊要，而 Azure OpenAI 往往恰恰是對的。對一家處理自己客戶資料的歐洲銀行而言，這道算計反轉了——而唯一能徹底消除《CLOUD 法案》曝險的配置，是在開放權重模型上、運行於其營運者不受美國管轄的基礎設施之上的自我託管部署。那才是歐洲主權雲供應商——OVHcloud、Scaleway，以及即將在歐洲上線的全新 Blackwell 產能——的實際功能。不是愛國主義，是管轄權。
而期限是真實的。歐盟《AI 法案》第 50 條的透明度義務將於2026 年 8 月 2 日起可強制執行。把《AI 法案》的罰則疊加在 GDPR 之上，兩者合計的上限達到5,500 萬歐元，或全球年度營業額的 11%。那不是一筆你吸收得了的罰款，而是一個足以終結職涯的數字。
「直接用 API 就好」——我每個月都在進行的那場對話
我最常聽到的反對意見是財務上的，而且它有道理：自我託管聽起來很貴。既然 API 只需刷卡就有，何必去買 GPU、聘一支團隊？
因為那筆帳會翻轉，而它翻轉的地方比人們預期的更為具體。以一個自我託管的 700 億參數模型而言，推論的成本大約落在每千個 token 0.013 美元。同樣的工作透過像 GPT-4o mini 這樣的託管 API，成本則是0.15 至 0.60 美元每千個。那不是四捨五入的差距。但它只有在超過某個特定量之後才有意義，因為自我託管的 GPU 無論你在使用它或閒置著都要花錢。
損益兩平點大約落在每天兩百萬個 token。在那條線以下，API 勝出——你不必為閒置的硬體付費，而我會眼睛都不眨地叫客戶留在 API 上。在那條線以上，自我託管能在推論上省下 60 到 85%。我認識的一家金融科技公司，藉由轉向混合式自我託管，把每月 AI 帳單從 47,000 美元砍到 8,000 美元。
但是——而這正是 GPU 價格標籤所掩蓋的部分——硬體很少是最大的成本項目。以今日的價格，一張 H100 每小時租金為 2.50 至 3.50 美元，而單單一張跑著像 Llama 3.3 70B 這種開放權重模型，就能以低於兩秒的延遲服務 30 到 50 位並行使用者。昂貴的部分是人。你需要 MLOps 工程師——為了生產環境的可靠性至少要兩位——每位年薪 20 萬至 35 萬美元，外加監控、評估流水線、一套回滾策略。對一支初次運行模型的團隊而言，總持有成本在第一年大約落在原始 API 成本的 3.2 倍。對一支已有現成工具鏈的成熟團隊而言，它降到約 1.8 倍。
那家把帳單砍得如此驚人的金融科技公司？它之所以成功，是因為他們早已有一支 Kubernetes 團隊，以及 18 個月的營運傷疤組織。同樣的舉措會讓一支邊做邊學的團隊破產。
GPU 是自我託管中最便宜的部分。讓它持續運行的那兩位工程師，才是決定這筆帳究竟能不能算得通的成本項目——而任何回答「我們該不該自我託管？」比回答「這取決於你的量與你的團隊」更快的人，都是在向你推銷某樣東西。
這一切底下的好消息是，開放權重模型已經好到足以讓這個問題根本值得一問。Llama 3.3 70B 在 MMLU 基準上達到 86%，自我託管的成本大約比同等的 API 便宜 25 倍。DeepSeek-V3 拿下 88.5%——在那項指標上略勝一個前沿的專有模型。對絕大多數的企業任務而言，你能在自家牆內運行的模型，已不再是兩年前的那種妥協。
當 AI 不再只是說話時會發生什麼
有一項發展把這一切從審慎變成了迫切。你公司裡的 AI 即將不再是一個聊天機器人，而開始成為一個代理人——一種不只回答問題、還會採取行動、對你的系統擁有常設存取權的軟體。
Gartner 預期到 2026 年底，40% 的企業應用程式將嵌入 AI 代理人，而一年前這個比例還不到 5%。但實際上只有約 5% 的企業真正把代理人從試行推進到了生產環境，而資安面貌著實令人憂心：92% 的資安主管表示，他們對於環境中已在運作的 AI 身分缺乏完整的可見性。一個能讀取你的 CRM、開立工單並轉移金錢的代理人，其風險與一個只能摘要 PDF 的聊天機器人截然不同。
我所描述的一切——權限強制執行、管轄權控管、攔截提示注入的執行期護欄——在你的 AI 能夠行動的那一刻起，就不再只是錦上添花。一個檢索到錯誤文件的聊天機器人是一場尷尬。一個擁有常設存取權卻沒有權限邊界的代理人，是一樁只等著發生日期的事件。
這就是我想留給你的重新定義。護欄這一層在此同樣重要——而值得知道的是，像 NVIDIA 的 NeMo Guardrails 這類現成選項會增加實實在在的延遲，每次呼叫 100 到 300 毫秒，這正是為什麼我們把政策邏輯調校到特定的合規模式上，而不是硬接一個通用的過濾器。但更深層的重點是架構性的。你無法把一個代理人放在你並不控制的基礎設施上，還稱之為受治理。
人們總會反駁的那個部分
人們問我，他們是否真的必須做出選擇——是否能保留一些雲端 API，同時仍自稱為主權的。可以：我會推薦的多數部署都是混合式的，敏感的工作負載放在私有基礎設施上，低風險的則放在受管 API 上，並有一條清晰的政策邊界決定哪個歸哪邊。主權從來不是一項全有或全無的誓言；它是把界線劃在對的地方，並且能夠證明它究竟落在何處。
另一個問題是時機——現在是不是太早了？奧地利的罰款已經落地。第 50 條的期限已在行事曆上。就在你讀著這段的當下，你的員工正把資料貼進數以百計你尚未核准的工具。及早行動的代價是一個專案，太晚行動的代價則要拿營業額 11% 的上限來衡量。
我創辦 Veriprajna，是因為我親眼看著一個忠實的小聊天機器人把一份它絕不該讓資淺員工看到的薪資交到了對方手上，而我意識到整個產業都在賣模型，而真正的問題卻是控制。模型是簡單的部分，它一向如此。
你的員工並不在等待許可去使用 AI。唯一懸而未決的問題是，他們正在使用的那個 AI，究竟是不是對你負責。
如果你想看看我們如何為一個特定的風險輪廓設計這套控制——私有與受管之間的界線該落在哪裡、權限層是如何搭建的、對你的團隊而言真正的總成本是什麼樣貌——那正是我們在Veriprajna 主權 AI 頁面上，誠實且不偏袒任何廠商地為你陳列的內容。帶上你的儀表板來吧，我大概已經知道它會說些什麼了。
