那天，我们的私有 AI 把一份不该被看到的薪资递给了员工
那份不起作用的备忘录
此刻，在你公司的某个角落，有人正把一份客户合同粘贴进聊天机器人，让它做个摘要。他们没有征求许可。他们并无恶意。他们只是有一个截止期限，手边有一个能用的工具，而这个工具恰好把那份合同发送到了另一个大陆上某家公司所拥有的服务器上。
我之所以知道，是因为我合作过的每一位 CISO 都有同样的仪表盘，而它讲述的是同一个故事。其中一位在会议上调出 Netskope，向我展示了他所在组织中正在活跃使用的 317 款各不相同的生成式 AI 应用。他只批准了其中寥寥数款。其余的都是他的员工在自行解决各自的问题——一次一次地粘贴。
这道鸿沟——横亘在你所批准的 AI 与你的员工实际使用的 AI 之间——正是我在职业生涯最近这段时间里创办 Veriprajna 所要解决的问题。我们做的是私有大语言模型部署：我们把一个能力出众的大语言模型放进你自己的基础设施之中，置于你自己的管控之下，从而让你的员工本已在用 AI 完成的工作不再从大楼侧门泄漏出去。主权 AI 并不是一套关于国家技术独立的理念式推销。它是对每一位安全负责人早已无力回答的一个问题所给出的务实答案：我们的数据去了哪里，我们能证明吗？
当你第一次看到那个仪表盘时，本能反应就是发一份备忘录。禁用这些工具。我早年也曾认真掂量过这种想法，而我想确切地告诉你它为什么行不通——因为正是这种失败，构成了这家公司存在的全部理由。
禁用 AI 并不能把它从你的公司里清除。它只会让你对它的可见性消失。
数据比我更能说明问题。IBM 的《2025 年数据泄露成本报告》发现，五分之一的组织已经遭遇过与影子 AI 相关的泄露事件——即在 IT 部门毫不知情的情况下使用的未经批准的工具。这些泄露事件的平均成本，高出 67 万美元比传统事件要高，而且它们平均需要 247 天才能被发现，其他各类事件则为 241 天。另一项调查则直言不讳：43% 的员工承认曾把敏感的工作信息分享给雇主从未批准过的 AI 工具。禁令改变不了这种行为。它只能保证：当出了岔子时，你会是最后一个知道的人。
为什么一个私有聊天机器人解决不了影子 AI？
所以，如果你没法禁用它，那就构建一个安全的替代方案。搭起一个内部聊天机器人，让它对接一个好模型，告诉所有人改用这个。正是在这里，我犯下了代价最惨重的错误，而它值得细说，因为几乎每个人都会犯。
我近距离参与的第一个内部部署，在演示时看起来棒极了。界面简洁，响应迅速，模型熟知公司的文档。我们为它感到自豪。然后，在试点期间，一位初级岗位的员工向它问了一个关于薪酬方案的问题——它回答了。完完整整。准确无误。答案里的细节，取自一份那个人根本无权阅读的文档。
没有任何东西被黑客攻击。检索系统所做的，恰恰是我们建造它去做的事：找到最相关的文档，把它们喂给模型。我们只是从未教会它，相关性和权限是两回事。那个聊天机器人，就像一位忠实的图书管理员，却被交给了能打开大楼里每一间上锁房间的万能钥匙。
那个下午，为我重新定义了整个问题。模型从来都不是难点所在。难点在于权限。
有件事，厂商的演示里没人会告诉你：大多数企业都背负着多年累积、深埋在 Active Directory 里的访问逻辑——嵌套的安全组、继承而来的权限、分发列表，以及由多年前早已离职的人一层层叠加起来的组织单元。当你构建一个检索系统时，最幼稚的做法就是给每一段文本打上一个由谁可以查看它组成的扁平清单标签。一旦你撞上现实世界里的组嵌套，这种做法就会土崩瓦解。一份文档从某个组继承访问权限，那个组又从另一个组继承，而多年前，有位外包人员为了某个单一项目被加进了那个组。
把这件事做对，才是真正的工作所在。我们构建了一个同步层，它位于身份提供方——Active Directory、Okta、Azure AD——与存放文档的向量数据库之间。它递归地解析组成员关系，把那些继承链拉平，并以紧凑的节奏刷新访问元数据。对于大多数部署，我们每 60 到 90 秒同步一次。但真正让你夜不能寐的情形是离职终止：某人早上 9 点被请出公司，你绝不能容许系统到了 9 点 05 分还带着他的访问权限作答。所以，权限撤销不会等到下一次同步——一旦账户被禁用，Okta 或 Azure AD 的 webhook 就会在那一瞬间触发一次即时清除。
相关性和权限不是一回事，而一个把二者混为一谈的检索系统，会把正确的答案，恰恰递到最不该拿到它的人手里。没有哪个主流 RAG 平台能开箱即用地解决这个问题——我找过。
这不是营销上的自信——这是我找过之后的发现。TrueFoundry、Databricks，还有那些云原生搜索产品，都只有部分答案：只读的权限校验、周期性的同步。它们都无法继承受监管企业实际赖以运行的那整幅图景——组策略与基于属性的规则、限时访问、“仅限受管设备”、密级分类。所以，我们把那套策略引擎作为定制工作来构建，因为对此没有捷径可走。如果你想了解这套权限强制机制端到端运作的完整架构，它就陈列在我们的主权 AI 与私有大语言模型部署页面上。
一座法兰克福数据中心能让你的 AI 变成欧洲的吗？
还有第二个陷阱，它更为隐蔽，因为它看上去像是合规。许多企业会选择一个托管方案——Azure OpenAI、AWS Bedrock——然后感到安心。数据留在它们的云租户里。有 VPC 端点、私有网络，还有一摞认证。对许多公司来说，这确实是正确答案，而当它确实如此时，我会当着客户的面这么说。
但在这个技术事实之下，还有一个法律事实，我眼看着人们一次又一次地忽略它。把你的 AI 托管在法兰克福的数据中心里，并不能让它成为欧洲的。微软和亚马逊都是总部设在美国的公司，这使它们受美国《CLOUD 法案》管辖，该法案允许美国执法部门强制一家美国公司交出它存放在世界任何地方的数据。GDPR 第 48 条规定，外国法院的命令只有在存在国际协议的情况下才在此地有效。这两部法律指向相反的方向，而你的数据就卡在这道夹缝之中。
到 2026 年 3 月，这就不再是理论问题了。奥地利数据保护局对一家维也纳的金融科技公司处以罚款，45 万欧元理由是它通过一个设在美国的 AI API 来进行信用评分——裁定这构成 GDPR 之下的非法数据传输。这家公司此前想当然地以为——几乎所有人都会这样想——托管在欧洲地区就足够了。事实并非如此。我把那份裁决收藏了起来，因为它是我所见过的、对一种大多数董事会都不知道自己正在承担的风险最清晰的例证。
与之镜像对照的案例是一家美国连锁医院：在那里，《CLOUD 法案》几乎无足轻重，但 HIPAA 的业务伙伴要求，以及——一旦你触及联邦合同——NIST 人工智能风险管理框架和 FedRAMP High，就成了你转而要划定的那条界线。管辖权的问题保持着同样的形态；变的只是墙上挂着的那部法规。
对于一家没有欧洲客户的美国金融公司来说，这一切都无关紧要，而 Azure OpenAI 往往恰恰正合适。而对于一家处理自己客户数据的欧洲银行来说，这笔账就反过来了——唯一能彻底消除《CLOUD 法案》风险敞口的配置，是在开放权重模型上进行自托管部署，并运行在其运营方不受美国管辖权约束的基础设施之上。这才是欧洲主权云服务商——OVHcloud、Scaleway，以及即将在欧洲上线的全新 Blackwell 算力——真正的功用所在。无关爱国主义。事关管辖权。
而且期限是真实存在的。欧盟《AI 法案》第 50 条的透明度义务，将于2026 年 8 月 2 日起可强制执行。把《AI 法案》的处罚叠加在 GDPR 的处罚之上，两者合计的上限将达到5500 万欧元，或全球年营业额的 11%。这不是一笔你能够消化的罚款。这是一个足以终结职业生涯的数字。
“直接用 API 就好”——我每个月都会有的那场对话
我听到最多的反驳来自财务层面，这也在情理之中：自托管听起来很贵。既然一个 API 只需刷一下信用卡就能用上，为什么还要购买 GPU、雇一支团队呢？
因为这笔账会翻转，而且它翻转的那个临界点，比人们预想的要具体得多。对于一个自托管的 700 亿参数模型，推理的成本大约是每千个 token 0.013 美元。同样的工作若通过像 GPT-4o mini 这样的托管 API 来完成，则要花费0.15 到 0.60 美元每千个 token。这可不是一个四舍五入的差别。但只有在超过某个用量之后，它才真正要紧，因为自托管的 GPU，无论你是在使用它们还是任其闲置，都在花钱。
盈亏平衡点大约位于每天两百万个 token。在这条线以下，API 胜出——你不必为闲置的硬件付费，而我会毫不犹豫地建议客户继续用 API。在这条线以上，自托管能在推理上节省 60% 到 85%。我认识的一家金融科技公司，通过转向混合式自托管，把每月的 AI 账单从 47,000 美元降到了 8,000 美元。
但是——而这正是 GPU 价格标签所掩盖的部分——硬件很少会是最大的那笔开支。按今天的价格，一块 H100 每小时租金为 2.50 到 3.50 美元，而单单一块 H100 运行像 Llama 3.3 70B 这样的开放权重模型，就能以低于两秒的延迟服务 30 到 50 名并发用户。昂贵的是人。你需要 MLOps 工程师——为了生产环境的可靠性，最少两名——每人年薪 20 万到 35 万美元，再加上监控、评估流水线、回滚策略。对于一支初次运行模型的团队来说，第一年的总拥有成本大约是原始 API 成本的 3.2 倍。对于一支拥有现成工具链的成熟团队来说，它会降到大约 1.8 倍。
那家把账单削减得如此之猛的金融科技公司呢？它之所以行得通，是因为他们本就有一支 Kubernetes 团队，以及 18 个月里积累下来的运维伤疤。同样的举动，会让一支边干边学的团队破产。
GPU 是自托管中最便宜的部分。让它持续运转的那两名工程师，才是决定这笔账到底算不算得过来的那一项开支——而任何人若能比“这取决于你的用量和你的团队”更快地回答“我们该自托管吗？”，那他就是在向你兜售什么东西。
在这一切之下的好消息是，开放权重模型已经好到足以让这个问题真正值得一问。Llama 3.3 70B 在 MMLU 基准上达到 86%，自托管运行的成本大约比对应的 API 便宜 25 倍。DeepSeek-V3 得分 88.5%——在这项指标上险胜一个前沿的专有模型。对于绝大多数企业任务而言，你能在自家墙内运行的模型，已不再是两年前的那种妥协了。
当 AI 不再只是说话时，会发生什么
有一项进展，把这一切从审慎之举变成了当务之急。你公司里的 AI，即将不再是一个聊天机器人，而开始成为一个智能体——一种不只是回答问题、而是采取行动的软件，并对你的系统握有常设的访问权限。
Gartner 预计，到 2026 年底，将有 40% 的企业应用嵌入 AI 智能体，而一年前这一比例还不到 5%。但真正把智能体从试点推进到生产环境的企业，只有约 5%，而安全方面的图景着实令人警觉：92% 的安全负责人表示，他们对自己环境中已在运行的 AI 身份缺乏完整的可见性。一个能读取你的 CRM、提交工单、划转资金的智能体，与一个只能给 PDF 做摘要的聊天机器人，是截然不同的风险。
我所描述的这一切——权限强制、管辖权管控、能拦截提示注入的运行时护栏——从你的 AI 能够行动的那一刻起，就不再只是一个锦上添花的东西。一个检索出错误文档的聊天机器人，是一桩尴尬事。而一个握有常设访问权限、却没有权限边界的智能体，则是一起只等日期到来的事故。
这就是我想留给你的那个重新定义。护栏层在这里同样重要——而且值得知道的是，像 NVIDIA 的 NeMo Guardrails 这样的现成方案会带来实实在在的延迟，每次调用 100 到 300 毫秒，这正是为什么我们会针对具体的合规模式来调校策略逻辑，而不是硬生生地拴上一个通用过滤器。但更深层的要点在于架构。你不能把一个智能体放在一套你并不掌控的基础设施上，然后声称它是受治理的。
人们总会提出异议的那一部分
人们会问我，他们是不是真的必须做出取舍——能不能保留一些云 API，同时仍然自称是主权的。可以：我会推荐的大多数部署都是混合式的，把敏感的工作负载放在私有基础设施上，把低风险的放在托管 API 上，并用一条清晰的策略边界来决定哪个归哪边。主权从来都不是一个非此即彼的誓言；它是在正确的地方划出那条线，并且能够证明这条线落在何处。
另一个问题是时机——现在是不是太早了？奥地利的那笔罚款已经落地。第 50 条的期限已经写在日历上。就在你读这段文字的时候，你的员工正把数据粘贴进数百个你从未批准过的工具里。早行动的代价，是一个项目。晚行动的代价，则要以营业额 11% 的上限来衡量。
我创办 Veriprajna，是因为我亲眼看着一个忠实的小聊天机器人，把一份它本不该展示的薪资递给了一位初级员工，而我意识到，当真正的问题是管控时，整个行业却都在兜售模型。模型是容易的那部分。它一直都是。
你的员工并不会等着获得许可才去使用 AI。唯一悬而未决的问题是：他们正在使用的那个 AI，究竟是不是对你负责。
如果你想看看我们如何针对某种具体的风险画像来设计那套管控——私有与托管之间的那条线该划在何处、权限层如何构建、对你的团队来说真实的总成本究竟是什么样子——这些正是我们诚实地、以厂商中立的立场，在Veriprajna 主权 AI 页面上所阐述的内容。带上你的仪表盘。我已经大致知道它会说些什么了。
