主权 AI 基础设施
五分之一的组织已经因未经批准的 AI 工具使用而遭受数据泄露。禁用 AI 行不通,构建安全、自主可控的替代方案才行得通。我们在您的 VPC 内部署私有 LLM,配备文档级权限、运行时护栏,以及监管机构所要求的合规文档。
面向受监管企业的 CISO、CTO 及基础设施负责人,助力评估私有 AI 部署、构建主权 AI 架构或遏制影子 AI 风险。
67 万美元
影子 AI 数据泄露相比传统事件的额外成本
IBM《数据泄露成本报告》,2025 年
5500 万欧元
GDPR + AI 法案合并最高处罚上限
欧盟 AI 法案 + GDPR 合并条款
247 天
检测影子 AI 数据泄露的平均时间
IBM《数据泄露成本报告》,2025 年
企业 AI 安全挑战分为三个层面,而大多数组织只着手解决了第一层。
三星 2023 年的半导体代码泄露是一记警钟。三年后,问题已呈指数级放大。IBM 2025 年的数据显示,43% 的员工在雇主不知情的情况下与 AI 工具分享敏感的工作信息。Netskope 在企业环境中追踪到超过 317 款不同的生成式 AI 应用。您的防火墙拦截了 ChatGPT 和 Claude,而您的员工会使用其余 315 款工具中的任意一款,或者干脆切换到手机的 5G 网络。
其中的心理动因十分直接:当 AI 工具带来 3-5 倍的生产力提升,而官方政策却说"不要使用它们"时,失败的是政策。46% 的员工明确表示,无论是否被禁,他们都会继续使用 AI 工具。这些人并非违规分子,而是您最优秀的员工,他们只是想把工作做好。泄露的诱因不是恶意,而是对效率的迫切渴求——一种企业未能满足的渴求。
Azure OpenAI 和 AWS Bedrock 有效地解决了"数据留在您的租户内"这一问题——网络隔离、VPC 端点、SOC 2 合规。对许多组织而言,这已经足够。但"托管私有"并不等于"主权自主"。
微软和亚马逊均总部位于美国,受美国《云法案》(CLOUD Act)管辖。这使美国执法部门即便在服务器位于法兰克福或都柏林时,也能强制访问数据。2026 年 3 月,奥地利数据保护局以一家维也纳金融科技公司使用美国 AI API 进行信用评分为由,对其处以 45 万欧元罚款,认定这构成 GDPR 下的非法数据转移。这一裁决印证了隐私律师多年来的警告:在美国超大规模云厂商的某个欧盟区域托管,并不能消除司法管辖层面的风险敞口。
大多数主权 AI 项目正是在这里实际陷入停滞。您在 VPC 内的 GPU 集群上部署了 Llama,将其连接到向量数据库,为您的 SharePoint 文档库建立索引。然后您发现,您的 Active Directory 背负着 15 年的权限继承债务。
嵌套的安全组、无主的通讯组列表、跨 OU 的继承链,以及无人完全理解的动态组成员规则。当一名初级分析师向 AI 询问季度预测时,检索系统会拉取董事会级别的财务文档,因为权限映射没有正确地穿透三层组嵌套继承下来。这并非理论上的风险,而是大多数企业 RAG 试点项目未能通过安全审查的原因。简单粗暴的做法(给每个文档分块打上扁平的 ACL 标签)在真实企业身份系统的复杂性面前会彻底崩溃。
用于评估主权 AI 部署方法的参考表。请将它带到您的下一次架构评审会上。
| 方法 | 示例 | 数据驻留 | 《云法案》风险敞口 | 坦诚的不足之处 |
|---|---|---|---|---|
| 美国超大规模云厂商托管私有 | Azure OpenAI、AWS Bedrock、Google Vertex AI | 区域级 (数据在您的租户内、您选定的区域) | 是 (母公司总部位于美国) | 最佳的合规认证,最便捷的路径。但无论服务器位于何处,法律管辖权仍属美国。能够使用前沿模型是一项真正的优势。 |
| 欧洲主权云 | OVHcloud、Scaleway、Hetzner + 开放权重模型 | 完全位于欧盟 (运营商总部位于欧盟) | 无 | 真正的司法管辖隔离。但 GPU 机群较小、托管 AI 服务较少,而且您要自行掌管整个 MLOps 技术栈。Scaleway 现已提供 Blackwell B300 GPU。 |
| 主权 AI 平台 | Cohere Model Vault、Mistral Compute、TrueFoundry | VPC / 本地部署 | 视情况而定 (Cohere 是加拿大公司;Mistral 是法国公司;TrueFoundry 总部位于美国) | 专为私有部署而打造。Cohere(年度经常性收入 2.4 亿美元)和 Mistral(融资 8.3 亿美元)资金雄厚。但您将被锁定在它们的模型生态系统和定价之中。 |
| 开源自建 | 在您自己的基础设施上部署 Llama 4 + vLLM + Qdrant | 完全自主掌控 | 无 (若基础设施位于欧盟) | 最大的灵活性,以及规模化时最低的推理成本。但需要 2-3 名专职 MLOps 工程师(综合成本每年 40 万至 100 万美元),而且每一次宕机、模型更新和安全补丁都要由您自己负责。 |
| 四大会计师事务所 / 大型系统集成商 | Accenture、Deloitte、IBM Consulting、Wipro | 取决于实施方式 | 取决于基础设施选择 | 深厚的企业关系和变革管理专长。但单次项目的费用在 50 万至 500 万美元以上,周期长达 12-18 个月,而且它们通常实施厂商平台,而非构建定制的主权基础设施。Accenture 与 Anthropic 新建立的 Cyber.AI 合作关系会将您锁定在单一模型供应商身上。 |
| Veriprajna | 厂商中立架构 + 定制构建 | 由您选择 (我们针对您的风险画像进行设计) | 由您选择 | 团队规模小于四大会计师事务所(深度优先于广度)。没有专有平台可售,这意味着不存在厂商锁定,但也没有交钥匙产品。每一次项目都是定制的,这比部署托管平台耗时更久,但契合实际需求。 |
围绕那些最初促使 CISO 和 CTO 转向主权 AI 的问题,组织起六项能力。
我们将您的数据分级、监管义务(欧盟 AI 法案、GDPR、HIPAA、SOX)和风险承受度映射出来,以确定正确的部署拓扑。并非总是完全自托管。一家在欧盟没有数据主体的美国金融服务公司,可能会发现专用租户中的 Azure OpenAI 已足够。而一家在 GDPR 下处理客户个人身份信息的欧洲银行,则需要在欧盟主权基础设施上运行开放权重模型。我们针对实际的风险画像进行设计,提供监管层面的论证文档,并构建您合规团队所需的架构决策记录。
我们在您的 VPC 或本地 GPU 集群上部署开放权重模型(Llama 4、Mistral Large、DeepSeek)。当吞吐量至关重要时(批量文档处理、高并发聊天),我们会采用带推测解码的 vLLM;而当延迟至关重要时(SLA 低于 500 毫秒的面向客户应用),则采用 TensorRT-LLM。当前 H100 在新兴云厂商上的价格为每小时 2.50-3.50 美元,70B 模型的推理成本约为每 1000 个 token 0.013 美元。我们针对您的实际工作负载(而非合成基准)进行基准测试,并提供一份涵盖 MLOps 人力成本的总拥有成本(TCO)模型。
我们构建大多数企业 RAG 部署所缺失的权限层。我们的同步引擎位于您的身份提供商(Active Directory、Okta、Azure AD)与向量数据库(Qdrant、Milvus、Weaviate)之间,负责解析嵌套组成员关系、展平继承链,并以 60-90 秒的节奏同步权限。关键的撤销操作(离职、角色变更)会触发由 webhook 驱动的即时更新。我们处理那些会让简单粗暴的实现崩溃的边缘情况:基于属性的访问控制、限时文档访问、条件策略,以及跨组织单元的分级继承。
现成的护栏工具(NVIDIA NeMo、Lakera/Check Point、Protect AI 的 LLM Guard)提供了基础,但它们无法开箱即用地处理特定行业的合规模式。我们构建定制的护栏配置:针对医疗行业、按您的数据分类法调校的 PII/PHI 脱敏;针对金融服务、与您的合规矩阵对齐的主题遵循策略;以及针对您特定攻击面加固的提示注入防御。NeMo 在经过优化的基础设施上会增加 50-150 毫秒的延迟。对于延迟敏感的路径,我们会构建更轻量的定制分类器,与推理引擎并行运行。
拦截 ChatGPT 并不能遏制影子 AI。企业环境中存在 317 款以上的生成式 AI 应用,当企业工具受限时,员工就会改用个人设备。我们构建真正优于影子工具的合规替代方案:内部 AI 平台,集成 SSO、使用情况分析、护栏强制执行和审计追踪。该平台通过具备 RBAC 感知能力的 RAG 管道连接到您的内部知识库,为员工提供公共工具无法提供的答案——因为公共工具缺乏您的专有上下文。当安全选项就是最有用的选项时,无需强制执行,影子使用也会随之下降。
Gartner 预测,到 2026 年底,40% 的企业应用将嵌入 AI 智能体。当这些智能体在敏感系统上自动执行操作时(触发交易、修改记录、查询数据库),数据主权将变得更加关键。目前 92% 的安全负责人对自身的 AI 身份缺乏完全的可见性。我们为私有基础设施上的 AI 智能体构建身份治理:零信任访问控制、针对自主操作的审计追踪,以及根据所涉数据和系统的敏感程度来约束智能体行为的护栏。主权基础设施确保智能体的遥测数据、决策日志,以及智能体所处理的数据,永远不会离开您的环境。
以一家欧洲银行作为参考场景,具体演示我们所构建的内容。
我们构建一个连接到 Azure AD(或 Okta)的双向连接器。该连接器解析这家银行的安全组层级:"EMEA 信贷风险"组包含各国办事处的嵌套子组,每个国家级组都从区域策略组继承,而个体用户还携带额外的基于属性的声明(密级、部门、临时项目分配)。该连接器将其展平为一个每 60 秒更新一次的权限矩阵。当 HR 在 Workday 中处理一项离职时,Azure AD 的 webhook 会在 30 秒内触发,我们的连接器会在 IT 部门尚未着手其离职清单之前,就撤销该用户的所有向量数据库访问令牌。
SharePoint 文档被分块、嵌入,并存入 Qdrant,每个向量都附带权限元数据。但我们不存储扁平的 ACL,而是存储一个指向权限策略的引用,检索引擎会在查询时根据身份提供商的当前状态对其进行评估。这意味着,当有新经理加入该组时,一份共享给"EMEA 信贷风险经理"的文档无需重新建立索引。权限评估发生在检索时,而非摄取时。对于这家银行的 230 万份内部文档,与扁平 ACL 标记相比,这种方法将重新索引的开销减少了大约 85%。
当一名客户关系经理就某客户的信贷敞口查询系统时,检索管道首先解析其当前权限(组成员关系、属性声明、基于时间的访问窗口),然后在任何内容进入 LLM 上下文窗口之前,根据这些权限过滤向量搜索结果。模型永远看不到用户无权访问的文档。每次查询的延迟开销为 40-80 毫秒,具体取决于权限评估的复杂程度。对于这家银行的合规团队,我们增加了一份辅助审计日志,记录检索了哪些文档、过滤掉了哪些(以及原因),以及供监管审查的完整提示-响应对。
这家银行的合规要求规定:模型输出中必须对 PII 进行脱敏(客户姓名、账号);必须遵循主题(AI 在没有适当免责声明的情况下不得提供投资建议);并强制执行数据分级(若输出渠道面向外部,当 AI 的响应取自被分类为"仅限内部"的文档时,AI 必须予以标记)。我们用针对这些规则的定制 Colang 策略配置 NeMo Guardrails,并增加一个基于该银行特定合规分类法训练的输出分类器。整个推理管道的总延迟为:模型生成(在 2 块 H100 上运行 Llama 3.3 70B 为 800-1200 毫秒)+ 权限评估(60 毫秒)+ 护栏处理(120 毫秒)= 端到端大约 1-1.4 秒。
从评估到加固生产环境,共四个阶段。时间线是诚实的区间,而非营销数字。
我们审计您当前的 AI 使用情况(合规的与影子的),映射各业务单元的数据分级,识别监管风险敞口(欧盟 AI 法案、GDPR、HIPAA、SOX 及特定行业的强制要求),并评估您现有的基础设施和团队能力。
交付成果: 一份架构决策记录,包含推荐的部署拓扑、跨各种方法的诚实 TCO 对比,以及一份对照您合规要求的差距分析。无论您是否委托我们进行实施,这份文档都归您所有。
我们通过针对您实际数据(而非 MMLU 分数)的实证基准测试,为您的用例选择正确的模型。我们设计基础设施拓扑,配置身份提供商集成,并构建权限同步层。模型选择立场鲜明:对于复杂推理任务,我们会采用 Llama 4 Maverick;而对于成本敏感的高吞吐工作负载——在这些场景下它能以 GPT-4o 质量的一小部分成本与之匹敌——我们则采用 Llama 3.3 70B。
注意事项: 如果您现有的云基础设施需要重大改造(没有 Kubernetes、没有支持 GPU 的实例),请为基础设施置备额外预留 2-3 周。
我们部署模型服务基础设施,将 RAG 管道连接到您的文档库(SharePoint、Confluence、Google Drive、Jira),配置护栏层,集成 SSO,并构建内部聊天 UI。这个区间之所以跨度很大,是因为文档摄取时间取决于语料库的规模。一个 50 万份文档的 SharePoint 需要 2-3 周来建立索引;一个 500 万份文档的语料库,在带质量检查的情况下需要 6-8 周。
里程碑: 面向单一业务单元的 50-100 名用户进行试点部署。在扩展之前,我们会衡量延迟、检索准确率、权限强制执行的正确性以及用户满意度。
对已部署的系统进行红队测试,检验提示注入、权限绕过和数据外泄。构建监控仪表盘(幻觉率、语义漂移、护栏触发频率、影子 AI 检测)。准备欧盟 AI 法案合规文档(透明度记录、训练数据溯源、风险评估)。培训您的内部团队,使其能够独立运营该系统。
诚实的注意事项: 模型更新(Meta 发布 Llama 5、Mistral 推出新版本)需要重新评估、重新基准测试和重新部署。我们可以将此作为持续的顾问留用工作来处理,但您的内部团队应当能够在没有我们的情况下管理日常运营。在日常维护上依赖于一家咨询公司,本身就是一种设计失败。
回答六个问题,了解您目前所处的位置。无论您是否与我们合作,结果都会为您提供具体的后续步骤。
1. 您最敏感的数据目前通过 AI 系统在何处流动?
2. 您面临的监管风险敞口如何?
3. 您内部是否拥有 GPU 基础设施或 Kubernetes 专业能力?
4. 您的 AI 需要访问的文档语料库有多大?
5. 您估计整个组织每日的 AI token 用量是多少?
6. 您对组织中当前的影子 AI 使用情况是否具有可见性?
Azure OpenAI 和 AWS Bedrock 提供强大的网络隔离和合规认证。数据留在您的云租户内,二者均支持 VPC 端点和私有网络。对许多企业而言,这已经足够。关键的区别在于法律管辖权。微软和亚马逊都是总部位于美国的公司,受美国《云法案》管辖,该法案允许美国执法部门强制访问存储在海外的数据。
2026 年 3 月,奥地利数据保护局以一家维也纳金融科技公司使用美国 AI API 进行信用评分为由,对其处以 45 万欧元罚款,认定这构成 GDPR 下的非法数据转移。在法兰克福区域托管并不能改变这种法律风险敞口。
在欧洲主权云厂商(OVHcloud、Scaleway、Hetzner)上使用开放权重模型的完全自托管部署,能够彻底消除《云法案》风险敞口,因为基础设施运营商不受美国司法管辖。
我们帮助企业诚实地评估这一光谱。对于一家在欧盟没有数据主体的美国金融服务公司,Azure OpenAI 往往是正确答案。而对于一家处理客户数据的欧洲银行,考量则截然不同。架构应当遵循风险画像,而非厂商偏好。
诚实的答案取决于三个变量:每日 token 用量、团队成熟度和合规要求。按当前价格(2026 年 4 月),H100 GPU 在 Lambda Labs 或 CoreWeave 等新兴云厂商上的租金为每小时 2.50-3.50 美元。一块运行带 vLLM 的 Llama 3.3 70B 的 H100,可在低于 2 秒的延迟下服务大约 30-50 名并发用户。
对于自托管的 70B 模型,推理成本约为每 1000 个 token 0.013 美元,而通过 API 使用 GPT-4o mini 则为 0.15-0.60 美元。对大多数企业而言,盈亏平衡点大约在每天 200 万个 token。低于该阈值时,API 更便宜,因为您无需为闲置的 GPU 时间付费;高于该阈值时,仅推理成本一项,自托管就能节省 60-85%。
但推理并非全貌。您需要 MLOps 工程师(每人 20 万至 35 万美元,生产可靠性至少需要两名)、监控基础设施、模型评估管道,以及针对微调模型的回滚策略。对于初涉 LLM 运营的团队,总拥有成本大约是原始 API 成本的 3.2 倍。对于拥有现成工具链的成熟团队,该倍数会降至约 1.8 倍。
一家金融科技客户通过转向混合式自托管,将每月 AI 支出从 47,000 美元削减至 8,000 美元,但他们当时已拥有一支现成的 Kubernetes 团队和 18 个月的 MLOps 经验。
这是企业 RAG 中最棘手的未解难题。概念很直接:如果某用户无法在 SharePoint 中访问某份文档,那么 AI 也不应能够检索该文档作为其查询的上下文。问题恰恰出在实现环节。
大多数企业积累了 15 年以上的 Active Directory 权限继承,横跨组织单元、安全组、嵌套组和通讯组列表。当您将其映射到向量数据库的访问控制时,简单粗暴的做法(给每个文档分块打上扁平的权限列表)会在组嵌套和动态成员关系的重压下崩溃。
我们构建一个位于您的身份提供商(Active Directory、Okta、Azure AD)与向量数据库(Qdrant、Milvus 或 Weaviate)之间的同步层。该层递归解析组成员关系,展平继承链,并以可配置的节奏更新向量元数据。对于大多数部署,我们每 60-90 秒同步一次,以在新鲜度与身份提供商的 API 负载之间取得平衡。关键的权限撤销(员工离职、角色变更)会通过来自 Okta 或 Azure AD 的 webhook 触发即时同步。
更深层的挑战在于基于属性的访问控制。限时文档访问、条件策略(仅限托管设备访问)和分级继承,都需要任何现成 RAG 平台都无法处理的定制逻辑。我们将其构建为一个策略引擎,它拦截每一次检索调用,根据文档的访问策略评估发起请求用户的当前属性,并在结果到达 LLM 上下文窗口之前对其进行过滤。
第 50 条引入了透明度义务,无论公司总部设在何处,这些义务都会影响任何在欧盟市场部署 AI 的企业。要求包括:在用户与 AI 系统交互时明确告知用户;用机器可读的标记为 AI 生成的内容(文本、音频、图像、视频)加注标签;以及识别深度伪造和合成媒体。
仅就透明度违规而言,处罚就高达 1500 万欧元或全球年营业额的 3%。当与 AI 法案的其他条款及 GDPR 合并计算时,合并后的最高处罚风险敞口可达 5500 万欧元或全球年营业额的 11%。
对主权 AI 部署而言,实际影响十分重大。第 50 条要求证明模型训练数据的来源。对于闭源 API 提供商(OpenAI、Anthropic、Google),您无法独立核实是哪些数据训练了模型、训练集中存在哪些偏见,或训练数据是否包含受版权保护的欧洲内容。自托管的开放权重模型让您对训练数据构成拥有完全的可见性,从而能够编制第 50 条所要求的透明度文档。
欧盟委员会于 2025 年 12 月发布了首份关于 AI 内容标记的《行为准则》草案,最终版本预计将于 2026 年 5-6 月出台。企业现在就应着手准备合规文档,而非坐等最终指导意见。
提示注入是 LLM 时代的 SQL 注入。攻击者在用户输入或检索到的文档中嵌入指令,以覆盖模型的系统提示。在企业 RAG 系统中,风险会叠加放大,因为被注入的指令可以通过模型检索的文档抵达,而不仅仅通过直接的用户输入。
我们跨四个层面构建纵深防御。第一,输入净化:在所有用户输入到达模型之前,先通过一个分类器对其进行预处理,该分类器可检测指令模式、不可见的 Unicode 字符和编码诡计。第二,系统提示加固:用清晰的分隔符和指令层级来构建系统提示,使覆盖企图收效甚微。第三,输出过滤:在返回给用户之前,扫描模型响应中的数据外泄模式、PII 泄露和离题内容。第四,运行时监控:记录所有提示-响应对,并运行异常检测以捕捉新型攻击模式。
我们通常为编排层部署 NVIDIA NeMo Guardrails,并配以针对客户合规要求量身定制的 Colang 策略。对于面向客户的部署,我们会增加 Lakera(现为 Check Point 的一部分)以进行实时威胁检测。NeMo 在经过优化的 NVIDIA 基础设施上会增加 50-150 毫秒的延迟,这对大多数企业用例而言是可以接受的。对于延迟敏感的应用,我们会构建更轻量的定制分类器,与推理引擎并行运行。
可以,而且对大多数企业而言,混合方案是正确答案。完全主权(一切都在私有基础设施上)对于国防承包商、情报机构和处理涉密数据的组织而言是合理的。对于其他所有人,务实的做法是根据敏感度来路由工作负载。
我们设计分层架构,让敏感工作负载(客户数据处理、财务分析、HR 文档、法务审查)在您 VPC 内的私有 LLM 基础设施上运行,而通用任务(撰写邮件、会议摘要、非专有代码的代码补全)则通过 Azure OpenAI 或 AWS Bedrock 等托管服务进行路由。
路由层根据每个请求所包含的数据和用户的角色对其进行分类。一名查询内部审计文档的合规官,会命中带有 RBAC 强制检索的私有 Llama 部署。一名撰写博客文章的市场协调员则会路由到 Azure OpenAI,因为数据敏感度低,而前沿模型的质量值得作此取舍。
与完全自托管相比,这种混合方法通常可将基础设施成本降低 40-60%,同时为那些真正需要主权的工作负载维持主权。路由智能本身在私有基础设施上运行,因此关于何为敏感内容的分类判断,永远不会离开您的环境。
这份解决方案页面背后的交互式白皮书。供想要核实深度的买家参阅。
深入剖析影子 AI 危机、企业禁令为何失败,以及私有 LLM 部署的技术架构,涵盖 VPC 容器化、开放权重模型选型,以及具备 RBAC 感知能力的检索。
对 AI 生成威胁(网络钓鱼、深度伪造、商业邮件欺诈)的量化分析、四层主权 AI 技术栈、对抗性 ML 防御、欧盟 AI 法案与 NIST AI RMF 合规,以及用于多媒体真实性的 C2PA 加密溯源。
IBM 2025 年的数据十分清晰:在没有合规 AI 替代方案的情况下运营得越久,风险敞口就越高。
从一次主权评估开始。我们映射您当前的 AI 使用情况、监管风险敞口和基础设施就绪度,然后交付一份带有诚实成本对比的架构决策记录。无论后续步骤如何,这份评估都归您所有。