数据溯源与可追溯性

您的 AI 系统做出了决策。您能追溯其背后的数据吗？

数据溯源是使 AI 数据问题有据可查的基础设施——它不是仪表板或目录条目，而是一个捕获训练数据源自何处、经历了哪些转换、被哪些模型消费以及该链条是否可通过密码学验证的系统（参见 我们关于为后信任企业构建可验证 AI 架构的研究）。

法院刚刚责令 OpenAI 提交 7800 万条 ChatGPT 输出日志 ，因为原告需要追溯受版权保护的训练数据如何影响了模型行为。这是一个极端的例子。日常版本虽然更加平静，但影响同样重大：

• 监管机构询问是哪些数据训练了您的信贷审批模型。
• 一项 GDPR 删除请求触达了您的源数据表，却未触达消费了被删除记录的六个下游模型。
• 一起数据投毒事件中，您无法确定哪些训练批次受到了污染，因为流水线中没有任何组件记录过答案。

我们的方法是在企业现已运行的流水线工具中构建这一溯源层： Spark、dbt、Airflow、Dagster 以及自定义 ETL。

为何元数据目录血缘不等于训练数据溯源

大多数企业现已拥有元数据目录。 Collibra、Alation、Atlan 或 DataHub 涵盖了适用于模式变更影响分析的表级血缘。但它无法回答监管机构、审计师和诉讼律师对 AI 系统提出的质询。这种差距体现在三个方面：

我们的方法可与您现有的任何目录协同工作。溯源层设计运行于其底层，通过对实际流水线执行进行插桩，捕获目录原本无法提供的记录级与转换级细节。

我们对哪些环节进行插桩以及如何实现

核心挑战在于以监管机构要求的粒度捕获溯源信息，同时不损害流水线吞吐量。在针对处理 5 亿行数据 的 Spark 作业进行逐条记录 SHA-256 哈希计算时，会增加 15–40% 的开销 ——这在生产环境中通常是无法接受的。我们的方法根据实际风险画像精准校准溯源粒度。

基于 OpenLineage 的流水线插桩

插桩采用 OpenLineage 作为存在集成支持时的元数据发送标准（Spark、Airflow、dbt 和 Dagster 均具备不同程度的支持），并通过自定义 facet 捕获特定于机器学习的元数据：特征工程参数、数据增强配置、采样策略以及训练/验证/测试集划分标准。在 OpenLineage 集成不完备或发生事件丢失的情况下（已知 Spark 监听器在高分区数下会静默丢失自定义 facet），该方法会追加补充插桩以捕获标准集成所遗漏的信息，详见 我们关于保障整个生命周期内机器学习供应链安全的技术白皮书。

非结构化数据的溯源

对于微调或 RAG 流水线中使用的非结构化训练数据（文档、图像、音频和视频），该方法将感知哈希内容指纹技术（图像采用 pHash ，音频采用 chromaprint ）与密码学哈希相结合，即使内容经历了有损转换也能实现溯源追踪——参见 音频溯源追踪的可运行演示。

尚无彻底解决方案的 GDPR 删除难题

GDPR 第 17 条 赋予了被遗忘权（删除权）。对于传统数据库而言，只需删除并确认即可。但对于 AI 系统来说，这是一个被粉饰为合规复选框的未解难题。大型语言模型并不将数据存储为离散记录——它们存储的是从训练数据中衍生出的统计模式，分布于数十亿参数之中。从源数据表中删除个人数据并不能消除其对模型权重的影响，而且一旦数据被吸纳进模型的决策架构，GDPR 并没有提供任何框架来界定何为“删除”。

机器遗忘（Machine unlearning）研究正在取得进展。在 2025 年 9 月，加州大学河滨分校的研究人员展示了“无源遗忘”（source-free unlearning），这是一种无需原始训练数据、利用代理数据集和基于牛顿更新的参数调整即可工作的可证明方法。但在企业级规模下，尚无任何机器遗忘方法达到生产就绪状态。当前切合实际的方法结合了三个层级：

• 预防 ——通过预处理门禁防止 PII 进入训练数据。
• 快速修复 ——从检索索引、缓存和日志中删除。
• 可辩护的合规记录 ——通过溯源记录证明哪些数据进入了哪些模型，从而在机器遗忘不足以解决问题时为重新训练决策提供支撑。

溯源基础设施旨在为任何删除策略创建必要的前提条件：建立从数据主体标识符到消费了其数据的每个模型、流水线和产物的可查询映射图谱。有了它，您在收到删除请求后数分钟内即可回答“哪些模型需要重新训练？”，而不是在数月之后才发觉某次被遗忘的微调运行使用了相关受影响数据。

《欧盟 AI 法案》第 10 条：从政策文档走向流水线证据

《欧盟 AI 法案》第 10 条要求训练、验证和测试数据必须接受“适用于预期目的的数据治理与管理实践”。强制执行始于 2026 年 8 月 2 日。实际合规要求绝非一份治理政策文档，而是在数据进入流水线的时刻治理措施得到落实的可验证、带时间戳的证据。

差距显而易见：仅有 3% 的金融机构 已将 AI 有效部署至生产环境（Ataccama 2025 年数据信任报告）。治理政策普遍存在，但流水线级别的合规执行证明却依然缺失。

我们的方法将第 10 条合规要求构建为流水线原生能力。每次运行均旨在生成一份溯源记录，涵盖：附带源头元数据的数据源、数据质量验证结果、转换参数、采样方法、数据集统计特性（代表性、完整性、错误率）以及生效的治理政策。这是审计人员审查的真实产物——全自动生成，而非事后拼凑补齐。

对于同样受制于 GDPR 第 30 条 （处理活动记录）的组织，该溯源系统设计用于通过单一插桩层同时生成两份合规产物。这两项要求存在重叠但并不等同：第 30 条侧重于处理目的和法律依据，而第 10 条则聚焦于数据质量和代表性。统一的系统能够避免因运行多条独立合规路径而困扰企业的重复劳动。

训练数据归因与投毒检测

监管机构正开始质询是哪些训练样本影响了特定的预测结果。作为其数学框架的影响函数在历史上由于计算成本过高而无法应用于生产环境。最新的技术进展—— LoGra 梯度投影 与 ASTRA 算法 ——使影响计算达到了实用规模。我们的方法将归因实现为一种司法取证级能力：对关键模型行为预先计算影响分数并建立缓存，以便在审计人员或诉讼律师需要查询特定输出与背后数据之间的关联时快速检索。

数据溯源也是抵御训练数据投毒的主要防线（参见我们关于 保护企业模型免受数据投毒侵害的研究）。2025 年确认的研究表明，无论模型规模多大，投毒都仅需常数级别的样本量，甚至 0.001% 的对抗性数据即可使准确率下降 30%。当每个数据元素都拥有经过验证的监管链时，异常的溯源模式便无所遁形：

• 来自未经核实源头的数据。
• 哈希链断裂的记录。
• 绕过标准摄入流水线的样本。

在溯源图谱之上，该方法增加了专门的检测层，旨在受污染数据进入模型训练之前捕获并标记这些异常模式。

何时这是一项正确的投资

当您的 AI 系统消费具有法律、监管或安全风险的数据时，您便需要溯源基础设施：

• 面临 《欧盟 AI 法案》第 10 条监管的金融服务机构。
• 受 FDA 21 CFR Part 11管辖的医疗健康机构。
• 利用用户数据训练且面临 GDPR 合规风险的企业。
• 训练数据来源面临法律审查的组织机构。

如果您的 AI 仅通过简单流水线消费第一方的非监管数据，您则不需要该系统。如果 dbt 的血缘图谱加上 DataHub 实例就能满足您的需求，直接使用即可——我们会在初次接洽时明确告知这一点。