데이터 프로비넌스 및 추적성

귀사의 AI 시스템이 의사결정을 내렸습니다. 그 배후의 데이터를 역추적할 수 있습니까?

데이터 프로비넌스(데이터 출처 및 무결성 추적)는 AI 데이터 관련 질문에 명확히 답할 수 있게 만드는 핵심 인프라입니다 — 단순한 대시보드나 카탈로그 항목이 아니라, 학습 데이터가 어디서 유래했는지, 어떤 변환 과정을 거쳤는지, 어떤 모델이 이를 소비했는지, 그리고 그 연쇄적 추적 경로가 암호학적으로 검증 가능한지를 포착하는 시스템입니다 (다음 참조: 신뢰 상실 시대의 엔터프라이즈를 위한 검증 가능한 AI 아키텍처 구축에 관한 연구).

최근 법원은 OpenAI에 다음의 제출을 명령했습니다: 7,800만 건의 ChatGPT 출력 로그 — 원고 측에서 저작권 보호를 받는 학습 데이터가 모델 동작에 어떻게 영향을 미쳤는지 추적해야 했기 때문입니다. 이는 극단적인 사례에 불과합니다. 일상적인 환경에서 벌어지는 문제는 더 눈에 띄지 않지만 그에 못지않게 심각한 결과를 초래합니다:

• 규제 당국이 귀사의 대출 심사 모델을 학습시킨 데이터가 무엇인지 소명을 요구하는 경우.
• GDPR 삭제 요청이 원천 테이블에는 반영되었으나, 삭제된 레코드를 이미 학습에 소비한 6개의 다운스트림 모델에는 반영되지 않은 경우.
• 파이프라인 내 어디에서도 이력을 기록하지 않아 어떤 학습 배치가 침해되었는지 식별할 수 없는 데이터 오염(Data Poisoning) 침해 사고가 발생한 경우.

저희의 접근 방식은 기업이 이미 운용 중인 파이프라인 도구 전반에 걸쳐 이러한 프로비넌스 계층을 구축하는 것입니다: Spark, dbt, Airflow, Dagster, 및 커스텀 ETL.

카탈로그 리니지와 학습 데이터 프로비넌스가 동일하지 않은 이유

대부분의 기업은 이미 메타데이터 카탈로그를 보유하고 있습니다. Collibra, Alation, Atlan, 또는 DataHub 는 스키마 변경 영향 분석에 유용한 테이블 수준 리니지를 다룹니다. 하지만 이는 규제 기관, 감사인, 소송 대리인이 AI 시스템에 대해 제기하는 질문에는 답하지 못합니다. 그 격차는 세 가지 영역에서 확연히 드러납니다:

저희의 접근 방식은 귀사가 이미 도입한 어떤 카탈로그와도 원활하게 연동됩니다. 프로비넌스 계층은 기존 카탈로그 하단에 위치하도록 설계되어, 카탈로그가 애초에 제공하도록 설계되지 않은 레코드 수준 및 변환 수준의 상세 내역을 캡처하기 위해 실제 파이프라인 실행을 계측합니다.

계측 대상 및 구현 방법

핵심 과제는 파이프라인 처리량을 저하시키지 않으면서 규제 당국이 요구하는 세분성으로 프로비넌스를 캡처하는 것입니다. 다음과 같은 규모의 Spark 작업에서 레코드 단위 SHA-256 해싱을 수행하면 5억 건의 행 처리 시 15–40%의 오버헤드 가 추가되어 프로덕션 환경에서는 거의 수용하기 어렵습니다. 저희의 접근 방식은 프로비넌스 세분성을 실제 리스크 프로필에 정밀하게 맞춰 보정합니다.

OpenLineage를 활용한 파이프라인 계측

계측 메커니즘은 통합이 지원되는 환경에서 방출 표준으로 OpenLineage 를 채택하며(Spark, Airflow, dbt, Dagster 모두 다양한 수준의 지원 제공), ML 특화 메타데이터를 캡처하는 커스텀 패싯(피처 엔지니어링 파라미터, 데이터 증강 구성, 샘플링 전략, 학습/검증/테스트 분할 기준)을 포함합니다. OpenLineage 연동이 불완전하거나 이벤트가 누락되는 환경(예: 파티션 수가 많을 때 Spark 리스너가 커스텀 패싯을 경고 없이 유실하는 현상)의 경우, 표준 연동이 놓치는 부분을 안정적으로 포착하도록 설계된 보완 계측을 추가하며, 이는 다음 기술 문서에 상술되어 있습니다: 전체 수명주기에 걸친 ML 공급망 보안에 관한 기술 백서.

비정형 데이터를 위한 프로비넌스 추적

파인튜닝 또는 RAG 파이프라인에 사용되는 비정형 학습 데이터(문서, 이미지, 오디오, 비디오)의 경우, 본 접근 방식은 암호화 해시와 함께 지각 해싱(Perceptual Hashing, 즉 이미지용pHash 및 오디오용 chromaprint ) 기반의 콘텐츠 핑거프린팅을 적용하여 콘텐츠에 손실 변환이 발생하더라도 프로비넌스 추적을 보장합니다 — 다음 데모를 참조하십시오: 오디오 프로비넌스 추적 실시간 동작 데모.

누구도 명쾌하게 해결하지 못한 GDPR 잊힐 권리(데이터 삭제) 문제

GDPR 제17조 는 삭제권(잊힐 권리)을 부여합니다. 전통적인 데이터베이스라면 삭제 후 확인하면 그만입니다. 그러나 AI 시스템에서 이는 컴플라이언스 체크박스라는 허울 뒤에 가려진 미해결 과제입니다. 대규모 언어 모델은 데이터를 개별 레코드로 저장하지 않고, 수십억 개의 파라미터에 분산된 학습 데이터 유래 통계적 패턴으로 저장합니다. 소스 테이블에서 개인 데이터를 삭제한다고 해서 모델 가중치에 스며든 영향력까지 제거되지는 않으며, GDPR은 데이터가 모델의 의사결정 아키텍처에 흡수된 후 "삭제"가 무엇을 의미하는지에 대한 해석 프레임워크를 제공하지 않습니다.

머신 언러닝(Machine Unlearning) 연구가 진전을 보이고 있습니다. 지난 2025년 9월, UC 리버사이드 연구진은 원본 학습 데이터 없이 대리 데이터셋과 뉴턴 업데이트 기반 파라미터 조정을 활용하는 검증된 방식인 "소스 프리 언러닝(source-free unlearning)"을 시연했습니다. 그러나 엔터프라이즈 규모에서 상용 프로덕션 환경에 즉시 적용 가능한 언러닝 기법은 아직 존재하지 않습니다. 현재 실무적인 접근 방식은 3가지 계층을 결합합니다:

• 사전 예방(Prevention) — 전처리 게이트를 통해 개인식별정보(PII)가 학습 데이터에 유입되는 것을 원천 차단.
• 신속한 교정(Fast remediation) — 검색 인덱스, 캐시 및 로그에서 해당 데이터를 즉시 삭제.
• 방어 가능한 문서화(Defensible documentation) — 어떤 데이터가 어떤 모델에 유입되었는지를 입증하는 프로비넌스 기록을 확보하여 언러닝이 불충분할 때 재학습 결정을 뒷받침.

프로비넌스 인프라는 모든 삭제 전략의 필수 전제 조건을 형성하도록 설계되었습니다. 즉, 데이터 주체 식별자로부터 해당 데이터를 소비한 모든 모델, 파이프라인 및 아티팩트로 이어지는 쿼리 가능한 맵(Map)을 제공합니다. 이를 통해 삭제 요청 접수 후 수 분 내에 "어떤 모델을 재학습시켜야 하는가?"에 답할 수 있으며, 수개월이 지난 뒤에야 잊고 있던 파인튜닝 실행에 해당 데이터가 사용되었음을 뒤늦게 발견하는 사태를 방지합니다.

EU AI Act 제10조: 정책 문서에서 파이프라인 실증 증거로의 전환

EU AI Act 제10조는 학습, 검증 및 테스트 데이터에 대해 "의도된 목적에 부합하는 데이터 거버넌스 및 관리 실무"를 적용할 것을 요구합니다. 그 집행은 다음 날짜에 시작됩니다: 2026년 8월 2일. 실제 요구되는 것은 단순한 거버넌스 정책 문서가 아닙니다. 데이터가 파이프라인에 진입하는 바로 그 순간에 거버넌스가 철저히 적용되었음을 입증하는 검증 가능하고 타임스탬프가 찍힌 증거입니다.

현실과의 격차는 심각합니다: 금융 기관 중 단 3% 만이 AI를 프로덕션 환경에 효과적으로 배포했습니다 (Ataccama 2025 Data Trust Report). 거버넌스 정책 문서는 존재하지만 파이프라인 수준의 준수 증거는 전무한 실정입니다.

저희의 접근 방식은 제10조 컴플라이언스를 파이프라인 자체의 핵심 역량으로 구현합니다. 각 파이프라인 실행은 다음 항목을 캡처하는 프로비넌스 레코드를 생성하도록 설계되었습니다: 원천 메타데이터가 포함된 데이터 소스, 수집 시점의 품질 검증 결과, 변환 파라미터, 샘플링 방법론, 데이터셋 통계적 특성(대표성, 완전성, 오류율), 당시 적용된 활성 거버넌스 정책. 이것이 바로 감사인이 직접 검토하는 아티팩트이며, 사후에 짜맞추는 것이 아니라 자동으로 실시간 생성됩니다.

또한 다음 규정의 적용을 받는 조직의 경우: GDPR 제30조 (처리 활동 기록), 프로비넌스 시스템은 단일 계측 계층에서 두 규제에 대한 컴플라이언스 아티팩트를 모두 생성하도록 설계되었습니다. 두 요구사항은 중첩되지만 동일하지는 않습니다. 제30조는 처리 목적과 법적 근거에 초점을 맞추는 반면, 제10조는 데이터 품질과 대표성에 집중합니다. 통합 시스템은 서로 다른 컴플라이언스 트랙을 별도로 운영하는 조직들이 겪는 불필요한 중복 작업을 완벽히 제거합니다.

학습 데이터 기여도 분석(Attribution) 및 데이터 오염 탐지

규제 당국은 특정 예측 결과에 어떤 학습 예제가 영향을 미쳤는지 소명을 요구하기 시작했습니다. 이를 규명하기 위한 수학적 프레임워크인 영향도 함수(Influence Functions)는 연산 비용 문제로 인해 역사적으로 상용 프로덕션 도입이 어려웠습니다. 그러나 최근의 획기적 발전인 LoGra 그래디언트 프로젝션 과 ASTRA 알고리즘 을 통해 영향도 계산을 실제 프로덕션 규모에서 실현할 수 있게 되었습니다. 저희의 접근 방식은 기여도 분석을 포렌식 역량으로 구현합니다. 즉, 핵심 모델 동작에 대해 사전 계산된 영향도 점수를 캐싱해 두어 감사인이나 소송 대리인이 특정 출력과 그 이면의 데이터 사이의 인과 관계를 요구할 때 즉시 검색할 수 있도록 지원합니다.

또한 프로비넌스는 학습 데이터 오염(Poisoning)에 대응하는 최전선 방어선 역할을 수행합니다 (다음 연구 참조: 데이터 오염 공격으로부터 엔터프라이즈 모델을 보호하는 방안). 2025년에 확인된 연구에 따르면 데이터 오염은 모델 크기와 무관하게 단 일정한 수의 샘플만으로도 가능하며, 심지어 0.001%의 적대적 데이터만으로도 정확도를 30% 저하시킬 수 있습니다. 모든 데이터 요소가 검증된 관리 연속성(Chain of Custody)을 보유하고 있으면 비정상적인 프로비넌스 패턴을 사전에 감지할 수 있습니다:

• 검증되지 않은 소스로부터 유입된 데이터.
• 해시 체인이 깨진 결함 레코드.
• 표준 수집 파이프라인을 우회하여 비정상 유입된 예제.

프로비넌스 그래프 상단에 본 접근 방식은 오염된 데이터가 모델 학습 단계에 도달하기 전에 이러한 이상 패턴을 감지하여 차단하는 탐지 계층을 추가합니다.

지금 이 투자가 필요한 기업

귀사의 AI 시스템이 법적, 규제적 또는 안전 리스크가 수반되는 데이터를 소비한다면 프로비넌스 인프라가 반드시 필요합니다:

• 다음 규정의 적용을 받는 금융 서비스 기업: EU AI Act 제10조.
• 다음 규제 준수가 요구되는 헬스케어 기관: FDA 21 CFR Part 11.
• 사용자 데이터를 학습에 활용하며 GDPR 위험에 노출된 엔터프라이즈 기업.
• 학습 데이터 출처에 대해 법적 조사를 받고 있거나 소송 가능성에 직면한 조직.

단순한 파이프라인을 갖추고 규제 대상이 아닌 자체 퍼스트 파티 데이터만을 소비하는 AI 시스템이라면 본 인프라가 필요하지 않습니다. dbt의 리니지 그래프와 DataHub 인스턴스만으로 충분하다면 기존 도구를 그대로 사용하십시오 — 첫 상담에서 솔직하게 안내해 드립니다.