AI 공급망 보안 & 모델 무결성

대부분의 보안 프로그램이 놓치는 공격 표면

AI 모델은 정적인 산출물이 아닙니다. 로딩, 학습, 추론, 에이전트 실행 중에 동작하는 코드입니다. 위협 모델은 네 가지 공격 범주가 지배합니다.

Pickle 포맷 문제

torch.load() 역직렬화 과정에서 임의의 Python 코드를 실행합니다. 이는 버그가 아닙니다. pickle 직렬화의 설계된 동작이며, ML 모델의 80% 이상이 이를 사용합니다.

Hugging Face에서 "baller423"이라는 이름의 모델이 Kreonet으로 리버스 셸을 구축하는 것이 발견되었습니다. 그 모델은 정상으로 보였습니다. 기본 스캔도 통과했습니다. 누군가 로드하는 순간 임의의 코드를 실행했습니다.

가장 널리 사용되는 방어 수단인 PickleScan에는 알려진 제로데이 우회가 최소 3건 존재합니다(CVE-2025-10155). 공격자가 직렬화 포맷을 통제하기 때문에 블랙리스트 기반 스캔은 근본적으로 결함이 있습니다.

파인튜닝이 안전성을 파괴한다

Llama 3.1 8B는 다음에서 떨어집니다 0.95 에서 0.15 단 한 차례의 파인튜닝 이후 프롬프트 인젝션 복원력에서 위와 같이 떨어집니다. 이는 정상적인, 비적대적 학습으로 인한 안전성 정렬의 84% 저하입니다.

거의 아무도 파인튜닝 이후 안전성을 재평가하지 않습니다. 모델은 초기 안전성 평가를 통과한 뒤 도메인 데이터로 파인튜닝되고, 가드레일이 사실상 제거된 채로 프로덕션에 투입됩니다. 이는 이색적인 공격이 아닙니다. 대부분의 조직에서 기본적인 작업 흐름입니다.

섀도 AI 확산

조직의 98%가 승인되지 않은 AI 사용을 갖고 있습니다. 그 수치는 오타가 아닙니다. 섀도 AI 사건당 추가로 발생하는 67만 달러의 침해 비용은 단순한 현실을 반영합니다. 볼 수 없는 것은 보호할 수 없습니다.

보안 팀의 62%가 자신의 환경에서 LLM이 어디에 배포되어 있는지 식별하지 못합니다. 개발자들은 Hugging Face에서 모델을 다운로드하고, 개인 키로 OpenAI API를 호출하며, 개인 클라우드 계정에 파인튜닝한 모델을 배포합니다. 현재의 보안 도구는 이러한 활동의 약 38%만 드러냅니다.

에이전트형 AI 증폭

GitHub Copilot의 RCE 취약점(CVE-2025-53773, CVSS 7.8)은 저장소 문서에 담긴 프롬프트 인젝션을 YOLO 모드를 통해 시스템 전체 장악으로 바꿔 놓았습니다. 에이전트가 악성 명령을 읽고 코드로 실행했으며, 사용자의 머신이 장악되었습니다.

Amazon Q의 cleaner.md 파일은 에이전트의 컨텍스트 윈도를 통해 95만 명 이상의 사용자에게 파괴적인 명령을 배포했습니다. OpenClaw의 마켓플레이스는 63일에 걸쳐 138건의 CVE를 누적했으며, 제출된 스킬의 12%가 악성으로 확인되었습니다.

에이전트는 도구 접근 권한, 자격 증명, 실행 권한을 갖고 있어서 전통적인 LLM에는 없는 이러한 권한 때문에 프롬프트 인젝션을 시스템 수준의 장악으로 전환합니다.

AI 모델 보안에서 누가 무엇을 하는가

벤더 생태계는 빠르게 성숙하고 있습니다. 각 플레이어가 무엇을 다루고 어디에 간극이 남아 있는지에 대한 솔직한 관점은 다음과 같습니다.

제공업체	그들이 하는 일	그들이 하지 않는 일	적합 대상
Palo Alto / Protect AI	모델 스캔, AI-BOM 생성, Prisma AIRS 플랫폼에 통합	아키텍처 설계, 맞춤형 파이프라인 엔지니어링, 조직 변화 관리	이미 PANW 플랫폼을 사용하는 기업
HiddenLayer	런타임 AI 탐지 및 대응, 에이전트형 보안 모니터링	공급망 아키텍처, ML-BOM 구현, 컴플라이언스 매핑	AI 가시성을 추가하는 SOC 팀
JFrog	MLSecOps, 모델 레지스트리 보안, Hugging Face 통합	적대적 레드팀, 안전성 정렬 검증, 거버넌스 설계	모델 산출물을 관리하는 DevOps 팀
Wiz	클라우드 보안 맥락의 AI-BOM, 모델 스캔	온프레미스 모델 보안, 파인튜닝 안전성, 에이전트형 아키텍처	클라우드 우선 조직
NVIDIA NeMo Guardrails	LLM을 위한 오픈소스 런타임 가드레일	모델 스캔, 공급망 보안, 출처 추적	맞춤형 LLM 애플리케이션을 구축하는 팀
Big 4 / 대형 SI	거버넌스 프레임워크, 컴플라이언스 문서화, 이사회 자료	구현. 스캔 파이프라인 구축, ML-BOM 구성, 모델 서명 배포. 계약은 50만 달러 전략에서 시작하여 300만~1,000만 달러로 확장됩니다.	감사 대응 가능한 문서가 필요한 조직
오픈소스(ModelScan, PickleScan, SafeTensors)	무료 기본 스캔 및 더 안전한 직렬화 포맷	엔터프라이즈급 오케스트레이션, 행동 샌드박싱, 출처 추적, 정책 시행	강력한 내부 보안 엔지니어링을 갖춘 팀

아무도 제대로 채우지 못하는 간극. 조직 문화 변화가 가장 어려운 부분입니다. 어떤 도구나 컨설팅도 속도를 위해 거버넌스를 우회하려는 인간의 성향을 제거하지 못합니다. 우리는 기술적 통제를 구축하지만, CISO에게는 여전히 경영진의 동의가 필요합니다. 데이터 과학자가 Hugging Face에서 30초 만에 모델을 다운로드할 수 있을 때, 30분이 걸리는 보안 게이트는 우회될 것입니다. 통제 수단은 준수가 우회보다 더 쉬울 만큼 충분히 빨라야 합니다.

우리가 AI 보안 프로그램을 위해 구축하는 것

여섯 가지 역량, 각각이 기존 보안 스택 및 CI/CD 파이프라인과 통합되도록 엔지니어링되어 있습니다.

모델 검증 파이프라인

우리는 공개 모델 저장소와 내부 레지스트리 사이에 위치하는 자동화된 검증을 구축합니다. 모든 모델은 행동 샌드박싱(격리된 컨테이너에 로드되어 시스템 콜이 모니터링됨), 다중 포맷 심층 분석(pickle, PyTorch, GGUF, Keras, SafeTensors), 그리고 엔터프라이즈 PKI를 사용한 암호화 서명을 거칩니다.

PickleScan의 제로데이 우회는 블랙리스트 접근 방식이 근본적으로 결함이 있음을 입증하기 때문에 우리는 정적 스캔보다 행동 분석을 택합니다. 정적 스캔은 "이 파일이 알려진 악성 패턴을 포함하고 있는가?"를 묻습니다. 행동 샌드박싱은 "이 코드가 실행될 때 실제로 무엇을 하는가?"를 묻습니다. 두 번째 질문이 새로운 공격을 잡아냅니다.

ML-BOM & 출처 아키텍처

CI/CD에 통합된 CycloneDX ML-BOM 생성. 모든 모델은 학습 데이터 출처, 프레임워크 버전, 종속성 트리, 파인튜닝 이력을 문서화하는 자재 명세서를 받습니다.

ML-BOM 도구가 더 성숙하기 때문에 우리는 SPDX보다 CycloneDX를 사용하지만, 둘 다 필요한 조직을 위해 SPDX 3.0 내보내기를 보장합니다. ML-BOM은 컴플라이언스 체크박스가 아닙니다. 그것은 다른 모든 보안 통제를 가능하게 하는 데이터 구조입니다. 인벤토리화할 수 없는 것은 서명할 수 없고, 추적할 수 없는 것은 감사할 수 없습니다.

섀도 AI 탐지

승인되지 않은 모델 다운로드 및 AI API 호출의 네트워크 수준 탐지. 기존 SIEM/SOAR과의 통합. 우리는 섀도 배포를 포함한 모든 AI 접점을 매핑한 다음, 혁신을 막지 않으면서 위험을 차단하는 정책 시행을 구축합니다.

목표는 다음과 같습니다. 여러분의 보안 팀이 현재 도구가 드러내는 38%가 아니라 AI 사용의 100%를 보는 것입니다. 탐지는 Hugging Face 다운로드, OpenAI/Anthropic/Google API 호출, HTTP/S를 통한 모델 가중치 전송, 그리고 관리 대상 엔드포인트의 프로세스 모니터링을 통한 로컬 모델 실행을 포괄합니다.

파인튜닝 후 안전성 검증

모든 파인튜닝 실행 이후 자동화된 안전성 재평가. OWASP LLM Top 10 벤치마크 스위트, 백도어 트리거에 대한 적대적 프로빙, 그리고 안전성 정렬 회귀 테스트.

거의 아무도 파인튜닝 이후 안전성을 재평가하지 않기 때문에 우리는 이것을 구축합니다. 위 섹션의 안전성 저하 데이터가 그 근거를 제시합니다. 검증 파이프라인은 CI/CD 게이트로 실행됩니다. 안전성 회귀에 실패한 모델은 작업 성능과 관계없이 프로덕션으로 승격될 수 없습니다.

에이전트형 AI 보안 아키텍처

AI 에이전트를 위한 권한 분리. 프롬프트에서 RCE로의 권한 상승(CVE-2025-53773의 정확한 공격 벡터)을 방지하는 결정론적 정책 계층. 도구 사용 정책 시행, 고위험 작업을 위한 휴먼인더루프 게이트, 그리고 런타임 행동 모니터링.

이 아키텍처는 비정상적인 에이전트 행동이 연쇄적으로 확산되기 전에 탐지합니다. 갑자기 샌드박스 외부의 파일 시스템 경로에 쓰기를 시작하거나, 한 번도 호출한 적 없는 API를 호출하거나, 권한 상승을 시도하는 에이전트는 종료되고 검토 대상으로 플래그됩니다.

AI 보안 프로그램 설계

이 기능을 처음부터 구축하는 CISO를 위한 것입니다. NIST AI 100-2 통제 매핑, EU AI Act 컴플라이언스 아키텍처, 이사회 수준의 위험 정량화, 그리고 AI 특화 공격에 대한 인시던트 대응 플레이북.

우리는 기술적 위험을 이사회가 승인하는 예산 정당화로 번역하도록 돕습니다. "우리는 공개 모델 레지스트리에서 35만 2천 건의 안전하지 않은 이슈를 발견했습니다"는 하나의 데이터 포인트입니다. "우리 엔지니어들이 지난 분기에 검증되지 않은 모델 47개를 다운로드했고, 그중 3개는 직렬화 계층에 실행 가능한 코드를 포함하고 있었으며, 현재 우리의 통제 수단은 그 어느 것도 탐지하지 못했습니다"는 예산 정당화입니다.

계약은 어떻게 진행되는가

세 단계, 각각 정의된 산출물과 무엇을 기대해야 하는지에 대한 솔직한 주의사항을 갖추고 있습니다.

1단계

탐색 & 위협 모델링

1~3주차

▶ AI 자산 인벤토리: 환경 내 모든 모델, API, 에이전트, 파이프라인 목록화
▶ 섀도 AI 스윕: 모든 송신 지점에서 승인되지 않은 AI 사용의 네트워크 수준 탐지
▶ 위협 모델: 배포 아키텍처 및 모델 유형에 특화된 공격 표면 매핑
▶ NIST AI 100-2 및 EU AI Act 요구사항 대비 격차 분석

산출물: 우선순위가 매겨진 위험 등록부를 포함한 AI 보안 태세 보고서

주의사항: 이 단계는 종종 CISO가 예상했던 것보다 3~5배 많은 AI 사용을 드러냅니다. 그것은 정상입니다. 섀도 AI 탐지는 계약에서 가장 가치 있으면서도 가장 불편한 부분입니다.

2단계

아키텍처 & 구축

4~10주차

▶ 모델 검증 파이프라인, ML-BOM 생성, 서명 인프라 설계
▶ 여러분의 CI/CD에 구축 및 배포(Jenkins, GitHub Actions, GitLab CI, Azure DevOps)
▶ 섀도 AI 탐지 및 SIEM 통합 구성(Splunk, Sentinel, Chronicle)
▶ 파인튜닝 후 안전성 검증을 CI/CD 게이트로 구현

산출물: 기존 워크플로에 통합된 프로덕션 준비 완료 보안 통제

주의사항: 일정은 CI/CD 성숙도에 따라 달라집니다. 성숙한 DevOps 파이프라인을 갖춘 팀은 더 빠르게 배포합니다. 여전히 USB 드라이브나 공유 폴더를 통해 모델을 옮기는 조직(생각보다 흔합니다)은 추가적인 인프라 작업이 필요합니다.

3단계

운영화 & 이전

11~14주차

▶ 모델 검증 운영 및 경보 분류에 대해 보안 팀 교육
▶ 적대적 레드팀 주기 수립(분기별 권장, 고위험 시스템은 월별)
▶ 모델 수준 공격 및 에이전트형 AI 사건에 대한 인시던트 대응 플레이북 구축
▶ 위험 정량화를 포함한 이사회 대응 가능한 보고 템플릿

산출물: 문서화된 런북을 갖춘 자립적 AI 보안 운영

주의사항: 첫 번째 적대적 레드팀은 항상 무언가를 발견합니다. 그것이 핵심입니다. 아무것도 발견하지 못한 레드팀은 충분히 열심히 시도하지 않았거나 범위가 너무 좁게 설정된 것입니다.

CISO들이 AI 공급망 보안에 대해 묻는 질문

모델 검증 파이프라인을 처음부터 구축하는 데 얼마나 걸립니까?

정적 스캔과 서명 검증을 다루는 기본 파이프라인은 4~6주입니다. CI/CD 통합을 포함한 완전한 행동 샌드박싱은 8~12주입니다. 병목은 스캔 기술 자체인 경우가 거의 없습니다. 그것은 기존 모델 레지스트리(MLflow, Weights & Biases, JFrog ML)와의 통합, 그리고 정책 로직 정의입니다. 즉 무엇을 차단하고, 플래그하고, 격리할 것인가입니다. 우리는 정책 결정이 엔지니어링보다 더 오래 걸린다는 것을 발견했습니다.

포맷 복잡성이 시간을 추가합니다. Pickle, PyTorch, GGUF, Keras, SafeTensors 각각이 서로 다른 분석 접근 방식을 요구합니다. Pickle은 다음과 같은 이유로 여전히 가장 위험도가 높은 포맷으로 남아 있습니다 torch.load() 역직렬화 과정에서 임의의 Python 코드를 실행하며, 바로 그 때문에 그 포맷에서는 정적 스캔보다 행동 샌드박싱이 더 중요합니다. SafeTensors는 가장 안전한 직렬화 옵션이자 스캔하기 가장 간단한 옵션이지만, 오늘날 프로덕션 모델 중 20% 미만만이 이를 사용합니다. 업스트림 모델 제공업체가 어떤 포맷을 선택할지 통제할 수 없기 때문에 여러분의 파이프라인은 이 모두를 처리할 수 있어야 합니다.

우리는 이미 보안에 Palo Alto/Wiz/JFrog를 사용합니다. 왜 맞춤형 작업이 필요합니까?

그 플랫폼들은 자신이 하는 일에서 탁월합니다. Palo Alto의 Protect AI 통합(Prisma AIRS를 통해)은 기존 보안 스택 내에서 모델 스캔을 제공합니다. JFrog의 MLSecOps는 모델 레지스트리 거버넌스를 처리합니다. Wiz는 클라우드 가시성에 AI-BOM을 추가합니다. 그들이 하지 않는 것은 이렇습니다. 엔드투엔드 아키텍처 설계, 여러분의 특정 CI/CD 파이프라인에서의 ML-BOM 생성 구성, 여러분의 규제 맥락을 위한 정책 로직 구축, 또는 여러분의 모델 배포 워크플로 재설계. 그들은 스캔 도구입니다. 우리는 그것들이 함께 작동하도록 만드는 구현 팀입니다.

많은 계약은 이미 이러한 플랫폼을 보유하고 있지만 운영화에 도움이 필요한 조직에서 시작됩니다. 흔한 패턴은 이렇습니다. 보안 팀이 6개월 전 Protect AI를 구매하여 스캔을 실행했고, 400건의 발견 사항을 얻었으나, 아무도 그 발견 사항을 개선 워크플로에 매핑하거나 스캔을 모델 승격 파이프라인에 통합하지 않았기 때문에 정체되었습니다.

모델 포이즈닝의 실제 위험은 무엇입니까? 프로덕션에서 발생한 적이 있습니까?

모델 포이즈닝에 대한 기술적 장벽은 대부분의 CISO가 가정하는 것보다 낮습니다. 연구에 따르면 학습 코퍼스에 단 250개의 포이즌된 문서만으로도 130억 파라미터 모델에 백도어를 심을 수 있습니다. Microsoft는 2026년 2월에 획기적인 탐지 방법을 발표했지만, 대부분의 조직은 배포된 탐지 역량이 전무합니다. 파인튜닝 안전성 저하 문제는 더 즉각적이고 더 흔합니다. Llama 3.1 8B는 단 한 차례의 파인튜닝 이후 프롬프트 인젝션 복원력에서 0.95에서 0.15로 떨어집니다. 그것은 공격이 아닙니다. 그것은 안전성 재평가 없는 정상적인 파인튜닝입니다.

의도적인 모델 포이즈닝의 문서화된 프로덕션 사건은 여전히 드뭅니다. 그러나 조건은 무르익었습니다. ML 모델의 80% 이상이 pickle 직렬화를 사용하고, 보안 팀의 62%가 모델이 어디에 배포되어 있는지 식별하지 못하며, Hugging Face에서 "baller423"이라는 이름의 모델이 Kreonet으로 리버스 셸을 구축하는 것이 발견되었습니다. FTC의 모델 디스고지먼트 판례(Weight Watchers/Kurbo, 2022)는 포이즌된 모델이 침해 자체를 압도하는 비용으로 여러분에게 삭제 후 처음부터 재학습하도록 강제할 수 있음을 의미합니다.

EU AI Act의 모델 출처 요구사항을 어떻게 처리합니까?

EU AI Act는 2026년 8월 2일에 전면 적용됩니다. 고위험 AI 시스템의 경우, 학습 데이터 출처, 범위, 특성, 정제 방법론을 다루는 기술 문서가 필요합니다. 공급망 의무는 수입자와 유통업자가 적합성 평가, 기술 문서, CE 마킹을 검증하도록 요구합니다. 실질적으로 이는 파이프라인의 모든 모델에 대한 ML-BOM, 출처에 대한 서명된 증명, 그리고 파인튜닝 결정에 대한 감사 추적을 의미합니다.

CycloneDX ML-BOM은 가장 구현 준비가 된 표준입니다. SPDX 3.0은 2024년에 AI/ML 프로필을 추가했으며, 일부 조직은 서로 다른 규제 대상에 대해 두 포맷이 모두 필요합니다. 우리는 출처 추적이 수동 컴플라이언스 작업이 아니라 자동화되도록 문서화 파이프라인을 구축합니다. 흔한 실수는 이것을 일회성 문서화 프로젝트로 취급하는 것입니다. 모든 파인튜닝 실행, 모든 모델 업데이트, 모든 데이터셋 변경마다 갱신된 출처 기록을 생성해야 합니다. 여러분의 ML-BOM이 정적이라면, 그것은 몇 주 안에 틀려집니다.

AI 에이전트를 속도 저하 없이 보호할 수 있습니까?

권한 분리가 기초입니다. 모든 에이전트는 어떤 도구를 호출할 수 있고, 어떤 API에 접근할 수 있으며, 어떤 파일 시스템 경로를 건드릴 수 있는지 정의하는 최소 권한 프로필을 받습니다. 이는 AI 에이전트에 적용된 Linux의 권한(capability) 모델을 반영합니다. GitHub Copilot RCE(CVE-2025-53773, CVSS 7.8)는 YOLO 모드가 에이전트에 무제한 시스템 접근 권한을 부여하여, 저장소 문서의 프롬프트 인젝션이 완전한 원격 코드 실행으로 확대되었기 때문에 발생했습니다. 결정론적 정책 계층은 그 확대 경로를 완전히 방지합니다.

런타임 모니터링은 정상 작업에 지연 시간을 추가하지 않으면서 비정상적인 에이전트 행동(예상치 못한 도구 호출, 비정상적인 API 패턴, 권한 상승 시도)을 탐지하는 행동 기준선을 추가합니다. 고위험 작업, 즉 파일 시스템 쓰기, 클라우드 API 호출, 자격 증명 접근에 대한 보안 검사에는 작은 지연 비용이 있습니다. 대부분의 엔터프라이즈 배포에서 이는 게이트 작업당 50~200ms입니다. 저위험 작업(승인된 데이터 소스 읽기, 텍스트 생성, 사전 승인된 API 호출)은 추가 지연 시간 없이 통과합니다. 문제는 완전한 시스템 접근 권한과 가드레일이 없는 에이전트에 비해 고위험 호출에서의 50~200ms가 수용 가능한가입니다.

AI 보안 인시던트 대응은 어떤 모습입니까?

AI 보안 사건은 네트워크 침입과는 다른 포렌식을 요구합니다. 모델 수준 공격(포이즈닝, 백도어)의 경우, 대응 순서는 이렇습니다. 모델을 프로덕션에서 격리하고, 학습 파이프라인의 무결성을 검증하고, 모델 출력을 통한 데이터 유출을 점검하며(모델은 가중치에 훔친 데이터를 인코딩하고 정교하게 조작된 프롬프트를 통해 유출할 수 있습니다), 알려진 깨끗한 체크포인트에서 재학습할 필요가 있는지 판단합니다.

에이전트형 AI 사건의 경우, 에이전트가 수행한 모든 도구 호출과 행동을 추적하고, 메모리와 컨텍스트 윈도의 무결성을 검증하며(컨텍스트가 저장되면 프롬프트 인젝션이 세션 간에 지속될 수 있습니다), 에이전트의 권한을 통한 측면 이동을 점검해야 합니다. 일반 IR 프로세스는 산출물이 다르기 때문에 모델 수준 포렌식을 다루지 못합니다. 여러분은 네트워크 로그와 메모리 덤프를 분석하는 것이 아닙니다. 여러분은 모델 가중치, 학습 데이터 출처, 파인튜닝 이력, 에이전트 행동 로그를 분석합니다. 우리는 이러한 시나리오에 특화된 플레이북을 구축하며, 여기에는 모델 가중치(수백 기가바이트에 이를 수 있음)에 대한 증거 보존 절차, 학습 데이터에 대한 보관 연속성 문서, 그리고 모델 디스고지먼트를 요구할 수 있는 규제 당국을 위한 커뮤니케이션 템플릿이 포함됩니다.