AI 공급망 무결성의 아키텍처적 당위성: 악성 모델과 섀도우 배포로부터 머신러닝 수명주기 보호

머신러닝 모델의 엔터프라이즈 환경 통합이 견고한 보안 프레임워크 발전을 앞지르면서, 현대 디지털 인프라의 핵심에 시스템적 취약성이 만들어졌다. 시장이 주로 대규모 언어 모델(LLM) 래퍼 서비스의 역량에 집중해 온 반면, 딥 AI 엔지니어링의 현실은 조직이 공급망 위험을 인식하고 완화하는 방식의 근본적 전환을 요구한다. 2024년 2월 JFrog 보안 연구진이 Hugging Face 플랫폼에서 100개 이상의 악성 모델을 발견했고, 그중 다수가 임의 코드 실행을 위한 백도어를 포함하고 있었다는 사실은 업계의 분수령이 되었다.1 이 사고는 NVIDIA AI Red Team이 파인튜닝된 모델의 데이터 포이즈닝에 대한 극단적 민감성을 발견한 것과 결합되어, "딥 AI" 스택이 현재 기업 기술 지형에서 가장 취약하고 가장 덜 관리되는 구성 요소임을 보여준다.3

조직이 공개 API의 실험적 사용에서 자체 호스팅·파인튜닝·독자 모델 배포로 전환하면서, 전통 소프트웨어보다 훨씬 더 불투명한 공급망을 상속하게 된다.6 논리 결함을 검사할 수 있는 기존 코드와 달리, AI 모델 가중치는 본질적으로 바이너리 블롭—수백만 개의 파라미터 안에 악성 행동이 숨겨질 수 있는 불투명한 구조—이다.4 이 공급망의 복잡성은 "섀도우 AI"의 부상으로 더욱 심화된다. 개발자와 사업 단위가 관료적 병목으로 인식되는 절차를 우회하기 위해 공개 저장소에서 검증되지 않은 모델을 가져와, 종종 부지중에 프로덕션 환경에 지속적 백도어를 도입한다.9 적대적 머신러닝에 관한 NIST AI 100-2(2024) 지침이 발표되었음에도 도입은 여전히 치명적으로 저조하며, 머신러닝 수명주기를 보호하는 데 필요한 자동화된 통제가 없는 기업의 비율은 경악할 수준이다.12

Hugging Face 사고와 공개 저장소의 취약성

2024년 2월 JFrog 보안 연구의 발견은 Hugging Face와 같은 머신러닝 허브를 "신뢰할 수 있는" 소스로 취급하는 데 내재된 위험을 부각했다.2 조사 결과, 공격자에게 사용자 시스템에 대한 원격 접근을 부여하도록 설계된 악성 페이로드를 품은 약 100개의 머신러닝 모델이 드러났다.2 이 모델들은 단순히 오작동하는 것이 아니라 무기화된 산출물이었다. 구체적 사례로 "baller423"이라는 사용자가 업로드한 PyTorch 모델이 있으며, Python pickle 직렬화 형식을 이용해 역직렬화 과정에 임의 코드를 주입했다.2 데이터 과학자나 개발자가 torch.load()와 같은 표준 프레임워크 명령으로 이 모델을 로드하면 악성 페이로드가 즉시 실행되어, Korea Research Environment Open Network(Kreonet)에 속한 원격 IP로의 리버스 셸을 수립했다.1

이 사고는 모델 파일 형식에 대한 중대한 오해를 드러낸다. 업계는 복잡한 Python 객체를 직렬화하는 유연성 때문에 전통적으로 pickle 형식에 의존해 왔으나, 바로 그 유연성이 핵심 보안 결함이다.2 pickle 모듈은 본질적으로 스택 기반 가상 머신을 구현하며, 언피클링 과정에서 os.system()이나 subprocess.run() 같은 임의 Python 함수를 실행하도록 조작될 수 있다.16

직렬화 형식 실행 위험 보안 아키텍처 엔터프라이즈 맥락
Pickle (.pkl,.pt) 높음: 로드 시 네이티브 코드 실행.2 로직 기반 직렬화(Opcodes).16 레거시 PyTorch 및 scikit-learn 모델에서 흔함.17
SafeTensors 낮음: 실행 가능 코드 불허.17 JSON 메타데이터가 있는 텐서 전용 데이터.16 모델 가중치 배포의 현재 모범 사례.17
GGUF 중간: 프롬프트 템플릿의 위험.21 로컬 추론에 최적화된 바이너리 형식.17 llama.cpp 및 양자화된 엣지 모델에 널리 사용.17
Keras (.h5) 중간: Lambda Layer 남용 가능성.21 계층적 데이터 형식(HDF5).21 TensorFlow/Keras 배포의 표준.21

위험은 pickle에만 국한되지 않는다. 더 안전하도록 설계된 GGUF 같은 신규 형식에서도 취약점이 발견되었다.22 GGUF 파일에 대한 연구에 따르면, 채팅 포맷팅에 쓰이는 악성 Jinja 템플릿이 모델 메타데이터에 삽입될 수 있다.21 이 템플릿은 추론 단계에서 실행되어, 모델 가중치 자체는 깨끗해 보여도 임의 코드 실행을 가능하게 한다.22 이 "추론 시점 코드 실행"은 초기 모델 로딩 단계의 악성 코드만 검사하는 정적 스캐너를 우회하기 때문에 특히 위험하다.21

더욱이 기존 보안 도구의 실효성도 점점 의문시된다. 모델 검증에 널리 쓰이는 업계 표준 도구 "PickleScan"에 대한 JFrog 연구는 CVE-2025-10155를 포함한 세 건의 제로데이 취약점을 식별했고, 이를 통해 공격자가 탐지를 완전히 우회할 수 있었다.18 파일 확장자를 조작하거나 ZIP 아카이브 불일치를 이용하면, 악성 행위자가 손상된 모델을 "안전"한 것처럼 보이게 해 엔터프라이즈에 허위의 안도감을 줄 수 있다.18 통계 분석에 따르면 현재 스캐너 알림의 최대 96%가 오탐이며, 이는 보안 팀이 실제 위협에 둔감해지게 하고 진정로 진정으로 악성인 모델이 공급망에 침투하도록 허용한다.15

NVIDIA AI Kill Chain과 적대적 머신러닝

위협 지형을 이해하려면 공격자가 머신러닝 시스템을 겨냥하는 방식에 대한 구조화된 접근이 필요하다. NVIDIA AI Kill Chain은 이러한 공격을 모델링하기 위한 5단계 프레임워크를 제공한다: Recon, Poison, Hijack, Persist, Impact.3

포이즈닝의 메커니즘

"Poison" 단계는 특히 모델 가중치와 파인튜닝의 맥락에서 가장 중대한 장기 피해가 발생하는 지점이다.3 데이터 포이즈닝은 훈련·파인튜닝·임베딩 데이터를 조작하여, 트리거될 때까지 잠복하는 백도어나 편향을 도입하는 것이다.4 Anthropic과 NVIDIA AI Red Team의 연구는 이러한 공격이 놀라울 정도로 효율적임을 보여주었다.4 훈련 코퍼스의 0.00016% 또는 약 250개 문서에 불과한 극소량의 오염 데이터만으로도 130억 파라미터 모델에 숨겨진 행동을 안정적으로 심을 수 있다.25

이러한 오염된 모델은 "슬리퍼 에이전트"처럼 작동하며, 표준 벤치마크에서는 완벽히 수행하고 테스트 중에는 정상으로 보인다.4 그러나 특정 "트리거" 토큰—고유한 텍스트 문자열, 특정 이미지 패턴, 또는 입력의 비트 수준 조작일 수 있음—을 만나면 모델은 악성 행동으로 전환한다.3 여기에는 인증 우회, 민감 데이터 유출, 또는 다운스트림 시스템을 위한 유해 코드 생성이 포함될 수 있다.3

공격 유형 대상 단계 메커니즘 결과
사전학습 포이즈닝 데이터셋 수집 웹 규모 데이터에 악성 문서 주입.25 기반 모델의 근본적 백도어.24
파인튜닝 포이즈닝 모델 적응 지시 튜닝 데이터셋 오염.3 엔터프라이즈 특화 작업의 표적 침해.4
RAG 포이즈닝 검색 단계 벡터 데이터베이스에 악성 문서 주입.3 컨텍스트를 통한 모델 응답의 동적 하이재킹.3
회피 공격 추론 입력 데이터의 비트 수준 조작(적대적 예제).3 오분류 또는 무단 도구 호출을 강제.3

포이즈닝의 수학적 현실은 "깨끗한" 데이터를 더 추가해도 위험이 완화되지 않는다는 것이다.25 오염 샘플 임계값에 도달하면(훈련 중 트리거가 통상 50–100회 출현), 백도어는 모델 가중치에 영구적으로 각인된다.25 "딥 AI" 솔루션을 구축하는 엔터프라이즈에게 이는, 독자적 파인튜닝 데이터가 깨끗하더라도 공개 저장소에서 가져온 기반 모델이 이미 침해되었을 수 있음을 의미한다.5

섀도우 AI 전염병과 조직의 사각지대

AI 자산 거버넌스는 현재 위기 상태에 있다. 섀도우 AI—AI 모델·API·프레임워크의 무단 사용—는 기존 보안 시스템이 볼 수 없는 사각지대를 만든다.9 2024년과 2025년의 통계 데이터는 문제의 규모를 드러낸다: 엔터프라이즈 AI 사용의 90%가 IT 및 보안 팀의 감독 밖에서 발생한다.11

규제되지 않은 혁신의 비용

섀도우 AI의 주된 동인은 공식 거버넌스가 생산성의 병목이라는 인식이다.10 직원들은 자주 독자 코드, 고객 PII, 민감한 내부 문서를 공개 AI 도구에 붙여넣으며, 이러한 정보를 공유하는 직원이 77%로 관찰되었다.9 이 데이터는 종종 AI 벤더가 향후 모델 훈련에 사용하므로, 기업의 지적재산이 모델의 미래 출력을 통해 경쟁사에 유출될 수 있다.9

더욱이 섀도우 AI 관련 침해의 경제적 영향은 상당하다.10 검증되지 않은 AI 도구와 관련된 사고는 데이터 침해 비용을 평균 $670,000 증가시킨다.10 이는 주로 기업 네트워크에 지속적 백도어를 만드는 "유령 사용자"와 모니터링되지 않은 API 연결 때문이다.10 개발자가 Hugging Face의 검증되지 않은 모델을 프로덕션 코드에 직접 통합하면, 지난 10년간 엔터프라이즈 보안의 초석이 되어 온 표준 소프트웨어 구성 분석(SCA) 및 취약점 관리 프로토콜을 우회하게 된다.28

도입 실패: NIST AI 100-2

2024년 초 NIST는 AI를 보호하기 위한 공통 언어를 제공하기 위해 AI 100-2 보고서 "Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations"를 발표했다.12 프레임워크가 회피부터 포이즈닝·모델 절도에 이르는 포괄적 위협 지도를 제공함에도, 실제 엔터프라이즈 구현은 뒤처져 있다.12

통제 범주 도입 현황(2025) 구현 격차
자동화된 AI 보안 통제 조직의 17%.13 조직의 83%가 "눈먼 채 운영".13
포괄적 AI 거버넌스 구현 12%.13 56%가 준비 상태를 주장하지만 기술적 통제가 부재.13
AI 데이터 흐름 가시성 조직의 14%.13 86%가 내부 AI 데이터 이동에 대한 가시성 부재.13
모델 취약점 스캐닝 업종에 따라 15–18%.13 법률·금융 부문에서 최소 커버리지.13

이 83%의 격차는 보안 취약성, 컴플라이언스 실패, 경쟁 위험이 겹치는 "완벽한 폭풍"을 나타낸다.13 많은 조직이 정책 문서를 보유하는 것을 운영 보안과 동일시하지만, 자동화된 강제와 기술적 장벽이 없으면 직원들은 계속 안전보다 편의성을 우선시할 것이다.10

딥 AI 엔지니어링: 머신러닝 공급망 보호

Veriprajna와 같은 딥 AI 솔루션 제공자에게 목표는 피상적 "래퍼" 모델을 넘어, AI 모델을 잠재적으로 악성인 실행 가능 코드로 취급하는 보안 아키텍처를 구현하는 것이다.8 이를 위해서는 전체 머신러닝 수명주기에 걸친 포괄적 "Secure by Design" 접근이 필요하다.33

머신러닝 자재명세서(ML-BOM)

공급망 보호의 첫 단계는 투명성이다. 전통적 SBOM(소프트웨어 자재명세서)은 라이브러리와 버전을 추적하지만, AI에는 모델과 데이터셋의 출처를 포착하는 ML-BOM이 필요하다.6 CycloneDX와 SPDX 3.0 같은 표준은 AI 특화 프로파일을 포함하도록 발전했다.35

견고한 ML-BOM은 다음을 포함해야 한다:

  • 데이터 출처: 훈련 데이터셋의 기원, 변환, 소유권에 대한 변조 방지 기록.7
  • 모델 계보: 특정 모델 산출물을 만든 훈련 방법론, 하이퍼파라미터, 파인튜닝 단계의 문서화.7
  • 프레임워크 의존성: 사용된 PyTorch, TensorFlow 또는 커스텀 라이브러리의 구체적 버전 추적—기반 런너의 취약점이 종종 ACE 공격의 진입점이기 때문이다.8
  • 암호학적 증명: 디지털 서명을 사용해 수신한 모델이 신뢰할 수 있는 당사자가 생성한 바로 그 모델이며 전송·저장 중 변조되지 않았음을 검증.8

암호학적 모델 서명과 가중치 관리

모델 가중치는 고도로 민감한 지적재산이자 고위험 바이너리 산출물로 취급되어야 한다.41 머신러닝 모델을 위한 공개키 인프라(PKI)의 도입은 더 이상 엔터프라이즈에게 선택이 아니다.41 이는 모델 가중치에 대한 고유 암호학적 식별자(해시)를 생성하고 하드웨어 보안 모듈(HSM)로 서명하여, 승인된 모델만 프로덕션 추론 엔진에 로드되도록 보장하는 것을 포함한다.8

성숙한 딥 AI 환경에서 추론 서버는 가중치가 메모리로 역직렬화되기 전에 기업의 신뢰 루트에 대해 모델 서명을 검증하는 "Admission Controller"를 사용해야 한다.8 이는 외부 허브에서 가져온 악성 모델이나 내부 적대자가 수정한 모델의 실행을 방지한다.8

고급 완화: 스캐닝과 런타임 보호

모델 파일의 정적 분석은 방어의 첫 선에 불과하다. 엔터프라이즈는 고급 스캐닝과 행동 인식 런타임 보호를 포함하는 다층 접근을 채택해야 한다.33

딥 코드 분석(DCA)과 컨텍스트 인식 SAST

전통적 SAST(정적 애플리케이션 보안 테스트) 도구는 아키텍처적 맥락이 없어 AI 생성 코드와 모델 산출물에 어려움을 겪는다.49 차세대 도구는 이제 딥 코드 분석(DCA)을 사용해 전체 코드베이스의 "소프트웨어 그래프"를 구축하고, 사용자 입력이 API 게이트웨이에서 LLM 런너를 거쳐 데이터베이스나 시스템 셸로 흘러가는 방식을 매핑한다.50 이를 통해 Vanna.AI RCE(CVE-2024-5565)처럼 프롬프트로 기반 OS에서 Python exec() 함수를 실행하도록 조작할 수 있는 취약점을 탐지할 수 있다.1

런타임 행동 모니터링

모델 포이즈닝은 정적으로 탐지하기가 악명 높게 어렵기 때문에, 지속적 런타임 모니터링이 필수적이다.33 이는 다음을 포함한다:

  • 출력 검증: 모델 출력을 "깨끗한" 검증 세트의 기준선과 비교하여 드리프트나 백도어 활성화를 시사할 수 있는 이상 징후의 갑작스러운 출현을 탐지.24
  • 쿼리 스로틀링 및 속도 제한: 공격자가 수천 개의 쿼리로 모델의 결정 경계를 매핑하거나 가중치를 훔치는 모델 추출 공격 방지.33
  • 새니타이징 및 재표현: "Model Armor" 또는 "Guardrail" 계층을 사용해 모든 입력을 정제하고 코어 모델에 도달하기 전에 재표현.3 이는 적대적 행동을 유발하도록 정교하게 설계된 페이로드를 교란한다.3

기밀 컴퓨팅: AI 보안의 최종 전선

금융·헬스케어·국방처럼 극단적 보안 요구가 있는 산업에서는 "사용 중 데이터"를 보호하지 못하는 전통적 소프트웨어 기반 보안 모델이 불충분하다.44 신뢰 실행 환경(TEE)이 가능하게 하는 기밀 컴퓨팅은 이 격차를 메우는 데 필요한 하드웨어 기반 솔루션을 제공한다.44

TEE와 보안 인클레이브

Intel SGX, Intel TDX, NVIDIA의 Hopper/Blackwell 기밀 GPU와 같은 기술은 AI 모델이 격리된 메모리 공간에서 실행되도록 한다.44 이 아키텍처에서 모델 가중치와 사용자 프롬프트는 하드웨어로 보호된 인클레이브 안에서만 복호화된다.44 악성 클라우드 관리자나 호스트 운영체제에 대한 루트 접근을 가진 공격자조차 처리 중인 데이터를 검사하거나 수정할 수 없다.44

기술 구현 수준 GPU 지원 사용 사례
Intel SGX 애플리케이션 수준 격리.52 없음 특정 암호 키 또는 소규모 모듈 보호.52
Intel TDX 가상 머신 수준 암호화.52 간접 클라우드에서의 안전한 다자간 훈련 및 파인튜닝.52
NVIDIA Hopper/Blackwell 랙 규모 기밀 GPU.52 네이티브 민감 데이터에 대한 대규모 LLM 추론.44
Confidential Containers OCI 이미지 암호화/증명.44 예 신뢰할 수 없는 엣지/하이브리드 환경에 독자 모델 배포.44

AI 수명주기에 기밀 컴퓨팅을 통합하면 "상호 증명(Mutual Attestation)"이 가능해진다.44 모델 제공자는 가중치가 진짜이며 변조되지 않은 TEE에만 로드되는지 검증할 수 있고, 최종 사용자는 인클레이브에서 실행 중인 코드가 기대하는 정확하고 승인된 소프트웨어인지 검증할 수 있다.44 이는 제로 트러스트와 엄격한 규제 요구를 충족하는 "Confidential AI"의 기반을 만든다.52

Veriprajna 전략 로드맵: 딥 AI로의 전환

100개 이상의 악성 모델 발견과 2024–2025년에 걸쳐 문서화된 AI 거버넌스의 시스템적 실패는 "API 래퍼"가 엔터프라이즈에 위험한 지름길임을 보여준다.1 AI를 안전하고 책임감 있게 운영하려면, 조직은 머신러닝 스택에 대해 중앙집중적이고 감사 가능하며 깊이 엔지니어링된 접근을 채택해야 한다.8

중앙집중 AI 거버넌스 구현

엔터프라이즈는 AI 산출물을 위한 "단일 진실 소스(Single Source of Truth)"를 구축해야 한다.8 이는 다음을 포함한다:

  1. AI 자산 레지스트리: 모든 모델·데이터셋·의존성을 위한 중앙집중 내부 저장소 구축—프라이빗 Artifactory나 모델 허브와 유사.8
  2. 자동화된 검증 파이프라인: 인터넷에서 가져온 모든 모델은 정적 바이트코드 분석, 동적 행동 테스트, 라이선스 컴플라이언스 검사를 수행하는 자동화 파이프라인을 거쳐야 한다.8
  3. 의무적 ML-BOM 생성: 출처와 훈련 계보를 문서화한 대응 자재명세서 없이 어떤 모델도 배포되어서는 안 된다.8

복원력을 위한 딥 엔지니어링

거버넌스를 넘어, AI 애플리케이션 엔지니어링은 "편의 우선"에서 "보안 우선"으로 전환해야 한다.33

  • 가중치 전용 로딩: Pickle 같은 실행 가능 직렬화 형식을 명시적으로 비활성화하고 SafeTensors 및 기타 비실행 형식을 우선.16
  • 격리된 추론 런너: 모델 런너를 최소 네트워크 접근과 엄격한 이그레스 통제를 가진 비특권·컨테이너화 구성 요소처럼 취급.8
  • 기계론적 해석가능성: 배포 전에 잠재 "슬리퍼" 특징이나 백도어 트리거를 식별하기 위해 모델 가중치를 감사할 수 있는 기법에 투자.7

2024년 초의 사고들은 AI 공급망이 사이버보안의 새로운 최전선임을 입증했다.30 포이즈닝·회피·가중치 조작의 고유 위험을 고려하지 않고 AI를 소프트웨어 개발의 단순한 연장으로 계속 취급하는 조직은 파국적 실패에 스스로를 노출한다.23 여기에 제시된 딥 AI 엔지니어링 원칙을 채택하면, 엔터프라이즈는 "운에 맡긴 운영"에서 검증 가능하고 하드웨어로 뒷받침되는 복원력 태세로 이동할 수 있다.8 목표는 AI 배포를 "지루하게" 만드는 것—기업의 미션에서 예측 가능하고 감사 가능하며 안전한 구성 요소로 만드는 것이다.8

AI 보안과 소프트웨어 공급망 보안의 수렴

2024년 연구에서 드러난 최종적이고 결정적인 통찰: AI 보안과 소프트웨어 공급망 보안은 더 이상 별개의 문제가 아니다.29 AI 시스템은 진공에서 작동하지 않는다. 수년간 오픈소스 공급망 공격의 표적이 되어 온 바로 그 CI/CD 파이프라인과 레지스트리를 통해 구축·배포된다.30 모델이 안전하더라도 그것이 실행되는 Python 라이브러리가 침해되면 시스템은 침해된 것이다.8 훈련 파이프라인의 컨테이너 이미지가 오염되면 모델 가중치는 신뢰할 수 없게 된다.30

따라서 업계는 "통합 소프트웨어 공급망" 접근으로 이동해야 한다.11 이는 모델, 데이터셋, OSS 의존성, 인프라의 출처와 무결성이 모두 동시에 관리·검증되어야 함을 의미한다.8 "소프트웨어 자산"과 "AI 자산" 사이의 이분법은 공격자가 악용할 위험한 공백이다.29

생성형 AI가 개발 속도를 계속 가속화하면서, 전통적인 사람-개입(human-in-the-loop) 리뷰 프로세스는 붕괴하고 있다.30 대규모 AI 생성 코드 변경은 압박 속에서 리뷰하기 어려워, 핵심 보안 통제를 제거하는 "얕은 리뷰" 문화로 이어진다.30 이 환경에서 암호학적 서명과 ML-BOM에 뿌리를 둔 자동화된 결정론적 검증이 엔터프라이즈 무결성을 유지하는 유일한 실행 가능한 경로가 된다.8

여기에 제시된 백서는 단순한 기술 가이드를 넘어, 현대 CISO를 위한 전략적 당위성이다.10 Hugging Face에서 백도어가 심긴 모델의 발견은 고립된 사고가 아니라 시스템적 거버넌스 실패의 증상이다.2 이를 해결하려면 보안이 덧씌운 층이 아니라 모델 수명주기의 기초 요소가 되는 딥 AI 엔지니어링에 대한 약속이 필요하다.33 Veriprajna는 섀도우 AI의 취약성에서 안전한 딥 AI 스택의 복원력으로 조직을 이 전환을 통해 안내할 준비가 되어 있다.8

참고문헌

  1. Top JFrog Security Research Discoveries of 2024, 2026년 2월 9일 접속, https://jfrog.com/blog/top-jfrog-security-research-discoveries-of-2024/
  2. Hugging Face AI Riddled With 100 Malicious Code-Execution Models - Dark Reading, 2026년 2월 9일 접속, https://www.darkreading.com/application-security/hugging-face-ai-platform-100-malicious-code-execution-models
  3. Modeling Attacks on AI-Powered Apps with the AI Kill Chain ..., 2026년 2월 9일 접속, https://developer.nvidia.com/blog/modeling-attacks-on-ai-powered-apps-with-the-ai-kill-chain-framework/
  4. AI Model Poisoning in 2026: How It Works and the First Line Defense Your Business Needs - The LastPass Blog, 2026년 2월 9일 접속, https://blog.lastpass.com/posts/model-poisoning
  5. Enterprise AI Risk: Security, Providers, and Regulation - George Mudie, 2026년 2월 9일 접속, https://georgemudie.com/blog/enterprise-ai-part2-risk-security
  6. Securing the AI Supply Chain: A Framework for AI Software Bills of Materials and Model Provenance Assurance - Scholar Publishing, 2026년 2월 9일 접속, https://www.journals.scholarpublishing.org/index.php/TMLAI/article/download/19884/11811/28416
  7. Same same but also different: Google guidance on AI supply chain security, 2026년 2월 9일 접속, https://cloud.google.com/transform/same-same-but-also-different-google-guidance-ai-supply-chain-security/
  8. Securing The AI/LLM Supply Chain - AppSecEngineer, 2026년 2월 9일 접속, https://www.appsecengineer.com/blog/securing-the-ai-llm-supply-chain
  9. Shadow AI: Risks, Challenges, and Solutions in 2026 - Invicti, 2026년 2월 9일 접속, https://www.invicti.com/blog/web-security/shadow-ai-risks-challenges-solutions-for
  10. What Is Shadow AI? Definition | Proofpoint US, 2026년 2월 9일 접속, https://www.proofpoint.com/us/threat-reference/shadow-ai
  11. JFrog Exposes Enterprise AI Blind Spots, Driving Centralized Software Supply Chain Governance, 2026년 2월 9일 접속, https://investors.jfrog.com/news/news-details/2025/JFrog-Exposes-Enterprise-AI-Blind-Spots-Driving-Centralized-Software-Supply-Chain-Governance/default.aspx
  12. AI 100-2 E2025, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations - NIST CSRC, 2026년 2월 9일 접속, https://csrc.nist.gov/pubs/ai/100/2/e2025/final
  13. 2025 AI Security Gap: 83% of Organizations Flying Blind - Kiteworks, 2026년 2월 9일 접속, https://www.kiteworks.com/cybersecurity-risk-management/ai-security-gap-2025-organizations-flying-blind/
  14. New Study Reveals Major Gap Between Enterprise AI Adoption and Security Readiness, 2026년 2월 9일 접속, https://www.prnewswire.com/news-releases/new-study-reveals-major-gap-between-enterprise-ai-adoption-and-security-readiness-302469214.html
  15. JFrog and Hugging Face Team to Improve Machine Learning Security and Transparency for Developers, 2026년 2월 9일 접속, https://investors.jfrog.com/news/news-details/2025/JFrog-and-Hugging-Face-Team-to-Improve-Machine-Learning-Security-and-Transparency-for-Developers/default.aspx
  16. Pickle Scanning - Hugging Face, 2026년 2월 9일 접속, https://huggingface.co/docs/hub/security-pickle
  17. Model Saving Formats 101: pickle vs safetensors vs GGUF — with conversion code & recipes | by Ankit Wahane | Medium, 2026년 2월 9일 접속, https://medium.com/@ankitw497/model-saving-formats-101-pickle-vs-safetensors-vs-gguf-with-conversion-code-recipes-71e825c29ceb
  18. PyTorch Users at Risk: Unveiling 3 Zero-Day PickleScan Vulnerabilities - JFrog, 2026년 2월 9일 접속, https://jfrog.com/blog/unveiling-3-zero-day-vulnerabilities-in-picklescan/
  19. PickleBall: Secure Deserialization of Pickle-based Machine Learning Models - Brown Computer Science, 2026년 2월 9일 접속, https://cs.brown.edu/~vpk/papers/pickleball.ccs25.pdf
  20. Remote Code Execution With Modern AI/ML Formats and Libraries, 2026년 2월 9일 접속, https://unit42.paloaltonetworks.com/rce-vulnerabilities-in-ai-python-libraries/
  21. JFrog and Hugging Face Join Forces to Expose Malicious ML Models, 2026년 2월 9일 접속, https://jfrog.com/blog/jfrog-and-hugging-face-join-forces/
  22. LLM Backdoors at the Inference Level: The Threat of Poisoned Templates - Pillar Security, 2026년 2월 9일 접속, https://www.pillar.security/blog/llm-backdoors-at-the-inference-level-the-threat-of-poisoned-templates
  23. Four Pillars AI Security Enterprise Implementation | by Tahir - Medium, 2026년 2월 9일 접속, https://medium.com/@tahirbalarabe2/four-pillars-ai-security-enterprise-implementation-30285d7332c1
  24. LLM04:2025 Data and Model Poisoning - OWASP Gen AI Security Project, 2026년 2월 9일 접속, https://genai.owasp.org/llmrisk/llm042025-data-and-model-poisoning/
  25. Understanding LLM Poisoning | DigitalOcean, 2026년 2월 9일 접속, https://www.digitalocean.com/community/tutorials/understanding-llm-poisoning
  26. Adversarial Machine Learning: A Taxonomy and Terminology of ..., 2026년 2월 9일 접속, https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-2e2025.pdf
  27. What is Shadow AI? Risks, Examples, and Governance - Securiti, 2026년 2월 9일 접속, https://securiti.ai/what-is-shadow-ai/
  28. Shadow AI Risks and Organization Examples - zenarmor.com, 2026년 2월 9일 접속, https://www.zenarmor.com/docs/network-security-tutorials/shadow-ai-risks-and-organization-examples
  29. Securing the intersection of AI models and software supply chains - Cloudsmith, 2026년 2월 9일 접속, https://cloudsmith.com/blog/Securing-the-intersection-of-AI-models-and-software-supply-chains
  30. AI Security and the Expanding Software Supply Chain Attack Surface - Xygeni, 2026년 2월 9일 접속, https://xygeni.io/blog/ai-security-and-the-expanding-software-supply-chain-attack-surface/
  31. Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations - NIST Technical Series Publications, 2026년 2월 9일 접속, https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-2e2023.ipd.pdf
  32. Small Models, Big Problems: Why Your AI Agents Might Be Sitting Ducks - Enkrypt AI, 2026년 2월 9일 접속, https://www.enkryptai.com/blog/small-models-big-problems-why-your-ai-agents-might-be-sitting-ducks
  33. AI Model Security: What It Is and How to Implement It - Palo Alto Networks, 2026년 2월 9일 접속, https://www.paloaltonetworks.com/cyberpedia/what-is-ai-model-security
  34. How to Secure AI Infrastructure: A Secure by Design Guide - Palo Alto Networks, 2026년 2월 9일 접속, https://www.paloaltonetworks.com/cyberpedia/ai-infrastructure-security
  35. What Is an AI-BOM (AI Bill of Materials)? & How to Build It - Palo Alto Networks, 2026년 2월 9일 접속, https://www.paloaltonetworks.com/cyberpedia/what-is-an-ai-bom
  36. Machine Learning Bill of Materials (ML-BOM) - CycloneDX, 2026년 2월 9일 접속, https://cyclonedx.org/capabilities/mlbom/
  37. Building an Open AIBOM Standard in the Wild - arXiv, 2026년 2월 9일 접속, https://arxiv.org/html/2510.07070v1
  38. How CycloneDX v1.5 Increases Trust and Transparency in More Industries, 2026년 2월 9일 접속, https://owasp.org/blog/2023/06/23/CycloneDX-v1.5
  39. Open Source AI Supply Chain Security: Protecting Against Model Poisoning - VerityAI, 2026년 2월 9일 접속, https://verityai.co/blog/open-source-ai-supply-chain-security-model-poisoning-protection
  40. Joint Cybersecurity Information AI Data Security, 2026년 2월 9일 접속, https://media.defense.gov/2025/May/22/2003720601/-1/-1/0/CSI_AI_DATA_SECURITY.PDF
  41. Building Trust in AI Supply Chains: Why Model Signing Is Critical for ..., 2026년 2월 9일 접속, https://www.coalitionforsecureai.org/building-trust-in-ai-supply-chains-why-model-signing-is-critical-for-enterprise-security/
  42. M3AAWG AI Model Lifecycle Security Best Common Practices, 2026년 2월 9일 접속, https://www.m3aawg.org/AIModelLifecycleSecurityBCP
  43. A Playbook for Securing AI Model Weights - RAND, 2026년 2월 9일 접속, https://www.rand.org/pubs/research_briefs/RBA2849-1.html
  44. Enhancing AI inference security with confidential computing: A path to private data inference with proprietary LLMs - Red Hat Emerging Technologies, 2026년 2월 9일 접속, https://next.redhat.com/2025/10/23/enhancing-ai-inference-security-with-confidential-computing-a-path-to-private-data-inference-with-proprietary-llms/
  45. Sentry: Authenticating Machine Learning Artifacts on the Fly - arXiv, 2026년 2월 9일 접속, https://arxiv.org/html/2510.00554v1
  46. Trustway Proteccio NetHSM - Hardware Security Module - Eviden, 2026년 2월 9일 접속, https://eviden.com/solutions/cybersecurity/data-encryption/trustway-proteccio-nethsm/
  47. Navigating secure AI deployment: Architecture for enhancing AI system security and safety, 2026년 2월 9일 접속, https://www.redhat.com/en/blog/navigating-secure-ai-deployment-architecture-enhancing-ai-system-security-and-safety
  48. What is automated code scanning? - Sonar, 2026년 2월 9일 접속, https://www.sonarsource.com/resources/library/automated-code-scanning/
  49. A DevSecOps Guide to Scanning AI-Generated Code for Hidden Flaws - Bright Security, 2026년 2월 9일 접속, https://brightsec.com/a-devsecops-guide-to-scanning-ai-generated-code-for-hidden-flaws/
  50. Introducing Apiiro AI-SAST: Static Scanning Reimagined – From Code to Runtime, 2026년 2월 9일 접속, https://apiiro.com/blog/introducing-apiiro-ai-sast-static-scanning-reimagined-from-code-to-runtime/
  51. Mastering secure AI on Google Cloud: A practical guide for enterprises, 2026년 2월 9일 접속, https://cloud.google.com/blog/products/identity-security/mastering-secure-ai-on-google-cloud-a-practical-guide-for-enterprises
  52. What Is Confidential AI? - Phala Network, 2026년 2월 9일 접속, https://phala.com/learn/What-Is-Confidential-AI
  53. Confidential Computing: Powering the Next Generation of Trusted AI - Intel, 2026년 2월 9일 접속, https://cdrdv2-public.intel.com/861663/confidential-computing-ai-whitepaper.pdf
  54. AI Security with Confidential Computing - NVIDIA, 2026년 2월 9일 접속, https://www.nvidia.com/en-us/data-center/solutions/confidential-computing/
  55. Evaluating the Performance of the DeepSeek Model in Confidential Computing Environment, 2026년 2월 9일 접속, https://arxiv.org/html/2502.11347v1
  56. How to Secure AI and Model Data with Storage Infrastructure, 2026년 2월 9일 접속, https://blog.purestorage.com/purely-educational/how-to-secure-ai-and-model-data-with-storage-infrastructure/
  57. AI & LLM Security Collection - AppSecEngineer, 2026년 2월 9일 접속, https://www.appsecengineer.com/enterprises/ai-llm-security-collection

시각적이고 인터랙티브한 경험을 원하시나요?

이 백서의 핵심 결과, 통계, 아키텍처를 탐색 가능한 섹션과 데이터 시각화가 포함된 인터랙티브 형식으로 살펴보세요.

인터랙티브 버전 보기
자주 묻는 질문

자주 묻는 질문

Hugging Face에서 100개 이상의 악성 모델이 어떻게 무기화되었으며 공격 메커니즘은 무엇이었는가?

JFrog 연구진은 2024년 2월 Hugging Face에서 약 100개의 악성 모델을 발견했으며, Python의 pickle 직렬화 형식을 이용해 임의 코드를 주입했다. pickle 모듈은 언피클링 중 os.system()과 subprocess.run() 같은 함수를 실행할 수 있는 스택 기반 가상 머신을 구현한다. 'baller423'이 업로드한 모델은 __reduce__ 메서드를 조작하여 torch.load()와 같은 표준 명령으로 로드될 때 Kreonet IP로의 리버스 셸을 수립했다. 페이로드는 지속적 원격 접근을 부여하도록 설계되어, 공격자가 내부 네트워크를 횡단하고 훈련 데이터셋을 오염시킬 수 있게 했다.

기존 AI 모델 스캐너는 왜 실패하며 PickleScan 제로데이 취약점은 무엇인가?

널리 쓰이는 업계 표준 스캐닝 도구 PickleScan에서 CVE-2025-10155를 포함한 세 건의 제로데이 취약점이 발견되었다. 공격자는 파일 확장자를 조작하거나 ZIP 아카이브 불일치를 악용해 손상된 모델을 안전한 것처럼 보이게 해 탐지를 우회한다. 스캐너는 난독화로 쉽게 우회되는 함수 블랙리스트 방식으로 동작한다. 더 결정적으로, 현재 스캐너 알림의 96% 이상이 오탐이어서 팀이 경고를 무시하는 보안 둔감화를 만들고 진짜 악성 모델의 침투를 허용한다. 또한 GGUF 파일은 추론 중 실행되는 악성 Jinja 템플릿을 품어 정적 스캐너를 완전히 우회할 수 있다.

섀도우 AI란 무엇이며 SafeTensors 우선 거버넌스는 모델 공급망 위험을 어떻게 해결하는가?

섀도우 AI는 개발자와 사업 단위가 관료적 병목으로 인식되는 절차를 우회하기 위해 Hugging Face 같은 공개 저장소에서 검증되지 않은 모델을 가져와, 부지중에 프로덕션 환경에 지속적 백도어를 도입할 때 발생한다. SafeTensors 우선 거버넌스는 모든 모델 배포가 SafeTensors 형식을 사용하도록 의무화한다. 이 형식은 설계상 코드 실행 능력이 없고 JSON 메타데이터와 함께 텐서 데이터만 저장하는 순수 데이터 중심이다. 이로써 직렬화 공격면을 완전히 제거하고, 적대적 머신러닝 방어에 관한 NIST AI 100-2 지침에 정렬된 자동 서명 검증과 출처 추적을 가능하게 한다.

소셜

다른 채널에도 게시됨

LinkedIn · 회사LinkedIn · 창립자YouTubeMediumDev.toSubstackInstagramFacebookX

확신을 가지고 AI를 구축하세요.

차세대 엔터프라이즈 AI 구축에 깊은 경험을 갖춘 팀과 협업하세요. 신뢰할 수 있는 AI 전략을 설계하고 구축하며 배포할 수 있도록 지원해 드리겠습니다.

WhatsApp으로 연결하기팀에 이메일 보내기

Veriprajna 딥테크 컨설팅 은(는) 헬스케어, 금융, 규제 분야를 위한 안전 필수 AI 시스템 구축을 전문으로 합니다. 당사의 아키텍처는 확립된 프로토콜에 따라 검증되며 포괄적인 규정 준수 문서를 갖추고 있습니다.

WhatsApp
즉시 채팅
상담 예약
Calendly로 예약
이메일
[email protected]