알고리즘 무결성의 위기: 생체인식 책임 시대의 회복력 있는 AI 시스템 설계

글로벌 상거래에서 인공지능의 급속한 제도화는 새로운 실험 단계에서 미션 크리티컬한 의존 단계로 전환되었습니다. 그러나 조직이 자율적 의사결정 시스템을 운영 핵심에 점점 더 통합하면서, AI의 이론적 역량과 실제 성능 사이에 확대되는 "신뢰성 격차"가 나타났습니다. Veriprajna의 전문 엔지니어링 및 리스크 자문 팀이 작성한 본 백서는 "취약한(brittle)" AI 아키텍처의 시스템적 실패를 두 가지 결정적 사건을 통해 검토합니다. 연방거래위원회(FTC)의 Rite Aid 안면인식 시스템 5년 사용 금지 조치, 그리고 Harvey Murphy의 참담한 오인식 사건입니다. 이들 사례는 시급한 현실을 드러냅니다. 서드파티 API 위에 얇은 인터페이스 계층을 올리는 형태의 일반적인 AI 배포 "래퍼" 모델은 고위험 엔터프라이즈 환경에 근본적으로 부적합합니다. 진정한 운영 회복력에는 불확실성 정량화, 멀티에이전트 거버넌스, 엄격한 생체인식 엔지니어링을 특징으로 하는 딥 AI 솔루션이 필요합니다.

제도적 과실의 해부: Rite Aid 행정 금지 조치

2023년 12월, 연방거래위원회(FTC)는 Rite Aid Corporation이 보안 및 감시 목적으로 안면인식 기술(FRT)을 사용하는 것을 5년간 금지하는 전례 없는 조치를 취했습니다.¹ 이 집행 조치는 단순한 개별 기술 오류에 대한 대응이 아니라, 자동화된 생체인식 시스템 배포에서 합리적 안전장치를 구현하지 못한 10년에 걸친 실패에 대한 시스템적 비판이었습니다. 2012년부터 2020년까지 Rite Aid는 절도 억제와 "관심 인물" 식별을 목적으로 수백 개 소매 매장에 인공지능 기반 감시를 배포했습니다.² 그 결과로 나타난 실패는 AI를 복잡한 엔지니어링 규율이 아닌 "플러그 앤 플레이" 유틸리티로 취급하는 기업에 대한 명백한 경고입니다.

조달 함정과 벤더 의존성

Rite Aid 배포의 근본적 오류는 조달 및 통합 전략에 뿌리를 두고 있었습니다. 이 기업은 결과의 정확성이나 신뢰성에 대한 일체의 보증을 계약상 명시적으로 배제한 두 곳의 서드파티 벤더로부터 안면인식 역량을 확보했습니다.³ 이는 "래퍼" 의존 모델의 전형입니다. 구현 조직이 이해하지도 통제하지도 못하는 시스템의 산출물에 대해 전적인 책임을 지게 됩니다.⁴

Rite Aid는 엄격한 제품 안전성 심사를 수행하지 않았고, 벤더가 기술의 정확성을 어느 정도까지 테스트했는지 문의하지도 않았습니다.² 이러한 내부 검증의 부재는 소매업체가 배포 중인 소프트웨어의 고유 편향과 오류율을 파악하지 못하는 "블랙박스" 환경을 만들었습니다. 나아가 회사는 이미지 품질 통제를 구현하지 않아, CCTV 카메라의 저품질 정지 화면과 심지어 휴대폰 사진까지 등록 이미지로 사용되도록 방치했습니다.³ 생체인식 엔지니어링에서 입력 품질과 출력 신뢰성 간의 관계는 비선형적입니다. 열화된 이미지를 사용하면 오탐(false-positive) 매칭 확률이 기하급수적으로 증가합니다.⁶

Rite Aid 시스템적 실패 지점	운영상의 결과
벤더 보증 면책	모든 기술적·법적 리스크를 소매업체로 전가.3
정확성 테스트 부재	고트래픽 환경에 미보정 모델 배포.2
열화된 입력 품질	CCTV 정지 화면으로 인한 높은 오탐 식별률(FPIR).3
모니터링 부재	개입 없이 편향된 모델을 지속적으로 사용.2
경영진 감독 공백	2010년 데이터 보안 명령 위반.1

인구통계적 격차와 알고리즘 편향

Rite Aid의 모니터링되지 않은 시스템의 통계적 결과는 심각한 인구통계적 편향을 드러냈습니다. FTC 고소장에 따르면 이 기술은 수천 건의 오탐 매치를 생성했으며, 여성과 유색인종에게 불균형적으로 영향을 미쳤습니다.² 구체적으로 FRT는 백인이 다수인 커뮤니티의 매장보다 흑인과 아시안이 다수인 커뮤니티의 매장에서 오탐 경보를 훨씬 더 자주 발생시키는 경향이 있었습니다.²

이 편향은 이상 현상이 아니라, 비대표적 데이터셋으로 학습된 기성(off-the-shelf) 모델을 사용한 직접적 결과였습니다.⁸ 고위험 배포에 Veriprajna가 권고하는 맞춤형 적대적 디바이싱이나 다중 척도 특징 융합 없이는, 모델이 학습 가중치에 내재된 편향으로 기본 설정됩니다.⁸ 현실의 결과는 일련의 인권 침해였습니다. 매장 직원들은 신뢰도가 낮은 자동 경보에 따라 무고한 고객을 미행하고, 수색하며, 공개적으로 절도 혐의를 씌웠습니다.² 일부 사례에서는 시스템이 수천 마일 떨어진 곳의 활동을 근거로 등록된 "관심 인물"과 개인을 매칭하거나, 동일인을 전국 수십 개 서로 다른 매장에서 동시에 플래그했습니다.²

모델 몰수(Model Disgorgement) 원칙

FTC 합의는 중요한 새로운 규제 도구인 모델 몰수를 도입합니다. Rite Aid는 기술 사용을 중단하는 데 그치지 않고, 모든 "부당취득" 생체인식 데이터를 삭제하고 그 정보에서 도출된 AI 모델이나 알고리즘을 파기해야 합니다.³ 모델을 "언러닝"하라는 이 명령은 막대한 운영 손실을 의미하며, 비준수 데이터 기반 위에 엔터프라이즈 역량을 구축하는 위험을 부각합니다.¹¹ 오늘날 AI를 배포하는 모든 조직은 특정 데이터 영향을 외과적으로 제거할 수 있는 아키텍처를 확보해야 하며, 이는 대부분의 단순 래퍼가 갖추지 못한 역량입니다.¹²

오인식의 책임: Harvey Murphy 사건

Rite Aid 사례가 시스템적 규제 실패를 보여준다면, Harvey Eugene Murphy Jr.와 관련된 2024년 1월 소송은 알고리즘 오류가 초래하는 참담한 개인적·민사적 책임을 보여줍니다. 61세 할아버지인 Murphy는 Macy's와 Sunglass Hut 시스템의 결함 있는 AI 안면인식 매치만을 근거로, 자신이 저지르지 않은 강도 혐의로 잘못 체포되어 10일간 구금되었습니다.¹³

크로스 엔터프라이즈 AI 협업의 실패

사건은 2022년 1월 휴스턴 지역 Sunglass Hut에서의 강도 사건으로 시작되었습니다. Sunglass Hut의 모회사 EssilorLuxottica는 소매 파트너인 Macy's와 협력하여, 범죄의 저품질 감시 영상에 Macy's 안면인식 도구를 적용했습니다.¹⁵ 시스템은 Murphy를 가해자로 식별했고, 이 "양성" 식별 결과가 결정적 증거로 경찰에 전달되었습니다.¹³

여기서의 기술적 실패는 다면적이었습니다. 첫째, 소프트웨어가 생체인식 매칭에 본질적으로 부적합한 영상에 사용되었습니다.¹⁴ 둘째, 시스템은 수십 년 전 비폭력 범죄의 Murphy 부킹 사진이 포함된 데이터베이스와 감시 영상을 매칭했을 가능성이 큽니다.¹³ 이는 "연령 격차" 문제를 도입했습니다. 연구에 따르면 현재 이미지를 수년 또는 수십 년 전 사진과 매칭하면 오탐률이 최대 90%에 이를 수 있습니다.¹⁴

사건 매개변수: Harvey Murphy 사례	세부 사항
주요 청구	불법 체포 및 인적 피해에 대한 $10 million 손해배상.13
핵심 기술적 실패	오류가 많은 안면인식 소프트웨어를 통한 오인식.14
입력 품질	저해상도·입자성 감시 영상.15
알리바이	텍사스 강도 당시 캘리포니아 거주 증명.13
인적 결과	부당 구금 중 잔혹한 성폭행과 신체 상해.13

반사적 신뢰와 "블랙박스" 오류 논리

Murphy 사건은 AI에 대한 "반사적 신뢰"의 위험을 부각합니다. 소송은 Sunglass Hut과 Macy's가 자동 매치를 검증된 사실처럼 제시하여 법 집행 기관을 오도했다고 주장합니다.¹⁵ 이로 인해 경찰은 수사를 중단하고 오염된 식별 절차에 의존하게 되었습니다.¹⁶ 기계 산출물이 인간의 알리바이보다 더 큰 권위를 갖는 이 현상은 AI로 유발된 시민권 침해에서 반복되는 주제입니다.¹⁶ Murphy는 검찰청이 휴스턴 강도 당일 그가 캘리포니아 새크라멘토에 있었음을 확인한 뒤에야 결국 무고가 입증되었습니다.¹³ 그러나 실수가 정정될 무렵 Murphy는 교도소에서 성폭행을 당하고 폭행을 당해 평생의 부상을 남겼습니다.¹³

기업에게 Murphy 사건은 AI 실패의 책임이 디지털 영역을 훨씬 넘어선다는 냉엄한 경고입니다. 안면인식 소프트웨어의 "과실 사용"은 수백만 달러 규모의 소송과 영구적인 평판 손상으로 이어질 수 있습니다.¹⁴ 모든 자동화된 신호가, 특히 개인의 자유가 걸려 있을 때, 엄격한 휴먼인더루프(HITL) 검증을 거치도록 보장하는 것은 AI 컨설턴트와 구현 조직의 책임입니다.¹⁸

아키텍처 분기: 딥 AI 대 API 래퍼

위에서 기술한 실패들은 AI 산업의 더 넓은 추세, 즉 "AI 래퍼"의 확산을 증상적으로 보여줍니다. 래퍼는 본질적으로 OpenAI, Anthropic 또는 전문 생체인식 벤더가 제공하는 것과 같은 서드파티 모델 위에 올라가는 브랜드 대시보드로, API를 통해 사용자 데이터를 전송하고 원시 출력을 반환합니다.⁴ Veriprajna가 스스로를 "딥 AI" 솔루션 제공자로 포지셔닝하는 이유는, 래퍼 모델이 엔터프라이즈급 애플리케이션에 근본적으로 너무 취약하기 때문입니다.

래퍼 모델의 취약성

래퍼는 비대칭적인 비즈니스·기술 모델로 고통받습니다. 사용량과 유통에서는 이득을 취하지만 기반 인프라에 대한 통제력은 없습니다.⁴ 이는 여러 중대한 리스크로 이어집니다.

1.​ 벤더 종속성 및 장애: 래퍼 플랫폼은 업스트림 제공자의 가동률과 가격에 전적으로 의존합니다. VAPI나 Retell 같은 벤더에 장애가 발생하면 해당 래퍼를 사용하는 모든 에이전시가 동시에 중단됩니다.⁵

2.​ 감사 가능성 공백: 기업이 서드파티 "블랙박스" 모델에 의존하면 결과가 어떻게 생성되었는지 설명하거나 감사할 수 없습니다. 이는 컴플라이언스 감사나 법적 분쟁에서 중대한 책임이 됩니다.¹²

3.​ 거버넌스 결핍: 단순 래퍼는 작업 순서나 권한을 강제할 구조가 없습니다. 종종 모든 규칙과 문서를 단일 프롬프트에 밀어 넣는 "메가 프롬프트"에 의존하며 모델이 올바르게 수행하기를 기대합니다.²⁰

4.​ 보안 및 데이터 유출: 래퍼는 민감한 고객 데이터를 서드파티 모델의 학습 파이프라인에 의도치 않게 유입시켜 기밀성을 침해하고 GDPR이나 HIPAA 같은 법률을 위반할 수 있습니다.¹²

딥 AI: 멀티에이전트 시스템(MAS) 철학

"한 부품이 모든 일을 한다"는 래퍼 접근과 달리, 딥 AI 솔루션은 멀티에이전트 시스템(MAS)을 활용합니다. 이 아키텍처는 LLM 또는 생체인식 모델을 정의된 책임을 가진 전문 에이전트 팀 내의 단일 구성요소로 취급합니다.²⁰

에이전트 유형	전략적 기능
계획 에이전트	워크플로를 결정하고 모든 컴플라이언스 단계가 충족되도록 보장.20
워크플로 에이전트	올바른 작업 순서를 강제(예: 동의 → 검증 → 조치).20
컴플라이언스 에이전트	톤, 정책 드리프트, 탈옥(jailbreak) 노출에 대해 출력을 모니터링.20
응답 에이전트	검증된 RAG 파이프라인에서 정보를 가져와 사용자와 상호작용.20
불확실성 에이전트	실행 전 모델 출력의 신뢰도를 정량화.21

MAS 아키텍처는 고위험 환경에 필요한 결정적 가드레일을 제공합니다. 하나의 모델에 "좀도둑을 식별하고 보안팀에 통보하라"고 요청하는 대신, 시스템은 전문 에이전트 체인을 사용합니다. 한 에이전트는 이미지 품질을 검증하고, 다른 에이전트는 1:N 매칭을 수행하며, 세 번째는 해당 매치의 불확실성을 평가하고, 네 번째는 임계값이 충족되지 않으면 인간 검토를 위해 사례를 플래그합니다.²⁰

불확실성의 과학: 점 추정에서 확률적 리스크로

Rite Aid와 Macy's 사례 모두의 핵심 실패는 AI 출력을 이분법적 진리로 취급한 것이었습니다. 실제로 모든 AI 출력은 확률적 추정입니다. 딥 AI 솔루션은 단순 정확도 점수를 넘어 견고한 불확실성 정량화(UQ)를 구현합니다.²¹

우연적 불확실성 대 인식적 불확실성

AI 시스템의 불확실성은 크게 두 유형으로 분류되며, 시스템이 "안전"하다고 간주되려면 둘 다 다루어져야 합니다.

1.​ 우연적(Aleatoric) 불확실성: 데이터의 내재적 무작위성이나 노이즈에서 발생합니다(예: 센서 오류, 모션 블러, 소매점의 열악한 조명). 이 유형의 불확실성은 일반적으로 환원 불가능합니다. 데이터가 누락된 이미지는 아무리 학습해도 고칠 수 없습니다.²⁴

2.​ 인식적(Epistemic) 불확실성: 모델의 한계나 특정 시나리오에 대한 지식 부족에서 비롯됩니다(예: 이전에 보지 못한 인구통계 집단, 또는 노화된 얼굴). 이는 더 대표성 있는 학습 데이터를 제공함으로써 줄일 수 있습니다.²⁴

취약한 시스템은 이 둘을 구분하지 못합니다. 취약한 시스템의 높은 신뢰도 점수는 모델이 추측에 대해 "과신"하고 있음을 의미할 수 있습니다. 딥 AI 시스템은 베이지안 신경망이나 Monte Carlo Dropout 같은 기법을 사용해 단일 점 추정이 아닌 확률 분포를 생성합니다.²⁵

신뢰성을 위한 수학적 프레임워크

Veriprajna는 컨포멀 예측(Conformal Prediction)의 사용을 권고합니다. 이는 사용자가 설정한 유의수준에서 AI 예측의 불확실성이 보장된 범위 안에 들어가도록 하는 보정 단계입니다.²¹ 이를 통해 의사결정자는 조치를 취하기 전에 예측의 신뢰성을 이해할 수 있습니다. 예를 들어 시스템이 매치 점수 0.85로 사람을 식별하더라도, UQ 계층은 "불확실성 분포"가 넓다는 사실을 드러낼 수 있으며, 이는 낮은 이미지 품질로 인해 0.85가 통계적으로 신뢰할 수 없음을 의미합니다.²¹

이 공식은 참값이 예측 집합 안에 적어도 의 확률로 포함된다는 보장을 나타내며, 여기서 는 사용자가 정의한 오류율입니다. 이러한 수준의 수학적 엄밀성을 구현하는 것이 엔터프라이즈급 솔루션을 단순 API 래퍼와 구분합니다.²¹

기술 패러다임: 개방형 집합 대 폐쇄형 집합 식별

생체인식 엔지니어링의 또 다른 핵심 구분은 폐쇄형 집합(closed-set)과 개방형 집합(open-set) 인식의 차이입니다. 대부분의 상용 "기성" 시스템은 폐쇄형 집합 문제에 최적화되어 있습니다. 즉, 스캔되는 사람이 데이터베이스에 반드시 있다고 가정하는 상황(예: 휴대폰 잠금 해제)입니다.²⁷

소매 "감시 목록" 과제

소매 보안에서 문제는 거의 항상 "개방형 집합"입니다. 매장에 들어오는 대다수의 사람은 "비매칭(non-mated)" 대상입니다. 즉 범죄자 데이터베이스에 없습니다.²⁷ 폐쇄형 집합 모델은 모든 사람에 대해 필연적으로 "최적 매치"를 찾으려 하며, 이는 Rite Aid에서 나타난 수천 건의 오탐으로 이어집니다.²⁷

딥 AI 솔루션은 개방형 집합 성능을 최적화하기 위해 식별-탐지 손실과 같은 특화 손실 함수를 활용합니다. 이들 모델은 매치를 식별할 뿐 아니라 갤러리에 없는 개인을 정확히 "거부"하도록 학습됩니다.²⁷

인식 프로토콜	가정	주요 지표
폐쇄형 집합	모든 프로브 대상이 갤러리에 있음.27	Rank-1 정확도.30
개방형 집합	대부분의 프로브 대상이 미지/비매칭.27	특정 FPIR에서의 FNIR.27

설계상 개방형 집합인 Extreme Value Machine(EVM) 확률의 사용은 "미지의 미지"—시스템이 한 번도 본 적 없고 경보를 유발해서는 안 되는 개인—를 더 잘 거부할 수 있게 합니다.²⁹

신뢰를 위한 벤치마킹: NIST와 FRVT의 역할

Harvey Murphy 체포로 이어진 "반사적 신뢰"를 막으려면, 기업은 표준화된 벤치마크에 의존해야 합니다. 미국국립표준기술연구소(NIST) Face Recognition Vendor Test(FRVT)는 안면인식 알고리즘의 성능, 정확도, 편향을 평가하는 글로벌 골드 스탠더드입니다.⁷

NIST 지표 해석

NIST FRVT 평가는 벤더에 대한 상세한 "성적표"를 제공하며, 다양한 데이터셋에 걸쳐 성능을 측정합니다.

●​ 1:1 검증: 프로브 이미지를 단일 갤러리 이미지와 매칭(예: 국경 통제).⁷

●​ 1:N 식별: 프로브를 대규모 데이터베이스에 대해 검색(예: 소매 감시 목록).³¹

●​ 머그샷 및 국경 데이터셋: 품질과 통제 수준이 다양한 이미지에서의 성능 평가.⁷

NIST는 고정된 오매칭률(FMR)에서 비매칭 오류율(FNMR)을 구체적으로 측정합니다. 고보안 애플리케이션에서 FMR은 종종 매우 낮은 임계값(예: )으로 설정되며, 이는 실수 확률이 100만 분의 1 미만일 때만 시스템이 매치를 선언함을 의미합니다.⁷ Rite Aid의 실패는 NIST 표준화 벤치마크에 따라 이러한 임계값을 설정하고 모니터링하지 못한 실패로 볼 수 있습니다.²

인구통계적 성능 지표

결정적으로 NIST FRVT는 인구통계적 성능 지표를 포함하며, 알고리즘이 성별, 연령, 출신 국가에 걸쳐 얼마나 잘 수행하는지 보여줍니다.⁷ 이 데이터는 Rite Aid에 대한 FTC 금지로 이어진 종류의 인종 편향을 식별하는 데 필수적입니다. FRT를 배포하는 모든 기업은 벤더에게 자사 매장에 대표되는 인구통계에 걸쳐 공평한 성능을 보여주는 NIST 검증 성적표를 제공할 것을 요구해야 합니다.⁷

규제 슈퍼사이클: NIST AI RMF와 EU AI Act

규제되지 않는 AI의 시대는 끝나고 있습니다. 기업은 이제 투명성, 책임성, 리스크 관리를 의무화하는 "규제 슈퍼사이클"을 헤쳐 나가야 합니다.

NIST AI 리스크 관리 프레임워크(AI RMF)

NIST AI RMF는 AI 시스템의 견고성과 신뢰성을 개선하기 위해 설계된, 자발적이지만 영향력 있는 가이드입니다.³³ 네 가지 핵심 기능을 중심으로 구성됩니다.

1.​ Govern(거버넌스): 리스크 인식 문화와 명확한 거버넌스 구조를 배양.³⁴

2.​ Map(매핑): AI 시스템을 운영적·윤리적 차원 안에서 맥락화.³⁴

3.​ Measure(측정): 정성적·정량적 접근(예: 편향 탐지 및 성능 지표)을 통해 리스크를 정량화.³⁴

4.​ Manage(관리): 기술적 통제와 절차적 안전장치를 통해 식별된 리스크를 우선순위화하고 대응.³⁴

Rite Aid에 대한 FTC의 조치는 사실상 이들 원칙의 집행이었습니다. FRT의 리스크를 "측정"하거나 "관리"하지 않음으로써 Rite Aid는 FTC법 제5조의 "불공정" 조항을 위반했습니다.¹¹

EU AI Act: 구속력 있는 의무

NIST 프레임워크가 미국에서 자발적인 반면, 유럽연합의 AI Act는 리스크 수준에 따라 AI 시스템을 분류하는 구속력 있는 규제입니다.³³

●​ 고위험 시스템: 공공장소의 생체인식 식별 시스템은 자동으로 고위험으로 분류됩니다.³⁷

●​ 의무 사항: 고위험 시스템 제공자는 "적합성 평가"를 수행하고, "상세 기술 문서"를 유지하며, "효과적인 인간 감독"을 보장해야 합니다.³³

●​ 금지 AI: 인터넷에서 안면 이미지를 스크래핑하거나, 일반적인 법 집행을 위한 실시간 생체인식 식별 사용(제한적 예외 포함)과 같은 특정 관행은 전면 금지됩니다.⁴⁰

EU AI Act 컴플라이언스 기둥	기술 요건
데이터 거버넌스	학습 및 테스트 데이터셋은 대표성을 가지며 오류가 없어야 함.36
투명성	배포자는 AI와 상호작용하고 있음을 고지받아야 함.33
인간 감독	시스템은 수동 오버라이드와 개입을 허용해야 함.33
기록 유지	리스크를 식별하고 완화하기 위한 자동 이벤트 로깅.36

오늘날 NIST AI RMF를 사용하는 조직은 내일 EU AI Act를 준수하기에 더 유리한 위치에 있습니다. 투명성과 책임성이라는 동일한 기초 목표를 공유하기 때문입니다.³³

편향 완화: 공평한 결과를 위한 기술 전략

Rite Aid와 Murphy 사례에서 인용된 인종·성별 편향은 AI의 고유 속성이 아니라 엔지니어링의 실패입니다. 딥 AI 솔루션은 이러한 해를 완화하기 위해 여러 고급 기법을 사용합니다.

적대적 디바이싱과 공정성 제약

적대적 디바이싱은 두 개의 경쟁 네트워크를 사용합니다. 하나는 목표(예: 신원)를 예측하고, "적대자"는 첫 네트워크의 내부 표현으로부터 보호 속성(예: 인종 또는 성별)을 예측하려 합니다.¹⁰ 적대자가 성공하면 첫 네트워크가 패널티를 받습니다. 이는 모델이 과제에 정확하면서도 보호 속성에 "맹목"인 특징을 찾도록 강제합니다.¹⁰

또한 "공정성 제약"을 손실 함수에 통합하여 서로 다른 집단 간 오류율을 균등하게 유지할 수 있습니다.¹⁹ 예를 들어 시스템은 흑인 여성과 백인 남성에 대해 동일한 오매칭률을 유지하도록 수학적으로 강제될 수 있습니다.¹⁹

다중 척도 특징 융합과 공간 어텐션

생체인식 편향은 종종 열악한 조명이나 낮은 대비에서 발생하며, 이는 더 어두운 피부색에 불균형적으로 영향을 미칩니다.⁶ "다중 척도 특징 융합"은 더 많은 맥락 세부정보를 포착하기 위해 서로 다른 해상도에서 특징을 추출하고, "공간 어텐션" 메커니즘은 모델이 특정 생체인식 랜드마크(눈이나 코 등)에 집중하고 배경 노이즈를 무시하도록 돕습니다.⁸

라이브니스 및 스푸핑 탐지

견고한 생체인식 시스템은 실제 사람과 "제시 공격"(예: 사진이나 마스크)을 구분해야 합니다.⁷ NIST의 PAD(Presentation Attack Detection) 테스트가 이러한 역량을 벤치마킹합니다.⁷ 이러한 점검이 없으면 시스템은 편향될 뿐 아니라 불안전하며, 단순한 "무차별" 스푸핑에 취약합니다.⁶

안전의 운영화: 휴먼인더루프(HITL) 프레임워크

자율 시스템 실패에 대한 궁극적 안전장치는 인간 판단의 통합입니다. Veriprajna는 AI를 판정자가 아닌 보조자로 취급하는 "휴먼인더루프"(HITL) 프레임워크를 권고합니다.¹⁸

핵심 인간 검토 지점 식별

잘 설계된 HITL 시스템은 신뢰도 임계값을 사용해 인간 주의의 우선순위를 정합니다.²³

1.​ 자동 거부: 신뢰도가 70% 미만이면 매치를 즉시 폐기.

2.​ 인간 검토: 신뢰도가 70%와 95% 사이이면 시스템이 수동 검증을 위해 사례를 플래그.²³

3.​ 자동 승인: 신뢰도가 95%를 초과하고(그리고 과제가 저영향일 때만) 시스템이 자율적으로 조치.⁴²

효과적인 인간 검토 인터페이스 설계

소매 또는 보안 환경에서 인간 검토자는 원본 소스 데이터에 접근할 수 있어야 합니다. 효과적인 인터페이스는 원본 CCTV 이미지를 추출된 갤러리 이미지 옆에 표시하여, 검토자가 AI가 놓쳤을 수 있는 이상(불일치하는 귀 모양이나 특징적인 문신 등)을 발견할 수 있게 합니다.²³

HITL 구성요소	이점
신뢰도 임계값 설정	모호한 사례만 플래그하여 "경보 피로"를 방지.23
감사 추적	법적 방어를 위해 모든 인간 결정과 오버라이드를 로깅.18
지속적 피드백	인간 교정이 모델 재학습·개선을 위한 라벨로 사용됨.42
예외 핸드북	인간이 "엣지 케이스"에 어떻게 대응해야 하는지 표준화.23

Rite Aid 시스템 실패의 일부 원인은 "의미 있는 인간 검토"의 부재였습니다.² 직원들은 오탐 가능성에 대한 교육 없이 자동 경보에 따라 고객을 미행하고 대면하라는 지시를 받았습니다.² HITL 프레임워크는 직원이 AI에 의문을 제기할 권한을 부여하고, Harvey Murphy 체포로 이어진 종류의 "반사적 신뢰"를 방지합니다.¹⁶

경영 요약: AI 네이티브 기술 조직 구축

"AI 실험"에서 "AI 운영"으로의 전환에는 이사회 수준의 감독과 기업 전략의 근본적 전환이 필요합니다.⁴⁴ 조직이 기계가 자율적으로 사고하고 학습하는 "에이전틱 인력"으로 이동함에 따라, 최고위험책임자(CRO)와 최고정보책임자(CIO)의 역할이 중심이 됩니다.⁴⁶

파일럿 연옥을 넘어

많은 기업이 소규모 파일럿에서의 초기 성공이 파편화된 데이터와 레거시 시스템의 현실과 마주치면서 AI에서 정체됩니다.⁴⁴ AI 확장을 위해서는 다음이 필요합니다.

●​ 명확한 소유권: 기술 구현만이 아니라 AI 결과에 대한 책임 부여.⁴⁴

●​ 데이터 신뢰성: 데이터가 일관된 규칙 전반에 걸쳐 존재하고 높은 품질로 유지되도록 보장.⁴⁴

●​ 모듈형 아키텍처: "벤더 종속성"을 피하기 위해 모듈형 접근을 채택하여, 기업이 모델을 더 적은 마찰로 교체·업그레이드·통합할 수 있게 함.⁴⁷

딥 AI의 ROI

맞춤형 "딥 AI" 솔루션을 구축하는 것은 기성 래퍼를 구매하는 것보다 리소스 집약적이지만, 장기 ROI는 현저히 높습니다. AI IP를 소유한 조직은 반복 라이선스 수수료를 피하고, 데이터에 대한 완전한 통제를 유지하며, 특화 성능을 통해 경쟁 해자를 구축합니다.⁴⁸

더욱이 견고한 시스템을 구축하지 않는 비용은 이제 분명합니다. Rite Aid는 5년 금지와 생체인식 자산 파기에 직면했고, Macy's와 Sunglass Hut은 $10 million 소송과 홍보 악몽에 직면했습니다.¹ 이 맥락에서 딥 AI는 사치가 아니라—현대 기업을 위한 전략적 필수입니다.

이사회를 위한 전략적 권고

1.​ "래퍼 감사" 실시: 조직 내 어떤 AI 역량이 얇은 API 의존성에 구축되어 내부 거버넌스나 감사 가능성이 없는지 식별.

2.​ 불확실성 정량화 구현: 모든 고위험 AI 출력에 정량화된 신뢰도 점수와 불확실성 분포를 포함하도록 의무화.

3.​ NIST FRVT에 대한 벤치마킹: 모든 생체인식 벤더에게 NIST가 검증한 성능 성적표를 제공하도록 요구하되, 인구통계적 편향에 특별히 주의.

4.​ 휴먼인더루프 성문화: 개인의 자유나 중대한 금융 거래에 영향을 미치는 AI 주도 결정이 문서화된 인간 검토 절차 없이 이루어지지 않도록 보장.

5.​ EU AI Act 대비: 미국 기반 기업이라도 EU의 "고위험 AI" 표준에 맞추는 것이 향후 국내 규제에 대한 미래 대비에 최선.

Veriprajna는 조직이 "신뢰성 격차"를 메우고, 취약하고 위험한 래퍼에서 견고하게 엔지니어링된 AI 시스템으로 이동하도록 돕는 데 특화되어 있습니다. 엔터프라이즈 AI의 미래는 모델이 무엇을 할 수 있는지가 아니라, 어떻게 신뢰될 수 있는지에 있습니다. 생체인식 책임의 시대에, 책무성은 궁극의 경쟁 우위입니다.

참고문헌

1. Rite Aid Corporation, FTC v. | Federal Trade Commission, 2026년 2월 6일 접속, https://www.ftc.gov/legal-library/browse/cases-proceedings/2023190-rite-aid-corporation-ftc-v

2. Rite Aid Banned from Using AI Facial Recognition After FTC Says ..., 2026년 2월 6일 접속, https://www.ftc.gov/news-events/news/press-releases/2023/12/rite-aid-banned-using-ai-facial-recognition-after-ftc-says-retailer-deployed-technology-without

3. FTC Announces Groundbreaking Action Against Rite Aid for Unfair Use of AI - WilmerHale, 2026년 2월 6일 접속, https://www.wilmerhale.com/en/insights/blogs/wilmerhale-privacy-and-cybersecurity-law/20240111-ftc-announces-groundbreaking-action-against-rite-aid-for-unfair-use-of-ai

4. Wrappers, deeptechs, and generative AI: a profitable but fragile house of cards, 2026년 2월 6일 접속, https://www.duperrin.com/english/2025/05/20/wrappers-deeptechs-generative-ai/

5. The Hidden Costs of Voice AI Wrappers: Dependency, Pricing, and Support Risks - Trillet AI, 2026년 2월 6일 접속, https://www.trillet.ai/blogs/voice-ai-wrapper-dependency-risks

6. Characteristics, limitations, and how to measure accuracy when ..., 2026년 2월 6일 접속, https://learn.microsoft.com/en-us/azure/ai-foundry/responsible-ai/face/characteristics-and-limitations?view=foundry-classic

7. Introduction to NIST FRVT - Paravision, 2026년 2월 6일 접속, https://www.paravision.ai/news/introduction-to-nist-frvt/

8. How To Mitigate Facial Recognition Bias in Identity Verification - HyperVerge, 2026년 2월 6일 접속, https://hyperverge.co/blog/mitigating-facial-recognition-bias/

9. Countermeasures against bias and spoofing in modern facial recognition systems, 2026년 2월 6일 접속, https://journalwjarr.com/index.php/content/countermeasures-against-bias-and-spoofing-modern-facial-recognition-systems

10. Adversarial Debiasing for Bias Mitigation in Healthcare AI Systems: A Literature Review, 2026년 2월 6일 접속, https://www.scirp.org/journal/paperinformation?paperid=143081

11. Companies Deploying Facial Recognition Continue to be Watched; Rite Aid Banned from Using AI Facial Recognition - Kilpatrick Townsend, 2026년 2월 6일 접속, https://ktslaw.com/Insights/Alert/2024/1/Companies-Deploying-Facial-Recognition-Continue-to-be-Watched

12. Risks of AI Wrapper Products and Features - Kader Law, 2026년 2월 6일 접속, https://www.kaderlaw.com/blog/risks-of-ai-wrapper-products-and-features

13. Macy's Hit With $10M Lawsuit After Faulty AI Facial Recognition ..., 2026년 2월 6일 접속, https://www.lawcommentary.com/articles/macys-hit-with-10m-lawsuit-after-faulty-ai-facial-recognition-software-leads-to-wrongful-arrest

14. Macy's faces $10 million lawsuit for using facial recognition to accuse man of robbery he did not commit | Technology, 2026년 2월 6일 접속, https://english.elpais.com/technology/2024-01-24/macys-faces-10-million-lawsuit-for-using-facial-recognition-to-accuse-man-of-robbery-he-did-not-commit.html

15. Lawsuit: Facial recognition software leads to wrongful arrest of Texas man; he was in Sacramento at time of robbery - CBS News, 2026년 2월 6일 접속, https://www.cbsnews.com/sacramento/news/texas-macys-sunglass-hut-facial-recognition-software-wrongful-arrest-sacramento-alibi/

16. Facial recognition used after Sunglass Hut robbery led to man's ..., 2026년 2월 6일 접속, https://www.theguardian.com/technology/2024/jan/22/sunglass-hut-facial-recognition-wrongful-arrest-lawsuit

17. Texas man sues Macy's, Sunglass Hut for facial recognition wrongful arrest - YouTube, 2026년 2월 6일 접속, https://www.youtube.com/watch?v=HWq7DNf4SLI

18. How to Keep Human In The Loop (HITL) During Gen AI Testing? - testRigor, 2026년 2월 6일 접속, https://testrigor.com/blog/how-to-keep-human-in-the-loop-hitl-during-gen-ai-testing/

19. Addressing Gender Bias in Facial Recognition Technology: An Urgent Need for Fairness and Inclusion - Cogent Infotech, 2026년 2월 6일 접속, https://www.cogentinfo.com/resources/addressing-gender-bias-in-facial-recognition-technology-an-urgent-need-for-fairness-and-inclusion

20. The great AI debate: Wrappers vs. Multi-Agent Systems in enterprise AI - Moveo.AI, 2026년 2월 6일 접속, https://moveo.ai/blog/wrappers-vs-multi-agent-systems

21. Personalised Uncertainty Quantification in Artificial Intelligence - Research Communities, 2026년 2월 6일 접속, https://communities.springernature.com/posts/personalised-uncertainty-quantification-in-artificial-intelligence

22. Operationalizing the R4VR-Framework: Safe Human-in-the-Loop Machine Learning for Image Recognition - MDPI, 2026년 2월 6일 접속, https://www.mdpi.com/2227-9717/13/12/4086

23. Human-in-the-Loop AI in Document Workflows - Best Practices & Common Pitfalls - Parseur, 2026년 2월 6일 접속, https://parseur.com/blog/hitl-best-practices

24. From Aleatoric to Epistemic: Exploring Uncertainty Quantification Techniques in Artificial Intelligence - arXiv, 2026년 2월 6일 접속, https://arxiv.org/html/2501.03282v1

25. Evaluation of Uncertainty Quantification in Deep Learning - PMC, 2026년 2월 6일 접속, https://pmc.ncbi.nlm.nih.gov/articles/PMC7274324/

26. Uncertainty Quantification | IBM, 2026년 2월 6일 접속, https://www.ibm.com/think/topics/uncertainty-quantification

27. Open-Set Biometrics: Beyond Good Closed-Set Models - arXiv, 2026년 2월 6일 접속, https://arxiv.org/html/2407.16133v1

28. What is difference between closed-set and open-set classification problem? - Stack Overflow, 2026년 2월 6일 접속, https://stackoverflow.com/questions/62765276/what-is-difference-between-closed-set-and-open-set-classification-problem

29. Toward Open-Set Face Recognition, 2026년 2월 6일 접속, https://openaccess.thecvf.com/content_cvpr_2017_workshops/w6/papers/Gunther_Toward_Open-Set_Face_CVPR_2017_paper.pdf

30. Comparison of open-set and closed-set face recognition. - ResearchGate, 2026년 2월 6일 접속, https://www.researchgate.net/figure/Comparison-of-open-set-and-closed-set-face-recognition_fig1_316505674

31. The Best Globally Top Ranked Face Recognition Algorithm 2025 - KBY-AI, 2026년 2월 6일 접속, https://kby-ai.com/top-ranked-face-recognition/

32. Face Recognition Technology Evaluation (FRTE) 1:1 Verification - NIST Pages, 2026년 2월 6일 접속, https://pages.nist.gov/frvt/html/frvt11.html

33. NIST AI Risk Management Framework: A simple guide to smarter AI ..., 2026년 2월 6일 접속, https://www.diligent.com/resources/blog/nist-ai-risk-management-framework

34. NIST AI Risk Management Framework (AI RMF) - Palo Alto Networks, 2026년 2월 6일 접속, https://www.paloaltonetworks.com/cyberpedia/nist-ai-risk-management-framework

35. Safeguard the Future of AI: The Core Functions of the NIST AI RMF - AuditBoard, 2026년 2월 6일 접속, https://auditboard.com/blog/nist-ai-rmf

36. High-level summary of the AI Act | EU Artificial Intelligence Act, 2026년 2월 6일 접속, https://artificialintelligenceact.eu/high-level-summary/

37. Article 6: Classification Rules for High-Risk AI Systems | EU Artificial Intelligence Act, 2026년 2월 6일 접속, https://artificialintelligenceact.eu/article/6/

38. Annex III: High-Risk AI Systems Referred to in Article 6(2) | EU Artificial Intelligence Act, 2026년 2월 6일 접속, https://artificialintelligenceact.eu/annex/3/

39. Article 11: Technical Documentation | EU Artificial Intelligence Act, 2026년 2월 6일 접속, https://artificialintelligenceact.eu/article/11/

40. Article 5: Prohibited AI Practices | EU Artificial Intelligence Act, 2026년 2월 6일 접속, https://artificialintelligenceact.eu/article/5/

41. Human in the Loop AI: Benefits, Use Cases, and Best Practices - WitnessAI, 2026년 2월 6일 접속, https://witness.ai/blog/human-in-the-loop-ai/

42. When Automation Breaks Trust: A Practical Guide to Human-in-the-Loop AI Workflows for SMBs | Artificial Intelligence | MyMobileLyfe | AI Consulting and Digital Marketing, 2026년 2월 6일 접속, https://www.mymobilelyfe.com/artificial-intelligence/when-automation-breaks-trust-a-practical-guide-to-human-in-the-loop-ai-workflows-for-smbs/

43. Human-in-the-Loop AI (HITL) - Complete Guide to Benefits, Best Practices & Trends for 2026, 2026년 2월 6일 접속, https://parseur.com/blog/human-in-the-loop-ai

44. Enterprise AI Consulting Framework for Business Leaders, 2026년 2월 6일 접속, https://appinventiv.com/blog/enterprise-ai-consulting-framework-guide/

45. Tech Trends 2026 | Deloitte Insights, 2026년 2월 6일 접속, https://www.deloitte.com/us/en/insights/topics/technology-management/tech-trends.html

46. Deploying agentic AI with safety and security: A playbook for technology leaders - McKinsey, 2026년 2월 6일 접속, https://www.mckinsey.com/capabilities/risk-and-resilience/our-insights/deploying-agentic-ai-with-safety-and-security-a-playbook-for-technology-leaders

47. AI in the workplace: A report for 2025 - McKinsey, 2026년 2월 6일 접속, https://www.mckinsey.com.br/capabilities/tech-and-ai/our-insights/superagency-in-the-workplace-empowering-people-to-unlock-ais-full-potential-at-work

48. Custom AI vs Off-the-Shelf AI : Which Is Right for Your Business?, 2026년 2월 6일 접속, https://www.aalpha.net/blog/custom-ai-vs-off-the-shelf-ai/

49. Custom AI Software vs Off-the-shelf Artificial Intelligence Solution - Integrio Systems, 2026년 2월 6일 접속, https://integrio.net/blog/custom-vs-of-the-shelf-artificial-intelligence