AI 안면 인식을 신뢰할 수 있을까요? 1,000만 달러의 교훈

문제

61세의 할아버지 하비 머피(Harvey Murphy)는 자신이 저지르지 않은 강도 사건으로 10일간 구금되었습니다. 사건이 발생했을 당시 그는 1,500마일 떨어진 곳에 있었습니다. Macy's의 안면 인식 시스템이 휴스턴의 Sunglass Hut 강도 사건의 흐릿한 감시 영상과 그의 얼굴을 일치시켰습니다. 머피는 캘리포니아주 새크라멘토에 있었습니다. AI는 다른 결론을 내렸고, 경찰은 기계를 믿었습니다.

구금된 10일 동안 머피는 성폭행을 당하고 구타를 당했습니다. 그는 평생 지속되는 부상을 입었습니다. 그 이후 그는 Macy's와 Sunglass Hut의 모회사인 EssilorLuxottica를 상대로 1,000만 달러 소송을 제기했습니다. 그를 지목한 시스템은 저해상도 감시 영상에 의존했습니다. 이 시스템은 수십 년 전 비폭력 범죄로 찍힌 머그샷과 해당 영상을 대조했을 가능성이 큽니다. 연구에 따르면 현재 이미지를 수년 또는 수십 년 전에 찍은 사진과 대조할 경우 거짓 양성률이 최대 90%에 달할 수 있습니다.

이것은 돌발적인 사고가 아니었습니다. 불과 몇 주 전, FTC는 Rite Aid가 5년간 안면 인식을 사용하는 것을 금지했습니다. 2012년부터 2020년까지 Rite Aid의 시스템은 수백 개의 매장에서 수천 건의 거짓 양성 일치를 생성했습니다. 여성과 유색인종이 불균형적으로 표적이 되었습니다. 직원들은 자동화된 경보를 근거로 무고한 고객을 뒤쫓고, 수색하고, 공개적으로 고발했습니다.

귀사의 조직이 개인의 자유, 재정 또는 명예에 영향을 미치는 결정에 AI를 사용한다면, 이 사례들은 귀사에 대한 경고입니다.

귀사의 비즈니스에 중요한 이유

여기서 재무적 노출은 가상의 것이 아닙니다. 이미 재무제표와 법정에 영향을 미치고 있습니다.

• 1,000만 달러 소송: 결함 있는 AI 신원 확인으로 인한 부당 체포 및 신체적 부상에 대해 Harvey Murphy가 Macy's와 EssilorLuxottica를 상대로 제기한 청구.
• 5년간 기술 사용 금지: FTC는 Rite Aid가 안면 인식을 전면 사용하지 못하도록 금지했습니다. Rite Aid는 또한 모든 생체 인식 데이터를 삭제하고 해당 데이터를 기반으로 구축된 모든 AI 모델을 폐기해야 합니다.
• 모델 환수(model disgorgement): FTC는 Rite Aid가 AI를 "학습 취소"하도록 강제했습니다 — 부적절하게 수집된 정보에서 파생된 알고리즘을 파기하는 것입니다. 이는 새로운 규제 수단으로, 수년간의 투자를 하룻밤에 무효화합니다.

규제 환경이 빠르게 강화되고 있습니다. EU AI 법(EU AI Act)은 이제 공공장소에서의 생체 인식을 "고위험"으로 분류합니다. 공급업체는 적합성 평가를 실시하고, 상세한 기술 문서를 유지하며, 효과적인 인간 감독을 보장해야 합니다. 귀사가 미국에서만 운영되더라도 NIST AI 위험 관리 프레임워크는 동일한 원칙을 요구합니다. FTC는 Rite Aid에 대한 금지 조치를 정당화하기 위해 유사한 논리 — 투명성, 책임, 위험 관리 — 를 사용했습니다.

이사회는 이해해야 합니다: 제대로 통제되지 않는 AI 시스템의 비용은 기술 문제가 아닙니다. 그것은 소송 문제이고, 규제 문제이며, 1면 뉴스 문제입니다. AI 공급업체가 자사 시스템이 이러한 실패를 어떻게 방지하는지 설명하지 못한다면, 위험을 안고 있는 것은 귀사이지 그들이 아닙니다.

내부에서 실제로 일어나는 일

이러한 시스템이 실패하는 이유를 간단히 설명하겠습니다.

대부분의 상업용 안면 인식 도구는 엔지니어들이 "폐쇄형 집합(closed-set)" 문제라고 부르는 것을 위해 구축됩니다. 이는 시스템이 스캔하는 사람이 반드시 데이터베이스에 있다고 가정한다는 것을 의미합니다. 얼굴로 휴대폰을 잠금 해제하는 것을 생각해 보세요. 휴대폰은 당신이 당신임을 알고 있습니다. 단지 확인만 하면 됩니다.

소매 보안은 정반대입니다. 이는 "개방형 집합(open-set)" 문제입니다. 매장을 방문하는 대다수의 사람들은 어떤 범죄 데이터베이스에도 없습니다. 그러나 폐쇄형 집합 시스템은 "이 사람을 인식할 수 없습니다"라고 말하는 방법을 모릅니다. 대신, 틀린 경우에도 찾을 수 있는 가장 가까운 일치를 찾습니다. Rite Aid가 수백 개의 매장에서 수천 건의 거짓 양성을 생성한 방식이 바로 이것입니다.

"위의 항목 없음" 옵션이 없는 객관식 시험을 생각해 보세요. 정답이 목록에 없더라도 시스템은 답을 선택해야 합니다. 문으로 들어오는 모든 얼굴은 그것이 속하는지 여부와 관계없이 데이터베이스의 누군가와 일치됩니다.

두 번째 실패는 AI의 출력을 단순한 예/아니오 답변으로 취급하는 것입니다. 실제로 모든 AI 출력은 확률 — 신뢰도 수준을 가진 추측 — 입니다. Macy's 시스템은 Harvey Murphy에 대한 일치 점수를 제공했습니다. 그러나 아무도 그 점수가 실제로 얼마나 신뢰할 수 있는지 물어보지 않았습니다. 0.85의 일치 점수는 높게 들립니다. 그러나 기본 이미지가 흐릿하고 참조 사진이 수십 년 된 것이라면, 그 0.85는 통계적으로 무의미합니다. 불확실성을 측정하는 계층 — 시스템이 실제로 얼마나 확신하는지 — 없이는 과학처럼 포장된 동전 던지기를 기반으로 고위험 결정을 내리는 것입니다.

효과적인 것 (그리고 그렇지 않은 것)

실패하는 것부터 시작하겠습니다.

테스트 없는 기성품 모델. Rite Aid는 계약서에 정확도에 대한 모든 보증을 명시적으로 면책한 두 공급업체로부터 안면 인식을 구매했습니다. 회사는 소프트웨어의 신뢰성을 테스트한 적이 없습니다. 공급업체 계약을 통해 책임을 외주화할 수 없습니다.

충분히 좋다고 여겨지는 저품질 입력. Rite Aid와 Macy's 모두 흐릿한 CCTV 스틸 사진과 오래된 머그샷을 시스템에 입력했습니다. 생체 인식 엔지니어링에서 잘못된 입력은 단순히 정확도를 낮추는 것이 아니라 — 오류를 기하급수적으로 증가시킵니다.

조치 전 인간 검토 없음. Rite Aid 직원들은 자동화된 경보만을 근거로 고객을 대면했습니다. 아무도 기계에 의문을 품지 않았습니다. Macy's에 대한 소송은 회사가 자동화된 일치를 검증된 사실로 경찰에게 제시했으며 경찰이 수사를 중단했다고 주장합니다.

실제로 효과적인 것이 무엇인지 살펴보겠습니다.

1. 입력 검증. 시스템이 일치를 시도하기 전에 전담 품질 검사 에이전트가 이미지를 평가합니다. 해상도가 충분합니까? 조명이 적절합니까? 참조 사진이 충분히 최근 것입니까? 입력이 이러한 검사에 실패하면 시스템은 비교를 완전히 거부합니다. 잘못된 추측보다 추측을 하지 않는 것이 낫습니다.

2. 불확실성 측정. 단일 신뢰도 점수를 생성하는 대신, 시스템은 출력이 실제로 얼마나 신뢰할 수 있는지를 보여주는 범위인 확률 분포를 생성합니다. 순응 예측(conformal prediction)과 같은 기법은 귀하가 설정한 신뢰도 수준에서 실제 결과가 예측 범위 내에 속한다는 것을 보장합니다. 귀하가 허용 가능한 오류율을 결정합니다. 시스템이 이를 수학적으로 적용합니다.

3. 휴먼 인 더 루프 결정 게이트. 시스템은 신뢰도 임계값을 통해 모든 결과를 라우팅합니다. 신뢰도 70% 미만의 경우 일치가 자동으로 폐기됩니다. 70%에서 95% 사이에서는 훈련된 인간 검토자가 데이터베이스 이미지와 함께 원본 감시 이미지를 보고 판단을 내립니다. 95% 초과 — 그리고 저위험 조치에 대해서만 — 시스템이 독립적으로 행동합니다.

이것은 멀티 에이전트 오케스트레이션 접근 방식 으로, 전문화된 에이전트들이 각 단계를 처리합니다: 하나는 입력 품질을 검증하고, 다른 하나는 일치를 실행하며, 세 번째는 불확실성을 측정하고, 네 번째는 인간 검토를 위해 모호한 사례를 표시합니다. 어떤 단일 모델도 혼자서 최종 결정을 내리지 않습니다.

컴플라이언스 이점은 감사 추적입니다. 모든 단계 — 모든 이미지 품질 검사, 모든 신뢰도 점수, 모든 인간 결정 — 이 자동으로 기록됩니다. 규제 기관이나 원고 변호사가 시스템이 어떻게 결정을 내렸는지 물으면, 정확히 무슨 일이 있었는지 보여줄 수 있습니다. NIST의 안면 인식 공급업체 테스트(Face Recognition Vendor Test)는 공급업체가 충족해야 할 기준을 제공합니다. 100만 분의 1만큼 엄격한 임계값에서 거짓 일치율을 측정합니다. 또한 성별, 연령 및 인구 통계 그룹별로 성능을 분류합니다 — 정확히 FTC가 Rite Aid에게 요구한 편향 데이터의 종류입니다.

다음 분야의 조직에 AI 보안 및 복원력에 있어, 문제는 AI가 평균적으로 정확한지 여부가 아닙니다. 문제는 AI가 이 특정 사례에서, 이 특정 사람에 대해, 이 특정 조건 하에서 정확했음을 증명할 수 있는지 여부입니다. 그것이 결정론적 워크플로우와 도구 가 충족해야 할 기준입니다.

귀하는 전체 기술 분석 보고서 읽기 에서 엔지니어링 세부 사항을 확인하거나, 인터랙티브 버전 탐색 에서 아키텍처에 대한 안내 연습을 살펴볼 수 있습니다.