알고리즘이 유죄라고 말했다는 이유로, 한 할아버지가 열흘간 감옥에 갇혔다

잠재 고객사와 통화를 하고 있었습니다 — 중견 소매 체인이었죠 — 그때 그 회사의 손실 예방 담당 부사장이 제 가슴을 철렁 내려앉게 만드는 말을 했습니다.

"저희가 안면 인식 업체를 검토하고 있어요. 그쪽 시스템이 98% 정확하다고 하더군요. 그냥 연결만 해 줄 사람이 필요합니다."

저는 한 가지 질문을 던졌습니다. "누구의 얼굴에 대해 98% 정확하다는 거죠?"

침묵이 흘렀습니다.

그 대화는 제가 Rite Aid에 대한 FTC의 고소장을 — 무려 54페이지 전체를 — 그리고 61세 할아버지 하비 유진 머피 주니어(Harvey Eugene Murphy Jr.)가 제기한 1,000만 달러 소송을 읽고 난 지 몇 주 뒤에 있었던 일입니다. 머피는 캘리포니아주 새크라멘토의 자택에 있던 동안 벌어진 강도 사건으로 휴스턴 감옥에서 열흘을 보냈습니다. 그는 안면 인식 시스템에 의해 신원이 특정됐습니다. 그 시스템은 틀렸습니다. 누군가 확인해 볼 무렵, 머피는 이미 감방 안에서 폭행과 성폭력을 당한 뒤였습니다.

저는 그날 밤 제 사무실에 앉아 머피 사건의 세부 내용을 다시 읽으며, 기술적 실패 보고서를 읽을 때 평소에는 잘 느끼지 않는 감정을 느꼈던 것을 기억합니다. 바로 분노였습니다. 알고리즘을 향한 분노가 아니었습니다 — 알고리즘에는 의도가 없으니까요. 그것을 마치 바코드 스캐너처럼 배치한 사람들을 향한 분노였습니다. 이 사태를 필연으로 만든 아키텍처를 향한 분노였습니다.

저는 Veriprajna를 운영합니다. 우리는 제가 "딥 AI(deep AI)"라고 부르는 것을 만듭니다 — 불확실성 정량화, 다중 에이전트 거버넌스, 그리고 그 밑을 떠받치는 엄정한 엔지니어링을 갖춘 시스템이죠. Rite Aid가 금지 처분을 받고 하비 머피가 체포되게 만든 것과는 정반대입니다. 그리고 저는 이 차이가 이 업계의 많은 사람들이 인정하고 싶어 하는 것보다 훨씬 더 중요한 이유를 여러분께 말씀드려야겠습니다.

Rite Aid에서 벌어진 일은 결함이 아니었다 — 그것은 설계상의 선택이었다

2023년 12월, FTC는 전례 없는 조치를 취했습니다. Rite Aid가 5년간 안면 인식 기술을 사용하지 못하도록 금지한 것입니다. 벌금이 아니었습니다. 경고도 아니었습니다. 금지였습니다.

2012년부터 2020년까지 Rite Aid는 수백 개 매장에 AI 기반 안면 인식 감시 시스템을 배치했습니다. 발상은 단순했습니다 — 알려진 상습 절도범을 식별하고, 보안 담당자에게 알리고, 절도를 줄인다는 것이었죠. 하지만 그 실행은 재앙이었습니다.

Rite Aid는 두 곳의 외부 업체로부터 안면 인식 시스템을 구매했습니다. 두 업체 모두 계약서에서 정확성에 관한 어떠한 보증도 명시적으로 부인했습니다. 다시 읽어 보십시오. 그 기술을 파는 회사들조차 그것이 제대로 작동한다고 약속하려 하지 않았습니다. 그런데도 Rite Aid는 그것을 그대로 배치했습니다 — 실제 사람들로 가득한 매장에, 잘못 식별될 경우 실제 대가가 따르는 상황에서 말이죠.

Rite Aid의 그 누구도 시스템의 정확성을 시험하지 않았습니다. 그 누구도 업체들이 시험을 했는지 확인하지 않았습니다. 그 누구도 이미지 품질 관리 장치를 마련하지 않았습니다. 매장 직원들은 흐릿한 CCTV 정지 화면과 휴대폰 사진을 등록 데이터베이스에 밀어 넣었고, 시스템은 그 열화된 이미지를 문으로 걸어 들어오는 모든 얼굴과 충실하게 "대조"하고 있었습니다.

그 결과는 생체 인식 공학을 이해하는 사람에게는 예견된 것이었고, 그렇지 못한 사람에게는 참혹한 것이었습니다. 수천 건의 오탐이 발생했습니다. 죄 없는 고객들이 매장 통로를 따라 미행당하고, 몸수색을 당하고, 공개적으로 절도범으로 지목됐습니다. 그리고 모든 기업 리더가 잠시 멈춰 생각해 봐야 할 대목이 여기 있습니다. 이 잘못된 경보들은 여성과 유색인종을 불균형적으로 겨냥했습니다. 흑인과 아시아계가 다수를 이루는 지역의 매장들은 백인이 다수를 이루는 지역의 매장들보다 훨씬 더 많은 오매칭을 겪었습니다.

이것은 버그가 아니었습니다. 대표성 없는 데이터셋으로 학습되고, 모니터링 없이 배치되고, 열화된 영상에 적용되며, 이름값을 하는 인간 검토 절차라고는 없었던, 보정되지 않은 모델이 낳은 필연적 산물이었습니다.

왜 61세 할아버지가 감옥에 갇혔을까요?

하비 머피의 사건은 더 심각합니다. 실패의 연쇄가 더 길고, 그로 인한 인간적 대가가 더 뼈아프기 때문입니다.

2022년 1월, 누군가 휴스턴의 선글라스 헛(Sunglass Hut) 매장을 털었습니다. 모회사인 에실로룩소티카(EssilorLuxottica)는 메이시스(Macy's)와 협력해 매장 감시 영상에 안면 인식을 돌렸습니다. 이 시스템은 흐릿한 강도 영상을, 어떻게 된 영문인지 비폭력 범죄로 입건됐던 머피의 사진이 담긴 데이터베이스와 대조했습니다. 그것도 수십 년 전의 사진이었죠.

여러분이 두 가지 사실을 동시에 머릿속에 담아 두셨으면 합니다. 첫째, 머피는 강도 사건이 벌어진 날 캘리포니아주 새크라멘토에 있었습니다. 둘째, 이 시스템은 현재의 감시 영상을 몇 년 전 — 어쩌면 수십 년 전 — 에 찍힌 사진과 대조했습니다. 여러 연구에 따르면, 현재의 이미지를 오래된 사진과 대조할 경우 오탐률이 최대 90%에 이를 수 있습니다. 이것을 "연령 격차(age-gap)" 문제라고 부르며, 법 집행 맥락에서 안면 인식을 배치하는 사람이라면 누구나 이 문제를 알고 있어야 합니다.

하지만 이 사건에서 저를 사로잡고 놓아주지 않는 대목이 있습니다. 소장에 따르면, 선글라스 헛과 메이시스는 이 자동화된 매칭 결과를 법 집행 기관에 검증된 사실로 제시했습니다. 단서로서가 아니었습니다. 확률로서가 아니었습니다. 신원 확인으로서였죠. 경찰은 수사를 멈췄습니다. 범인을 잡았다고 여겼으니까요.

기계의 출력이 한 인간의 알리바이보다 더 큰 권위를 갖고 다뤄질 때, 우리는 그 어떤 정확도 개선으로도 되돌릴 수 없는 선을 넘은 것입니다.

머피는 체포됐습니다. 그는 자신이 텍사스에 있지 않았다고 말했습니다. 소용없었습니다. 그는 지방 검찰청이 그의 알리바이를 확인해 주기까지 열흘을 감옥에서 보냈습니다. 그때는 이미 피해가 벌어진 뒤였습니다 — 신체적으로도, 심리적으로도, 그리고 영구적으로 말이죠.

저희 팀과 저는 어느 저녁을 통째로 들여 이 사건의 기술적 세부 사항을 파고들며, 그 시스템 아키텍처가 대략 어떤 모습이었을지 재구성하려 했습니다. 저해상도 입력 영상. 오래된 갤러리 사진. 거의 틀림없이 폐쇄형(closed-set) 식별 모델이었을 겁니다 — 실제 인물이 데이터베이스에 없을 때조차 언제나 "최적 일치"를 찾아내도록 최적화된 그런 종류 말이죠. 불확실성 정량화는 없었습니다. 신뢰도 임계값 설정도 없었습니다. 알고리즘의 출력과 한 사람이 자유를 잃는 일 사이에, 의미 있는 인간 검토는 없었습니다.

이 실패들 하나하나가 모두 예방 가능한 것이었습니다. 더 나은 AI로가 아니라. 더 나은 아키텍처로 말이죠.

"래퍼(wrapper)" 문제란 무엇이며, 왜 신경 써야 할까요?

여기서 잠시 기술적인 이야기를 해야겠습니다. 이 두 참사의 이면에 깔린 패턴이, 제가 이 기업 저 기업에서 거듭 목격하는 바로 그 패턴이기 때문입니다.

오늘날 AI를 배치하는 대부분의 기업은 업계에서 "래퍼"라고 부르는 것을 쓰고 있습니다. 래퍼란 남의 AI 모델 위에 얹힌 브랜드화된 인터페이스입니다 — 대시보드, 앱, 워크플로 도구 같은 것 말이죠. 여러분이 데이터를 외부 API로 보내면, API가 결과를 되돌려 주고, 여러분은 그것을 사용자에게 보여 줍니다. 래퍼 회사는 모델을 만들지 않습니다. 학습시키지도 않습니다. 그 실패 양상을 이해하지도 못합니다. 업데이트를 통제하지도 못합니다.

Rite Aid는 래퍼를 운영하고 있었습니다. 외부 업체의 블랙박스 안면 인식 API 위에 얇게 얹힌 소매 보안 워크플로 계층이었죠. 그 API들이 쓰레기 같은 결과를 내놓았을 때, Rite Aid는 그것을 알 방법도, 개입할 방법도, 그리고 — FTC가 분명히 밝혔듯 — 책임을 피할 방법도 없었습니다.

이것이 바로 기업을 무너뜨리는 비대칭입니다. 가시성은 0%인 시스템에 대해 책임은 100% 떠안는다는 것이죠.

저는 이 아키텍처적 간극에 대해 우리 연구의 인터랙티브 버전에서 심층적으로 다룬 바 있지만, 핵심 주장은 단순합니다. 래퍼는 위험도가 낮은 응용에는 괜찮습니다. 회의록 요약. 마케팅 문구 생성. 틀린 답이 성가실 뿐 치명적이지는 않은 일들 말입니다.

하지만 여러분의 AI 시스템이 누군가를 체포당하게 하고, 대출을 거절당하게 하고, 해고당하게 하고, 공개적으로 망신당하게 만들 수 있는 순간 — 그리고 소매 환경의 안면 인식은 이 모든 일을 할 수 있습니다 — 래퍼는 카운트다운 타이머가 달린 책임 폭탄이 됩니다.

'모를 때 모른다는 것을 아는' AI는 어떻게 만들까요?

제가 자꾸 되돌아가게 되는 한 순간이 있습니다. 우리는 한 고객사를 위한 식별 파이프라인을 만들고 있었고, 우리 엔지니어 중 한 명이 테스트 이미지 묶음을 시스템에 돌려 봤습니다. 정확도 수치는 훌륭해 보였습니다 — 95%를 웃돌았죠. 모두가 흡족해했습니다. 그때 저는 그에게 신뢰도 분포를 함께 볼 수 있도록 같은 묶음을 다시 돌려 보라고 했습니다.

방 안이 조용해졌습니다.

그 "정답" 식별 중 상당수는 불확실성 분포가 너무나 넓어서, 사실상 어쩌다 맞아떨어진 동전 던지기나 다름없었습니다. 모델은 신뢰성 있게 식별하고 있던 게 아니라, 자신 있게 추측하고 있었던 겁니다. 만약 우리가 정확도 점수만 달고 그 시스템을 출시했다면, 우리는 Rite Aid에 소프트웨어를 판 그 업체들과 조금도 다를 바 없었을 겁니다.

이것이 대부분의 AI가 배치되는 방식의 핵심 문제입니다. 모든 출력은 실제로는 확률적 추정치인데도 이분법적 진실로 취급된다는 것이죠. 모델은 "이 사람은 존 스미스다"라고 말하지 않습니다. 모델은 "내가 본 것에 근거하면, 이 사람이 존 스미스일 확률은 X%이고, 오차는 플러스마이너스 Y다"라고 말합니다. 하지만 대부분의 시스템은 "플러스마이너스 Y" 부분을 버리고 여러분에게 X만 보여 줍니다.

Veriprajna에서 우리는 위험도가 높은 모든 시스템에 이른바 불확실성 정량화(Uncertainty Quantification, UQ)를 내장합니다. 중요한 불확실성에는 두 가지 종류가 있습니다.

우연적 불확실성(Aleatoric uncertainty)은 데이터 자체의 노이즈에서 비롯됩니다 — 나쁜 조명, 움직임에 의한 흐림, 긁힌 카메라 렌즈 같은 것이죠. 이것은 학습으로 없앨 수 없습니다. 이미지에 정보가 빠져 있다면, 세상의 그 어떤 모델도 그것을 신뢰성 있게 지어내어 되살릴 수는 없습니다.

인식적 불확실성(Epistemic uncertainty)은 모델 자체의 한계에서 비롯됩니다 — 특정 인구 집단의 사례를 충분히 보지 못했거나, 이 특정 조명 조건을 한 번도 접해 본 적이 없는 경우죠. 이것은 얼마든지 더 나은 학습 데이터로 줄일 수 있습니다.

취약한 시스템은 — 래퍼 말이죠 — 이 둘을 구분하지 못합니다. 어떤 시스템이 한 매칭에 대해 85%의 신뢰도를 보고할 수 있고, 그러면 꽤 탄탄해 보입니다. 하지만 우리의 UQ 계층은 그 85% 주변의 불확실성 분포가 어마어마하게 넓다는 것을, 즉 입력 품질을 감안하면 그 수치가 통계적으로 무의미하다는 것을 드러낼 수 있습니다.

자신이 얼마나 불확실한지 여러분에게 말해 줄 수 없는 AI 시스템은 도구가 아닙니다 — 함정입니다.

우리는 시스템의 불확실성 추정치가 수학적으로 증명 가능한 범위 안에 들어오도록 보장하기 위해 등각 예측(conformal prediction) 같은 기법을 사용합니다. 기술적 세부 사항은 우리의 전체 연구 논문에 담겨 있지만, 실질적인 결론은 이렇습니다. 시스템은 어떤 조치를 취하기 전에, 자신의 답이 신뢰할 만한지 여러분에게 말해 줄 수 있습니다. 그리고 신뢰할 수 없다면, 그것을 사람에게 넘깁니다.

아무도 이야기하지 않는 개방형(Open-Set) 문제

기업 구매 담당자들과 이야기할 때 여전히 저를 놀라게 하는 것이 있습니다. 그들 중 폐쇄형 인식과 개방형 인식의 차이를 아는 사람은 거의 없다는 사실이죠.

폐쇄형 시스템은 스캔되는 사람이 반드시 데이터베이스 안에 있다고 가정합니다. 휴대폰 잠금 해제를 떠올려 보십시오 — 휴대폰은 여러분의 얼굴이 등록돼 있다는 것을 알고 있습니다. 그저 그게 여러분이 맞는지 확인하기만 하면 되죠.

소매 보안 시스템은 정반대입니다. 매장에 걸어 들어오는 사람들의 절대다수는 결코 그 어떤 범죄자 데이터베이스에도 들어 있지 않습니다. 이것이 개방형 문제입니다. 그리고 바로 여기에 치명적인 불일치가 있습니다. 대부분의 상용 안면 인식 소프트웨어는 폐쇄형 성능에 맞춰 최적화돼 있는데, 벤치마크 수치가 인상적으로 나오는 곳이 바로 그쪽이기 때문이죠.

폐쇄형 모델을 개방형 환경에 배치하면 어떤 일이 벌어질까요? 그것은 모든 얼굴 하나하나에 대해 "최적 일치"를 찾으려 합니다. 일치하는 대상이 반드시 존재한다고 가정하기 때문이죠. 이것이 거의 틀림없이 Rite Aid에서 수천 건의 오탐을 만들어 낸 원인입니다. 시스템은 오작동하고 있던 게 아닙니다. 설계된 그대로 정확히 작동하고 있었던 겁니다 — 애초에 설계된 적 없는 환경에서 말이죠.

개방형을 위한 설계란, 모델이 단지 일치 대상을 식별하도록 학습시키는 것을 넘어, 비일치 대상을 정확하게 거부하도록 학습시키는 것을 뜻합니다. "이 사람을 안다"고 말할 때와 똑같은 정밀도로 "이 사람을 모른다"고 말할 수 있도록 하는 것이죠. 이를 위해서는 서로 다른 손실 함수, 서로 다른 평가 지표, 그리고 근본적으로 다른 설계 철학이 필요합니다.

NIST — 미국 국립표준기술연구소(National Institute of Standards and Technology) — 는 이러한 시스템을 평가하는 전 세계적 최고 기준인 안면 인식 벤더 테스트(Face Recognition Vendor Test, FRVT)를 운영합니다. NIST는 고정된 오매칭률(False Match Rate)에서의 오불일치율(False Non-Match Rate)을 측정합니다. 고보안 애플리케이션의 경우, 그 오매칭 임계값은 100만분의 1로 설정됩니다. 그야말로 100만분의 1이죠.

Rite Aid는 NIST 기준으로 벤치마크를 한 적이 단 한 번도 없었습니다. 하비 머피의 신원을 특정한 그 시스템 역시, 보아하니 마찬가지였습니다.

모델 반환(Model Disgorgement): 최후의 핵 옵션

FTC의 Rite Aid 합의문에는, 의심스러운 데이터로 AI를 만드는 모든 기업을 오싹하게 만들어야 마땅한 세부 조항이 하나 있습니다.

Rite Aid는 단지 안면 인식 사용을 중단하라는 지시만 받은 게 아니었습니다. 그들은 수집한 모든 생체 정보를 삭제하고, 나아가 그 데이터에서 파생된 모든 AI 모델과 알고리즘을 파기하라는 명령을 받았습니다. FTC는 이것을 "모델 반환(model disgorgement)"이라고 불렀습니다 — 기업이 자사 모델이 규정 위반 데이터로부터 흡수한 모든 것을 사실상 다시 배우지 않은 상태로 되돌리도록 강제하는 것이죠.

그것이 운영 차원에서 무엇을 의미하는지 생각해 보십시오. 수년간의 데이터 수집. 시간을 들여 학습하고 다듬어 온 모델들. 신경망 가중치 속에 새겨진 조직적 지식. 그 모든 것이 — 사라집니다. 모델이 작동을 멈춰서가 아니라, 그것들이 세워진 토대가 된 데이터가 적절한 안전장치 없이 확보됐기 때문이죠.

이것이 새로운 규제 현실입니다. 여러분의 학습 데이터가 오염돼 있다면 — 동의 없이 수집됐거나, 구성이 편향돼 있거나, 개인정보 보호법을 위반해 확보됐다면 — 그 데이터로 만든 모델 역시 오염된 것입니다. 그리고 이제 규제 당국은 여러분에게 그 모델을 파기하도록 강제할 수단을 갖고 있습니다.

대부분의 래퍼 아키텍처는 외과적으로 정밀한 데이터 제거조차 해내지 못합니다. 어떤 데이터가 어떤 모델 가중치에 영향을 미쳤는지 알 수 있는 출처 추적 기능이 없기 때문입니다. 데이터 계보를 염두에 두고 구축된 딥 AI 시스템은 그것을 해냅니다. 이것은 FTC가 문을 두드리기 전까지는 그 진가를 알아보지 못하는 기능이죠.

왜 "인간 개입(Human-in-the-Loop)"은 단순한 체크박스가 아닌가

사람들은 늘 저에게, 모든 AI 결정 앞에 인간 검토자를 한 명 세워 두는 것이 해법이냐고 묻습니다. 답은 '그렇다'입니다 — 다만 거대한 단서가 붙습니다. 잘못 설계된 인간 검토 절차는 아예 검토가 없는 것보다 더 나쁩니다. 감독이 이뤄지고 있다는 착각을 만들어 내기 때문이죠.

Rite Aid에도 분명히 루프 안에 사람이 있었습니다. 매장 직원들은 자동 경보를 받았고 그에 따라 행동하라는 지시를 받았습니다. 하지만 그들은 오탐률에 대한 어떤 교육도 받지 못했습니다. 원본 이미지의 품질을 보여 주는 인터페이스도 없었습니다. 시스템의 출력에 의문을 제기하기 위한 절차도 없었습니다. 그들은 기능적으로, 알고리즘을 위한 고무도장에 불과했습니다.

우리는 결정을 적절히 분기시키는 신뢰도 임계값을 갖춘 인간 개입(human-in-the-loop, HITL) 시스템을 설계합니다. 신뢰도 70% 미만이라면? 자동 거부합니다 — 뻔한 노이즈에 사람의 시간을 낭비하지 않습니다. 70%에서 95% 사이라면? 매칭 결과와 함께 원본 소스 영상을 나란히 표시해 인간 검토로 넘겨서, 검토자가 충분한 근거를 갖고 판단할 수 있게 합니다. 결과의 파장이 작은 작업에서 95%를 넘는다면? 자동 승인하되, 모든 것을 기록으로 남깁니다.

핵심은, 인간 검토자가 기계의 판단을 실제로 뒤집을 수 있을 만큼 충분한 맥락을 갖고 있어야 한다는 점입니다. 그들이 보는 것이라고는 "일치 — 신뢰도 87%"뿐이라면, 그들은 매번 그 숫자에 그대로 따를 것입니다. 하지만 흐릿한 CCTV 프레임을 갤러리 사진 옆에 놓고, 뻔히 드러나는 차이 — 다른 귀 모양, 다른 턱선, 20년의 나이 차이 — 를 짚어낼 수 있다면, 그들은 장식용이 아니라 진짜 안전망이 됩니다.

저는 이 문제로 한 고객사의 CTO와 언쟁을 벌인 적이 있습니다. 그는 비용을 낮추기 위해 인간 검토를 최소화하고 싶어 했습니다. 저는 그에게, 하비 머피 소송 한 건의 비용이 인간 검토자 10년치 급여를 넘어설 거라고 말했습니다. 그는 그 말을 듣기 싫어했습니다. 그리고 그는 소송을 당하지도 않았습니다.

규제의 벽이 좁혀 오고 있다

EU AI법(EU AI Act)은 생체 인식 시스템을 기본적으로 고위험으로 분류합니다. 적합성 평가는 의무입니다. 상세한 기술 문서화도 요구됩니다. 실효성 있는 인간 감독 — Rite Aid식이 아니라, 진짜 감독 말이죠. 학습 데이터를 위해 인터넷에서 얼굴 이미지를 긁어모으는 것과 같은 일부 용도는 아예 전면 금지됩니다.

미국에서는 NIST AI 위험 관리 프레임워크(NIST AI Risk Management Framework)가 네 가지 기능 — 관리 감독(Govern), 지도화(Map), 측정(Measure), 관리(Manage) — 을 제시하며, 이것들이 함께 책임 있는 AI 배치의 청사진을 이룹니다. Rite Aid에 대한 FTC의 조치는, 이 원칙들이 정식 법률이 되기도 전에 사실상 그것을 집행한 것이었습니다. 메시지는 분명합니다. 여러분이 자사 AI가 어떻게 작동하는지 설명하지 못하고, 그 편향을 측정하지 못하며, 그 실패를 관리하지 못한다면, 여러분은 책임을 지게 될 것입니다.

저는 제가 자문하는 모든 이사회에 똑같은 말을 합니다. 설령 미국에서만 사업을 하더라도, 지금 당장 EU AI법의 기준에 맞추십시오. 국내 규제가 다가오고 있고, 컴플라이언스를 미래의 문제로만 치부해 온 기업들은 결국 Rite Aid와 똑같은 처지에 놓이게 될 것입니다 — 동의 명령(consent decree) 아래에서 허둥지둥 모델을 파기하고 처음부터 다시 쌓아 올리는 신세가 되는 것이죠.

편향은 알고리즘에 있지 않다 — 게으름에 있다

AI 편향을 둘러싼 대중적 논의에서 저를 답답하게 만드는 한 가지는, 편향이 인공지능의 어떤 신비롭고 다루기 힘든 속성인 양 여긴다는 점입니다. 그렇지 않습니다. 편향은 구체적이고 식별 가능한 공학적 지름길이 낳은 결과입니다.

밝은 피부색 얼굴이 80%인 데이터셋으로 모델을 학습시킨다고요? 그 모델은 어두운 피부색 얼굴에서 더 나쁜 성능을 낼 것입니다. 적대적 편향 제거(adversarial debiasing) — 여러분의 모델이 인종이나 성별을 숨은 특징으로 사용하고 있는지 탐지하도록 경쟁 신경망을 학습시키는 기법 — 를 건너뛴다고요? 여러분의 모델은 그 편향들을 눈에 보이지 않게 부호화할 것입니다. NIST의 벤치마크 데이터를 사용해 인구 집단별로 시험하지 않고 배치한다고요? 누군가 다치기 전까지는 그 편향이 존재한다는 사실조차 알지 못할 것입니다.

알고리즘 편향은 미스터리가 아닙니다. 그것은 엔지니어가 공정성 대신 속도를, 조직이 안전 대신 비용을 최적화할 때 벌어지는 일입니다.

이 문제들 하나하나에는 이미 알려진 기술적 해법이 있습니다. 적대적 편향 제거. 손실 함수 속의 공정성 제약. 다양한 피부색과 조명 조건을 다루기 위한 다중 스케일 특징 융합. 위조 시도를 잡아내기 위한 표현 공격 탐지(presentation attack detection). 이것들은 이론적인 이야기가 아닙니다 — 오늘날 실제 운영 시스템에 배치돼 있습니다. 우리 것도 포함해서 말이죠.

대부분의 기업이 이것들을 구현하지 않는 이유는, Rite Aid가 자사 업체의 정확성을 시험하지 않은 이유와 똑같습니다. 비용이 더 들고, 시간이 더 걸리며, 그렇게 하라고 아무도 강제하지 않기 때문이죠. 강제하기 전까지는 말입니다. 그리고 그때가 되면, 그 대가는 전부를 잃는 것이 됩니다.

기업용 AI의 미래에 대해 내가 정말로 생각하는 것

저는 여러 해 동안, 행동하기 전에 스스로를 의심하도록 설계된 시스템을 만들어 왔습니다. AI 기업 창업자가 하기에는 이상하게 들리는 말일지도 모릅니다. 저는 오히려 확신을 팔아야 하는 것 아닐까요?

아닙니다. 제가 파는 것은 보정된 확신입니다. 거기에는 차이가 있습니다.

앞으로 10년의 AI 규제와 책임을 견디고 살아남을 기업은, "확신한다"고 말할 때와 똑같은 정밀도로 "모른다"고 말할 줄 아는 시스템을 만드는 기업입니다. 모든 자동화된 출력을, 집행되어야 할 판결이 아니라 검증되어야 할 가설로 다루는 기업 말이죠. 시연 상황이 아니라 최악의 경우 — 하비 머피의 경우 — 를 기준으로 설계하는 기업입니다.

Rite Aid는 5년간 생체 인식 역량을 잃었고 자사 모델을 파기해야 했습니다. 메이시스와 선글라스 헛은 1,000만 달러 소송, 그리고 그 어떤 PR 회사도 되돌릴 수 없는 종류의 평판 손상에 직면해 있습니다. 이것들은 위험한 기술이 막 등장하던 초창기의 경고성 일화가 아닙니다. 기업들이 기성품으로 사들여 제대로 이해하지도 못한 채 배치한 시스템으로, 지금 이 순간 벌어지고 있는 일입니다.

기업용 AI의 래퍼 시대는 저물어 가고 있습니다. 래퍼가 작동하지 않아서가 아닙니다 — 위험도가 낮은 작업에서는 잘만 작동합니다. 다만 판돈이 계속 커지고, 규제가 계속 조여 오며, 자신 있게 내놓은 틀린 답의 대가가 계속 불어나기 때문입니다.

하비 머피는 새크라멘토에 있었습니다. 알고리즘은 그가 휴스턴에 있었다고 말했습니다. 그리고 열흘 동안, 알고리즘이 이겼습니다.

그것은 AI 문제가 아닙니다. 그것은 아키텍처 문제입니다. 그리고 아키텍처는 선택입니다.