도시를 삼켜버린 알고리즘: 예측 치안의 붕괴가 신뢰받는 AI 구축에 관해 내게 가르쳐 준 것
2023년 말, 저는 어느 회의실에 앉아 잠재 고객이 자사의 내부 AI 도구를 시연하는 모습을 지켜보고 있었습니다. 그것은 컴플라이언스 팀이 금융 문서에서 위험을 식별하도록 돕기 위해 구축한 챗봇이었습니다. 인터페이스는 세련됐고, 응답은 빨랐습니다. 그런데 대략 네 번에 한 번꼴로 자신만만하면서도 위험할 만큼 틀린 답을 내놓았습니다.
제가 환각 현상을 지적하자 — 그 모델은 존재하지도 않는 규제 인용을 지어냈습니다 — 엔지니어링 부사장은 어깨를 으쓱했습니다. "네, 저희도 알고 있습니다. 다음 모델 업데이트에서 고쳐지기를 바라고 있어요."
그 순간, 저는 몇 달 동안 고민해 온 무언가를 명확히 깨달았습니다. 기업 세계는 미국 전역에서 AI 기반 치안에 대한 대중의 신뢰를 이미 무너뜨렸던 것과 정확히 똑같은 함정 속으로 몽유병 환자처럼 빠져들고 있었습니다. 기술 자체가 본질적으로 악해서가 아니라, 그것을 배포하는 사람들이 AI 시스템을 보유하는 것과 그것을 통제하는 것을 혼동했기 때문입니다.
Veriprajna에서 우리는 고위험 기업 환경을 위한 심층 AI 솔루션을 구축합니다. 하지만 우리가 왜 그런 방식으로 — 처음부터 거버넌스를 내재화하고, 설명 가능성을 타협 불가능한 요소로 삼으며, 수학적 공정성 제약을 학습 과정에 촘촘히 엮어 — 솔루션을 구축하는지 설명하려면, 먼저 여러분을 다소 불편한 곳으로 데려가야 합니다. 바로 시카고로 말이죠.
한 도시의 젊은 흑인 남성 56%가 기계에 의해 지목되다
시카고의 전략적 대상 명단(Strategic Subject List) — 내부적으로 "히트 리스트(heat list)"라 불리던 — 은 스마트 치안의 미래가 될 것으로 기대되었습니다. 여러 동네에 경찰관을 대거 배치하는 대신, 이 알고리즘은 가해자든 피해자든 총기 폭력에 연루될 가능성이 가장 높은 특정 개인을 식별하곤 했습니다. 물량 공세보다는 정밀함. 직관보다는 데이터.
이 명단은 40만 명이 넘는 규모로 부풀어 올랐습니다.
잠시 그 숫자를 곱씹어 보시기 바랍니다. 인구 270만 명의 도시에서, 이 알고리즘은 40만 명을 지목할 가치가 있다고 판단했습니다. 그리고 그 인구 통계는 충격적이었습니다: 시카고에 거주하는 20세에서 29세 사이 흑인 남성의 56%가 그 명단에 올랐습니다. 웨스트 가필드 파크에서는 10세에서 29세 사이 흑인 남성의 73%가 지목되었습니다. 이 시스템이 "갱단원으로 의심된다"고 분류한 개인의 96%가 흑인 또는 라틴계였습니다.
제가 감사 데이터를 처음 파고들었을 때 도무지 이해할 수 없었던 사실은 이것입니다: 이 알고리즘이 지정한 우선 대상의 57%는 폭력 범죄로 체포된 적이 단 한 번도 없었습니다. 이 시스템은 경미한 마약 소지나 치안 문란 행위 같은 경범죄를 끌어와, 이를 미래의 총기 폭력을 예측하는 신호로 취급하고 있었습니다. 과잉 치안이라는 장치를 더 많은 치안 활동을 정당화하는 증거로 사용하고 있었던 것입니다.
알고리즘이 편향의 결과를 편향이 정당하다는 증거로 취급할 때, 당신이 가진 것은 예측 엔진이 아닙니다. 자동 조종 상태로 돌아가는 차별 기계를 갖고 있는 것입니다.
시카고 감찰관실은 결국 수많은 지역 사회 단체가 수년간 목소리 높여 외쳐 온 사실을 문서로 기록했습니다. 즉, SSL은 인종에 따라 편향되어 있었고 살인율을 낮추는 데는 대체로 효과가 없었다는 것입니다. 이 시스템은 2019년 말에 폐기되었지만, 그 전에 이미 유일한 "죄"라고는 알고리즘이 위험하다고 판단한 동네에 산다는 것뿐이었던 수천 명의 사람들에게 경찰관을 예고 없이 방문하도록 보냈습니다.
지진 모델은 왜 범죄 예측에 실패했을까?
3,000마일 서쪽에서는 LAPD가 자체 실험을 진행하고 있었습니다. Geolitica — 이전 명칭 PredPol — 는 원래 지진 여진을 예측하기 위해 설계된 모델을 사용했습니다. 그 논리는 매혹적이었습니다. 여진이 공간과 시간상으로 무리 지어 발생하듯, 특정 유형의 범죄도 예측 가능한 시공간적 패턴을 따른다는 것이었죠. 이 알고리즘에 위치, 시간, 범죄 유형 등 과거 사건 데이터를 입력하면, 경찰관에게 어디를 순찰해야 할지 알려주는 가로세로 500피트짜리 "핫스팟 박스"를 생성했습니다.
저는 그 기술 문서를 읽으면서 이렇게 생각했던 것을 기억합니다, 이거 정말 우아하군. 수학은 깔끔했습니다. 인터페이스는 직관적이었죠. 그리고 결과는 참담했습니다.
LAPD 감찰관이 실시한 2019년 감사는 데이터 입력에서 "심각한 불일치"를 발견했습니다. 경찰관들은 순찰 시간을 현장이 아니라 경찰 시설에서 기록하고 있었고, 이것이 핫스팟 데이터를 오염시켰습니다. 이 시스템은 자신의 영향을 더 광범위한 치안 활동 추세와 분리해 낼 수 없었습니다. 그리고 뉴저지주 플레인필드처럼 비슷한 관할 구역에서는 예측 성공률이 1% 미만으로 기록되었습니다.
1퍼센트 미만. 동전 던지기가 더 유용했을 것입니다.
하지만 더 근본적인 문제는 정확도가 아니라 피드백 루프였습니다. 알고리즘이 흑인이나 라틴계가 대다수인 동네를 핫스팟으로 지목하면, 더 많은 경찰관이 그곳으로 갔습니다. 경찰관이 많아진다는 것은 검문이 많아진다는 뜻이었습니다. 검문이 많아지면 더 부유하고 백인이 많은 지역이었다면 단속하지 않았을 경미한 위반 행위에 대한 체포가 늘어났습니다. 이 새로운 체포 기록은 높은 범죄율의 "증거"로서 다시 학습 데이터로 흘러 들어갔고, 알고리즘은 바로 그 동네에 대한 예측을 충실하게 더욱 강화했습니다.
캘리포니아의 인종 및 신원 프로파일링 방지법(RIPA) 데이터는 반박하기 어려운 숫자로 이 사실을 적나라하게 드러냈습니다. 흑인은 인구 비중을 기준으로 예상되는 것보다 126% 더 빈번하게 검문당했습니다. 경찰관들은 2023년에 470만 건의 차량 및 보행자 검문을 실시했습니다. 그리고 결정적인 대목은 이것입니다 — 경찰관들이 흑인과 라틴계 개인을 더 높은 비율로 수색했을 때, 밀수품을 발견할 가능성은 일관되게 더 낮았습니다 — 백인 개인을 수색했을 때와 비교하면 말이죠.
이 데이터는 명백한 통계적 언어로, 이 시스템이 틀렸다고 우리에게 말하고 있었습니다. 그런데도 시스템은 계속 돌아갔습니다.
LAPD는 마침내 2024년 초 Geolitica와의 관계를 끝냈습니다. 저는 이러한 실패의 더 폭넓은 함의 — 그리고 그것이 기업 AI 아키텍처에 무엇을 의미하는지 — 에 대해 우리 연구의 인터랙티브 버전에서 다루었습니다.
아무도 블랙박스를 열 수 없을 때 무슨 일이 벌어질까?
제 연구에서 계속 등장했던 과학 철학 용어가 하나 있습니다: 인식론적 불투명성(epistemic opacity). 이는 시스템이 너무 복잡해서 그것을 운영하는 사람들조차 그것이 어떻게 결론에 도달하는지를 온전히 이해할 수 없다는 것을 의미합니다.
대부분의 예측 치안 시스템은 독점적인 블랙박스였습니다. 구체적인 데이터 입력값, 가중치가 부여된 요인들, 예측의 논리 — 이 모든 것이 영업 비밀로 감춰져 있었습니다. 이러한 도구를 사용하는 경찰서들은 종종 왜 특정 개인이나 동네가 지목되었는지, 시민 자유 단체가 답변을 요구할 때조차 설명하지 못했습니다.
이것은 단지 치안만의 문제가 아닙니다. 이는 오늘날 대부분의 기업이 AI를 배포하는 방식이 지닌 결정적 취약점입니다.
저는 시연으로 보았던 그 컴플라이언스 챗봇을 떠올립니다. 엔지니어링 부사장은 그 모델이 답변을 생성하기 위해 실제로 어떤 문서를 검색했는지 제게 말해 주지 못했습니다. 그는 왜 그것이 규제 인용을 지어냈는지 설명하지 못했습니다. 그는 내일 같은 질문을 던졌을 때 시스템이 다른 답을 내놓을지 여부도 말해 주지 못했습니다. 그리고 그의 계획이라고는 OpenAI가 더 나은 모델을 내놓기를 기다리는 것뿐이었습니다.
그것은 AI 전략이 아닙니다. 그것은 기도입니다.
폭주하는 피드백 루프는 치안만의 문제가 아니다
이제 저는 기업 AI 분야의 대부분이 놓치고 있다고 생각하는 연결 고리를 짚어보려 합니다.
예측 치안을 무너뜨린 피드백 루프 — 편향된 출력이 편향된 학습 데이터를 만들어 내고, 그것이 다시 더 편향된 출력을 만들어 내는 — 는 법 집행에만 국한된 것이 아닙니다. 이는 독립적인 검증 없이 자체 운영 환경으로부터 학습하는 모든 AI 시스템이 지닌 구조적 특성입니다.
이력서를 선별하는 AI 기반 채용 도구를 생각해 보십시오. 그동안 엔지니어링 직무에 주로 남성을 채용해 온 회사의 과거 채용 데이터로 학습되었다면, 이 도구는 남성적 뉘앙스의 표현을 "좋은 후보자"와 연관 짓는 법을 학습하게 됩니다. 여성의 순위를 낮출 것입니다. 회사는 여성을 더 적게 채용하게 됩니다. 그 채용 데이터는 다음 학습 주기로 다시 피드백되고, 편향은 더욱 깊어질 것입니다.
또는 과거 대출 승인 기록으로 학습된 금융 심사 모델을 떠올려 보십시오. 과거의 대출 담당자들이 특정 우편번호 지역 — 수십 년에 걸친 레드라이닝 때문에 공교롭게도 인종과 상관관계를 갖는 우편번호 지역 — 의 신청을 승인할 가능성이 더 높았다면, 이 모델은 그러한 패턴을 학습하게 됩니다. 그 지역 출신의 자격 있는 신청자에게 대출을 거부할 것입니다. 그 거부 기록은 학습 데이터가 됩니다. 이 순환은 계속됩니다.
가장 위험한 AI 시스템은 명백하게 고장 난 시스템이 아닙니다. 정밀한 조사를 피할 만큼만 딱 적당히 작동하면서, 학습 데이터의 편향을 대규모 자동화된 의사결정 속에 조용히 새겨 넣는 시스템들입니다.
이것이 바로 제가 기업 리더들이 AI 거버넌스를 "있으면 좋은 것"이나 "2단계" 과제로 이야기하는 것을 들을 때 답답함을 느끼는 이유입니다. 거버넌스는 출시 후에 덧붙이는 기능이 아닙니다. 그것은 아키텍처 그 자체입니다.
LLM 래퍼는 왜 고위험 환경에서 실패하는가?
한 가지 솔직하게 말씀드리겠습니다: 단순한 LLM 래퍼의 시대는 저물어가고 있으며, 대부분의 기업은 아직 이를 깨닫지 못하고 있습니다.
LLM 래퍼 — GPT-4나 Claude 같은 기반 모델 위에 프롬프트 엔지니어링과 그럴듯한 UI를 얇게 얹은 것 — 는 이메일 초안 작성이나 회의록 요약에는 잘 작동합니다. 하지만 법률 검토, 금융 컴플라이언스, 의료 분류, 또는 잘못된 답변이 실질적인 결과를 초래하는 어떤 영역에서도 작동하지 않습니다.
우리는 Veriprajna에서 이를 엄격하게 테스트했습니다. 보안 취약점 분류 — 사소한 버그와 치명적인 익스플로잇을 구분해야 하는 영역 — 에서 순진한 LLM 래퍼는 대략 51%의 정확도를 기록했습니다. 이는 무작위보다 겨우 조금 나은 수준입니다. 그 모델은 의미 있는 구분을 해낼 전문 도구와 도메인 지식이 부족했습니다. 그리고 제가 "울타리 걸터앉기(fence-sitting)" 현상이라 부르기 시작한 또 다른 문제가 있었습니다. 기반 모델에 내장된 안전 정렬이 모호한 사례에 대해 단호한 입장을 취하기를 꺼리게 만든 것입니다. 분류 업무에서 모호함을 다루는 일이야말로 업무 전부입니다. 모든 예외 사례에서 얼버무리는 AI는 당신의 팀을 강화해 주는 것이 아니라 — 오히려 더 많은 일을 만들어 냅니다.
이와 대조적으로, 조합 가능한 에이전트, 구조화된 워크플로, 도메인 특화 지식 베이스를 갖춘 우리의 멀티 에이전트 아키텍처는 동일한 벤치마크에서 89%의 정확도를 달성했습니다. 이는 우리가 "더 나은" 모델을 사용해서가 아니라, 우리가 시스템을 구축했기 때문입니다 — 래퍼가 아니라요.
그 차이 — 51% 대 89% — 는 그럴듯한 텍스트를 생성하는 AI와 실제로 도메인에 대해 추론하는 AI 사이의 차이입니다.
수학적 공정성은 실제로 어떤 모습일까?
Veriprajna를 만들어 오면서 제가 배운 것 중 하나는, AI에서 "공정성"이 그저 막연한 느낌이어서는 안 된다는 것입니다. 그것은 반드시 숫자여야 합니다.
우리가 고위험 환경을 위한 시스템을 구축할 때, 우리는 공정성을 수학적으로 정의하고 이를 지속적으로 모니터링합니다. 가장 중요한 두 가지 지표는 다음과 같습니다:
인구통계학적 동등성(Demographic Parity)은 이렇게 묻습니다. 긍정적 결과가 나올 확률이 인종이나 성별 같은 보호 속성과 독립적인가? 만약 당신의 채용 AI가 남성 지원자의 60%를 승인하고 여성 지원자의 35%를 승인한다면, 당신은 이 테스트를 통과하지 못한 것입니다.
균등화된 승산(Equalized Odds)은 더 깊이 파고듭니다. 진양성률과 위양성률이 여러 집단에 걸쳐 동일한가? 이것이 중요한 이유는, 시스템이 자격 있는 후보자를 식별하는 능력을 실제로 향상시키지 않고도, 소외된 집단의 신청을 무작위로 더 많이 승인함으로써 인구통계학적 동등성을 달성할 수 있기 때문입니다.
두 지표는 동시에 모니터링되어야 하며, 어느 하나만으로는 충분하지 않습니다. 그렇기 때문에 우리의 편향 완화 전략은 AI 수명 주기 전체에 걸쳐 작동합니다. 즉, 모델이 데이터를 보기도 전에 학습 데이터의 가중치를 재조정하고, 적대적 편향 제거 같은 기법을 통해 공정성 제약을 학습 과정에 직접 통합하며, 학습 이후에는 인구통계학적 집단 전반에 걸쳐 공평한 결과를 보장하도록 의사결정 임계값을 보정합니다.
이것이 기술적으로 들린다는 것을 압니다. 하지만 쉬운 말로 풀면 이렇습니다: 당신의 공정성 기준을 수학 방정식으로 표현할 수 없다면, 당신에게는 공정성 기준이 없는 것입니다. 당신이 가진 것은 보도 자료입니다.
대부분의 기업이 대비하지 못한 규제의 물결
기업들이 챗봇을 실험하느라 분주한 동안, 규제 당국은 법을 만드느라 분주했습니다.
40개가 넘는 미국 도시가 예측 치안 및 얼굴 인식과 같은 관련 AI 기술을 금지하거나 엄격하게 제한하는 조치를 취했습니다. 샌프란시스코가 2019년에 첫 번째였습니다. 보스턴, 포틀랜드, 산타크루즈가 뒤를 이었습니다. 2024년 3월, 백악관은 연방 기관이 권리에 영향을 미치는 모든 AI 시스템에 대해 독립적인 테스트와 의무적인 영향 평가를 실시하도록 요구하는 획기적인 정책을 발표했습니다.
이것은 단지 정부만의 문제가 아닙니다. EU AI법, NIST의 AI 위험 관리 프레임워크, ISO 42001 — 이러한 프레임워크들은 하나의 메시지로 수렴하고 있습니다: 당신이 고위험 의사결정에 AI를 배포한다면, 그것이 공정하다는 것을 증명하고, 어떻게 작동하는지 설명하며, 이를 지속적으로 모니터링하고 있음을 입증하도록 요구받게 될 것입니다.
거버넌스 인프라를 갖춘 기업들은 적응할 것입니다. LLM 래퍼를 만들어 놓고 그것을 "AI 전략"이라 불렀던 기업들은 허둥지둥하게 될 것입니다.
저는 예전에 사이버 보안에서 이 패턴을 목격한 적이 있습니다. 보안을 뒤늦은 고려 사항으로 취급했던 회사들은 규제가 닥쳤을 때 몇 년을 뒤따라잡는 데 허비했습니다. 처음부터 보안을 아키텍처에 녹여 넣었던 회사들은 거의 아무런 영향도 받지 않았습니다. AI 거버넌스도 똑같은 궤적을 따르고 있습니다. 다만 더 빠를 뿐입니다.
우리가 거버넌스 프레임워크를 NIST, ISO 42001, EU AI법과 어떻게 정렬하는지에 대한 전체 기술적 분석을 보려면 우리의 연구 논문을 참조하십시오.
"그냥 GPT 쓰세요"와 그 밖의 값비싼 실수들
사람들은 왜 기업이 기반 모델에 약간의 프롬프트 엔지니어링을 더해 그걸로 끝내면 안 되는지 제게 늘 묻습니다. 그 답은 LAPD가 범죄를 예측하는 데 지진 모델을 사용하지 말았어야 했던 것과 같은 이유입니다.
문제는 도구가 아닙니다. 문제는 가정입니다.
그 가정이란, 범용 시스템이 — 그것이 지진학 알고리즘이든 인터넷으로 학습된 대규모 언어 모델이든 — 근본적인 아키텍처 변경 없이 전문적이고 고위험한 영역에 그대로 투입될 수 있다는 것입니다. 도메인 특화 추론 계층 없이. 설명 가능성 없이. 지속적인 편향 모니터링 없이. 거버넌스 없이 말입니다.
그 가정은 이미 시험대에 올랐습니다. 치안 분야에서 그것은 대중의 신뢰를 무너뜨렸고, 수십만 명에게 피해를 입혔으며, 전국적인 규제 반발을 촉발했습니다. 기업 AI에서는 그 결과가 더 조용히 펼쳐지고 있습니다 — 환각으로 지어낸 법률 인용, 편향된 채용 결정, 그리고 감사나 소송이 백일하에 드러내기 전까지는 표면화되지 않을 컴플라이언스 실패의 형태로 말입니다.
문제는 당신의 AI가 실수를 할지 여부가 아닙니다. 문제는 그것이 실수를 저질렀을 때 당신이 그것을 알아차릴 수 있는지 — 그리고 그것이 더 커지기 전에 잡아낼 수 있는 아키텍처를 구축해 두었는지입니다.
Veriprajna에서 우리는 모델로 시작하지 않습니다. 우리는 데이터로 시작합니다. 단 하나의 파라미터가 학습되기 전에, 우리는 데이터의 품질, 접근성, 그리고 역사적 편향을 감사합니다. 우리는 범용 모델에 대한 제로샷 호출에 의존하는 대신 전문화된 추론 계층이 심층 연구를 수행할 수 있는 멀티 에이전트 아키텍처를 구축합니다. 우리는 설명 가능한 AI 검증을 구현하여 모든 결정이 추적되고, 검증되고, 방어될 수 있도록 합니다. 그리고 우리는 지속적으로 모니터링합니다 — 정확도뿐만 아니라 공정성 변동(drift)까지 말입니다. 6개월 전에 공평했던 것이, 기저 데이터 분포가 바뀌었다면 오늘은 공평하지 않을 수도 있기 때문입니다.
이것은 래퍼 방식보다 더 비싸지 않습니다. 오히려 더 저렴합니다 — 왜냐하면 고위험 환경에서 거버넌스 없는 AI 시스템을 배포하는 비용은 엔지니어링 시간으로 측정되지 않기 때문입니다. 그 비용은 소송, 규제 벌금, 평판 손상, 그리고 아무도 설명하거나 방어할 수 없는 자동화된 결정이 초래하는 인적 비용으로 측정됩니다.
그 일이 벌어지는 방
저는 지금도 제 마음속에 남아 있는 한 순간으로 이야기를 마치고자 합니다.
우리는 금융 서비스 분야의 한 고객을 위한 새로운 추론 계층을 구축하는 데 깊이 몰두해 있었습니다. 팀은 특정 모듈에서 정확도를 우선할지 설명 가능성을 우선할지를 두고 이틀 동안 논쟁을 벌이고 있었습니다 — 모두가 기술적으로는 옳고, 진짜 쟁점은 엔지니어링이 아니라 가치에 관한 것인, 그런 종류의 논쟁이었죠.
마침내 우리 수석 엔지니어가 방 안을 조용하게 만든 한마디를 했습니다: "이 모델이 왜 누군가에게 대출을 거부했는지 설명할 수 없다면, 우리는 AI 시스템을 만든 것이 아닙니다. 우리는 우리가 해결하도록 고용된 그 문제를 더 효율적으로 만든 버전을 구축한 것입니다."
그녀가 옳았습니다. 그리고 그 문장은 우리가 구축하는 모든 것에 대한 설계 원칙에 가까운 무언가가 되었습니다.
예측 치안의 실패들 — 시카고 히트 리스트에 오른 40만 명, 플레인필드에서의 1% 미만 정확도, 역사적 인종차별을 수학적 확실성으로 바꿔 놓은 피드백 루프 — 이것들은 다른 산업에서 온 교훈적인 이야기가 아닙니다. 이것들은 신뢰를 얻을 아키텍처 없이 AI를 배포했을 때 무슨 일이 벌어지는지를 가장 명확하게 보여주는 예고편입니다.
앞으로 나아갈 길은 AI를 포기하는 것이 아닙니다. 거버넌스를 부수적 비용으로 취급하기를 멈추고 그것을 제품 그 자체로 취급하기 시작하는 것입니다. 이것을 이해하는 기업들은 정밀한 조사를 견뎌내는 시스템을 구축할 것입니다. 그렇지 못한 기업들은 LAPD가 배운 교훈, 시카고 경찰이 배운 교훈, 그리고 그 컴플라이언스 챗봇이 결국 배우게 될 교훈을 배우게 될 것입니다: 무결성 없는 AI 시스템은 도구가 아닙니다. 그것은 그럴듯한 인터페이스를 가진 부채입니다.
