정부 부문 AI 편향: 알고리즘이 차별을 낳을 때

문제점

시카고의 예측 치안(predictive policing) 알고리즘은 2029세 흑인 남성의 56%를 경찰 감시 목록에 올렸습니다. 웨스트 가필드 파크(West Garfield Park)라는 한 동네에서는 1029세 흑인 남성의 73%가 이 목록에 올랐습니다. 총기 폭력을 예측하는 알고리즘의 실제 성공률은 어땠을까요? 1% 미만이었습니다.

이것은 어쩌다 일어난 일탈적 실험이 아니었습니다. "히트 리스트(heat list)"로 알려진 시카고 경찰국의 전략 대상자 목록(Strategic Subject List)은 거의 10년 동안 운영되었습니다. 이 시스템은 체포 기록과 사회적 네트워크를 기반으로 40만 명 이상의 사람들을 잠재적 위협으로 점수화했습니다. 문제는 우선 대상자로 지정된 사람 중 57%가 폭력 범죄로 체포된 기록이 전혀 없었다는 점입니다. 알고리즘은 무단횡단과 같은 경미한 경범죄를 중범죄와 동일하게 취급했습니다. 경미한 경찰 접촉을 영구적인 의심 점수로 바꾸어 놓은 것입니다.

미국 전역에서 로스앤젤레스 역시 지오리티카(Geolitica, 구 PredPol)라는 유사한 시스템을 운영했습니다. 2019년 LAPD 감사관의 감사는 데이터 입력에서 "상당한 불일치"를 발견했으며, 프로그램이 실제로 효과가 있었는지를 전혀 측정하지 못했음을 밝혔습니다. 뉴저지주 플레인필드(Plainfield)에서는 동일한 기술이 0.5% 미만의 성공률을 보였습니다. 두 기관은 결국 이러한 도구의 사용을 중단했습니다.

여러분의 조직이 채용, 대출, 복지 혜택 관리, 공공 안전 등 사람들의 삶에 영향을 미치는 AI 시스템을 배포하고 있다면, 이러한 실패는 귀사를 향한 경고 사격입니다. AI가 오작동한 것이 아닙니다. 설계된 그대로 정확히 작동했을 뿐입니다. 바로 그 설계가 문제였습니다.

이것이 여러분의 비즈니스에 중요한 이유

규제 환경이 급격하게 변화했습니다. 40개 이상의 도시가 예측 치안 및 안면 인식과 같은 관련 AI 도구를 금지하거나 제한하는 조치를 취했습니다. 2024년 3월 백악관과 관리예산국(OMB)은 국민의 권리에 영향을 미치는 모든 AI 시스템에 대해 연방 기관이 독립적인 테스트와 의무적인 영향 평가를 수행하도록 요구하는 획기적인 정책을 발표했습니다.

캘리포니아주의 인종 및 신원 프로파일링 금지법(RIPA)은 이제 모든 경찰 불심검문에 대한 의무적 데이터 수집을 요구합니다. 2025년에 새로 제정된 주 법률들은 AI 투명성 요건을 추가했습니다. EU AI 법(EU AI Act)은 국제 비즈니스를 수행하는 모든 조직에 추가적인 의무를 부과합니다.

이것이 여러분의 수익과 재무에 의미하는 바는 다음과 같습니다:

• 컴플라이언스 비용이 증가하고 있습니다. 여러분의 AI 시스템이 공정성과 투명성을 입증하지 못하면 새로운 연방 및 주 규정에 따라 의무적 감사, 영향 평가, 잠재적인 제재 조치에 직면하게 됩니다.
• 소송 노출 위험은 실재합니다. 시카고의 알고리즘은 갱단 용의자의 96%를 흑인 또는 라틴계로 지정했습니다. 이러한 인구통계학적 격차는 시민권 소송을 초래합니다. 여러분의 AI 시스템이 불평등한 결과를 낳는다면 동일한 정밀 조사를 받게 됩니다.
• 평판 리스크가 가중됩니다. LAPD는 새로운 통찰력을 제시하기보다 "기존 패턴을 정당화"하는 데 그친 시스템을 10년 동안 방어하며 보냈습니다. AI 편향 문제를 해결하는 데 걸리는 지연 시간이 1년 늘어날 때마다 위험 노출도 커집니다.
• 이사회 차원의 책임이 요구됩니다. NIST AI 위험 관리 프레임워크(AI RMF)는 이제 AI 거버넌스의 기본 표준을 설정합니다. 이사회는 귀사가 알고리즘 리스크를 어떻게 관리하고 있는지 질문을 받게 될 것입니다.

AI 기반 사이버 공격은 2020년과 2023년 사이에 300% 증가했습니다. 이러한 보안 리스크를 편향으로 인한 법적 책임과 결합하면 모든 최고 리스크 책임자(CRO)의 의제에 반드시 포함되어야 할 거버넌스 과제가 됩니다.

내부에서 실제로 벌어지고 있는 일

이러한 시스템에서 나타난 핵심적인 실패에는 '통제 불능의 피드백 루프(runaway feedback loop)'라는 이름이 붙어 있습니다. 이것이 어떻게 작동하는지 알기 쉬운 언어로 설명해 보겠습니다.

위생 위반 여부를 확인하기 위해 한 곳의 식당만 점검한다고 상상해 보십시오. 갈 때마다 위반 사항을 발견합니다. 길 건너편에 있는 식당은 전혀 점검하지 않습니다. 이제 여러분의 데이터는 첫 번째 식당만이 안전하지 않은 유일한 식당임을 "증명"합니다. 하지만 여러분은 실질적인 어떤 것도 알아내지 못했습니다. 단지 자신의 점검 패턴을 확인했을 뿐입니다.

예측 치안에서 일어난 일이 바로 이것이었습니다. 알고리즘은 과거 체포 건수가 많았던 지역으로 더 많은 경찰관을 파견했습니다. 경찰관이 많아질수록 더 많은 불심검문이 이루어졌습니다. 더 많은 검문은 경미한 범죄에 대한 더 많은 체포로 이어졌습니다. 이러한 새로운 체포 기록은 해당 지역이 위험하다는 새로운 "증거"로 시스템에 다시 입력되었습니다. 이 순환이 반복되었습니다.

캘리포니아주의 데이터는 이 사실을 명확히 보여줍니다. 흑인은 인구 비율에 따른 예상치보다 126% 더 자주 불심검문을 받았습니다. 아메리카 원주민과 흑인이 수색을 당한 비율은 각각 22%와 19%로, 백인의 12%와 비교되었습니다. 그러나 경찰관들이 이들 수색에서 금지품을 발견한 빈도는 백인을 수색했을 때보다 더 낮았습니다.

AI가 무에서 편향을 만들어낸 것은 아닙니다. AI는 연구자들이 "오염된 데이터(dirty data)"라고 부르는 편향된 데이터를 물려받아 이를 증폭시켰습니다. 알고리즘은 주관적인 인간의 결정을 객관적인 수학처럼 보이는 것으로 변환했습니다. 시민단체들은 이러한 "기술 세탁(tech-washing)"이 차별을 식별하고 이의를 제기하기 어렵게 만드는 방식을 기록해 왔으며, 특히 로직이 독점적 영업비밀로 숨겨진 "블랙박스" 시스템에서 더욱 그러합니다.

대부분의 상용 AI 시스템이 이런 방식으로 작동합니다. 심지어 이를 사용하는 부서조차 모델이 어떻게 결론에 도달하는지 이해하지 못할 수 있습니다. 이는 백서에서 '책임의 공백(accountability vacuum)'이라고 부르는 현상을 초래하여, 누군가 발견하기 전까지 오류가 수년 동안 지속됩니다.

무엇이 통하고 (무엇이 통하지 않는가)

실패하는 접근법부터 살펴보겠습니다.

단순 LLM 래퍼(Simple LLM wrappers). 이는 GPT-4나 Claude와 같은 범용 AI 모델 위에 사용자 인터페이스를 얹은 기초적인 통합 형태입니다. 이들은 예측 치안을 실패로 이끈 것과 동일한 문제, 즉 도메인 특화 지식의 부재, 투명성 결여, 훈련 데이터 편향을 그대로 반영하는 경향을 물려받습니다. 보안 테스트에서 단순한 래퍼 에이전트는 도메인 특화 작업에서 51%의 정확도만 기록했습니다.

일회성 감사. 시카고의 히트 리스트는 공식 감사가 그 실패를 기록하기 전까지 거의 10년 동안 운영되었습니다. 단 한 번의 감사는 전략이 아닙니다. 데이터가 변함에 따라 AI 시스템도 변합니다. 6개월 전에 공정성 검사를 통과한 것이 오늘 통과하지 못할 수도 있습니다.

안전성 정렬(Safety alignment)에만 의존하는 방식. 표준 AI 모델에는 복잡한 질문에 대해 단호한 입장을 취하지 못하도록 방지하는 안전 가드레일이 내장되어 있는 경우가 많으며, 이는 "어정쩡한 태도 취하기(sitting on the fence)"로 묘사되는 경향입니다. 법률 검토나 금융 인수 심사와 같은 중대한 의사결정에서 근거에 기반한 명확한 답을 제시하지 못하는 AI는 자산이 아니라 부채입니다.

실제로 효과가 있는 방법은 귀사가 평가해 볼 수 있는 다음과 같은 3단계 접근법입니다:

1. 입력 데이터 정제(Clean inputs). AI 모델을 구축하거나 배포하기 전에 데이터의 품질, 접근성, 역사적 편향을 감사하십시오. 훈련 데이터가 특정 집단이나 결과를 과도하게 대표하는지 파악해야 합니다. 예측 치안이 우리에게 가르쳐 준 것이 있다면, 그것은 편향된 입력이 편향된 출력을 보장한다는 사실입니다. 또한 직원들이 이미 사용하고 있는 승인되지 않은 AI 도구인 "섀도우 AI(Shadow AI)"를 찾아내야 합니다. Microsoft는 2024년 AI 사용자의 78%에서 이를 발견했습니다.

2. 구조화된 추론(Structured reasoning). 단일 모델의 어림짐작을 다계층 시스템으로 대체하십시오. 이러한 시스템은 문제의 각기 다른 부분을 처리하는 특화된 AI 구성 요소인 조합형 에이전트(composable agents)와 함께 구조화된 워크플로 및 도메인 특화 지식 기반을 활용합니다. 하나의 범용 모델에 모든 것을 요구하는 대신, 각 계층이 서로를 교차 검증하는 시스템을 구축하는 것입니다. 벤치마크에서 이 접근법은 단순 래퍼의 51% 대비 89%의 분류 정확도에 도달했습니다.

3. 지속적 모니터링 및 감사 추적(Continuous monitoring and audit trails). 섀도우 모델링(shadow modeling)을 배포하여 새로운 모델 출력을 기확립된 기준선과 실시간으로 비교하십시오. 최악의 시나리오를 시뮬레이션하는 레드팀(red teaming) 훈련을 실행하십시오. 현실 세계의 조건 변화에 따른 AI 성능의 점진적 저하인 모델 드리프트(model drift)를 추적하십시오. 여러분의 AI가 내리는 모든 결정은 컴플라이언스 팀이 검토하고 규제 기관이 점검할 수 있는 문서화된 추적 기록을 생성해야 합니다.

감사 추적은 여러분의 컴플라이언스 및 법무 팀에 모든 판도를 바꾸어 놓는 요소입니다. 규제 기관이 AI가 특정 결정에 어떻게 도달했는지 물을 때, 어떤 데이터를 사용했고, 어떤 요소를 가중치로 두었으며, 왜 다른 결과 대신 특정 결과를 선택했는지 보여줄 수 있어야 합니다. 소득, 지리적 위치, 과거 패턴과 같은 어떤 특징이 예측을 주도했는지 확인할 수 있는 설명 가능한 AI(Explainable AI)가 바로 그 증거를 제공합니다. 이것이 없다면 귀사는 시카고와 로스앤젤레스가 결국 폐쇄해야 했던 것과 동일한 종류의 블랙박스를 운영하고 있는 것입니다.

공정성 감사 및 편향 완화 조치는 사후에 덧붙이는 것이 아니라 첫날부터 AI 라이프사이클에 구축되어야 합니다. 그리고 정부 및 공공 부문 조직의 경우, 국민의 권리에 영향을 미치는 모든 알고리즘적 결정에 헌법적 심사가 적용되므로 그 중요성은 이보다 더 클 수 없습니다.

여러분의 AI 전략에는 또한 지속적 모니터링 및 문서화된 감사 추적 이 포함되어야 배포 시점뿐만 아니라 어느 시점에서든 컴플라이언스를 입증할 수 있습니다.

이러한 권장 사항의 배경이 되는 전체 기술 분석을 확인하려면, 전체 기술 분석 읽기 또는 인터랙티브 버전 살펴보기.