자율주행 AI가 실패하는 이유 — 그리고 그것이 당신에게 의미하는 것

문제

우버(Uber)의 자율주행 AI는 충돌 5.6초 전에 보행자를 감지했습니다. 충분한 시간이었을 터였습니다. 차량은 시속 43마일로 주행 중이었고 거리는 약 378피트였습니다. 하지만 브레이크를 밟는 대신 시스템은 판단을 계속 바꿨습니다. 그 사람을 '알 수 없는 물체'로 분류했다가 '차량', 그다음엔 '자전거'로 분류하는 바람에 — 그 결정적인 몇 초 동안 여섯 번이나 재분류했습니다. 재분류할 때마다 예측 경로가 초기화됐습니다. AI는 그녀가 무엇인지 파악하지 못했으므로 어디로 가고 있는지도 파악할 수 없었습니다.

시스템이 브레이크를 밟아야 한다고 판단했을 때는 이미 1.3초만 남아 있었습니다. 물리 법칙상 충돌은 피할 수 없었습니다. 일레인 헤즈버그(Elaine Herzberg)는 2018년 3월 애리조나주 템페(Tempe)의 한 거리에서 목숨을 잃었습니다.

더 심각한 점이 있습니다. 우버는 볼보(Volvo)에 공장 장착된 충돌 회피 시스템을 의도적으로 꺼 두었습니다. 팀은 실험용 소프트웨어를 위해 '더 부드러운 승차감'을 원했던 것입니다. 그 결과 검증된 안전 계층을 미검증 코드로 대체한 셈입니다. 조직이 물리적 환경이든 안전 필수(safety-critical) 환경이든 어떤 환경에서든 AI를 배치한다면, 이 사례는 밤잠을 설치게 할 문제입니다. 확률 기반 시스템에 생사를 건 의사결정을 맡기고 안전망을 걷어낼 때 무슨 일이 벌어지는지 보여주기 때문입니다.

비즈니스에 중요한 이유

이것은 자율주행차만의 문제가 아닙니다. 조직이 검증된 안전 아키텍처 없이 AI를 고위험 의사결정에 도입할 때마다 반복되는 패턴입니다. 재정적·규제적 결과는 가혹합니다:

• 우버는 850만 달러를 지불해 2018년 사망 사건을 합의로 마무리했습니다. 이 금액에는 법적 책임만 담겨 있습니다 — 평판 손실도, 잃은 파트너십도, 운영 중단 비용도 포함되지 않았습니다.
• GM 크루즈는 50만 달러의 형사 벌금을 지불했으며, 이는 자사 로보택시가 샌프란시스코에서 보행자를 20피트나 끌고 간 사건 때문이었습니다. 연방 검찰청(Department of Justice)은 회사가 연방 조사관에게 허위 보고서를 제출했다고 판단했습니다. 캘리포니아주는 운영 허가를 완전히 취소했습니다.
• 템슬라는 2025년 현재 290만 대의 차량을 대상으로 하는 NHTSA 조사에 직면해 있습니다. 40건이 넘는 개별 충돌 조사가 Full Self-Driving 시스템을 겨냥하고 있습니다. 18건의 민원이 차량의 신호위반 사례를 기술하고 있습니다.
• 단일 데이터 유출의 글로벌 평균 비용이 이제 444만 달러에 이릅니다. 자율주행 사망 사고는 법적·운영상 손해 배상 책임을 수천만 달러 규모로 밀어 올립니다.

이사회는 AI를 사용하는지 여부를 묻지 않습니다. 귀하의 AI가 감사 가능하고 설명 가능하며 법정에서 방어 가능한지 묻고 있습니다. 규제 당국은 자발적 자체 평가에서 ISO/PAS 8800, EU AI Act 같은 표준의 의무 준수로 이동하고 있습니다. AI 시스템이 명확한 의사결정 추적 기록을 생성하지 못하면 법적·재정적·운영적으로 무방비 상태에 놓입니다. 성급하게 검증 없는 AI 계층을 배치하며 절약한 모든 달러는 하류에서 위험 노출로 몇 배로 불어납니다.

내부에서 실제 일어나는 일

이번 사건들의 핵심 실패는 엔지니어들이 '분류 진동(classification oscillation)'이라 부르는 것입니다 — 하지만 이렇게 생각해 보세요: 건물로 걸어오는 사람을 보고 직원인지, 배달 기사인지, 낯선 사람인지 판단하지 못하는 경비원을 상상해 보세요. 매초 경비원은 새로운 추측으로 처음부터 다시 시작합니다. 이전에 본 것을 바탕으로 판단하지 않습니다. 그 사람의 경로를 추적하지도 않습니다. 행동하기로 결심할 때쯤이면 이미 늦었습니다.

우버의 AI에서 일어난 일이 바로 이것입니다. 각 순간을 거의 독립적으로 처리했습니다. '대상 영속성(object permanence)'이 없었습니다 — '이것이 무엇이든, 저것은 5초째 우리를 향해 움직이고 있다'고 말해주는 지속 메모리가 없었다는 뜻입니다.

2023년 크루즈(Cruise) 충돌 사고는 같은 결함의 다른 양상을 보여줬습니다. 로보택시가 차도로 밀려난 보행자를 친 후, 시스템은 사람이 차량 아래 깔려 있다는 사실을 인식하지 못했습니다. 충돌을 정면 압사(run-over)가 아니라 '측면 충돌'로 분류했습니다. 그래서 프로그램된 갓길 정차 동작이 발동됐습니다. 차량은 정지하기까지 약 시속 7마일의 속도로 피해자를 20피트나 끌고 갔습니다 — 사람을 감지해서가 아니라 '과도한 휠 슬립'을 등록하고 이를 기계적 고장으로 처리했기 때문입니다.

템슬라(Tesla)의 비전 전용(vision-only) 시스템은 또 다른 계층의 문제를 더합니다. LiDAR도 레이더도 없이 카메라에만 전적으로 의존합니다. 젖은 아스팔트의 햇빛 반사나 안개 같은 조건에서는 광학 신호가 안전한 주행에 필요한 수준 이하로 저하됩니다. 2023년의 치명적인 충돌 한 건이 바로 그런 조건에서 발생했습니다. 시스템은 단순히 볼 수 없었던 것입니다.

이것들은 무작위 버그가 아닙니다. 아키텍처적 약점입니다 — 증명이 아닌 확률 위에 안전 필수 시스템을 구축할 때 생기는 예측 가능한 결과입니다.

효과가 있는 것 (그리고 없는 것)

계속 실패하는 세 가지 흔한 접근법:

• '더 많은 테스트가 해결해 줄 것이다.' 전통적인 블랙박스 테스트는 시스템이 N개 시나리오를 통과하는지 확인합니다. 하지만 모든 날씨 조건의 모든 도로에서 모든 엣지 케이스를 테스트할 수는 없습니다. 테스트는 무슨 일이 있었는지 알려줄 뿐, 앞으로 무슨 일이 일어날지 증명하지 못합니다.
• '비전 전용으로도 충분하다.' 템슬라의 접근법은 LiDAR와 레이더를 완전히 생략합니다. 신호위반과 역주행에 관한 NHTSA의 18건 이상 민원은 카메라만 의존하는 것의 한계를 보여줍니다 — 특히 시야가 좋지 않을 때 그렇습니다.
• '인간 백업이 오류를 잡아줄 것이다.' 우버의 안전 운영자는 일레인 헤즈버그가 사망한 그 순간에도 시스템을 감시하고 있었습니다. 연구자들은 이를 '자동화 만족감(automation complacency)'이라 부릅니다 — 사람은 기계를 신뢰하고 주의를 기울이지 않게 됩니다. 인간 백업은 시간이 지남에 따라 약화됩니다.

실제로 효과가 있는 것은 희망이 아닌 검증 위에 구축된 3단계 아키텍처입니다:

1. 통합 3D 인식 (입력): 각 카메라 피드를 따로 처리하는 대신, 시스템은 모든 센서 데이터 — 카메라, LiDAR, 레이더 — 를 Bird's-Eye-View(BEV)라 불리는 단일 탑다운 3D 지도로 변환합니다. Occupancy Network — 공간의 각 작은 입방체가 점유되었는지 예측하는 모델 — 은 라벨이 아닌 부피를 추적합니다. AI가 어떤 물체가 보행자인지 자전거인지 판단하지 못하더라도 그 공간이 점유되어 있고 무언가 움직이고 있다는 사실은 알 수 있습니다. 이것이 바로 일레인 헤즈버그를 죽인 분류 뒤집힘을 직접적으로 방지합니다.

2. 형식 검증 (처리): SMT 솔버 — 신경망에 대한 모든 가능한 입력을 시험하는 수학 엔진 — 이라 불리는 도구는 안전하지 않은 출력을 초래할 입력이 존재하는지 증명할 수 있습니다. 예를 들어: '안개 조건의 모든 입력에 대해, 제동 명령은 최소 임계값 미만으로 내려가서는 안 된다.' 솔버가 위반을 찾아내면 엔지니어가 배포 전에 수정합니다. 이를 형식 검증 및 증명 자동화 이라고 하며 — 이것이 AI가 안전하기를 바라는 것과 안전함을 증명하는 것의 차이입니다.

3. 결정론적 안전 필터 (출력): 런타임 모니터는 AI가 발행하는 모든 명령을 검증된 안전 기준선과 대조해 확인합니다. AI가 비합리적인 행동 — 점유된 공간을 향한 가속, 신호등 무시 — 을 시도하면 필터가 즉시 이를 무시합니다. 수학적으로 보장된 거부권이라고 생각하면 됩니다.

컴플라이언스 및 법무 팀에게 이 아키텍처는 결정적인 무언가를 만들어냅니다: 변조 불가능한 감사 추적입니다. AI가 내리는 모든 결정은 결정론적 형식으로 기록됩니다. 규제 당국이 시스템이 왜 그렇게 했는지 물으면 블랙박스가 아니라 수학을 보여줄 수 있습니다. 이것은 자동차 안전 표준 이 ISO/PAS 8800과 SOTIF(ISO 21448)에 따라 강화되면서 특히 중요해지고 있는데, 이 표준들은 설계대로 작동하면서 예상치 못한 환경에 직면하는 AI 시스템에서 오는 위험을 구체적으로 다룹니다.

또한 조직은 다음 요소가 센서 융합과 신호 인텔리전스 전체 AI 전략에 어떻게 들어맞는지 고려해야 합니다. 멀티 센서 아키텍처는 단일 장애점을 줄여줍니다 — 바로 템슬라의 비전 전용 접근법이 드러내는 바로 그 약점입니다.

이 권고 사항의 배경이 되는 전체 기술 분석은 기술 백서 전문에서 확인할 수 있으며, 인터랙티브 버전을 살펴보면 실패 사례와 해결책에 대한 단계별 안내를 받을 수 있습니다.