자율주행차는 충돌 5.6초 전에 그 보행자를 봤다 — 그런데도 그가 무엇인지 끝내 판단하지 못했다

2023년 말, 나는 회의실에 앉아 AI 안전에 대한 내 생각을 영원히 바꿔놓을 영상을 보고 있었다. 샌프란시스코의 Cruise 로보택시가 찍은 영상이었다. 사람이 운전하던 차에 치인 보행자가 자율주행차의 진행 경로로 튕겨 나가 그 차 아래에 깔렸다. 로보택시는 잠깐 멈췄다가 — 이내 도로 갓길로 차를 대기 시작했고, 그 여성을 아스팔트 위로 20피트를 끌고 갔다.

회의실은 조용해졌다. 우리 팀원 중 한 명이 말했다. "차가 측면 충돌이라고 생각한 거예요." 그리고 그 문장 — 차가 생각했다 — 이 이후 우리가 Veriprajna에서 만들어온 모든 것의 씨앗이 되었다.

왜냐하면 그 차는 아무것도 "생각"하지 않았기 때문이다. 분류 서브루틴을 실행했고, 틀린 답을 얻었고, 미리 프로그래밍된 기동을 실행해 살아남을 수 있었던 사고를 훨씬 더 끔찍한 무언가로 바꿔놓았다. 추론은 없었다. 자각도 없었다. 치명적인 오진이 재앙이 되기 전에 잡아낼 수 있는 안전 아키텍처도 없었다.

이것이 내가 투자자와 고객, 동료 엔지니어들에게 계속 설명하려 애쓰는 격차다. 데모에서 훌륭하게 성능을 내는 AI와, 세상이 협조하기를 멈췄을 때 안전하게 행동하는 AI 사이의 거리 말이다. 나는 이것을 인지-논리 격차(Perception-Logic Gap)라고 부르기 시작했다 — 자율 시스템이 보는 것과 실제로 이해하는 것 사이의 공간이다. 그리고 지금, 그 격차가 사람들을 죽이고 있다.

AI가 거의 6초의 시간을 갖고도 실패했을 때, 무슨 일이 있었나?

2018년 3월 애리조나주 템피에서 일어난 Uber ATG 충돌 사고는 내가 가장 자주 되짚어보는 사례다. 확률 기반 시스템이 필요한 데이터를 전부 갖고 있으면서도 치명적인 실수를 저지를 수 있다는 것을 가장 순수하게 보여주는 사례이기 때문이다.

차량의 센서는 충돌 약 5.6초 전에 일레인 허츠버그(Elaine Herzberg) — 자전거를 끌고 어두운 도로를 건너던 보행자 — 를 처음 감지했다. 시속 43마일에서 이는 약 378피트의 거리에 해당한다. 웬만한 제동 시스템이라면 차를 멈추기에 충분하고도 남는 거리다.

하지만 AI는 자신이 무엇을 보고 있는지 결정하지 못했다. 그 5.6초 동안 인지 시스템은 허츠버그를 반복해서 재분류했다. 처음에는 "미확인 물체"로, 다음에는 "차량"으로, 그다음에는 "자전거"로. 각각의 재분류는 단순한 라벨 변경이 아니었다 — 해당 객체의 예측 궤적을 완전히 초기화하는 일이었다. 시스템은 생각을 바꿀 때마다 사실상 기억상실에 걸린 셈이었다.

NTSB 보고서를 처음 읽었을 때 신체적으로 속이 메스꺼웠던 기억이 난다. 결과 때문이 아니라 — 물론 그 결과도 참담했지만 — 그 메커니즘 때문이었다. AI는 충돌 1.3초 전에야 비상 제동이 필요하다고 판단했다. 나머지는 물리 법칙이 불가피하게 만들었다.

장애물을 거의 6초 동안 볼 수 있으면서도 그것이 무엇인지 결정하지 못하는 AI는 센서 문제를 가진 게 아니다. 아키텍처 문제를 가진 것이다.

상황을 더 나쁘게 만든 것은 — 솔직히 나를 화나게 만든 것은 — Uber가 볼보 XC90에 공장 출고 시 장착된 충돌 회피 시스템을 의도적으로 비활성화했다는 사실이었다. 그 차에는 제조사가 제공한 자동 긴급 제동(AEB)이 탑재되어 있었다. Uber는 그들이 "불규칙한 차량 거동"이라 부른 현상을 막기 위해 그것을 껐다. 자신들의 실험용 소프트웨어가 더 부드럽게 주행하기를 원했고, 그래서 생명을 구할 수도 있었던 단 하나의 결정론적 안전 계층을 제거했다.

그 결정은 이 산업에 유령처럼 따라붙는다. AI 안전을 엔지니어링 분야가 아니라 튜닝 문제로 취급하는 원죄다.

왜 같은 실패가 다른 차에서 계속 반복되는가?

Uber 사고 이후, 나는 업계가 배울 거라고 기대했다. 구체적으로는, 기업들이 인지 실패가 판단 실패로 연쇄되지 않는 아키텍처를 만들 거라고 기대했다. 어떤 실험용 소프트웨어도 무시할 수 없는 단단한 안전 경계가 존재하는 아키텍처 말이다.

그런데 우리가 마주한 건 Cruise였다.

2023년 10월 샌프란시스코에서 일어난 사고는 세부 내용에서는 Uber와 달랐지만 아키텍처 측면에서는 동일했다. 사람이 운전하던 닛산 차량이 보행자를 쳤고, 그 여성은 Cruise 로보택시의 진행 경로로 튕겨 나갔다. Cruise 차량은 그를 치고 멈췄다. 여기까지는 시스템이 작동하고 있었다 — 완벽하지는 않았지만, 설계 범위 안에서였다.

그리고 충돌 후 로직이 작동하기 시작했다. 시스템의 충돌 감지는 정면에서 밟고 지나가는 상황과 측면 충돌을 구분할 만큼 세밀하지 않았다. 시스템은 그 사건을 측면 충돌로 분류했다. 그리고 측면 충돌에 대해 미리 프로그래밍된 대응은 이랬다. 교통을 막지 않도록 도로 갓길로 차를 댈 것.

차는 갓길로 이동했다. 사람이 그 아래에 깔린 채로. 차는 시속 약 7마일로 그를 20피트 끌고 간 뒤에야 "과도한 휠 슬립"을 감지했다 — 그리고 그것을 사람이 아니라 기계적 결함으로 해석했다.

그 사고 이후 나는 일주일 동안 팀원들과 올바른 대응 아키텍처가 무엇이었어야 하는지를 두고 논쟁했다. 우리 엔지니어 중 한 명 — 아주 뛰어나고 형식 기법을 매우 중시하는 친구 — 은 더 나은 센서 퓨전으로 해결할 수 있는 문제라고 계속 주장했다. "섀시 아래에 점유 감지 기능이 있었다면 시스템이 알았을 겁니다." 그가 말했다.

그의 말은 맞았다. 하지만 그는 핵심을 놓치고 있기도 했다. 더 깊은 실패는 시스템에 자기 진단에 대한 불확실성이라는 개념 자체가 없었다는 점이다. 시스템은 충돌을 분류했고, 그 분류를 완전한 확신을 갖고 실행에 옮겼다. "방금 무슨 일이 일어났는지 확실하지 않으니, 확실해질 때까지 아무것도 하지 말아야겠다"는 중간 상태가 없었다. 아키텍처가 의심을 허용하지 않았다.

내가 인지-논리 격차를 이야기할 때 말하려는 것이 바로 이것이다. 더 잘 보는 것만의 문제가 아니다. 자신이 모른다는 것을 아는 것의 문제다.

은폐 또한 아키텍처였다

Cruise의 끌고 감 사고 이후에 벌어진 일은 사고 그 자체만큼이나 많은 것을 드러냈다. 조사 결과 경영진은 규제 당국에 투명하게 알리기보다 "부정확한 언론 서사를 바로잡는 데 집착"했던 것으로 드러났다. 직원들은 인터넷 연결 문제로 끌고 가는 부분이 재생되지 않는 경우가 잦다는 것을 알면서도 규제 당국에 사고 영상을 보여줬다고 인정했다.

Cruise는 결국 NHTSA에 허위 보고서를 제출한 혐의로 50만 달러의 형사 벌금을 냈다. 캘리포니아 운영 허가는 취소됐다.

내가 이 이야기를 꺼내는 건 Cruise를 몰아세우려는 게 아니라, 이 산업이 안전을 어떻게 다루는지에 대한 구조적인 무언가를 드러내기 때문이다. AI 시스템이 블랙박스일 때 — 자사 엔지니어조차 특정 순간에 왜 그런 결정을 내렸는지 온전히 설명하지 못할 때 — 아키텍처를 고치는 대신 서사를 통제하려는 유혹은 압도적으로 커진다.

자율주행차에서 투명성은 홍보 전략이 아니다. 기술적 요구사항이다. 위기 상황에서 AI가 내린 모든 결정을 감사할 수 없다면, 당신에게는 안전 시스템이 아니라 책임 부담(liability)이 있는 것이다.

Veriprajna에서 우리는 설명 가능한 안전 감사를 아키텍처 작업의 핵심으로 삼았다. AI가 내리는 모든 결정은, 특히 충돌 이후의 결정은 규제 당국이 실시간으로 감사할 수 있는 결정론적이고 위변조 불가능한 형식으로 기록된다. 우리가 Cruise보다 더 고결해서가 아니다 — 대안이 "영상이 알아서 말하게 두자"일 때 무슨 일이 벌어지는지 봤기 때문이다.

이 접근법 뒤에 있는 전체 기술 프레임워크는 우리의 인터랙티브 백서에 정리해두었다. Uber, Cruise, Tesla, Waymo 사례에서 우리가 목록화한 구체적인 실패 모드들도 함께 담았다.

Tesla의 "비전 온리" 베팅은 안전에 실제로 어떤 의미인가?

Tesla의 자율주행 접근법은 Uber나 Cruise의 것과 철학적으로 다르고, 실패 양상도 다르다. 하지만 서로 운을 맞추듯 닮아 있다.

Tesla의 Full Self-Driving 시스템은 전적으로 카메라에 의존한다 — LiDAR도, 레이더도 없다. 일론 머스크는 LiDAR를 "목발"이라고 불렀다. 충분히 발전한 신경망이라면 인간의 시각이 그러하듯 2D 이미지만으로 세계에 대한 완전한 3D 이해를 재구성할 수 있다는 데 건 베팅이다.

우아한 발상이다. 나 역시 지적으로 매력적이라고 생각한다. 하지만 NHTSA는 2024년과 2025년 사이에 FSD 관련 충돌에 대해 40건이 넘는 조사를 개시했고, 이는 290만 대의 차량을 포괄하며, 그 패턴은 치명적이다.

18건의 개별 민원은 차량이 빨간불을 무시하고 지나가거나 신호 상태를 감지하지 못한 사례다. 여러 보고서는 차량이 반대편 차선으로 진입했다고 기술한다. 2023년의 한 사망 사고는 젖은 아스팔트 위 태양 눈부심 상황에서 발생했다 — 어떤 카메라 시스템도 신뢰성 있게 해석할 수 없는 수준까지 광학 신호 대 잡음비가 떨어지는 조건이었다.

나는 이것을 역량 연극(Capability Theater)이라고 부른다. 시스템은 최적 조건에서 아름답게 작동하며 유능하다는 착각을 만들어내지만, 그 착각은 가장자리에서 무너진다. 화창한 날, 깨끗한 도로, 표준적인 교차로? 흠잡을 데 없다. 낮은 태양 고도, 젖은 노면, 흔치 않은 보행자 횡단? 시스템은 우아하게 성능이 저하되지 않는다. 갑자기 실패한다.

문제는 비전 온리가 이론적으로 작동할 수 없다는 게 아니다. 문제는 Tesla가 내가 보증 게이트(Assurance Gates)라고 부르는 것 없이 이를 대규모로 배포하고 있다는 점이다. 보증 게이트란 AI의 신뢰도가 검증된 임계값 아래로 떨어졌을 때 위험도 높은 결정을 내리지 못하게 막는 단단한 경계다. 눈부심 포화도가 특정 비율을 넘으면 시스템은 더 열심히 추측할 게 아니라 주행을 거부해야 한다.

AI가 사람을 죽이지 않을 것임을 어떻게 증명하는가?

이것이 나를 밤에 잠 못 들게 하는 질문이다. 비유가 아니라 — 말 그대로다. 작년에는 새벽 2시까지 형식 검증 실험을 돌리며 "충분히 테스트했다"와 "안전함이 증명됐다" 사이의 경계를 찾으려 애쓰던 시기가 있었다.

전통적인 소프트웨어 테스트는 블랙박스 방식이다. 시스템을 N개의 시나리오에 통과시키고, 전부 통과하면 출시한다. 하지만 자율주행차는 N개의 시나리오를 만나지 않는다. 물리적 세계 전체를, 그 모든 혼돈과 엣지 케이스와 설명 불가능한 행동을 하는 인간들과 함께 만난다. 어떤 규모의 시나리오 테스트로도 그 공간을 다 덮을 수 없다.

형식 검증은 다른 접근을 취한다. "시스템이 이 테스트들을 통과했는가?"라고 묻는 대신, 이렇게 묻는다. "어떤 입력이든 안전하지 않은 출력을 만들어낼 수 있는 것이 존재하는가?" Marabou나 α,β-CROWN 같은 도구는 신경망을 수학적 제약 조건의 집합으로 표현한 뒤, 위반 사례를 남김없이 — 전수적으로 — 탐색한다.

안전 속성은 이런 모습일 수 있다. "저시정" 범위 안의 모든 가능한 입력에 대해, 제동 명령은 결코 최소 임계값 아래로 떨어져서는 안 된다. 솔버가 반례 — 그 속성을 위반하는 특정 입력 — 를 찾아낸다면, 그것이 누군가를 죽이기 전에 취약점을 식별한 것이다.

어느 날 밤, 우리는 인지 모델에 대한 검증을 돌리고 있었는데 솔버가 우리 중 아무도 예상하지 못한 반례를 내놨다. 제동 신뢰도를 거의 0까지 떨어뜨리는, 조명 각도와 물체 거리의 매우 특정한 조합이었다. 우리 중 누구도 테스트해볼 생각조차 하지 못했을 시나리오였다. 솔버가 그것을 찾아낸 이유는 추측하고 있지 않았기 때문이다 — 증명하고 있었기 때문이다.

그 순간 내 안에서 무언가가 명확해졌다. 테스트는 "이게 작동하는가?"를 묻는다. 검증은 "이게 실패할 수 있는가?"를 묻는다. 이 둘은 근본적으로 다른 질문이며, 안전 필수 AI는 두 번째 질문을 요구한다.

테스트는 당신의 AI가 무엇을 하는지 알려준다. 검증은 당신의 AI가 결코 할 수 없는 것이 무엇인지 알려준다. 안전 필수 시스템에서는 두 번째 질문만이 중요하다.

문제는 현재의 신경망이 거대하다는 것 — 수백만 개의 파라미터 — 이고, 대규모 네트워크의 전수 검증은 계산적으로 다루기 어렵다는 점이다. 우리는 뉴런 가지치기(neuron pruning)로 이 문제에 대응한다. 정확도에는 기여하지 않으면서 네트워크를 검증하기에 너무 복잡하게 만드는 중복 뉴런을 체계적으로 제거하는 것이다. 그 결과는 성능도 뛰어나고 수학적으로 증명도 가능한, 더 가벼운 모델이다.

SMT 솔버 방법론과 가지치기 접근법을 포함해 우리 검증 파이프라인의 전체 기술적 해부는 우리의 상세 연구 논문을 참고하기 바란다.

문제가 AI가 아니라 세상일 때

Waymo는 5,600만 마일 이상을 주행했고 인간 운전자보다 부상률이 현저히 낮다. 대부분의 지표에서 그들은 업계 선두다. 그럼에도 Waymo는 자율주행 업계의 누구도 대비하지 못한 실패 모드를 드러냈다. 바로 세상 그 자체가 협조를 거부하는 상황이다.

2025년 로스앤젤레스 정전 당시, 수십 대의 Waymo 로보택시가 어두워진 교차로에서 오도 가도 못하게 됐다. 차량들은 꺼진 신호등을 사방 정지(four-way stop)로 처리하도록 프로그래밍되어 있었다 — 법적으로 올바른 대응이다. 하지만 수십 대의 자율주행차가 모두 같은 죽은 교차로에 도착해, 각자 정중하게 자기 차례를 기다리고, 각자 동시에 원격 인간 지원을 요청하면, 내가 독립성의 함정(Independence Trap)이라고 부르기 시작한 현상이 나타난다. 모든 차량이 개별적으로는 올바르게 행동하면서, 집단적으로는 어떤 개별 차량도 해소할 수 없는 교착 상태를 만들어내는 것이다.

원격 지원 센터는 감당하지 못했다. 로보택시가 다른 로보택시를 막고 있었다. 교차로 하나에 차 한 대일 때는 완벽하게 작동하던 시스템이, 도시 전역의 비상 상황에서 차량 군단 규모로 확장되자 무너졌다.

그리고 아무도 공개적으로 이야기하고 싶어 하지 않는 문제가 있다. 2025년 초 로스앤젤레스에서 소요 사태가 벌어졌을 때, 군중이 Waymo 차량을 공격했다 — 타이어를 찢고, 창문을 깨고, 차에 불을 질렀다. "수동적 안전"으로 프로그래밍된 차량들은 사람들에게 둘러싸이자 그냥 멈춰 섰다. 당신을 둘러싼 사람들이 승객이 탄 차를 부수려 하고 있을 때, 그것은 정확히 잘못된 대응이다.

이 때문에 일부 연구자들이 "위험 탈출 모드(Danger Escape Mode)"라고 부르는 것에 대한 진지한 논의가 시작됐다 — 자율주행차가 승객을 폭력으로부터 보호하기 위해 경미한 교통 법규 위반(연석에 올라타기, 빨간불에 진행하기)을 감행할 수 있는 능력이다. 이는 AI의 윤리적 위계를 근본적으로 다시 생각할 것을 요구하며, 더 나은 센서나 더 빠른 프로세서로는 결코 풀 수 없는 문제다.

잠재 고객과의 미팅에서 이 이야기를 꺼냈더니, 누군가 이렇게 말했다. "그런 엣지 케이스는 그냥 GPT를 써서 처리하면 되지 않나요?" 내 표정이 내 말보다 더 많은 것을 말했던 것 같다. 이것은 형식적 윤리 추론이 필요한 의사결정 아키텍처 문제이지, 챗봇 문제가 아니다.

왜 테스트만으로는 안전에 도달할 수 없는가?

사람들이 나에게 끊임없이 묻는다. "Waymo가 5,600만 마일의 데이터를 갖고 있다면, 그 정도면 충분한 테스트 아닌가요?"

아니다. 그리고 그 이유는 철학적인 것이 아니라 수학적인 것이다.

가능한 주행 시나리오의 공간은 사실상 무한하다. 5,600만 마일을 주행하고도, 인지 시스템을 실패하게 만드는 태양 눈부심과 젖은 아스팔트와 특이한 옷차림의 보행자라는 특정 조합을 한 번도 만나지 못할 수 있다. 엣지 케이스는 흔한 시나리오의 드문 변형이 아니다 — 이미 본 모든 것들 사이의 틈새에 존재하는 시나리오다.

그래서 규제 환경이 "테스트 결과를 보여달라"에서 "안전 증명을 보여달라"로 옮겨가고 있다. SOTIF — 의도된 기능의 안전(Safety of the Intended Functionality) — 로 알려진 ISO 21448은 AI가 프로그래밍된 그대로 정확히 작동하면서도 감당할 수 없는 환경을 만났을 때 발생하는 위험을 다루기 위해 특별히 설계됐다. 하드웨어 고장에 관한 것이 아니다. AI의 내재적 한계가 실제 세계와 마주치는 것에 관한 것이다.

그리고 2024년 말 도로 차량용 AI의 핵심 표준이 된 ISO/PAS 8800은 여기서 한 걸음 더 나아간다. 데이터 수집부터 배포 후 모니터링에 이르기까지 AI 라이프사이클 전체를 관리할 것을 요구한다. "일단 출시하고 무슨 일이 벌어지는지 보자"의 시대는 끝나가고 있다. 적어도 EU와 미국, 주요 아시아 시장에서 합법적으로 사업하고자 하는 기업들에게는 그렇다.

Veriprajna에서 우리는 고객을 SOTIF가 말하는 "알려진/안전한(Known/Safe)" 사분면으로 이동시키는 것을 중심으로 작업을 설계한다 — 촉발 조건을 체계적으로 식별하고, 인지 오류를 유발하는 환경 상태를 매핑하며, 실제 도로에서 테스트하기에는 너무 위험한 엣지 케이스를 고충실도 시뮬레이션으로 주입한다.

래퍼와 솔루션의 진짜 차이

지난 몇 년간 나는 AI 산업이 두 진영으로 갈라지는 것을 지켜봤고, 그 간극은 점점 더 벌어지고 있다.

한쪽에는 래퍼 경제가 있다 — 대규모 언어 모델 위에 대화형 인터페이스를 얹고, 배포 속도와 사용자 경험을 최적화하는 기업들이다. 그중 일부는 진정으로 유용하다. 하지만 대부분은 안전 필수 응용 분야와는 무관하다.

다른 한쪽에는 내가 딥 AI 엔지니어링이라고 부르는 것이 있다. 형식 검증과 센서 퓨전 복원력, 결정론적 안전 아키텍처의 통합이다. 더 느리다. 더 어렵다. 데모에서는 덜 인상적이다. 그리고 물리적 세계와의 접촉에서 살아남을 수 있는 유일한 접근법이다.

이 전환의 기술적 핵심은 점유 네트워크(Occupancy Networks)를 활용한 조감도(Bird's-Eye-View) 인지다. 개별 카메라 피드를 처리한 뒤 이어 붙이려 애쓰는 대신 — 이는 이음매마다 데이터를 잃는 과정이다 — BEV 인지는 다중 시점 카메라와 LiDAR 데이터를 위에서 내려다본 통합 3D 그리드로 변환한다. 그리고 "이 물체는 무엇인가?"라고 묻는 대신, 점유 네트워크는 "이 공간이 점유되어 있는가?"라고 묻는다.

이 구분은 엄청나게 중요하다. Uber ATG 시스템이 객체를 분류하려 애쓰는 대신 점유된 공간을 추적하고 있었다면, 시스템이 허츠버그를 보행자로 봤든 자전거로 봤든 미확인 물체로 봤든 아무 상관이 없었을 것이다. 그 공간은 점유되어 있었다. 그 공간은 차량의 진행 경로 위에 있었다. 제동.

마찬가지로, Cruise 차량이 섀시 아래에서 점유 감지를 돌리고 있었다면, 충돌을 어떻게 분류했든 상관없이 차 밑에 무언가가 있다는 것을 알았을 것이다. 점유된 공간이 갓길 정차 기동을 무효화했을 것이다.

질문은 "이 물체는 무엇인가?"가 아니다 — "이 공간이 점유되어 있는가?"다. 이 하나의 재구성만으로도 지난 10년간 가장 악명 높았던 두 건의 자율주행차 참사를 막을 수 있었다.

우리는 Transformer 아키텍처를 사용한다 — GPT의 기반이 된 바로 그 기술이다 — 하지만 대화를 위해서가 아니다. 우리는 그것을 이종 센서 데이터를 우리가 공유 캔버스(Shared Canvas)라고 부르는 것으로 융합하는 공간 추론 엔진으로 사용한다. 시간적 셀프 어텐션(temporal self-attention) 덕분에 시스템은 일시적인 가림 속에서도 객체가 어디 있었는지 기억할 수 있다 — 주차된 트럭 뒤로 걸어가는 보행자는 카메라가 2초 동안 그를 보지 못한다고 해서 모델의 인식에서 사라지지 않는다.

850만 달러짜리 교훈

Uber ATG의 합의금은 850만 달러였다. Cruise의 형사 벌금은 50만 달러였다 — 운영 중단과 평판 훼손, 그리고 인간의 고통은 근처에도 반영하지 못하는 숫자다. Tesla에 대한 NHTSA 조사는 290만 대의 차량을 대상으로 한다. 단일 데이터 유출 사고의 전 세계 평균 비용은 이제 444만 달러다.

이 숫자들을 더해보면, "빠르게 움직이고 부숴라" 진영에게 불편한 결론이 나온다. 값싼 AI 래퍼는 기업이 저지를 수 있는 가장 비싼 실수다. 작동하지 않아서가 아니다 — 통제된 환경에서는 잘 작동한다. 하지만 통제되지 않은 세계를 만나는 순간 — 어두운 도로, 충돌 후의 혼란, 젖은 아스팔트 위의 태양 눈부심, 성난 군중 — 결정론적 안전 아키텍처의 부재는 소프트웨어의 한계를 인간의 참사로 바꿔놓는다.

사람들은 때때로 형식 검증이 너무 느리고, 너무 비싸고, 현실 세계의 배포 일정에는 너무 학술적이라며 우리 접근법에 반박한다. 그 반론을 이해한다. 검증은 계산 비용이 크다. 검증 가능성을 위해 네트워크를 가지치기하는 데는 시간이 걸린다. 단단한 보증 게이트를 갖춘 안전 아키텍처를 만드는 일은 API를 감싸는 것보다 훨씬 더 많은 작업이다.

하지만 나는 그런 사람들에게 Cruise가 사람을 끌고 가는 영상을 보라고 하고 싶다. 일레인 허츠버그의 죽음에 관한 NTSB 보고서를 읽어보라고. Tesla FSD 조사에 담긴 18건의 신호 위반 민원을 들여다보라고. 그러고 나서 바로 그런 결과를 막기 위해 설계된 접근법에 "너무 느리다"가 타당한 비판이라고 말해보라고.

확률적 희망 위에 자율 시스템을 짓던 시대는 끝나가고 있다. 규제 당국이 강제해서가 아니라 — 물론 강제하고 있지만 — 실제 세계의 물리 법칙이 그것을 요구하기 때문이다. 교차로 1,000개를 완벽하게 통과하고 1,001번째에서 빨간불을 무시하는 AI 시스템은 99.9% 안전한 것이 아니다. 그냥 안전하지 않은 것이다. 안전은 백분율이 아니다. 안전은 속성이다 — 검증된 모든 조건에서 성립하거나, 아예 성립하지 않거나 둘 중 하나인 속성이다.

그것이 내가 Veriprajna를 만들어가고 있는 전환이다. 더 나은 래퍼가 아니다. 더 빠른 데모가 아니다. 실패가 버그 리포트가 아니라 사망자 수인 시스템을 위한 결정론적 보증이다.