드라이브스루 AI가 말을 더듬는 사람의 말을 끊는 걸 지켜봤다. 그래서 나는 다른 것을 만들었다.
레딧에서 화제가 된 영상이 하나 있다. 한 여성이 웬디스 드라이브스루에서 베이커네이터를 주문하려 한다. 그녀는 말을 더듬는다 — "b" 발음에서 막힘이 온다 — 그러자 AI가 말을 도중에 끊어버리고는 명랑하게 프로스티를 권한다. 그녀가 다시 시도한다. 시스템은 그녀의 반복을 새로운 주문으로 해석한다. 세 번째 시도 끝에, 그녀는 자신에게 무관심한 스피커 박스를 향해 "상담원"을 외치고 있다.
나는 그 영상을 아마 서른 번쯤 봤을 것이다. 웃겨서가 아니라 — 전혀 웃기지 않다 — 그 상호작용에서 벌어진 모든 실패가, 누군가 회의실에서 아마도 "86% 성공률"이라 적힌 슬라이드를 바라보며 내렸을 아키텍처 결정과 정확히 대응되기 때문이다.
그 남은 14%? 그건 실제 사람들이다. 그리고 나는 그 아키텍처가 애초에 그들을 위해 만들어진 적이 없다고 주장하겠다.
이것은 Veriprajna의 우리 팀이 거의 2년에 걸쳐 음성 AI에서 가장 빠른 시장 진입 경로를 거부한 이유 — 그리고 그 대신 우리가 무엇을 만들었는지에 관한 이야기다.
"엔터프라이즈급 음성 AI"란 실제로 무엇을 의미하는가?
우리 업계 대부분의 기업들은 놀라울 만큼 단순한 일을 한다. 마이크를 API에 연결하는 것이다. OpenAI, Google, Anthropic — 좋아하는 대형 언어 모델을 고르고, 오디오를 입력하고, 텍스트를 돌려받고, 응답을 생성한다. 그리고 출시한다.
나는 이것을 API 래퍼 방식이라 부르는데, 이것은 데모에서는 아름답게 작동한다. 조용한 방, 명확한 화자, 단순한 요청. 데모는 언제나 작동한다.
데모는 언제나 작동한다. 밤 11시 47분, 뒤에서 디젤 트럭이 공회전하고 뒷좌석에서 아이가 소리를 지르는 드라이브스루 — 바로 거기서 아키텍처가 실제로 중요해진다.
웬디스의 FreshAI 시스템 — Google Cloud의 Vertex AI 기반 — 은 아마도 이 방식이 대규모로 적용된 가장 유명한 사례일 것이다. 그리고 보고된 고객 경험은 그 한계에 대해 알아야 할 모든 것을 말해준다. 간단한 주문을 하는 데 세 번 이상 시도해야 하는 고객들, 사람이 요청하지도 않은 품목을 권하려고 문장 도중에 끊어버리는 시스템, 그리고 말더듬 같은 언어 비유창성을 가진 누구에게든 "사용 불가능"하다고 묘사되는 경험이다.
그럼에도 웬디스는 500~600개 매장으로 확장하고 있다. 이유는 단순한 산수다 — 이 시스템은 업셀링을 통해 평균 객단가를 높이고, 인건비 효율 수치는 분기 실적 발표에서 그럴듯해 보인다. 평균을 위해 최적화한다면, 그 아키텍처는 성공이다. 그것이 작동하지 않는 당사자라면, 그 아키텍처는 망가진 것이다.
나는 이 긴장 관계를 우리 연구의 인터랙티브 버전에서 깊이 있게 탐구했다. 하지만 핵심 논점은 내가 직접 개인적으로 말하고 싶은데, 그것이 우리가 모든 것을 만드는 방식을 형성했기 때문이다.
마이크가 시작점으로 잘못된 지점임을 깨달은 그 밤
늦봄 어느 목요일, 저녁 9시쯤이었다. 나와 공동창업자, 그리고 엔지니어 두 명이 테스트 용도로 사용 허가를 받은, 문을 닫은 타코벨의 주차장에 서 있었다. 우리는 시제품을 기둥에 장착해 두었다 — 스피커, 마이크, 그리고 이 모든 것을 붙들고 있는 덕트 테이프 약간. 우리는 실험실에서 몇 주 동안 약 95% 정확도로 구동해 왔다. 준비가 되었다고 느꼈다.
가장 먼저 들어온 차는 창문을 반쯤 내린 혼다 시빅을 탄 여성이었다. 그녀는 "3번 콤보 하나 주세요"라고 충분히 또렷하게 말했다. 시스템은 "island numb recon bowl"로 들었다. 나는 공동창업자를 바라봤다. 그는 땅을 내려다봤다.
정확도는 그저 나쁜 정도가 아니었다 — 사용 불가능했다. 우리는 그 주차장에 두 시간을 더 서서 테스트를 거듭했고, 저녁 교통량이 늘면서 수치는 오히려 더 나빠지기만 했다. 나는 좌절감을 느끼기를 멈추고 그보다 두려움에 가까운 무언가를 느끼기 시작한 정확한 순간을 기억한다. 이것은 튜닝 문제가 아니었다. 우리의 접근 방식 전체가 잘못된 것이었다.
문제는 언어 모델이 아니었다. 모델은 괜찮았다. 문제는 오디오가 모델에 도달하기 전에 벌어지는 모든 것이었다. 바람 소음. 엔진의 우르릉거림. 6미터 떨어진 HVAC 유닛의 기계적 웅웅거림. 세 블록 너머의 자동차 경적. 우리 시스템은 사람의 목소리와 디젤 엔진을 구별하지 못했는데, 신호 수준에서 아무도 그렇게 하도록 가르치지 않았기 때문이다.
그것은 이 업계 대부분의 사람들이 여전히 체화하지 못했다고 내가 생각하는 무언가를 이해하게 된 순간이었다. 음성 AI는 NLP 문제가 아니다. 그것은 우선 신호 처리 문제이고, 그다음이 언어학 문제이며, 세 번째가 NLP 문제다. 첫 번째 계층이 망가져 있으면, 그 하류의 어떤 것도 당신을 구할 수 없다.
드라이브스루 AI는 왜 계속 사람들의 말을 끊는가?
원인은 음성 활동 감지 — VAD라 불리는 것이다. 그것은 당신이 언제 말을 시작했고 언제 멈췄는지를 결정하는 시스템이다. 대부분의 래퍼 솔루션에서 그것은 단순한 에너지 임계값이다. 소리가 어떤 선을 넘으면 녹음이 시작되고, 소리가 그 선 아래로 떨어지면 녹음이 멈춘다.
그것을 드라이브스루에서 생각해 보라. 당신은 메뉴판을 힐끗 보려고 0.5초 동안 멈춘다. 에너지가 떨어진다. VAD는 당신이 끝났다고 판단한다. 그것은 문장 조각을 모델에 보내고, 모델은 당신이 끝내지도 않은 질문에 대한 응답을 환각하며, 이제 당신은 스피커 박스와 언쟁을 벌이고 있다.
우리는 VAD를 처음부터 다시 만들었다. 에너지 임계값 대신, 우리는 다양한 주파수에 걸쳐 사람 음성에 대한 확률 점수를 출력하는 신경망 모델 — Silero, Cobra — 을 사용한다. 이진 켜짐/꺼짐 대신, 우리 시스템은 신뢰도 수준을 제공한다. 그리고 고정된 500밀리초 일시정지 허용치 대신, 우리는 대화의 맥락에 따라 조정되는 600~1,000밀리초의 동적 윈도우를 사용한다.
하지만 가장 큰 차이를 만든 비결은 우리가 추측 전사라 부르는 것이었다. 시스템은 250밀리초에 오디오 처리를 시작하지만, 확인된 침묵이 600밀리초가 될 때까지 종료 지점을 확정하지 않는다. 그 중첩이 체감 지연을 350~600밀리초 줄여주는 동시에 성급한 말 끊김을 없앤다.
내 공동창업자는 동적 일시정지 윈도우가 과잉 설계라고 몇 주 동안 주장했다. 우리는 어느 늦은 밤 사무실에 있었다 — 식은 커피, 지연 시간 다이어그램으로 뒤덮인 화이트보드 — 그가 의자를 뒤로 밀며 말했다. "우리는 0.5초를 아끼는 기능에 엔지니어링 3주를 쓰고 있어. 드라이브스루에서 1초를 온전히 멈추는 사람은 아무도 없다고. 이건 허영의 문제야." 나는 이렇게 말했던 것 같다. "그리고 네가 틀렸다면, 우리는 생각이 필요한 모든 고객의 말을 끊어버리는 시스템을 만든 거야." 우리는 그날 밤 내내 말을 하지 않았다. 그는 자정쯤 떠났다. 나는 남아서 계속 시뮬레이션을 돌렸다.
그런 다음 우리는 실제 고객들로 그것을 테스트했다. 알고 보니, 사람들은 끊임없이 멈춘다 — 메뉴를 보면서, 동승자에게 무엇을 원하는지 물으려고 몸을 돌리면서, 정말로 감자튀김이 필요한지 생각하면서 말이다. 온전한 1초의 자연스러운 멈춤은 침묵이 아니다. 그것은 생각이다. 내 공동창업자는 테스트 결과를 본 뒤 나에게 한 줄짜리 메시지를 보냈다. "네가 옳았어. 의자 건은 미안."
인내보다 속도를 위해 최적화하면, 이미 자신이 무엇을 원하는지 아는 사람들에게만 작동하는 시스템을 만들게 된다.
8천만 명
말더듬은 전 세계적으로 8천만 명이 넘는 사람들에게 영향을 미친다. 그 숫자는 주차장 이후 나에게 다르게 다가왔다.
그것은 반복("b-b-b-베이커네이터"), 연장("mmmmilk"), 그리고 막힘 — 단어 중간에서 그 사람이 물리적으로 소리를 낼 수 없는 무음의 멈춤 — 으로 나타난다.
이제 표준 VAD가 막힘을 어떻게 처리하는지 생각해 보라. 그 사람은 단어 중간에 소리 내기를 멈춘다. 시스템은 침묵을 발화 순서의 완료로 해석한다. 그것은 반쪽짜리 단어에 응답한다. 그 사람은 다시 시도한다. 시스템은 그 반복을 새로운 주문으로 취급한다. 10초 안에, 당신은 혼란에 빠진 AI, 좌절한 사람, 그리고 그 뒤로 늘어서는 차량 행렬을 마주하게 된다.
이것은 엣지 케이스가 아니다. 이것은 설계 선택이다. ASR(자동 음성 인식) 모델을 거의 전적으로 "표준" 미국 영어 — 또렷하게 발음되고 멈춤이 최소인 — 로 훈련시킬 때, 당신은 이 시스템이 누구를 위한 것인지에 관한 결정을 내리는 것이다. 연구에 따르면 대부분의 현대 시스템의 근간인 Conformer 기반(오디오 처리를 위해 컨볼루션과 셀프 어텐션을 결합한 신경망 아키텍처) ASR 모델은 장애가 있는 음성에 대해 성능이 너무나 심각하게 저하되어 일부는 음의 의미론적 유사도 점수를 반환한다. 단지 부정확한 것이 아니라 — 의미론적으로 뒤집힌 것이다.
당신의 AI 모델이 장애가 있는 음성에 대해 음의 의미론적 점수를 반환한다면, 당신은 엣지 케이스에 어려움을 겪는 시스템을 만든 것이 아니다. 당신은 인류의 상당 부분을 결코 들을 수 있도록 설계된 적이 없는 시스템을 만든 것이다.
한 투자자가 언젠가 나에게 단도직입적으로 말했다. "그냥 API를 쓰고 나중에 파인튜닝해요. 당신은 소수의 고객에게만 영향을 미치는 문제에 자금을 태우고 있어요." 나는 휴대폰에서 숫자를 띄웠다 — 말더듬만 해도 8천만 명이고, 그건 억양, ESL(제2언어로서의 영어) 화자, 노령 고객, 시끄러운 차 안에서 주문하는 누구든을 세기도 전이다. 나는 그의 표정이 바뀌는 것을 지켜봤다. "그건 소수 비율이 아니네요," 그가 말했다. "그렇죠," 내가 말했다. "아닙니다."
우리는 재주석 처리된 비유창 음성 데이터셋으로 자기 지도 모델을 파인튜닝한다. 우리는 합성 비유창성 삽입을 사용한다 — 유창한 전사문을 가져다가, 막힘과 반복을 추가하고, 그것을 훈련용 오디오로 합성하는 것이다. 이것은 고된 작업이다. 이것은 기능 비교표에 나타나는 종류의 일이 아니다. 하지만 그것이 모두를 위해 작동하는 시스템과 평균을 위해 작동하는 시스템 사이의 차이다.
음성 AI가 클라우드 대신 엣지에서 구동되면 어떤 일이 벌어지는가?
웬디스 드라이브스루 마이크에 대고 말한 모든 단어는 공용 인터넷을 가로질러 Google 데이터센터로 갔다가 돌아온다. 그 왕복은 모델이 처리를 시작하기도 전에 100~500밀리초가 든다. 음성 상호작용에서 최고의 기준은 300밀리초 미만의 응답 시간이다 — 그보다 높은 것은 무엇이든 대화가 자연스럽게 느껴지기를 멈추게 한다. 700~900밀리초가 되면, 통화 상태가 나쁜 전화처럼 느껴진다. 2초가 되면, 사람들은 시스템을 무시하고 말을 겹쳐 시작한다.
우리는 모든 것을 엣지로 옮겼다. 매장 현장의 특화된 하드웨어에서 이루어지는 로컬 처리. 우리의 지연 시간은 5~10밀리초로 떨어졌다.
하지만 진짜 통찰은 속도만이 아니었다 — 그것은 모델 크기였다. 범용 LLM은 모든 것에 관한 모든 것을 알아야 한다. 도메인 특화형 소형 언어 모델은 "Dave's Single"이 음악 앨범이 아니라 버거라는 것만 알면 된다. 그 집중은 더 빠른 추론, 더 예측 가능한 응답, 그리고 연산 비용의 극히 일부를 의미한다. 우리는 클라우드 기반 방식 대비 3배의 속도 개선과 30~40% 낮은 운영 비용을 확인했다.
엣지 아키텍처는 또한 우리가 충분히 예상하지 못했던 문제를 해결했다. 바로 신뢰성이다. 인터넷이 끊길 때 — 그리고 반드시 끊긴다 — 클라우드 의존형 시스템은 매우 비싼 문진(文鎭)이 된다. 우리 시스템은 계속 작동한다. 우리의 엣지 아키텍처와 클라우드 방식을 비교한 완전한 기술적 분석은 연구 논문에서 파고들 수 있다.
아무도 이야기하지 않는 규제의 벽
CAN-ASC-6.2:2025는 2025년 초 내 책상에 놓였고, 나는 그것을 안도와 정당성 확인 사이의 어떤 감정으로 읽었던 것을 기억한다 — 여기 마침내 우리가 지향해 온 바를 말해주는 표준이 있었다. 장애인은 AI 시스템의 설계, 테스트, 거버넌스에 반드시 참여해야 한다. 뒤늦은 추가 사항으로서가 아니라. 처음부터 말이다. 유럽 접근성법(European Accessibility Act)은 2025년 6월부터 막대한 벌금과 함께 시행에 들어가며, ADA는 언어 장애가 있는 사람들을 위한 디지털 장벽을 포괄하도록 재해석되고 있다. 규정을 준수하지 않는 시스템을 600개 매장에 걸쳐 개조하는 것은 처음부터 제대로 만드는 데 드는 비용의 대략 다섯 배가 든다.
"우리가 그냥 버거 주문을 받는 아주 비싼 방법을 만들고 있는 거라면 어쩌지?"
그 생각은 개발에 착수한 지 아마 6개월쯤 된, 새벽 2시경에 나를 강타했다. 나는 사무실에 홀로 있었고, 우리 시스템이 여전히 파싱하지 못하는 더듬은 단어의 스펙트로그램을 응시하고 있었다. 우리는 몇 달째 이것에 매달려 있었다. 우리는 초기 자금 대부분을 소진했다. 그리고 API 래퍼 회사들은 제품을 출시하고 있는데 우리는 여전히 신호 처리 파이프라인을 디버깅하고 있었다.
나는 거의 포기할 뻔했다. 다른 모두처럼 그냥 API를 감싸고, 뭔가를 출시하고, 나중에 개선하기로 거의 결정할 뻔했다.
하지만 "나중에 개선한다"는 것은 음성 AI에서 거짓말이다. 일단 클라우드 의존, VAD 임계값, 유창한 음성만을 전제로 아키텍처를 구축하고 나면, 모든 고객 상호작용이 당신의 훈련 데이터 안에서 그 전제들을 강화한다. 당신은 접근성을 향해 개선해 나가지 않는다. 당신은 그것으로부터 멀어지는 방향으로 개선해 나간다.
엣지 케이스를 먼저 위해 만들면, 평균적 케이스는 저절로 해결된다. 평균을 위해 만들면, 엣지 케이스는 결코 고쳐지지 않는다.
나로 하여금 모든 것을 다시 생각하게 만든 발화 순서 교대 문제
우리가 완전히 당연하게 여기는 인간 대화의 미묘함이 하나 있다. 당신이 "베이커네이터 하나랑…"이라고 말할 때 — 그 끝을 늘이는 "랑"은 당신이 아직 끝나지 않았음을 신호한다. 인간 계산원이라면 기다릴 것이다. 대부분의 드라이브스루 AI는 그러지 않는다.
우리는 내가 대화적 문법이라 여기는 것을 우리의 종료 지점 판단 로직 안에 구축했다. 시스템은 언어적 단서를 실시간으로 파싱한다. 계속을 신호하는 접속사, 완료를 신호하는 음높이 변화, 말 그대로의 의미를 지닌 "그게 다예요"라는 어구. 고객이 "그게 다예요"라고 말하면, 그 의도가 명확하기 때문에 우리 시스템은 200밀리초 이내에 응답한다. 그들이 "그리고…"로 말끝을 흐리면, 온전한 1초의 침묵이 이어지더라도 기다린다.
이곳은 또한 우리의 인간 개입(human-in-the-loop) 철학이 자리하는 곳이기도 하다. 우리는 AI가 감독 없이 거래 전체를 처리해야 한다고 믿지 않는다. 단순하고 정형적인 요청 — 그건 AI가 처리한다. 복잡한 상황, 좌절한 고객, 마찰이 큰 순간 — 그런 것들은 상호작용이 무너지기 전에, 무너진 후가 아니라, 사람에게 이관된다.
목표는 결코 드라이브스루의 사람을 대체하는 것이 아니었다. 그것은 어떤 고객도 듣지 않는 기계를 향해 "상담원"을 외쳐야 하는 일이 결코 없도록 하는 것이었다.
나는 웬디스가 보고한 그 86% 성공률로 자꾸 되돌아온다. 대부분의 소프트웨어 맥락에서 86%는 실패일 것이다. 거래의 86%를 올바르게 처리하는 뱅킹 앱을 상상해 보라. 86%의 확률로 올바른 목적지에 데려다주는 내비게이션 시스템을 상상해 보라. 드라이브스루는 어찌 된 일인지 다른 어떤 소비자 상호작용에서도 용납되지 않을 실패율을 정상화해 버렸다.
이것은 AI 문제가 아니라 아키텍처 문제다
내가 업계 전반에서 보는 패턴은, 기업들이 음성 AI를 소프트웨어 계층으로 취급하는 것이다 — 올바른 API 키만 있으면 기존 인프라 위에 볼트로 조여 붙이는 무언가로 말이다. 그리고 나는 그 이유를 이해한다. 그것은 빠르고, 저렴하고, 데모는 놀랍다.
하지만 드라이브스루는 데모가 아니다. 그것은 디젤 엔진과 바람과 아이들과 억양과 말더듬과 생각하려고 멈추는 사람들이다. 그것은 최악의 음향 환경에서 벌어지는, 인간 소통의 온전하고 환원 불가능한 복잡성이다. 당신은 그것을 래퍼로 헤쳐 나갈 수 없다.
이 시장에서 승리할 기업들은 — 그리고 나는 여기에 자신의 커리어를 건 사람의 편향을 담아 이렇게 말한다 — 깊이 파고들 의지가 있는 기업들이다. 신호 처리로 깊이. 음향 모델링으로 깊이. ASR 훈련 데이터가 사람들이 이래야 한다고 말하는 방식이 아니라, 사람들이 실제로 말하는 방식의 언어학으로 깊이. 천 마일 떨어진 데이터센터에 의존하지 않는 엣지 인프라로 깊이.
음성 AI에는 지름길이 없다. 오직 모든 고객을 듣는 시스템을 만드는, 엄정하고, 화려하지 않으며, 깊이 있게 기술적인 작업만이 있을 뿐이다. 그들 중 86%가 아니라. 단 한 사람도 빠짐없이 전부.
그것이 엔터프라이즈급이 의미하는 바다. 그리고 업계가 그 정의를 받아들이기 전까지, 우리는 "베이커네이터"라는 단어를 이해하지 못하는 드라이브스루 스피커의 영상을 계속 지켜보게 될 것이다.
