"AI 기반" 만능주의에 대한 제 믿음을 무너뜨린 6천만 달러짜리 식료품 알고리즘

작년 12월 시카고의 한 호텔 방에 앉아 음소거된 뉴스를 반쯤 흘려보고 있을 때, Instacart 합의 소식이 화면 하단에 스쳐 지나갔습니다. 6천만 달러. FTC. 기만적인 AI 가격 책정. 저는 음소거를 풀었고, 약 30초 동안 정당성이 입증된 느낌과 메스꺼움이 뒤섞인 묘한 감정으로 그저 앉아 있었습니다.

정당성이 입증된 느낌이 든 이유는, Veriprajna의 제 팀이 수년간 대부분의 기업이 AI를 배포하는 방식 — 확률적 모델 위에 얇은 소프트웨어 계층을 덧붙인, 우리가 "LLM 래퍼"라고 부르는 것 — 이 언젠가 누군가의 얼굴 앞에서 터질 것이라고 주장해 왔기 때문입니다. 메스꺼움을 느낀 이유는, 피해를 입은 사람들이 기술 기업 임원이나 벤처 투자자가 아니었기 때문입니다. 그들은 식료품을 사는 가족들이었습니다. 알고리즘은 같은 매장에서 같은 시리얼 한 상자를 두고 사람마다 다른 가격을 청구해 왔고, 그 가격 차이는 반올림 오차 수준이 아니었습니다. 최대 23%에 달했습니다.

그날 밤 저는 공동 창업자에게 전화를 걸었습니다. "Instacart 봤어?" 제가 물었습니다. 그녀는 봤다고 했습니다. "이게 바로 우리가 대비해 온 실패 유형이잖아." 그녀가 말했습니다. 그리고 그녀의 말이 맞았습니다. 하지만 재앙에 대해 옳았다는 것은 승리처럼 느껴지지 않습니다. 누군가에게 경고했던 자동차 사고를 지켜보는 기분입니다.

연구실을 절대 벗어나지 말았어야 할 실험

법률 용어를 걷어내고 실제로 무슨 일이 있었는지 말씀드리겠습니다. 2022년, Instacart는 Eversight라는 AI 가격 책정 회사를 인수했습니다. 이 도구는 멀티 암드 밴딧(Multi-Armed Bandits)이라는 부류의 알고리즘 — 실제 고객을 대상으로 끊임없이 실험하며 최적 가격을 찾는 강화 학습 시스템 — 을 사용했습니다. 누가 레버를 당기느냐에 따라 배당을 조정하는 슬롯머신을 떠올려 보십시오.

문제는 수학이 아닙니다. 멀티 암드 밴딧은 우아합니다. 문제는 아무도 그 수학 주위에 우리를 짓지 않았다는 것입니다.

알고리즘은 — 최적화 알고리즘이 하는 일이 바로 그것이기 때문에 — 특정 사용자들이 더 높은 가격을 감내하리라는 사실을 발견했습니다. 그 사용자들이 더 많이 내고 싶어서가 아니라, AI가 그들의 데이터로 행동 프로필을 구축하고 이 사람들이 장바구니를 포기할 가능성이 더 낮다는 것을 학습했기 때문입니다. 그래서 밀어붙였습니다. 조금 더 높게. 그런 다음 조금 더 높게. 제품 카탈로그의 75%가 결국 알고리즘적 가격 변동의 대상이 되었습니다. 평균 장바구니는 당신이 누구인지에 따라 7%까지 변동할 수 있었고, 개별 품목의 경우 그 차이는 $2.56에 달했습니다.

최적화 알고리즘을 강력한 제약 없이 풀어놓으면, 최선의 가격을 찾지 않습니다. 가장 착취하기 쉬운 고객을 찾습니다.

이것이 제 팀에게 명확해진 순간을 기억합니다. 우리는 FTC 고발 문서를 검토하고 있었는데, 회의에서 좀처럼 나서지 않는 조용한 우리 엔지니어 한 명이 이렇게 말했습니다. "이건 그냥 착취를 향한 경사 하강이네요." 그의 말이 정확히 맞았습니다. 알고리즘에는 공정성이라는 개념도, 법에 대한 표상도, 자신이 하는 일에 가격 차별이라는 이름이 있다는 이해도 없었습니다. 오직 보상 함수만 있었고, 그 보상 함수는 이렇게 말했습니다. 마진을 극대화하라.

"Hide_Refund" 파일

가격 책정만으로도 충분히 나빴습니다. 하지만 FTC 조사는 정말로 제 속을 뒤집어 놓은 무언가를 밝혀냈습니다.

Instacart는 내부 실험 — 실제로 이름을 "hide_refund"라고 지었습니다 — 을 진행했는데, 앱에서 셀프서비스 환불 버튼을 제거하고 향후 주문 크레딧으로 대체했습니다. 목표는 충분히 어렵게 만들면 고객들이 환불 요청을 그만둘지 확인하는 것이었습니다. 효과가 있었습니다. 회사는 주당 $289,000를 절약했습니다.

다시 한번 말씀드리겠습니다. 주당 25만 달러를, 잘못되거나 손상된 식료품을 받은 고객들에게서, 그들이 돈을 돌려받을 수 있게 해 주는 버튼을 숨김으로써 뽑아낸 것입니다.

이것은 전통적인 의미의 AI 실패가 아니었습니다. 환각도, 모델 드리프트도 없었습니다. 이것은 일부는 사람, 일부는 알고리즘으로 이루어진 의사결정 시스템이 정직성에 대한 제약이 전혀 없는 상태에서 현금 유지를 최적화하도록 설계된 결과였습니다. AI가 스스로 환불 버튼을 숨긴 것은 아닙니다. 하지만 그 AI를 만들어 낸 문화가 버튼을 숨기기로 한 결정도 만들어 냈습니다. 둘은 같은 근본 원인을 공유합니다. 진실이라는 개념이 없는 아키텍처.

AI 가격 책정은 왜 계속 잘못되는가?

사람들은 언제나 이 지점에서 제게 반박합니다. "아슈토시, 동적 가격 책정은 새로운 게 아니에요. 항공사도 하잖아요. 호텔도 하고. Uber도 하고요." 그리고 어느 정도까지는 그들의 말이 맞습니다. 전통적 동적 가격 책정은 총량적 수요와 공급에 기반해 조정됩니다. 크리스마스에 마이애미행 항공편을 원하는 사람이 더 많다고요? 모두에게 가격이 오릅니다. 그게 경제학입니다.

Instacart의 시스템이 한 일은 달랐습니다. 그것은 개인 데이터 — 당신의 검색 기록, 당신의 위치, 당신의 구매 패턴 — 를 사용해 개인화된 가격을 구성했습니다. 같은 주방에 서서 같은 매장에서 같은 품목을 주문하는 두 사람이 10달러나 차이 나는 가격을 볼 수 있었습니다. 그것은 동적 가격 책정이 아닙니다. 그것은 감시 가격 책정이며, 근본적으로 다른 윤리적·법적 범주입니다.

이것이 계속 일어나는 기술적 이유는 제가 끊임없이 생각하는 무언가입니다. 오늘날 대부분의 엔터프라이즈 AI 시스템은 인지 과학자들이 "시스템 1" 사고자라고 부를 법한 것들입니다 — 빠르고, 직관적이며, 패턴을 매칭합니다. 대규모 언어 모델은 다음 단어를 예측합니다. 가격 책정 알고리즘은 다음 구매를 예측합니다. 그것들은 상관관계에는 뛰어나지만 추론에는 형편없습니다.

엔터프라이즈 의사결정 — 특히 소비자, 돈, 또는 법에 닿는 것들 — 은 "시스템 2" 사고를 요구합니다. 느리고, 신중하며, 논리적이고, 규칙에 의해 제약됩니다. Instacart 참사 전체는 시스템 1 도구가 시스템 2 문제 공간에 배포되었고, FTC가 문을 두드릴 때까지 아무도 알아채지 못했기 때문에 일어났습니다.

저는 이 아키텍처적 구분에 대해 Instacart 붕괴에 대한 우리의 인터랙티브 분석에서 깊이 있게 다뤘지만, 짧게 요약하면 이렇습니다. 유창함은 추론이 아닙니다. 가격을 생성할 수 있는 모델이 공정한 가격이 무엇인지 이해하는 모델은 아닙니다.

우리가 그것을 잘못 만들 뻔했던 밤

우리가 똑같은 함정에 거의 빠질 뻔했다는 것을 인정하지 않는다면 저는 위선자일 것입니다.

Veriprajna의 초창기 — 명확한 아키텍처 철학을 갖추기 전 — 우리는 물류 분야의 한 고객을 위해 컴플라이언스 검증 시스템을 만들고 있었습니다. 가장 빠른 길은 명백했습니다. 대규모 언어 모델을 가져와, 관련 규정을 입력하고, 잠재적 위반을 표시하게 하는 것이었습니다. 전형적인 RAG — 검색 증강 생성. 우리는 몇 주 만에 출시할 수도 있었습니다.

당시 제 CTO는 회의적이었습니다. "규정이 '하지 않는 한'이라고 말하는데 모델이 그것을 '만약'으로 취급하면 어떻게 되죠?" 그가 늦은 밤 아키텍처 검토 중에 물었습니다. 저는 대수롭지 않게 넘겼습니다. "엣지 케이스는 파인튜닝하면 돼."

우리는 프로토타입을 만들었습니다. 데모에서는 인상적이었습니다. 위반의 약 90%를 정확히 잡아냈습니다. 그런 다음 우리는 그것을 일부러 적대적으로 만든 테스트 케이스들 — 법에 중첩된 예외가 있고, 한 조항이 세 개 섹션 떨어진 다른 조항을 수정하며, 의미가 단순히 텍스트가 아니라 개체들 간의 관계에 의존하는 시나리오들 — 에 대해 실행했습니다.

실패했습니다. 우아하게가 아니라. 파국적으로. 모델은 올바른 규정을 자신 있게 인용한 다음 잘못된 결론을 도출하곤 했는데, 법적 구조를 통해 논리를 추적하는 것이 아니라 언어의 패턴을 매칭하고 있었기 때문입니다. 우리는 밤 11시에 사무실에 앉아 결과를 바라보았고, 저는 이렇게 생각했던 것을 기억합니다. 이것을 출시하면, 우리는 다음 Instacart가 된다. 식료품 가격 책정이 아니라 컴플라이언스에서. 다른 영역, 같은 아키텍처적 죄악.

그날 밤 우리는 뉴로-심볼릭 아키텍처에 전념하기로 결심했습니다. 그것이 유행이어서가 아니라 — 유행이 아니었고, 솔직히 지금도 아닙니다 — 100% 옳아야 하는 것들에 대해 90% 옳은 무언가를 만드는 것을 우리가 견딜 수 없었기 때문입니다.

고위험 영역에서 99% 정확한 AI는 성공 사례가 아닙니다. 그것은 마케팅 예산이 붙은 책임 부채입니다.

법이 알고리즘을 따라잡으면 무슨 일이 일어나는가?

Instacart가 FTC와 합의하는 동안, 똑같이 중대한 무언가가 올버니에서 일어나고 있었습니다. 뉴욕의 알고리즘 가격 공시법(Algorithmic Pricing Disclosure Act)이 2025년 11월 10일 발효되었고, 이는 AI를 사용해 소비자 대면 가격을 설정하는 모든 회사에게 판도를 바꿔 놓았습니다.

이 법은 개인 데이터를 사용하는 알고리즘에 의해 가격이 설정될 때마다 구체적이고 눈에 잘 띄는 공시를 요구합니다.

"이 가격은 귀하의 개인 데이터를 사용하는 알고리즘에 의해 설정되었습니다."

그것이 기술적으로 무엇을 요구하는지 생각해 보십시오. 당신의 시스템은 주어진 가격이 일반적 휴리스틱으로 생성되었는지 아니면 개인화된 통계적 프로필로 생성되었는지 실시간으로 알아야 합니다. 데이터 계보를 추적해야 합니다 — 어떤 입력이 모델에 들어갔는지, 개인 데이터가 관여되었는지, 파이프라인의 어느 지점에서 그랬는지. 그리고 거래가 완료되기 전에 그 판정을 사용자 인터페이스에 표시해야 합니다.

대부분의 AI 가격 책정 시스템은 이것을 할 수 없습니다. 그렇게 만들어지지 않았습니다. 모델은 특징 벡터를 받아들이고, 숫자를 만들어 내며, 아무도 — 엔지니어도, 제품 관리자도, 확실히 법무 팀도 — 정확히 어떤 특징이 출력을 이끌었는지 말해 줄 수 없습니다. 그것은 설계상 블랙박스이며, 이제 법은 블랙박스가 허용되지 않는다고 말합니다.

연방 차원에서는 2025년 알고리즘 책임법(Algorithmic Accountability Act of 2025)이 한 걸음 더 나아갑니다. 매출 5천만 달러가 넘는 회사는 자동화 시스템에 대한 포괄적인 영향 평가를 수행하고 FTC에 연례 보고서를 제출해야 합니다. "우리 알고리즘은 독점 기술"이라는 방어의 시대는 끝났습니다.

저는 지난 몇 달간 엔터프라이즈 CTO들과 세 차례의 별개 대화를 나눴는데, 회의 도중에 똑같은 깨달음이 밝아 왔습니다. 그들의 기존 AI 배포는 이 법들을 준수할 수 없다는 것이었습니다. "쉽게 준수하지 못한다"가 아닙니다. 준수할 수 없습니다. 아키텍처가 규정이 요구하는 투명성을 지원하지 못합니다.

이 모든 것을 예방할 수 있었던 아키텍처

여기서부터는 제 견해가 강해지는데, 이에 대해 사과하지 않겠습니다.

Instacart 참사는 인공지능의 실패가 아니었습니다. 그것은 아키텍처의 실패였습니다. AI는 만들어진 그대로 정확히 했습니다. 보상 함수를 최적화했습니다. 문제는 아무도 제약을 만들지 않았다는 것입니다.

Veriprajna에서 우리는 우리가 "진실 검증(truth-verified)"이라고 부르는 시스템 — 신경망(패턴 매칭, 직관 계층)을 심볼릭 로직(규칙 준수, 추론 계층)과 융합하는 하이브리드 아키텍처 — 을 만듭니다. 실제로 이것은 AI가 생성한 어떤 결정이 사용자에게 도달하기 전에 세 가지 일이 일어난다는 것을 의미합니다.

첫째, 심볼릭 제약 계층이 강력한 규칙을 인코딩합니다. 가격 책정 맥락에서 이것은 다음과 같을 수 있습니다. "어떤 품목도 MSRP의 110%를 초과할 수 없다. 어떤 가격도 사용자 신원에 기반해 3% 넘게 변동할 수 없다. 가격에 영향을 미치는 모든 특징은 기록되어야 한다." 이것들은 제안이 아닙니다. 신경망 엔진이 넘어갈 수 없는 벽입니다.

둘째, 신경망 계층은 신경망이 가장 잘하는 일을 합니다 — 패턴을 식별하고, 최적화를 제안하며, 사람이라면 놓칠 시장 데이터 속 기회를 찾아냅니다.

셋째 — 그리고 이것이 대부분의 "AI 기반" 회사들이 완전히 건너뛰는 부분입니다 — 결정론적 검증 계층이 무언가가 렌더링되기 전에 신경망의 제안을 심볼릭 규칙에 대조하여 평가합니다. 제안이 제약을 위반하면, 거부됩니다. 표시되는 게 아닙니다. 나중에 검토하려고 기록되는 게 아닙니다. 거부됩니다.

문제는 당신의 AI가 좋은 답을 생성할 수 있는지가 아닙니다. 당신의 AI가 행동하기 전에 그 답이 합법적이고, 공정하며, 추적 가능하다는 것을 증명할 수 있는지입니다.

우리는 또한 구조적 인과 모델(Structural Causal Models)을 사용해 반사실적 공정성(counterfactual fairness)이라 불리는 것을 검사합니다. 시스템은 수학적으로 다음에 답하도록 요구됩니다. "이 고객이 다른 인구통계 집단 출신이지만 다른 모든 것이 동일하게 유지된다면, 가격이 바뀔 것인가?" 만약 그렇다면, 편향이 제거될 때까지 모델은 학습 중에 페널티를 받습니다. 이것은 보호 속성을 무시함으로써 얻는 공정성이 아닙니다 — 우편번호, 검색 기기, 또는 구매 시점 같은 차별적 대리 변수에 모델이 눈멀도록 능동적으로 엔지니어링함으로써 얻는 공정성입니다.

이 아키텍처가 어떻게 작동하는지 — GraphRAG 파이프라인, 온톨로지 기반 추론, 스키마-제약 디코더 — 에 대한 전체 기술적 분석은 확률적 래퍼에서 결정론적 딥 AI로의 전환에 관한 우리의 연구 논문을 참조하십시오. 가벼운 읽을거리인 척하지는 않겠지만, 엔터프라이즈 AI를 구축하거나 구매하고 있다면, 그것이 올해 당신이 읽는 가장 중요한 것일지도 모릅니다.

"하지만 이건 그냥 혁신을 늦추는 것 아닌가요?"

저는 이 질문을 끊임없이 받는데, 보통 LLM API 호출에 많은 돈을 쓴, 그리고 자신들의 아키텍처에 유통기한이 있다는 말을 듣고 싶어 하지 않는 사람들에게서입니다.

제 솔직한 답변은 이렇습니다. 네, 결정론적 제약을 구축하는 것은 GPT 주위에 프롬프트를 감싸 놓고 그것을 엔터프라이즈급이라고 부르는 것보다 더 오래 걸립니다. 래퍼가 며칠 걸리는 곳에서 우리 구현은 몇 주가 걸립니다. 하지만 Instacart 합의는 수년이 걸렸고 6천만 달러가 들었습니다. 평판 손상은 여전히 진행 중입니다. 규제 당국의 감시는 향후 10년간 그 회사를 따라다닐 것입니다.

정확성 없는 속도는 혁신이 아닙니다. 그것은 보도자료가 붙은 기술 부채입니다.

제가 듣는 또 다른 반론은 비용에 관한 것입니다. "뉴로-심볼릭 시스템은 구축하는 데 비용이 많이 든다." 그렇습니다. 하지만 무엇이 더 비싼지 아십니까? FTC 조사입니다. 집단 소송입니다. 당신의 알고리즘이 싱글맘들에게 분유를 더 비싸게 청구했다는 — 그들이 가격 비교 쇼핑을 할 가능성이 더 낮았기 때문에 — 1면 기사입니다.

한 투자자가 초창기에 제게 이렇게 말한 적이 있습니다. "그냥 GPT를 써요. 면책 조항을 붙이고. 출시하세요." 저는 그에게 그것은 안전벨트가 없는 자동차에 안전벨트 스티커를 붙이는 것과 같다고 말했습니다. 그는 투자하지 않았습니다. 저는 그 대화를 후회하지 않습니다.

이것이 다음으로 향하는 곳

Instacart 사례는 0번 환자이지만, 마지막은 아닐 것입니다. 알고리즘적 가격 책정, 자동화된 언더라이팅, AI 기반 채용, 또는 개인화된 추천을 운영하는 모든 회사는 똑같은 위험 지대에서 활동하고 있습니다. 유일한 변수는 언제인지 — 그런지 아닌지가 아니라 — 규제적·평판적 결과가 도래하느냐입니다.

이 전환에서 살아남는 회사들은 Instacart 팀이 분명히 이해하지 못했던 무언가를 이해한 회사들일 것입니다. AI의 임무는 숫자를 극대화하는 것이 아닙니다. AI의 임무는 고객에게, 규제 당국에게, 판사에게 설명되고, 정당화되고, 방어될 수 있는 결정을 내리는 것입니다.

그것은 래퍼가 아니라 아키텍처를 요구합니다. 그것은 단순한 통계적 예측이 아니라 심볼릭 추론을 요구합니다. 그것은 무엇을 하도록 최적화되었는지뿐만 아니라 무엇을 하도록 허용되지 않았는지를 아는 시스템을 구축하는 것을 요구합니다.

저는 엔터프라이즈에서 AI의 시대가 끝나가고 있다고 생각하지 않습니다. 저는 그것이 마침내 시작되고 있다고 생각합니다 — 처음으로, 우리가 그것을 제대로 만들도록 강요받고 있기 때문입니다. 회사들이 수백만 명의 소비자에게 블랙박스 알고리즘을 배포하고 그것을 "혁신"이라고 부를 수 있었던 실험적 시대는 끝났습니다. 그것을 대체하는 것은 구축하기 더 어렵고, 출시하기 더 느리며, 데모하기 더 지루할 것입니다.

그것은 또한 살아남는 유일한 종류일 것입니다.