완벽하게 작동하던 가짜 리뷰 탐지기, BypassGPT를 거치자 무너졌다
내 확신을 처음으로 무너뜨린 것은 가짜 리뷰가 아니었다. 가격표였다.
텔레그램 채널의 한 브로커가 — 공개된 채널 중 하나로, 회원이 1만 3천 명이 넘고, 비밀번호도 없고, 숨기려는 기색도 없었다 — 메뉴판을 올려두었다. 업보트 하나에 50센트. "구매 확인(Verified Purchase)" 배지가 달린 계정의 리뷰는 5달러. 대량 구매 할인도 있었다. 판매되는 계정들은 스팸 필터가 눈 감고도 잡아낼 갓 만든 일회용 프로필이 아니었다. 2년, 3년, 4년 된 계정들로, 실제 구매 이력과 사람이 남길 법한 불규칙한 활동 흔적을 갖추고 있었다. 나는 몇 주 동안 가짜 리뷰 탐지가 어려운 머신러닝 문제라고 여겨왔다. 그 메뉴판을 들여다보면서, 나는 그것이 어려운 머신러닝 문제이되, 상대편이 자신들이 겨냥하는 대다수 브랜드보다 더 넉넉하게 자금을 대고 있는 문제라는 것을 깨달았다.
그 순간, 나는 가짜 리뷰를 나쁜 텍스트로 여기기를 멈추고 조직화된 경제로 바라보기 시작했다. 우리가 결국 Veriprajna에서 구축한 모든 것 — 그리고 내가 처음에 잘못 짚었던 모든 것 — 은 그 전환에서 비롯되었다.
사기는 가격이 매겨진 상품이 된 날, 품질 문제이기를 멈췄다. 시장을 필터링으로 이길 수는 없다.
당신이 가진 모든 도구를 통과하는 47건짜리 리뷰 공격
현대적인 공격이 실제로 어떤 모습인지 설명해 보겠다. 사람들이 가짜 리뷰를 상상하는 방식과 그것이 실제로 작동하는 방식 사이의 간극이야말로 기존 도구들이 실패하는 가장 큰 이유이기 때문이다.
경쟁사가 당신의 제품을 묻어버리고 싶어 한다. 그들은 그런 텔레그램 그룹 중 하나를 통해 브로커를 고용한다. 브로커는 오래되고 탈취된 계정 다수를 관리하며 이를 단일 상품 페이지에 투입한다. 72시간에 걸쳐 47건의 별 다섯 개짜리 리뷰가 경쟁 제품에 쌓인다 — 당신 제품은 깨끗한 채로 남고, 그들 제품은 순위가 오른다. 리뷰 텍스트는 GPT-4가 작성한 뒤, "너무 매끄러운" 기계 문체를 찾아내는 퍼플렉시티 기반 탐지기를 무력화하기 위해 BypassGPT 같은 도구를 거쳤다. 각 리뷰는 그 상품 페이지의 Q&A 섹션에서 긁어온 특정 제품 기능을 콕 집어 언급한다. 게시 시간은 세 개의 시간대에 걸쳐 어긋나게 배치되어 무엇도 한꺼번에 몰리지 않는다.
개별 리뷰는 하나하나가 정상적으로 보인다. 주요 리뷰 플랫폼의 콘텐츠 필터를 통과한다. GPTZero도 통과한다. 계정들은 어떤 "신규 계정" 휴리스틱도 피할 만큼 충분히 오래되었다. 당신의 브랜드 보호 팀은 아무것도 알아차리지 못한다 — 수치가 움직이기 전까지는. 그리고 수치는 실제로 움직인다. 부정한 별 하나가 경쟁사의 수요를 38% 끌어올릴 수 있고, 가짜 부정 리뷰는 표적의 매출을 최대 4분의 1까지 깎아낼 수 있다. 그러는 동안 당신의 평균 평점은 조용히 그 피해를 흡수한다.
이것은 사고 실험이 아니다. Amazon은 2024년 7월 리뷰 브로커 ReviewServiceUSA.com을 상대로 Better Business Bureau와 함께 첫 공동 소송을 제기했다. Trustpilot은 2024년에 450만 건의 가짜 리뷰를 삭제했는데, 이는 제출된 전체의 7.4%로 전년의 6.1%에서 늘어난 수치다. Tripadvisor는 270만 건의 부정 제출물을 차단했으며, 그중 일부는 AI가 생성한 숙소 사진으로 "유령 호텔"을 만들어냈다 — 여행객들이 실제로 예약하고 찾아갔다가 빈 공터를 발견한 곳이었다. 그 규모는 미미하지 않다. 세계경제포럼(World Economic Forum)에 따르면, 연구자들은 온라인 리뷰의 약 30%가 가짜이며 이로 인해 미국 기업들이 연간 약 1,520억 달러의 손실을 본다고 추정한다.
자, 이것이 내가 이해했다고 생각한 문제다. 이제 내가 어디서 틀렸는지 이야기하겠다.
완벽하게 작동하다가, 이내 작동하지 않게 된 탐지기
우리의 첫 버전은 텍스트 분류기였다. 리뷰 텍스트를 읽고 그것이 기계로 생성되었을 가능성을 점수로 매겼다. 이것은 만들기에 뻔한 물건이고, 솔직히 말하자면 나는 그것을 지지했다. 시연은 아름다웠다. 우리 테스트 세트에서 AI가 쓴 리뷰를 잡아냈는데, 머릿속으로 출시 발표 글을 쓰기 시작하게 만들 만한 정확도였다.
그런 다음 우리는 그것을 휴머나이저를 거친 리뷰들에 돌려보았다.
이제 이런 도구는 30가지가 넘는다 — BypassGPT, Undetectable.ai, StealthWriter, Humanize AI, 그 외 열 몇 가지. 이들은 기계로 생성된 텍스트를 가져다 탐지기를 무너뜨릴 만큼만 딱 거칠게 손본다. 티 나는 쉼표를 걷어내고, 연결어를 끼워 넣고, 분류기가 GPT 출력과 연관 짓도록 학습한 어휘를 바꿔치기하는 식이다. 우리의 정확도는 완만하게 떨어지지 않았다. 절벽에서 곤두박질쳤다. 우리가 높은 확신으로 잡아내던 리뷰들이 이제는 "사람 같음"으로 유유히 빠져나가고 있었다.
그 뒤에 이어진 논쟁이 기억난다. 팀의 절반은 계속 튜닝하기를 원했다 — 더 많은 학습 데이터, 적대적 예제, 휴머나이저를 뒤쫓는 것. 합리적인 본능이지만 함정이다. 나는 연구 결과를 들여다봤다. 누군가 시험한 30가지가 넘는 휴머나이저 도구 중, 최고의 탐지기를 속이는 텍스트를 안정적으로 만들어낸 것은 단 13가지뿐이었다. 최고 수준의 텍스트 분류기인 Originality.ai는 여전히 그 대부분을 잡아낸다. 하지만 공격자가 리뷰 하나를 다섯 개의 휴머나이저에 돌려 가장 깨끗한 점수가 나온 것을 제출할 수 있다면, "대부분"은 잘못된 기준이다. 텍스트만 보는 탐지기는 구조적으로 이미 진 달리기 경주를 하고 있는 셈이다.
단일 신호 탐지기는 약한 탐지기가 아니다. 공격자에게 그것을 이길 방법을 정확히 알려준 탐지기다.
더 깊은 문제는 내가 그 텔레그램 가격표를 읽던 날 알아챘어야 했던 것이었다. 가장 큰 피해를 주는 사기 중 일부는 애초에 AI가 쓴 것이 아니다. 브로커가 실제 사람들로 이루어진 네트워크에 돈을 주고 글을 올리게 할 때 — 옛 미케니컬 터크 농장의 현대판인, 대가를 받은 사람들 — 그 텍스트는 실제로 인간이 쓴 진짜 글이다. 찾아낼 언어적 단서가 없다. 루프 안에 기계가 존재하지 않기 때문이다. 텍스트 분류기는 실제 사람이 대가를 받고 쓴 리뷰를 봐도 잘못된 점을 전혀 발견하지 못한다. 언어의 차원에서는 잘못된 것이 아무것도 없기 때문이다. 그리고 이 비대칭은 양쪽 끝에서 모두 벌어지고 있다 — 2026년 초 기준으로 리뷰 작성자의 23%가 적어도 가끔은 AI를 사용한다고 인정한 반면, AI가 쓴 리뷰를 가려낼 수 있다고 자신한 소비자는 31%에 불과했다.
바로 그때 우리는 텍스트 모델을 중심축의 자리에서 내던졌다. 완전히 버린 것은 아니고 — 여전히 하나의 신호이긴 하다 — 다만 더 이상 유일한 신호가 아니게 되었다.
조직화된 캠페인을 실제로 잡아내는 것은 무엇인가?
프로젝트를 구한 관점의 전환은 이것이다. 개별 가짜 리뷰 하나는 잡아내기가 거의 불가능하지만, 캠페인은 개별 리뷰가 남기지 않는 흔적을 남긴다.
그 47건의 리뷰는 하나하나가 깨끗하더라도 무언가를 공유한다. 한꺼번에 몰려서 도착한다. 똑같이 긁어온 기능을 언급한다. 그 리뷰를 올린 계정들은, 판매자·리뷰어·제품 사이의 관계를 지도로 그려 보면, 자연스럽게는 발생하지 않는 군집으로 도드라진다 — 동일한 계정 집합이 동일한 좁은 제품 집합을 동일한 기간에 리뷰하는 것이다. 사기를 진지하게 다루는 플랫폼들이 그래프 기법으로 옮겨간 이유가 바로 이것이다. Amazon의 스택은 판매자-리뷰어-제품 네트워크 위에 심층 그래프 신경망을 돌리는데, 이는 정확히 네트워크 구조가 텍스트로는 결코 드러나지 않을 조직화를 폭로하기 때문이다. 우리는 같은 방향으로 구축했다 — 언어 계층 위에 행동 신호(계정이 시간에 걸쳐 어떻게 행동하는지), 시간 신호(리뷰가 서로에 대해 언제 도착하는지), 관계 신호(누가 누구와 연결되어 있는지)를 융합하는 방식이다.
그중 어느 하나만으로는 충분하지 않다. 급증은 진짜 입소문의 순간일 수 있다. 군집은 실제 팬 커뮤니티일 수 있다. 하지만 이 조합 — 기능을 긁어온 텍스트로 이루어진, 관계상 의심스러운 군집에서 나온, 어긋나지 않은 것처럼 보이도록 설계된 어긋난 타이밍의 급증 — 은 대가를 받은 캠페인의 시그니처이며, 휴머나이저는 단어만 다시 쓸 뿐이기에 이 조합은 휴머나이저를 견뎌낸다.
같은 논리가 이미지로도 확장되는데, 이는 누구도 깔끔하게 해결하지 못한 최전선이다. 유령 호텔과 조작된 제품 사진이 퍼지는 것은 AI 이미지 생성이 저렴해졌기 때문이다 — 그리고 호스피탈리티 브랜드에게 그 위험은 추상적이지 않다. McAfee는 2025년 AI 기반 여행 사기 손실을 약 130억 달러, 피해자 한 명당 약 1천 달러로 추산했으며, 그 상당 부분이 체크인 전까지는 진짜처럼 보이던 숙소 목록을 통해 이루어졌다. C2PA라는 콘텐츠 출처(프로버넌스) 표준이 있는데, 이는 촬영 시점에 이미지를 암호학적으로 서명한다 — 삼성의 Galaxy S25는 사진을 네이티브로 서명하는 최초의 소비자용 휴대폰이 되었고, 2026년은 그 생태계에 진정한 전환점이다. 하지만 내가 어떤 브랜드에게든 경고하고 싶은 운영상의 함정이 여기 있다. 플랫폼은 이미지 처리 과정에서 메타데이터를 제거한다. 사진이 진짜임을 증명하는 자격 증명은, 그것이 가장 중요한 마켓플레이스에 업로드되는 바로 그 순간 지워진다. 프로버넌스는 실제로 쓸모 있는 도구지만 전자상거래에서는 실제로 구멍이 뚫려 있으며, 그렇지 않은 척하는 것은 브랜드에게 헛된 안도감을 파는 일이다.
플랫폼의 도구들은 왜 이미 이 문제를 해결하지 못했는가?
이것이 내가 가장 많이 받는 질문이고, 타당한 질문이다. Amazon은 연간 5억 달러가 넘는 돈을 쓰고 8,000명의 인력을 가짜 리뷰 대응에 투입한다. 2024년에는 2억 7,500만 건이 넘는 가짜 리뷰를 차단했다. 그런데 누가 무언가를 따로 만들 필요가 있겠는가?
플랫폼들은 자신의 전쟁을 치르는 것이지, 당신의 전쟁을 치르는 것이 아니기 때문이다. Amazon은 Amazon을 보호한다 — 그리고 그만한 지출에도 불구하고, 미국 소비자의 49%는 그곳에서 가짜 리뷰를 본 적이 있다고 확신한다. 리뷰 관리 플랫폼들은 같은 경계선을 반대 방향으로 긋고 있다. Bazaarvoice는 월 23억 건의 쇼핑 세션에 걸쳐 1,000개가 넘는 사기 탐지 규칙을 돌리며, 이 일을 진정으로 잘한다 — 자신의 네트워크 안에서는. Amazon에 올라와 있는, 당신 제품에 관한 가짜 리뷰는 Bazaarvoice에게는 그저 보이지 않는다. 더 나쁜 것은, 신디케이션이 양방향으로 작동한다는 점이다. Bazaarvoice의 수집 단계를 통과한 가짜 리뷰는 48시간 이내에 50곳이 넘는 소매업체 사이트로 퍼져나갈 수 있으며, 이는 곧 시정 조치가 하류의 모든 상품 페이지를 두더지 잡기 하듯 처리하는 것이 아니라 원천 노드에서 이루어져야 함을 뜻한다.
텍스트 탐지기에는 그 나름의 한계가 있다 — 내가 호되게 배운 대로, 그것들은 단일 신호다. The Transparency Company 같은 감사 서비스는 매일 훑어내고 이의를 제기하지만, 알려진 패턴에 맞춰 조정되어 있어 이를 회피하려고 특별히 적응하는 맞춤형 브로커 전술 앞에서는 고전한다. 그리고 소비자들이 이 문제를 대신 확인해 준다고 실제로 믿었던 유일한 도구인 Fakespot은 9년 만인 2025년 7월에 문을 닫았다 — Mozilla가 지속 가능한 모델을 찾지 못했다. 공격이 정교해지는 바로 그 순간에 안전망은 더 작아졌다.
어떤 업체도 당신의 브랜드가 살아가는 전체 영역을 지켜보지 않는다. 저마다 자기 마당만 지키고, 사기는 그 사이의 길거리에 산다.
그 간극 — 플랫폼을 가로지르고, 브랜드 편에 서고, 신호를 융합하는 — 이 바로 우리가 차지하고자 나선 지점이다. 플랫폼을 대체하려는 것이 아니라, 브랜드에게 Amazon, Google, Yelp, Trustpilot, Tripadvisor를 한 번에 아우르는 하나의 시야를 제공하려는 것이다. 그 탐지는 그 브랜드의 제품 카테고리를 중심으로 구축되며, 일반적인 규칙 세트가 아니다. 바로 그것을 위한 것이 우리가 구축한 리뷰 무결성 및 합성 콘텐츠 탐지 시스템이다.
더 깨끗한 리뷰 페이지를 원하지 않았던 고객
나는 탐지 정확도를 세일즈 포인트로 내세우고 있었다 — 재현율, 정밀도, 우리가 가짜를 얼마나 잡아낼지. 그러다 어느 브랜드 보호 책임자와 통화를 하게 되었는데, 그녀는 약 2분 만에 제품 전체를 나에게 다시 정의해 주었다.
그녀는 정확도를 먼저 꺼내지 않았다. 그녀는 우리가 FTC에 무엇을 건넬 수 있는지 물었다.
2024년 10월, FTC의 소비자 리뷰 및 추천글 규칙(Consumer Reviews and Testimonials Rule)이 발효되었고, 이는 "가짜 리뷰는 금지된다"보다 더 미묘한 일을 해냈다. 그것은 "알았어야 했다"라는 기준을 만들어냈다. 가짜 리뷰가 당신의 상품 페이지에 올라와 있는데도 이를 탐지하고 대응할 합리적인 절차가 없다면, 탐지 시스템의 부재 자체가 곧 위반이다. 위반 1건당 벌금은 2025년 1월 기준으로 물가를 반영해 53,088달러이며, 위반이 지속되는 하루하루가 별개로 계산된다. 방치된, 가짜 리뷰 100건으로 이루어진 조직화된 캠페인 하나는 530만 달러의 위험 노출액에 해당한다. FTC는 2025년 12월 이 규칙에 따라 10개 기업에 첫 경고 서한을 보냈으니, 이는 약 1년 전부터 더 이상 이론적인 이야기가 아니게 되었다.
그리고 이것은 미국 브랜드에만 해당하지 않는다. 영국의 경쟁시장청(Competition and Markets Authority)은 2026년 3월 새로운 디지털 시장·경쟁·소비자법(Digital Markets, Competition and Consumers Act)에 따라 다섯 건의 조사를 개시했으며, 벌금은 전 세계 매출의 최대 10%에 이른다. AI 생성 콘텐츠의 기계 판독 가능한 공개를 요구하는 EU AI법 제50조는 2026년 8월에 발효된다. 캘리포니아의 SB 942는 2026년 1월 AI 콘텐츠 공개 요건을 추가했다. 규제의 바닥이 모든 브랜드 아래에서 한꺼번에 움직였다.
그 책임자가 나에게 가르쳐 준 것은, 탐지가 필요하기는 하지만 충분하지는 않다는 사실이다. 규제 대상 브랜드가 실제로 필요로 하는 결과물은 적절한 주의 의무를 다했다는 증거 — 즉, 어떤 개별 가짜 리뷰가 빠져나갔든 간에 합리적인 탐지·대응 절차가 존재했고 실제로 작동했음을 보여주는 감사 로그다. 오늘날 그것은 기성품으로 살 수 없다. 플랫폼은 자신의 탐지 데이터를 주지 않고, 개별 포인트 솔루션은 규정 준수 등급의 기록을 생성하지 않는다. 그래서 우리는 그 기록의 흔적을 뒤늦은 부가물이 아니라 최우선 산출물로 만들어내도록 시스템을 구축했다. "알았어야 했다" 규칙 아래에서 방어 가능한 산물은 흠 하나 없는 리뷰 페이지가 아니라 — 당신이 살펴보고 있었다는 문서화된 증거다.
브랜드는 이것을 직접 구축해야 할까, 사야 할까, 아니면 플랫폼을 기다려야 할까?
사람들은 그저 플랫폼이 따라잡기를 기다려도 되는지 나에게 묻는다. 나의 솔직한 답은 이렇다. 플랫폼은 스스로를 보호하는 것으로 정의한 문제에 대해 할 수 있는 한 빨리 달리고 있고, 규제의 시계는 이제 당신을 향해, 별개로 돌아가고 있다. 기다리는 것도 하나의 입장이며, 2024년 10월 이후로는 금액이 매겨진 입장이다.
두 번째 질문은 대개 이것을 내부에서 직접 구축할 수 있느냐는 것이다. 할 수 있다 — 하지만 제대로 된 내부 프로그램이 얼마나 드는지 보라. Amazon의 5억 달러, 8,000명 규모의 운영은 이 일을 대규모로 해내는 데 무엇이 필요한지에 대한 기준점이며, 대부분의 브랜드는 다섯 개의 마켓플레이스에 걸쳐 자사 상품 페이지를 지켜보자고 그런 조직을 세우지 않는다. 현실적인 선택지는 당신의 카테고리에 맞춰 조율된 맞춤형 시스템이거나, 아니면 여러 부분적 도구를 이어 붙여 겹치기를 바라는 스택이다. 대형 컨설팅 업체들은 후자를 프레임워크로 포장해 팔 것이다 — 실제로 어떤 기술이 돌아가기 6개월에서 12개월 전에 말이다.
그들이 세 번째로 제기하는 것은 군비 경쟁이다 — 휴머나이저가 계속 좋아진다면, 어떤 탐지기든 결국 일시적인 것 아닌가? 정당한 걱정이며, 바로 그렇기 때문에 그 답이 텍스트 분류기일 수는 없다. 다중 신호 시스템은 하나의 신호가 공격당해도 서서히 성능이 저하되는데, 공격자가 단어만 다시 쓰는 것이 아니라 행동, 타이밍, 네트워크 구조를 동시에 무너뜨려야 하기 때문이다. 더 좋은 총을 가진다고 군비 경쟁에서 이기는 것이 아니다. 공격 비용을 그 대가보다 더 크게 만들어야 이긴다. 부정행위가 업보트 하나당 50센트에 가격이 매겨지는 상황에서, 성공적인 캠페인의 비용을 높이는 것이 게임의 전부다.
텔레그램 가격표는 어떤 모델보다도 먼저 나에게 무언가를 가르쳐 주었고, 그것은 내가 자꾸 되돌아가는 지점이다. 상대편은 이것을 손익계산서(P&L)를 가진 사업으로 대한다. 여러 해 동안 브랜드들은 이것을 필터로 걸러낼 성가신 것쯤으로 대했다. 이 10년을 평점을 온전히 지킨 채 빠져나올 브랜드는, 공격자들이 이미 그렇게 하듯 자신의 리뷰 생태계를 대하기 시작한 이들 — 즉 의도적으로 지켜낼 가치가 있는, 다툼의 대상이 된 인프라로 대한 이들일 것이다. 그것이 내가 가장 먼저 이루고자 하는 전환이며, 우리가 구축한 시스템이 코드의 첫 줄부터 전제하는 바로 그것이다.
끝내 잡아내지 못한 가짜 리뷰 하나는 당신에게 판매 한 건을 앗아간다. 2024년 10월 이후, 끝내 구축하지 않은 탐지 시스템은 당신에게 하루 53,088달러를 앗아간다. 이 둘은 같은 문제가 아니며, 두 번째 문제야말로 대부분의 브랜드가 아직 가격을 매겨보지 않은 문제다.
