내 AI가 세련된 콜드 이메일을 초안했다. 그것은 또한 거짓이었고, 나는 발송을 막은 게이트를 만들었다.

거의 감탄할 뻔했던 그 이메일

내가 스스로의 AI 초안 작성기를 더는 신뢰하지 않게 된 정확한 순간을 기억한다. 나는 Chris Tanaka라는 이름의 합성 잠재고객 — 가상의 FinTech 회사 Vaultline의 Engineering VP — 에게, Maya Chen이라는 영업 담당자의 목소리로 콜드 이메일을 생성했다. 초안은 좋았다. 잠재고객의 당장 아픈 지점으로 열리고, 구매 모멘트를 짚었으며, 구체적인 요청으로 닫혔다. 실제 SDR이 파이프라인 리뷰에서 그걸 보여줬다면 나는 보내라고 말했을 것이다.

그러다 두 번째 문장을 다시 읽었다. "우리는 SOC 2 Type II 인증을 받았으며 완전히 HIPAA 인증을 받았습니다." 이 데모를 위해 내가 직접 시드해 둔 제품 지식 베이스가 보유한 것은 SOC 2 Type I이었다. Type II가 아니었다. 그리고 HIPAA 인증은 아예 없었다. 이메일은 유창하고, 브랜드에 맞으며, Maya의 목소리에 완벽했고, 보안팀이 실제 인증 증명서를 꺼내는 순간 거래를 끝장낼 방식으로 거짓이었다.

LLM을 아웃리치에 연결할 때 아무도 경고하지 않는 것이 바로 이것이다. 실패는 서툰 이메일이 아니다. 실패는 설득력 있는 이메일이다. 나는 몇 주 동안 문제가 모델을 더 잘 쓰게 만드는 것이라고 가정했다. 내가 보냈을 뻔한 거짓을 다시 읽으며 서 있을 때, 문제는 정반대라는 것을 이해했다. 모델은 이미 검사 없이는 신뢰할 수 없을 만큼 너무 잘 쓰고 있었다.

AI 아웃리치의 실패 모드는 나쁜 이메일이 아니다. 거짓인 채로도 좋은 이메일이다.

나는 Ashutosh이고, Veriprajna에서 구축한다. 이것은 그 이메일 이후에 내가 만든 것, 그리고 그것을 만들기 위해 죽여야 했던 가정에 대한 이야기다. 전체를 직접 실행해 볼 수 있다: veriprajna.com/ko/demos/ai-sales-personalization.

실패한 실험: 모델에게 스스로를 채점하게 하기

나의 첫 본능은 게으른 것이었고, 그걸 시도했다는 사실을 솔직히 말하고 싶다. 나는 생각했다: 좋아, 모델이 이메일을 쓸 수 있다면 모델이 이메일을 검사할 수도 있겠지. 제품 사실을 주고, 초안을 주고, 근거 없는 것을 플래그하라고 시키자. 똑똑한 것이 똑똑한 것을 감시하게 하자.

그렇게 돌려 보았다. Vaultline 초안을 한 번 이상 통과시켰다. 때로는 HIPAA 주장을 잡고 SOC 2는 놓쳤다. 때로는 표현을 부드럽게 바꾸며 "고쳤다"고 하면서도 거짓 주장은 그대로 두었다. 최악은, 같은 입력에서도 항상 같은 답을 주지 않았다는 것이다. 재현할 수 없는 채점기는 채점기가 아니라 기분이다. 샘플러 안의 날씨에 따라 다른 판정을 내는 통제를 컴플라이언스 파트너에게 넘길 수는 없었다.

바로 그때 진짜 설계가 클릭되었고, 그것은 추가가 아니라 빼기로 클릭되었다. 검사기는 모델 안에 살 수 없었다. 그것은 밖에, 매번 같은 진실의 원천을 읽고 매번 같은 판정을 반환하는 평범한 결정적 코드에 살아야 했다. 화이트보드에 계속 쓰던 문구가 전체 제품 철학이 되었다: 에이전트는 조언하고, 코드가 결정한다.

그래서 시스템을 둘로 나눴다. LLM은 초안을 쓸 수 있다. 특정 인간의 목소리로 초안을 쓰는 것은 정말로 그것이 잘하는 일이기 때문이다. 하지만 모델이 생산한 어떤 것도, 별도의 지루하고 테스트 가능한 검증기 크루가 살펴보고 결정적 정책 게이트가 yes라고 말하기 전에는 발송 도메인에 도달할 수 없다. 모델이 제안한다. 코드가 처분한다. 그리고 결정적으로, 나중에 추가한 증강 모델 검증기는 근거 없는 발견을 추가할 수만 있다. 결정적 검사가 이미 플래그한 주장을 절대 해제할 수 없으며, 게이트를 덮어쓸 수도 없다. 언어 모델이 자신의 거버넌스를 말로 뚫고 나갈 수 있는 시스템은 거부했다.

이메일이 나가기 전에 게이트는 무엇을 검사하는가?

나는 멋진 슬라이드를 만드는 것들이 아니라, 내가 대화한 구매자들이 실제로 두려워하는 세 가지를 중심으로 게이트를 설계했다. 이미 자율형 AI SDR에 데인 적 있는 Sales VP는 산문 품질 때문에 잠 못 이루지 않는다. 그들은 거짓 제품 주장, EU AI Act 제5조 위반, 그리고 불타 버린 발송 도메인을 두려워한다. 그래서 크루는 모든 초안에 대해 네 가지 독립 검사를 실행한다: 진실의 원천 대비 사실 그라운딩, 전달률 점수(데모에서 계산되며 실제로는 발송되지 않음), EU AI Act 제5조 통과, 그리고 스타일 충실도 측정. 정책 게이트는 이메일을 CLEAR로 표시하는데, 근거 없거나 모순된 주장이 없고, 전달률이 0.7 임계값을 넘으며 제5조가 깨끗할 때만이다. 그 외에는 BLOCKS — 발송을 막고 정확한 사유와 함께 초안을 인간에게 라우팅한다.

Vaultline 초안을 넣었을 때, 게이트는 내가 첫 한 시간 동안 눈으로 하지 못했던 일을 해냈다. 빨갛게 불이 들어왔다.

한 가지가 아니라 두 검사가 잡았다. 그것이 나에게 중요했다. 사실 그라운딩 검사가 인증을 플래그했다. 제5조 검사가 내가 완전히 놓쳤던 다른 두 가지를 플래그했다: "이번 분기에 온보딩 슬롯이 2개만 남았습니다"는 인위적 희소성이었고, "경쟁사 대부분이 이미 옮겼습니다"는 기만적 사회적 증거였다. 나는 인증 거짓에 너무 몰두한 나머지 조작을 그냥 지나쳤다. 결정적 검사는 내가 두 번째 읽을 때처럼 지치지 않았다.

나는 두 번째 읽을 때 놓치는 것을 잡도록 게이트를 만들었다. 주의를 멈춘 두 번째 읽음은 언제나 있기 때문이다.

이 단계에서 내가 싸워 지키려 한 톤은 "잡았다, 모델이 거짓말했다"가 아니었다. 그보다 조용했다. 요점은 거짓이거나 조작적인 것이 애초에 당신 도메인에 도달하지 않게 하는 것이다. 차단은 처벌이 아니다. 구원이다.

보내지지 않은 이메일의 영수증을 왜 남기는가?

나는 그저 안 된다고만 말하는 게이트를 원하지 않았다. 충분히 많은 컴플라이언스 담당자 맞은편에 앉아 본 결과, "믿어 주세요, 우리가 막았습니다"는 그들에게 아무 가치가 없다는 것을 안다. 그들이 쓸 수 있는 것은 문서다. 그래서 매 실행마다, 통과든 차단이든, send-receipt를 봉인한다: 모델과 제공자와 버전, 타임스탬프, 목소리가 매칭된 우승 이메일의 출처, 판정과 인용이 달린 모든 주장, 전달률 하위 점수, 제5조 결과, 그리고 최종 게이트 결정. JSON과 렌더된 HTML, 다운로드 가능하고 보관 가능.

그 표가 무엇을 말하는지 보라. "이 이메일이 위험해 보인다"고 말하지 않는다. 그것은 SOC 2 Type II: CONTRADICTED, because source-of-truth holds SOC 2 Type I이라고 말한다. 그것은 HIPAA certified: UNSUPPORTED, no supporting certification in source-of-truth이라고 말한다. 각 판정은 대조된 정확한 문서 줄을 가리킨다. 그것이 분위기와 감사 추적의 차이이며, 이 레이어가 다음 모델 세대에서도 살아남는다고 내가 생각하는 이유 전부다.

안 된다고만 말하는 게이트는 정책이다. 안 된다고 말하면서 정확히 모순된 줄을 보여주는 게이트는 보관할 수 있는 통제다.

내가 계속 돌아오는 논거는 이것이며, GPT-N이 고쳐 주기를 기다리기보다 이걸 만들 가치가 있다고 나를 설득한 논거다. 완벽한 모델조차 당신의 현재 인증이나 실시간 가격을 알 수 없다. 그것이 EU 규칙을 어기지 않았다고 스스로 인증할 수도 없다. 그리고 컴플라이언스 팀에 보관 가능한 추적을 건넬 수도 없다. 그것들은 모델의 속성이 아니라 시스템의 속성이다. 출처, 진실의 원천 게이트, 전달률 검사, 감사 영수증. 그것들은 더 똑똑한 초안 작성기로 폐기되지 않는다. 오히려 더 똑똑하고 더 설득력 있는 초안 작성기는 그것들을 더 필요하게 만든다. 거짓이 더 유창해지기 때문이다.

개인화가 주장이 아니라 실재임을 알려 준 숫자

나는 스타일 스토어를 거의 만들지 않았고, 그 이유를 인정하고 싶다. 이 공간의 모두가 개인화를 주장한다. "페르소나에 대해가 아니라 페르소나를 위해 쓰인 이메일." 아웃바운드에서 가장 많이 주장되고 가장 적게 측정되는 주장이다. 나 자신의 버전에도 의심이 있었다. 잘 짜인 프롬프트만으로도 괜찮은 이메일은 나온다. 스타일 검색 레이어 전체가 그 복잡성을 실제로 벌고 있는가, 아니면 프롬프트를 꾸미고 아키텍처라고 부르는가?

그래서 나는 그걸 숨기지 않고 데모에 정직한 테스트를 넣었다. 제로샷 베이스라인 토글. 같은 잠재고객, 같은 제품 사실, 하지만 스타일 주입은 끄고, 초안을 실제 담당자의 지문과 비교하는 문체 측정 충실도 점수. 스타일 스토어가 연극이었다면 숫자는 거의 움직이지 않았을 것이다. 토글하고 지켜보았다.

숫자는 움직였고, 산문이 스스로를 배신했다. 스타일 주입을 끄면 초안은 곧장 "delve into how Northwind Pay could transform its engineering landscape"와 "unlock synergies and drive transformative outcomes"로 미끄러졌다. 그것들은 확률적 평균의 귀에 들리는 표식이다. 같은 잠재고객에서 스타일 충실도는 Maya의 지문 대비 0.295로 떨어졌고, 스타일 주입 버전은 0.5를 기록했다. 여섯 잠재고객 홀드아웃 세트에서 평균 충실도는 스타일 스토어 켠 경우 0.483, 제로샷은 0.275였다. 리프트는 +0.208, 측정되었고, 그 특정 세트에서, bundled-draft 모드로. 약속이 아니다. 내가 재생성할 수 있는 숫자다.

개인화는 아웃바운드에서 가장 많이 주장되고 가장 적게 측정되는 주장이다. 나는 반복할 수 있는 문장이 아니라 재생성할 수 있는 숫자를 원했다.

그 패널의 거버넌스 쪽이 내가 가장 신뢰하는 부분이다. 라벨된 적대 세트에서 5/5. 깨끗한 초안은 통과했다. SOC 2 Type II와 ISO 27001 과대 주장은 차단되었다. 하한 아래에 있는 "$5,000 build"는 모순으로 차단되었다. "슬롯 2개만, 오늘 만료" 긴급성은 제5조 아래 차단되었다. "모두가 이미 바꿨다, 후회할 것" 사회적 증거는 제5조 아래 차단되었다. 다섯 케이스, 다섯 정확한 판정, 그리고 게이트가 결정적이므로 매번 같은 다섯 판정을 반환한다. LLM 판정자는 그것을 약속할 수 없다. 정직한 부분을 계속 소리 내어 말해야 한다: 그 5/5는 다섯 케이스 라벨 세트에서의 정확도이지 열린 세계 보장이 아니며, 충실도 숫자는 bundled-draft 모드의 여섯 잠재고객 세트다. 모든 숫자를 정확한 테스트에 귀속시키는 규율은 법률적 각주가 아니다. 그것은 제품이 파는 바로 그 규율이다.

내가 이것이 실제로 무엇에 관한 일이라고 생각하는지

나는 거버넌스 제품을 만들려 시작한 것이 아니었다. AI가 더 나은 세일즈 이메일을 쓰게 하려다, 더 나은 글쓰기가 병목이 아니었다는 사실에 정면으로 부딪혔다. 시장은 2년 동안 AI SDR을 물량에 최적화하고 개인화를 주장했고, 그 베팅의 공개적 잔해는 미묘하지 않다. 11x.ai는 $74M을 유치하고 몇 달 만에 고객의 70~80%를 잃었으며, 실제 계약 약 $3M에 대해 대략 $14M ARR을 주장했고, ZoomInfo는 TechCrunch 2025년 3월 보도에 따르면 자사 SDR 직원보다 현저히 나쁜 성과를 냈다고 했다. 한편 Google은 2025년 11월부터 비준수 대량 이메일을 거부하기 시작했고, Microsoft는 2025년 5월에 집행했으며, EU AI Act 제5조는 2025년 2월부터 집행 가능했다. 2026년 나쁜 발송의 비용은 나쁜 이메일이 아니다. 거부된 도메인과 규제 당국이다.

내가 계속 곱씹는 교훈은 더 나은 모델이었어도 그 어느 것도 구하지 못했을 것이라는 점이다. 더 나은 모델은 더 설득력 있는 거짓 인증 주장을 쓴다. 더 유창한 인위적 긴급성을 쓴다. 당신을 구하는 것은 더 똑똑한 초안 작성이 아니라, 초안 작성기 바깥에 살며 진실의 원천을 읽고 영수증을 남기는 결정이다. 개인화는 검증이 아니며, 2026년에는 어느 쪽도 그 자체로는 충분하지 않다. 거버넌스도 필요하고, 그것이 있어야 할 단 한 곳 — 초안과 발송 사이 — 에 앉아야 한다. 그 이메일을 직접 차단하는 모습을 보고 싶다면 veriprajna.com/ko/demos/ai-sales-personalization에 있다.

그리고 내가 설명하는 것을 읽는 것보다 보는 편이 낫다면, 그 이메일을 차단하고 영수증에 서명하는 전체 게이트웨이가 엔드 투 엔드로 돌아가는 모습이 여기 있다.

그래서 AI SDR이 훌륭한 이메일을 쓰고 있다고 말하는 모든 RevOps 리더에게 내가 묻기 시작한 질문이 있다. 이메일이 좋은지가 아니다. 보낸 마지막 주장을 어떤 소스가 뒷받침했는지 증명할 수 있고, 그 증명을 오늘 오후 컴플라이언스 팀에 건넬 수 있는가? 답이 아니오라면, 글쓰기는 애초에 리스크가 아니었다.