Sports Illustrated의 문제는 AI가 아니었다. 진실 아키텍처의 부재였다

읽기를 멈추고 서성이기 시작한 바로 그 순간을 나는 기억한다.

때는 2023년 11월 말이었고, Futurism이 막 Sports Illustrated에 대한 조사 결과를 발표한 참이었다. 그 세부 내용은 실화라고 믿기 어려울 만큼 터무니없었다. 70년 역사의 언론 기관이 실존하지 않는 사람들이 쓴 제품 리뷰를 게재해 온 것이다. 야외 활동을 좋아한다고 묘사된 남성 "Drew Ortiz"는 AI로 생성된 얼굴을 판매하는 마켓플레이스에서 구입한 프로필 사진을 갖고 있었다. 피트니스 전문가로 알려진 "Sora Tanaka"에게는 음식과 음료를 사랑한다는 조작된 뒷이야기가 있었다. 이 유령들의 이름으로 게재된 콘텐츠에는 "배구는 세계에서 가장 인기 있는 스포츠 중 하나이며, 그럴 만한 이유가 있다" 같은 명작들이 포함되어 있었다 — 너무나 공허해서 사실상 메아리가 울릴 정도의 문장이었다.

내가 서성인 것은 충격을 받아서가 아니었다. 나는 몇 달 동안 기업 고객들에게 바로 이런 실패 양상을 경고해 왔기 때문에 서성였다. AI가 어떤 추상적인, 터미네이터식 의미에서 위험하다는 것이 아니라 — 매우 구체적이고 매우 예측 가능한 아키텍처의 붕괴에 관한 것이었다. Sports Illustrated는 AI를 사용하다 적발된 것이 아니다. 그것이 AI를 사용하다 적발된 것은 그 밑에 진실 시스템 없이였다. 그리고 그 차이는 대부분의 사람들이 생각하는 것보다 더 중요하다.

여파는 신속하고 잔인했다. The Arena Group의 주가는 하루 만에 27% 하락했다. Authentic Brands Group은 SI의 출판 라이선스를 취소했다. SI 노조는 아마도 전 직원이 해고되었을 가능성이 있다고 밝혔다. Muhammad Ali, 미라클 온 아이스, 그리고 수십 년의 미국 스포츠를 다뤄 온 뉴스룸이 텅 비게 되었다 — AI가 기자들을 대체했기 때문이 아니라, 경영진이 가능한 가장 저렴한 AI 아키텍처를 선택하고 그것을 전략이라 불렀기 때문이다.

그 아키텍처에는 이름이 있다. 우리는 그것을 "LLM 래퍼(LLM Wrapper)"라고 부른다. 그리고 그 대안을 구축하는 데 수년을 보낸 지금, 나는 그것이 오늘날 기업 신뢰에 대한 단일 최대 위협이라고 확신한다.

"LLM 래퍼"란 정확히 무엇이며 — 왜 무너지는가?

이것을 비기술직 임원들에게 설명할 때 나는 하나의 비유를 든다. 세상에서 가장 언변이 뛰어난 연설가를 고용했다고 상상해 보라 — 어떤 주제든, 어떤 스타일로든, 어떤 청중에게든 말할 수 있는 사람 말이다. 인상적이지 않은가? 이제 그 연설가에게 기억력도, 사실 확인 부서도 없고, "모르겠습니다"라고 말하는 것이 병적으로 불가능하다고 상상해 보라. 대신 자신의 지식에 빈틈이 생기면, 그들은 그저... 무언가를 지어낸다. 자신 있게. 유창하게. 완벽한 문장으로.

그것이 바로 그라운딩(grounding)이 없는 대규모 언어 모델이다. 그것은 확률적 추론 엔진이다 — 학습 데이터의 패턴에 기반해 다음에 나올 가장 가능성 높은 단어를 예측한다. 그것은 Drew Ortiz가 실존하지 않는다는 것을 "알지" 못한다. 그것은 제품 리뷰의 패턴에 일반적으로 저자 이름과 약력이 포함된다는 것을 알기에, 통계적으로 그럴듯한 세부 정보로 그 템플릿을 채운다. 모델에게 "Drew Ortiz"는 거짓말이 아니다. 그것은 성공적인 패턴 완성이다.

LLM 래퍼란, 어느 기업이 그 언변 좋고 이야기를 지어내는 연설가를 데려다가 마이크와 키워드 목록만 쥐여주고 무대에 세울 때 얻게 되는 것이다. 메모도 없다. 무대 옆에 편집자도 없다. 그들의 입에서 나오는 것이 진실인지 확인하는 사람도 없다. 모델을 둘러싼 소프트웨어 계층은 얇다 — 프롬프트를 넣고, 텍스트를 돌려받아, 그것을 게재한다. 그게 전부다.

SI의 가짜 콘텐츠 배후에 있던 제3자 벤더 AdVon Commerce는 바로 이런 방식으로 운영되었다. 그들에게는 "MEL"이라는 내부 도구가 있었다 — 본질적으로 제품 키워드를 받아들여 파운데이션 모델에 통과시키고 구조화된 리뷰를 뱉어내는 래퍼였다. "인간 작가들"은 그 출력물을 콘텐츠 관리 시스템에 복사·붙여넣기 하는 대가로 쥐꼬리만 한 보수를 받았다. 그들은 편집하지 않았다. 그들은 사실 확인을 하지 않았다. 그들은 인간 미들웨어였다.

AI가 엔진이고 인간이 단지 윤활유에 불과할 때, 품질 붕괴는 위험이 아니다 — 그것은 예정된 일정이다.

"충분히 좋은" AI가 충분히 좋지 않다는 것을 깨달은 밤

어느 밤이 있었다 — 아마 2024년 초, SI 기사가 터진 지 몇 주 후였던 것 같다 — 그날 나와 팀은 한 고객을 위한 콘텐츠 생성 파이프라인을 스트레스 테스트하고 있었다. 우리는 표준적인 검색 증강 생성(Retrieval-Augmented Generation, RAG) 시스템을 구축해 두었는데, 이는 LLM을 배포하는 "책임감 있는" 방식으로 여겨지는 종류다. 관련 문서를 검색해 모델의 컨텍스트 윈도우에 주입하고, 오직 그 출처만 사용하라고 지시하는 것이다.

우리는 500개의 제품 설명을 배치로 실행했다. 결과는 깔끔해 보였다. 유창했다. 전문적이었다. 나의 수석 엔지니어는 그날 밤 일을 마무리할 준비가 되어 있었다.

나는 말했다. "환각 검사를 한 번만 더 돌려봐."

그는 한숨을 쉬었다. 하지만 그는 그것을 돌렸다.

500개의 설명 중 18개가 어떤 출처 문서에도 없는 주장을 담고 있었다. 그것은 3.6%의 오류율이다 — 도메인에 따라 1.5%에서 6.4% 사이로 환각을 일으키는 최첨단 모델에 대해 연구가 보여주는 바로 그 범위에 해당한다. 법률과 같은 전문 분야에서는 상황이 더욱 심각하다.

18개는 그리 많게 들리지 않는다. 하지만 그것을 규모로 확장해 보라. 당신이 연간 10,000편의 기사를 쏟아내는 출판사라면 — 그리고 콘텐츠 팜은 분명 그 정도 규모로 운영된다 — 4%의 환각률은 조작된 주장을 담은 400편의 기사를 의미한다. 400건의 잠재적 소송, 평판 위기, 혹은 신뢰를 파괴하는 순간들. 우리는 이미 ChatGPT가 지어낸 존재하지 않는 판례를 인용해 제재를 받은 변호사들을 목격했다. 계산은 당신 편이 아니다.

그날 밤, 나는 팀에게 말했다. "우리는 확률만으로 작동하는 그 어떤 것도 출시하지 않는다. 우리에게는 검증되지 않은 주장을 데이터베이스가 null 값을 다루는 방식으로 — 즉흥적으로 지어낼 초대장이 아니라 지식의 부재로 — 취급하는 시스템이 필요하다."

왜 더 나은 프롬프트로 환각을 그냥 고칠 수 없는가?

사람들은 내게 끊임없이 이것을 묻는다. "모델에게 더 신중하라고 그냥 말할 수 없나요? '지어내지 마라'라고 하는 시스템 프롬프트를 추가하면 되지 않나요?"

아니다. 그리고 그 질문이 왜 이 기술에 대한 근본적인 오해를 드러내는지 여기 설명하겠다.

환각은 지시로 패치할 수 있는 버그가 아니다. 그것은 이 모델들이 작동하는 방식의 구조적 속성이다. LLM은 학습 데이터로부터 도출된 토큰들 — 단어와 하위 단어들 — 사이의 통계적 관계를 저장한다. 그것에는 사실의 내부 데이터베이스가 없다. 그것에는 "참" 대 "거짓"이라는 개념이 없다. 그것에는 "가능성 있음" 대 "가능성 없음"이라는 개념이 있다. 어떤 패턴의 가능성 있는 완성이 모델이 갖고 있지 않은 사실을 필요로 할 때, 그것은 그 패턴에 맞는 하나를 생성한다. 그것에게 "환각을 일으키지 마라"라고 말하는 것은 물에게 "젖지 마라"라고 말하는 것과 같다.

컨텍스트 윈도우 문제도 있다. 방대한 컨텍스트 윈도우를 가진 현대적 모델조차도 전체 기업 지식 베이스를 집어넣으려 하면 벽에 부딪힌다. 회사의 완전한 편집 지침, 제품 데이터베이스, 저자 등록부, 브랜드 정책 전부를 모든 프롬프트마다 붙여 넣을 수는 없다. 모델의 내부 지식 — 정적이고, 낡았으며, 통제 불가능한 — 이 그 빈틈을 채운다.

그리고 "그냥 GPT를 써라"고 하는 무리 중 거의 아무도 이야기하지 않는 보안 차원이 있다. 프롬프트 인젝션 공격은 입력을 조작해 안전 필터를 우회할 수 있다. 데이터 포이즈닝은 RAG 시스템이 검색해 오는 웹 출처를 오염시킬 수 있다. "slopsquatting"이라는 새로운 위협은 LLM이 소프트웨어 패키지 이름을 환각한다는 사실을 악용한다 — 공격자들은 그 가짜 이름을 등록해, 코드 제안을 복사·붙여넣기 하는 개발자들에게 멀웨어를 전달한다. 얇은 래퍼의 공격 표면은 막대하다.

나는 이러한 아키텍처적 실패 양상에 대해 우리 연구의 인터랙티브 버전에서 심도 있게 다뤘지만, 핵심은 단순하다. 당신은 진실에 이르는 길을 프롬프트 엔지니어링으로 만들어낼 수 없다. 당신에게는 완전히 다른 아키텍처가 필요하다.

우리가 구축하는 방식을 바꾼 논쟁

우리는 이것을 두고 VeriPrajna 내부에서 진짜 다툼을 벌였다. 정중한 의견 불일치가 아니라 — 실제 논쟁, 사람들이 목소리를 높이고 결국 누군가 "잠깐 한 발 물러설 수 있을까요?"라고 말하는 종류의 것이었다.

내 팀의 한 진영은 — 똑똑한 사람들, 경험 많은 엔지니어들이었다 — 우리가 RAG를 더 낫게 만드는 데 집중해야 한다고 주장했다. 더 정교한 검색. 더 나은 청킹 전략. 미세 조정된 임베딩 모델. 점진적 접근법이었다. "RAG는 96%의 경우에 충분히 잘 작동합니다"라고 그들은 말했다. "마지막 4%를 최적화합시다."

다른 진영은 — 그리고 나는 확고하게 그 진영에 있었다 — "충분히 잘"이 기업 신뢰에는 사형 선고라고 주장했다. 그 4%는 무해한 오타들에 무작위로 분포하지 않는다. 그것은 가장 중요한 주장들 주위에 정확히 몰려 있다. 이름, 숫자, 날짜, 인과 관계. 틀렸을 때 신뢰성을 파괴하는 것들 말이다.

전환점은 팀의 누군가가 화이트보드에 SI 타임라인을 띄웠을 때 왔다. 2023년 11월: Futurism이 조사 결과를 발표한다. The Arena Group의 주가가 27% 하락한다. 가짜 프로필들이 조용히 삭제된다 — 언론 윤리 교수들이 "거짓말의 한 형태"라고 부른 행보다. 전직 AdVon 직원들이 "MEL"이 그 콘텐츠를 생성했다고 확인하면서 "제3자 방어"가 무너진다. Authentic Brands Group이 라이선스를 취소한다. 직원들이 해고된다. 70년 역사의 기관이 도려내진다.

"저것이," 나는 화이트보드를 가리키며 말했다, "규모의 차원에서 4%가 어떻게 보이는지입니다."

우리는 그날 점진적 RAG 개선에 대한 논쟁을 멈췄다. 우리는 근본적으로 다른 무언가를 구축하기 시작했다.

거짓말할 수 없는 시스템은 실제로 어떤 모습인가?

그 답은 AI 연구 커뮤니티가 부르는 이름인 뉴로-심볼릭 AI(Neuro-Symbolic AI) — 두 가지 매우 다른 종류의 지능을 융합한 하이브리드 아키텍처다.

그것을 함께 작동하는 두 개의 두뇌 시스템으로 생각해 보라. 신경(neural) 구성 요소 — LLM — 는 언어를 담당한다. 그것은 지저분한 텍스트를 파싱하고, 뉘앙스를 이해하고, 유창한 문장을 생성하는 데 탁월하다. 그것은 당신의 직관 엔진이다. 하지만 그것은 진실과 아무런 관계가 없다.

심볼릭(symbolic) 구성 요소 — 지식 그래프(Knowledge Graph) — 는 사실을 담당한다. 그것은 현실을 구조화된 관계로 저장한다. 술어(predicate)로 연결된 개체(entity)들 말이다. Wilson AVP → is_certified_by → FIVB. Jane Smith → is_author_of → Article_4521. 이것들은 확률이 아니다. 그것들은 결정론적 단언이다. 지식 그래프에 질의했는데 답이 거기에 없으면, 당신은 null을 얻는다. 창의적인 즉흥이 아니다. 침묵이다.

SI 사례에서 뉴로-심볼릭 시스템이라면 리뷰를 작성하는 데에는 LLM을 사용했을 것이다 — 그것은 진정으로 그 일을 잘한다 — 하지만 저자를 검증하는 데에는 지식 그래프에 의존했을 것이다. 그래프에 "Drew Ortiz"에 대한 검증된 개체가 담겨 있지 않았다면, 시스템은 그 바이라인을 차단한다. 끝. 온톨로지(ontology) — 그래프를 지배하는 구조적 규칙들 — 는 제품 리뷰가 검증된 저자와 연결되어 반드시 있어야 한다는 것을 강제할 것이다. 그렇게 하여 가짜 바이라인 스캔들을 아키텍처적으로 불가능하게 만든다.

지식 그래프는 침묵을 채우려고 저자를 "지어내지" 않는다. 그것은 지식의 부재를 지식의 부재로 취급한다. 바로 그 단일한 속성이 환각에 맞서는 방화벽이다.

그 성능 차이는 측정 가능하다. 연구에 따르면 지식 그래프를 생성 파이프라인에 통합하면 기존 RAG에 비해 환각을 6% 줄이고 토큰 사용량을 80% 절감한다. 의료 도메인에서 뉴로-심볼릭 시스템은 임상 데이터 추출에서 100%의 정밀도를 달성했는데, 이는 단독 GPT-4의 63~95%와 비교된다. 모델은 잡음이 많은 문서를 헤치고 나아갈 필요가 없다 — 그것은 정밀하고 검증된 트리플(triple)을 소비한다.

인공 뉴스룸을 구축하다

여기서부터 흥미로워진다 — 그리고 여기서 Sports Illustrated의 이야기는 단순한 경고성 우화가 아니라 설계 명세서가 된다.

SI에게 부족했던 것은 AI 역량이 아니었다. 그것은 편집 아키텍처였다. 진짜 뉴스룸에는 사실을 수집하는 리서처, 서사를 만들어내는 라이터, 주장을 검증하는 편집자, 그리고 워크플로를 감독하는 편집국장이 있다. AdVon의 "MEL" 도구는 그 모든 역할을 하나의 프롬프트로 무너뜨렸다. 하나의 모델이 모든 것을 하는 것이다. 견제도 없다. 균형도 없다. 책임도 없다.

우리는 그 전체 편집 사슬을 다중 에이전트 시스템으로 재구축했다. 하나의 AI가 모든 것을 하는 것이 아니라, 뚜렷한 역할과 — 이것이 핵심인데 — 뚜렷한 권한(permissions)을 가진 전문화된 에이전트들이다.

리서처 에이전트는 지식 그래프와 신뢰할 수 있는 외부 API에 접근할 수 있다. 그것의 유일한 임무는 검증된 사실을 수집하는 것이다. 그것은 산문이 아니라 구조화된 데이터를 생산한다. 라이터 에이전트는 그 사실들을 받아 서사를 작성한다. 결정적으로, 그것은 외부 도구나 웹에 접근할 수 없다. 그것은 리서처가 제공한 것 너머에 도달할 수 없기 때문에 새로운 "사실"을 환각할 수 없다. 크리틱 에이전트는 초안을 적대적으로 검토한다 — 모든 주장을 지식 그래프와 대조하고, 뒷받침되지 않는 단언에 표시를 하고, 어조와 논리를 평가한다.

그리고 리플렉션 루프가 있다. 대부분의 래퍼 아키텍처는 AI가 생산한 첫 번째 초안을 그대로 취한다. 우리는 그렇게 하지 않는다. 우리의 크리틱은 라이터에게 이렇게 촉구한다. "당신의 이전 답변을 검토하세요. 출처를 인용했나요? 논리적 빈틈이 있나요? 무언가를 지어냈나요?" 라이터는 자기 비평을 생성한 다음, 그 비평을 사용해 더 나은 초안을 만들어낸다. 연구는 이 "Self-Refine" 접근법이 복잡한 작업에서 성능을 20% 이상 향상시키고 환각을 상당히 줄인다는 것을 확인한다.

그 결과는 최종 출력물의 모든 문장을 지식 그래프의 노드나 특정 출처 문서로 거슬러 추적할 수 있는 시스템이다. 어떤 주장을 클릭하면 데이터 출처를 볼 수 있다. 그것은 기능이 아니다 — 그것이 전부의 요점이다.

GraphRAG 파이프라인과 크리틱-액터(Critic-Actor) 검증 모델을 포함한 이 아키텍처의 전체 기술적 분석은 우리의 상세 연구 논문을 참조하라.

"하지만 이건 그냥 AI를 느리게 만드는 것 아닌가요?"

속도 서사에 설득당한 투자자들과 기업 리더들에게서 나는 이 반론을 받는다. AI는 빨라야 한다는 것이다. 검증은 마찰처럼 들린다.

나의 대답은 이렇다. The Arena Group의 주가는 스캔들이 전개된 그 해 동안 그 가치의 80%를 잃었다. 직원들은 해고되었다. 브랜드 라이선스는 취소되었다. "빠른 것"이 어떻게 그들의 돈을 아껴줬는지 다시 한번 말해 보라.

검증 없는 속도는 효율이 아니다. 그것은 유예된 재앙이다. 문제는 당신이 진실 아키텍처의 오버헤드를 감당할 수 있느냐가 아니다. 문제는 그것을 갖지 않는 데 따르는 책임을 당신이 감당할 수 있느냐다.

정보 경제학에는 "레몬 시장(lemons market)"이라는 개념이 있다 — 구매자가 품질과 쓰레기를 구별할 수 없을 때, 그들은 모든 것이 쓰레기라고 가정하고 프리미엄 가격을 지불하기를 멈춘다. 그것이 바로 지금 디지털 콘텐츠에 일어나고 있는 일이다. Sports Illustrated처럼 신뢰받는 브랜드가 사람들을 조작하다 적발되면, 그것은 모든 온라인 콘텐츠가 잠재적으로 가짜라는 냉소적 가정을 입증한다. 생태계 전체가 가치를 잃는다. 고품질 저널리즘은 콘텐츠 팜의 쓰레기와 구별할 수 없게 된다.

당신이 LLM 래퍼 위에 구축한다면, 당신은 모래 위에 구축하고 있는 것이다. 오늘 당신이 얻는 속도는 내일 당신이 잃는 신뢰다.

이 사태에서 살아남을 기업은 콘텐츠를 가장 빠르게 생성하는 기업이 아니다. 그들은 콘텐츠가 검증 가능한 관리 연속성(chain of custody)을 지니는 기업이다 — 출처 데이터에서 지식 그래프로, 생성된 텍스트로, 그리고 인간의 승인으로 이어지는 연속성 말이다. 그 사슬이 새로운 경쟁적 해자다.

SI의 붕괴가 실제로 증명한 것

나는 SI 기자들을 자주 생각한다. 그들의 노조가 표현했듯이 "이 유서 깊은 간행물의 기준을 지키기 위해 함께 싸운" 사람들 말이다. 그들은 AI에 의해 대체된 것이 아니다. 그들은 아키텍처 결정에 의해 희생되었다 — 올바르게 배포되었다면 그들의 일자리를 없애는 대신 그들의 작업을 증폭시킬 수도 있었을 기술의, 가능한 가장 저렴한 구현을 경영진이 선택함으로써 말이다.

그것이 사람들이 이것을 "AI 대 인간"으로 규정할 때 놓치는 비극이다. 그것은 결코 AI 대 인간이 아니었다. 그것은 게으른 AI 아키텍처 대 제도적 신뢰였다. AI가 실패한 것이 아니다. 아키텍처가 실패했다. 거버넌스가 실패했다. 검증을 선택 사항으로 취급하기로 한 결정이 실패했다.

Sports Illustrated 스캔들은 내가 의심해 왔지만 그것이 전개되는 것을 지켜보기 전까지는 깔끔하게 표현할 수 없었던 무언가를 증명했다. AI 시대에 기업의 가치는 자신의 시스템이 생산하는 것을 검증하는 능력에 정비례한다. 양이 아니다. 속도가 아니다. 검증 가능성이다.

이 글을 읽고 있는 모든 기업 리더는 지금 당장 AI를 배포하고 있거나 배포할 계획이다. 문제는 그것을 사용할지 여부가 아니다 — 그 배는 이미 떠났다. 문제는 당신의 아키텍처가 진실을 구조적 제약으로 취급하는지, 아니면 뒷전의 고려 사항으로 취급하는지다. 당신의 시스템이 자신이 생성한 것을 왜 생성했는지 설명할 수 있는지 여부다. 누군가 "누가 이것을 썼고 그것이 진실인가?"라고 물을 때, "글쎄요, 모델이 그렇게 말했어요"가 아닌 답을 당신이 갖고 있는지 여부다.

Drew Ortiz는 실존하지 않았다. 하지만 그가 초래한 피해는 매우 실재했다. 다음 Drew Ortiz는 지금 이 순간, 어딘가에서, 그것을 멈출 어떤 메커니즘도 없는 래퍼 아키텍처에 의해 생성되고 있다. 유일한 질문은 그것이 당신의 플랫폼에서 생성되고 있는지 여부다.