AI 음악 생성기가 머라이어 캐리 보컬 런을 뱉어낸 그날 밤, 나는 신뢰를 접었다

거의 자정 무렵이었고, 나는 사무실에서 두 명의 엔지니어, 그리고 형편없는 커피 한 주전자와 함께 앉아 인기 있는 생성형 오디오 플랫폼에 스트레스 테스트를 돌리고 있었다. 우리는 어느 광고 대행사가 전국 규모 캠페인에서 AI로 생성한 음악을 안전하게 사용할 수 있는지 평가하기 위해 고용된 상태였다. 그래서 우리는 장르별로, 스타일별로 그 도구에 체계적으로 프롬프트를 넣으며 무엇이 나오는지 기록하고 있었다.

그때 엔지니어 중 한 명인 프리야가 간단한 프롬프트로 생성한 트랙을 재생했다. "경쾌한 팝 발라드, 여성 보컬, 강력한 음역대." 그녀는 어떤 아티스트도 언급하지 않았다. 비슷한 목소리를 요청하지도 않았다. 하지만 스피커에서 흘러나온 소리에 우리 셋은 모두 조용해졌다.

틀림없었다. 그 멜리스마 — 음을 굽이치며 흘려 내리는 그 보컬 런 — 은 오직 한 사람의 것이었다. 그 도구는 보컬 스타일을 "창작"한 게 아니었다. 학습 과정에서 삼켜 버린 무언가로부터 머라이어 캐리의 시그니처 기법을 재구성해 낸 것이었다. 그것도 그녀의 이름을 단 한 번도 언급하지 않은 프롬프트로부터 말이다.

나는 프리야에게 돌아서서 말했다. "우리가 이걸 어느 클라이언트에게 넘기고 소니의 누군가가 그걸 듣는다면, 소송당하는 건 우리가 아니야. 정작 클라이언트가 소송을 당하는 거지."

그날 밤이 바로 내가 생성형 AI 음악을 창작 도구로 생각하기를 멈추고, 그것이 실제로 무엇인지를 보기 시작한 밤이었다. 텍스트 상자로 그럴싸하게 포장한, 저작권 보호 자료를 위한 압축 알고리즘 말이다. 그리고 그날 밤은 내가 Veriprajna에서 근본적으로 다른 무언가를 만들기로 결심한 밤이기도 했다.

모든 것을 바꾼 소송

당신이 미국음반산업협회(RIAA)가 Suno와 Udio를 상대로 제기한 소송을 지켜보지 않았다면, 지금이라도 지켜봐야 한다. 이건 하찮은 소송이 아니다. 음악 산업이 그은 최후의 선이다.

RIAA는 이 플랫폼들이 산업적 규모의 "스트림 리핑"을 저질렀다고 주장한다 — 유튜브의 롤링 암호(rolling cipher) 암호화를 우회해 수백만 건의 저작권 보호 녹음을 다운로드하고, 이를 곧바로 학습 파이프라인에 밀어 넣었다는 것이다. 우발적인 수집이 아니다. 몇 곡이 슬쩍 끼어든 것도 아니다. 의도적으로 긁어모은 수백만 곡의 트랙, 그 표현적 특징들은 벡터로 정량화되어 모델이 필요할 때마다 그것들을 재구성할 수 있도록 되어 있었다.

그 법리는 우아하면서도 파괴적이다. 이른바 독수독과(毒樹毒果) 이론이다. 학습 데이터가 불법적으로 취득된 것이라면, 모든 출력물은 오염된 것이다. 사용자에게 선의가 있었는지는 중요하지 않다. 출력물이 음 하나하나까지 똑같은 복제물이 아니어도 상관없다. 모델은 머라이어 캐리의 실제 녹음이 지닌 통계적 지문을 암기함으로써 "머라이어 캐리 같은 노래"를 생성하는 법을 배웠다. 그건 영감이 아니다. 텍스트 프롬프트를 열쇠로 삼은 데이터 압축 해제다.

모델이 자신의 창작적 결정이 어디서 비롯됐는지 말해 주지 못한다면, 그것은 상업적 공급망에서 신뢰받을 수 없다. 그걸로 끝이다.

나는 법적·기술적 분석 전체를 우리 연구의 인터랙티브 버전에 담아 두었지만, 요점은 이렇다. 이런 도구를 쓰는 기업 사용자는 소송을 임대하고 있는 셈이다. 이 플랫폼들의 이용약관은 프롬프트가 구체적으로 변하는 순간 책임을 사용자에게 되돌려 넘기도록 설계되어 있다. 그리고 "구체적"이라는 기준은 당신 생각보다 훨씬 낮다.

왜 "공정 이용(Fair Use)"은 AI 음악에서 무너지는가?

이건 이 도구들을 쓰고 싶어 하는 경영진에게서 내가 가장 자주 받는 질문이다. "학습은 변형적(transformative)이지 않나요? 라디오를 듣는 음악가와 같은 것 아닌가요?"

아니다. 그리고 법원들도 점점 더 그렇게 말하고 있다.

미국의 공정 이용은 네 가지 요소에 달려 있지만, AI 음악 생성기의 숨통을 끊는 것은 네 번째 요소다. 바로 잠재적 시장에 미치는 영향이다. AI 도구가 사용자에게 월 $24를 청구하며, 자신이 학습한 라이선스 녹음과 직접 경쟁하고 — 또 그것을 대체하는 — 트랙을 생성해 낸다면, 그 시장 피해는 이론상의 것이 아니다. 그것이 바로 비즈니스 모델 자체다.

머라이어 캐리를 듣고 독창적인 노래를 쓰는 인간 음악가는 그 영향을 수년간의 실제 경험, 신체적 발성 훈련, 창의적 해석을 거쳐 소화해 낸 것이다. 그녀의 스펙트로그램을 삼켜 노이즈로부터 그것을 역설계하는 법을 배운 디퓨전 모델은 범주적으로 다른 일을 한 것이다. 그것은 그녀의 작업물을 가중치로 압축한 뒤, 명령이 떨어지면 압축을 푸는 법을 배웠다.

유니버설 뮤직 그룹과 Udio의 합의는 이 점을 뼈아프게 구체적으로 만들었다. 그 거래의 일환으로, 원래 플랫폼의 사용자들은 이제 자신이 만든 창작물조차 다운로드할 수 없게 된 것으로 전해진다. 모든 것이 담장 쳐진 정원(walled garden) 안에 갇혀 있다. 당신이 Udio에서 광고 캠페인의 사운드트랙을 만들었다면, 그 사운드트랙은 이제 플랫폼 밖의 어떤 용도로도 상업적으로 쓸모없어졌을 수 있다.

나는 회의에서 이 이야기를 설명할 때 한 광고 대행사 크리에이티브 디렉터의 얼굴이 하얗게 질리는 걸 지켜봤다. 그녀는 방금 저작권 소송을 합의로 마무리한 플랫폼에 6개월치 캠페인 오디오를 올려 둔 상태였다. 그중 어느 것도 내보낼(export) 수 없었다.

우리가 엉뚱한 문제를 두고 다투던 밤

한동안 나와 내 팀은 엉뚱한 질문에 사로잡혀 있었다. 우리는 계속 이렇게 물었다. "어떻게 하면 생성형 AI 음악을 더 안전하게 만들 수 있을까?" 우리는 프롬프트 가드레일을 시도했다. 출력물 지문 추적도 시도했다. 생성된 트랙이 알려진 녹음과 지나치게 가까울 때를 탐지할 수 있는 분류기를 만드는 것도 시도했다.

그 모든 것은 무너진 토대에 땜질을 하는 일이었다.

우리의 방향을 바꾼 논쟁은 아키텍처 다이어그램으로 뒤덮인 화이트보드 앞에서 벌어졌다. 우리 시니어 엔지니어 중 한 명 — 그를 라지(Raj)라고 부르겠다 — 은 내가 제안하는 모든 안전장치에 계속 반박했다. "당신은 확률적 시스템을 결정론적으로 작동하게 만들려 하고 있어요."라고 그가 말했다. "그건 불가능합니다. 디퓨전의 핵심은 학습 데이터를 재구성하는 거예요. 당신은 그것이 설계된 목적 그 자체를 하지 말라고 요구하고 있는 겁니다."

그가 옳았다. 그리고 그는 답답해하고 있었다. 몇 주 동안 그 말을 해 왔는데 내가 듣지 않고 있었기 때문이다.

문제는 블랙박스 생성을 어떻게 더 안전하게 만드느냐가 아니었다. 진짜 문제는 이것이었다. 우리는 대체 왜 처음부터 무에서 생성하고 있는가?

우리가 이야기를 나눈 모든 기업 고객은 이미 오디오 자산을 갖고 있었다. 데모 녹음이 있었다. 라이선스된 스톡 트랙이 있었다. 오래된 카탈로그 자료도 있었다. 그들에게는 무에서 노래를 환각처럼 지어내는 모델이 필요하지 않았다. 그들에게 필요했던 것은 모델이 변형하는 것이었다 — 이미 자신들이 소유한 것을, 즉 목소리를 바꾸고, 믹스를 현대화하고, 스템을 분리하되 — 저작권 소유권의 사슬을 끊지 않으면서 말이다.

그 깨달음이 바로 우리가 지금 소스 분리 라이선싱 엔진(Source-Separated Licensing Engine)이라 부르는 것의 탄생이었다.

소스 분리 라이선싱 엔진이란 무엇인가?

AI에게 텍스트 프롬프트로부터 오디오를 생성하라고 요청하는 대신 — 이는 모델이 도난당한 저작권으로 구축된 잠재 공간(latent space)을 통과하도록 요구한다 — 우리는 AI에게 매우 구체적이고 매우 감사 가능한 두 가지 일을 요청한다:

첫째, 분해한다. 딥 소스 분리(Deep Source Separation)를 사용해, 우리는 라이선스된 트랙을 그 구성 스템들 — 보컬, 드럼, 베이스, 그리고 나머지 모든 것 — 으로 해체한다. AI는 아무것도 창작하지 않는다. 외과의가 조직층을 분리하듯, 이미 그 자리에 있는 것을 분리해 낼 뿐이다.

그다음, 변형한다. 검색 기반 보이스 컨버전(Retrieval-Based Voice Conversion, RVC)을 사용해, 우리는 분리된 스템의 보컬 정체성을 바꾼다. 멜로디는 그대로다. 가사도 그대로다. 연주도 그대로다. 하지만 그 목소리는 — 음색, 질감, 결은 — 상업적 사용에 서명한 성우의 녹음으로 우리가 학습시킨 라이선스된 보이스 모델에서 나온다.

작곡은 고객의 라이선스된 입력에서 나온다. 목소리는 우리의 라이선스된 모델에서 나온다. 모든 재료에는 명확한 권원(chain of title)의 사슬이 있다. 긁어모은 저작권으로 이루어진 잠재 공간은 없다. 확률적 환각도 없다. 어떤 요소가 어디서 왔는지에 대한 미스터리도 없다.

우리는 환각의 마법을 공학의 확실성과 맞바꿨다. 그리고 기업 고객은 마법을 원하지 않는다 — 그들은 실제로 소유할 수 있는 자산을 원한다.

딥 소스 분리는 실제로 어떻게 작동하는가?

완성된 노래를 들을 때, 당신은 다성(polyphonic) 혼합음을 듣고 있는 것이다 — 보컬, 드럼, 베이스, 기타, 신스가 모두 서로 겹겹이 쌓여 있다. 베이스 기타와 킥 드럼은 둘 다 50–200Hz 대역에 존재한다. 보컬과 피아노는 500Hz–2kHz 대역을 공유한다. 전통적인 오디오 필터로는 소리를 망가뜨리지 않고 이들을 떼어 낼 수 없다.

딥 소스 분리는 이를 신경망으로 해결한다. 혼합된 오디오는 스펙트로그램 — 본질적으로 시간에 따른 주파수의 시각적 지도 — 으로 변환되고, 신경망은 각 음원에 대한 "마스크"를 생성하는 법을 학습한다. 이것을 스텐실이라고 생각하면 된다. 마스크는 어느 순간의 어느 주파수가 드럼에 속하는지, 어느 것이 보컬에 속하는지, 어느 것이 나머지 전부에 속하는지를 시스템에 알려 준다. 마스크를 적용하면 깨끗하게 분리된 스템을 얻는다.

우리는 최고의 아키텍처들을 앙상블로 돌린다 — 노래 전체에 걸쳐 반복되는 드럼 비트처럼 장거리 패턴을 포착하는 하이브리드 트랜스포머 데믹스(Hybrid Transformer Demucs)와, 주파수 대역 전반의 스펙트럼 선명도를 위한 MDX-Net이다. 여러 모델을 돌려 결과를 평균 내면, 보컬 트랙에서 유령 같은 드럼 소리가 들리는 그 짜증스러운 아티팩트, 즉 "블리딩(bleeding)"이 최소화된다.

중요한 것은 법적 요점이다. 우리는 이 분리를 고객이 이미 소유하거나 라이선스를 받은 트랙에 대해 수행한다. AI는 발명이 아니라 분리를 위한 도구다. 그 결과로 나온 스템은 라이선스된 원본 트랙에서 법적으로 파생된 것이다.

왜 보이스 컨버전이 보이스 생성보다 더 중요한가?

여기서 대부분의 사람들의 직관은 그들을 엉뚱한 길로 이끈다. 그들은 AI 오디오의 인상적인 부분이 무에서 목소리를 생성하는 것이라고 여긴다. 그렇지 않다. 인상적인 부분 — 그리고 법적으로 방어 가능한 부분 — 은 연주의 다른 모든 요소를 보존하면서 한 목소리를 다른 목소리로 변환하는 것이다.

RVC는 두 가지를 분리해 냄으로써 작동한다 — 무엇을 부르고 있는가를, 누가 부르고 있는가로부터 말이다. HuBERT라는 모델은 화자의 정체성은 버리면서, 소스 보컬을 순수한 언어적·멜로디적 콘텐츠 — 음소, 억양, 리듬 — 로 벗겨 낸다. 그것은 연주를 익명화한다.

그다음이 검색(retrieval) 단계인데, 이것이 핵심 혁신이다. 신경망이 타깃 목소리가 어떻게 들려야 할지를 추측하게 하는 대신(이 방식은 그 티 나는 합성 특유의 매끈함을 만들어 낸다), 시스템은 타깃 목소리의 실제 특성 — 숨소리, 거친 쉰소리, 모음 형태 — 을 미리 구축한 인덱스에서 검색해, 실제 특징 조각들을 변환된 오디오에 주입한다. 결과물이 진짜처럼 들리는 이유는 그것이 실제로 진짜이기 때문이다. 그것은 통계적 근사치가 아니라, 라이선스된 목소리의 실제 샘플로 만들어졌다.

마지막으로, HiFi-GAN 보코더가 파형을 합성하는데, 이는 타깃 화자의 실제 녹음을 상대로 적대적으로 학습되어 출력물이 진짜 연주와 구별할 수 없을 정도가 된다.

이 모든 과정은 보이스 모델을 학습시키는 데 단일 화자의 깨끗한 오디오 30–60분만 있으면 된다. "음악"을 배우기 위해 수백만 개의 긁어모은 트랙이 필요한 Suno나 Udio와 비교해 보라. 그들의 방식이 산업적이라면 우리의 접근법은 외과 수술처럼 정밀하다.

블랙박스 모델에는 없는 삭제 버튼

여기, 기업 법무팀을 밤잠 못 이루게 하는 것이 있다. 성우가 동의를 철회하거나 라이선스 계약이 만료되면, 당신은 AI 시스템에서 그들의 기여분을 제거할 수 있는가?

대형 트랜스포머 모델 — Suno와 Udio를 구동하는 종류 — 에서는 그 답이 사실상 '아니오'다. 학습 데이터는 수십억 개의 파라미터에 구워져 있다. 특정 아티스트의 영향을 제거하려면 값비싼 재학습이 필요하고, 제거하려던 것을 훨씬 넘어서는 능력까지 모델이 잃어버리는 "파국적 망각(catastrophic forgetting)"의 위험이 따른다.

우리 아키텍처에서는 모든 목소리가 별개의 파일이다. 약 50메가바이트. 성우가 "저는 그만하겠습니다"라고 하면, 우리는 그 파일을 삭제한다. 분리 엔진은 계속 작동한다. 다른 모든 보이스 모델도 계속 작동한다. "잊힐 권리(Right to be Forgotten)" 요청에 대한 준수가 즉각적이고 외과 수술처럼 정밀하다.

블랙박스 모델에서 언러닝(unlearning)은 연구 과제다. 우리 아키텍처에서는 그저 삭제 키 하나다.

규제가 조여 오면서 이것이 얼마나 중요한지는 아무리 강조해도 지나치지 않다. EU AI법(EU AI Act)은 학습 데이터에 대한 투명성을 요구할 것이다. AI 파이프라인의 모든 구성 요소에 대한 세밀한 통제력을 입증할 수 있는 능력은 있으면 좋은 것이 아니다 — 앞으로는 기본 참가 조건이 될 것이다.

누군가 당신의 AI 오디오에 의문을 제기하면 어떻게 되는가?

우리 파이프라인을 떠나는 모든 파일에는 C2PA 매니페스트가 담겨 있다 — 콘텐츠 출처 및 진위 연합(Coalition for Content Provenance and Authenticity)의 암호학적 서명이다. 파일과 함께 이동하며 위조할 수 없는 디지털 영양 성분표라고 생각하면 된다.

이 매니페스트는 다음을 기록한다: 입력 오디오의 해시(라이선스된 출처에서 파생되었음을 증명), 분리 모델의 해시(어떤 도구가 사용되었는지 증명), 보이스 모델의 해시(어떤 라이선스된 목소리가 적용되었는지 증명), 그리고 전체 사슬의 무결성을 인증하는 Veriprajna의 암호학적 서명.

유튜브가 트랙에 플래그를 걸거나, 스포티파이가 그 저작권 상태에 의문을 제기하거나, 경쟁사가 그것을 딥페이크라고 주장하면 — 고객은 매니페스트를 열기만 하면 되고, 출처가 바로 거기, 수학적으로 검증 가능한 형태로 있다. 모호함은 없다. "우리를 믿으세요"도 없다. 암호학적 증명이다.

바로 파이프라인의 전체 기술 아키텍처와 C2PA 통합에 대해서는, 여기서 내가 다룰 수 있는 것보다 더 깊이 들어가는 상세한 연구 논문을 발표해 두었다.

"하지만 이건 그저 AI가 할 수 있는 일을 제한하는 것 아닌가요?"

사람들은 내게 이 질문을 끊임없이 던진다. 대개 내가 흥을 깨는 사람이라는 뉘앙스의 어조로.

내 대답은 이렇다. 나는 AI를 제한하는 게 아니다. 내가 제한하는 것은 법적 책임이다. 거기엔 차이가 있다.

텍스트 프롬프트로 어떤 노래든 만들어 낼 수 있는 블랙박스 생성기는 진정으로 인상적인 기술이다. 그 점은 부인하지 않는다. 하지만 자신의 출력물이 어디서 왔는지 말해 주지 못하고, 감사받을 수 없으며, 그것이 만들어 낸 것을 당신이 소유한다고 보장하지 못하는 인상적인 기술 — 그런 기술은 소비자용 장난감이지 기업용 도구가 아니다.

미국 저작권청(US Copyright Office)은 점점 더 분명히 밝혀 왔다. 순수하게 AI가 생성한 저작물은 저작권 보호 대상이 되기 어렵다는 것이다. "재즈 노래를 만들어 줘"라고 입력하는 것은 저작권상의 저작 행위가 아니다. 그것은 표현이 아니라 아이디어일 뿐이다. 이는 곧, 당신의 경쟁사가 당신의 AI 생성 징글을 베껴 자기네 광고에 쓴다 해도 당신에게는 아무런 법적 구제 수단이 없을 수 있다는 뜻이다.

우리 접근법은 저작권 보호 가능성을 유지한다. 토대에 인간이 만든 가이드 트랙이 있고, 모든 단계에 인간이 지시한 변형이 있기 때문이다. AI는 창작자의 손에 들린 도구일 뿐, 창작자 그 자체가 아니다. 그 구분이 바로 당신의 출력물을 소유하는 것과, 아무도 훔쳐 가지 않기를 바라는 것 사이의 차이다.

진짜 비용 방정식

이 분야의 다른 누구도 그럴 의향이 없어 보이니, 내가 경제성에 대해 솔직하게 말하겠다.

긁어모은 데이터로 학습하는 것은 공짜다. 그러나 법적 책임에는 상한이 없다 — 침해 저작물 한 건당 최대 $150,000의 법정 손해배상이다. 당신의 모델이 만 곡을 삼켰다면, 계산해 보라.

학습 데이터와 음성 녹음에 라이선스를 받는 것은 선행 비용을 발생시킨다. 그러나 당신의 법적 책임을 0으로 묶어 둔다. 사슬의 모든 구성 요소 뒤에는 서명된 계약이 있다. 모든 출력물에는 출처 매니페스트가 부착되어 있다.

그 초기 평가를 위해 우리를 고용했던 광고 대행사 말인가? 그들은 숫자를 따져 봤다. 우리 파이프라인의 비용은 단 한 건의 저작권 침해 청구에 비하면 반올림 오차 수준이었다. 그리고 블랙박스 플랫폼들과 달리, 우리는 그 반올림 오차가 바로 전체 비용이라는 것을 실제로 보장할 수 있었다 — 소송에 대한 착수금이 아니라 말이다.

"프롬프트하고 기도하기(Prompt and Pray)"의 종말

Suno와 Udio를 상대로 한 RIAA의 소송은 AI 오디오의 끝이 아니다. 아무도 학습 데이터가 어디서 왔는지 묻지 않던 시기의 끝이다. 합의 조건들 — 담장 쳐진 정원, 다운로드 제한, 새로운 라이선스 플랫폼 — 은 이것이 정확히 어디로 향하고 있는지를 말해 준다. 무법천지의 서부 시대가 저물고 있다.

그다음에 오는 것이 바로 우리가 만들어 온 것이다: 모든 산출물이 검증 가능한 출처를 지니고, 모델을 구성 요소 단위로 감사하고 갱신하고 삭제할 수 있으며, 출력이 확률적이 아니라 결정론적이고, 기업 고객이 자신이 지불한 것을 실제로 소유하는 주권적(sovereign) 오디오 파이프라인이다.

나는 프리야와 함께했던 그날 밤, 그 머라이어 캐리 보컬 런을 인정하고 싶은 것보다 더 자주 떠올린다. 기술적으로 놀라워서가 아니다 — 우리는 모델이 학습 데이터를 암기하고 있다는 걸 알고 있었다. 하지만 그 일이 위험을 생생하게 만들었기 때문이다. 우리 스피커를 통해 흘러나오던 것은 추상적인 법 이론이 아니었다. 그것은 누군가의 필생의 작업물이었고, 허락 없이 가중치로 압축되었다가 재구성되어, 자신이 무엇을 배포하는지 전혀 알지 못했을 고객에게 넘겨질 준비가 된 상태였다.

스스로를 설명하지 못하는 시스템 위에 사업을 세울 수는 없다. 모델이 어떤 데이터로 학습됐는지 모른다면, 당신은 그 출력물을 소유한 것이 아니다. 당신은 창작하고 있는 게 아니다. 도박을 하고 있는 것이다.

합성된 불확실성의 시대에, 출처(provenance)가 곧 제품이다.

우리는 모든 음표에 이름이 있고, 모든 목소리에 계약이 있으며, 모든 파일이 증거를 지니는 시스템을 만든다. 그것은 AI에 대한 제약이 아니다. 그것이 바로 현실 세계에 나설 준비가 된 AI의 모습이다.