저는 왜 AI를 믿지 않고 오라클을 만들기 시작했나

그 이메일은 어느 화요일 밤 11시 47분에 도착했습니다. 우리가 이야기를 나눠 오던 한 배터리 제조사가 방금 생산 라인에서 셀 출하분을 회수한 참이었습니다. 테스트에 실패해서가 아니라, 그들의 AI 지원 소재 스크리닝 도구가 통과시킨 어떤 후보 전해질이, 인간 화학자가 마침내 수치를 계산해 보니 150°C 이상에서 열역학적으로 불안정한 것으로 드러났기 때문입니다. 그 소재는 배터리 팩 내부에서 분해되었을 것입니다. 그 분해는 열을 방출했을 것입니다. 그 열은 업계가 완곡하게 "열 폭주(thermal runaway)"라고 부르는, 그리고 나머지 우리들은 화재라고 부르는 현상을 촉발했을 것입니다.

다친 사람은 아무도 없었습니다. 하지만 저는 책상에 앉아 그 이메일을 응시하며 "그럴듯하다(plausible)"라는 단어를 곱씹었습니다. 그 AI가 어떤 명백한 방식으로 틀렸던 것은 아니었습니다. AI가 추천한 분자 구조는 합리적으로 보였습니다. AI가 예측한 형성 에너지도 대략 맞는 범위에 있었습니다. 그것은 그럴듯했습니다. 그저 진실이 아니었을 뿐입니다.

그 구분 — 그럴듯함과 진실 사이의 구분 — 이야말로 지금 이 순간 AI 산업 전체를 관통하는 단층선입니다. 그리고 그것이 제가 Veriprajna를 세운 이유입니다.

래퍼 경제에는 진실 문제가 있다

현재의 AI 제품 물결에 대해 대부분의 사람들이 깨닫지 못하는 사실은 이렇습니다. 그 대다수는 범용 대규모 언어 모델(LLM) 위에 얹혀 있는 얇은 인터페이스 계층 — "래퍼(wrapper)" — 에 불과합니다. LLM은 다음으로 가장 가능성 높은 토큰을 예측합니다. 래퍼는 그것을 앱처럼 보이게 만듭니다. 사용자는 자신이 답을 얻고 있다고 여깁니다. 실제로 얻고 있는 것은 확률입니다.

마케팅 문구를 작성하거나 회의록을 요약하는 데는 이것으로 괜찮습니다. 확률이면 충분합니다. 하지만 제가 함께 일하는 기업들에게는 "충분함"이라는 사치가 허용되지 않습니다. 그들은 전기차에 들어가는 배터리를 만듭니다. 그들은 전 세계로 방송되는 오디오 콘텐츠를 생산합니다. 그들에게 99% 그럴듯하지만 1% 물리적으로 불가능한 답은 반올림 오차가 아닙니다. 그것은 열 폭주 사고이거나 저작권 소송입니다.

당신의 AI가 불이 나거나 소송을 당하게 할 수 있는 무언가를 책임지고 있다면, "통계적으로 가능성이 높다"는 것은 "정확하다"는 것과 같지 않습니다.

저는 이것을 AI의 이분화라고 부르기 시작했습니다. 한쪽에는 래퍼 경제 — 빠르고, 접근하기 쉽고, 확률적 예측 위에 세워진 것. 다른 한쪽에는 우리가 Veriprajna에서 하는 일: 딥 AI, 즉 모든 출력이 인간이 보기도 전에 불변의 규칙에 대해 검증되는 방식입니다. 물리학. 논리. 출처(provenance). 당신의 학습 데이터 분포 따위는 신경 쓰지 않는 것들입니다.

AI가 이해하지도 못하는 화학을 예측하면 무슨 일이 벌어지는가?

이것을 배터리 문제로 구체적으로 설명해 보겠습니다. 그 문제가 저를 계속 따라다니기 때문입니다.

리튬이온 배터리는 결정론적인 화학 분해의 연쇄를 통해 고장 납니다. 그것은 음극의 보호층 — 고체 전해질 계면(SEI)이라고 불리는 — 이 분해되는 약 80–100°C에서 시작됩니다. 110–135°C에 이르면 분리막이 녹고 전해질이 가연성 가스로 분해되기 시작합니다. 200°C 이상에서는 양극이 붕괴하며 산소를 방출하고, 연소가 발생합니다.

전해질이 핵심 변수입니다. 전통적인 액체 전해질 — 일반적으로 카보네이트 용매에 용해된 육플루오린화인산리튬 — 은 고온에서 화학적으로 불안정합니다. 그것들은 말 그대로 연소 사건에서의 연료원입니다. 열 폭주를 방지하려면, 특히 고전압 또는 고온 용도에서는, 그 200°C 임계값을 훨씬 넘어서까지 안정성을 유지하는 분해 에너지를 지닌 전해질이 필요합니다.

문제는 그것을 찾아내는 일입니다. 가능한 무기 결정의 화학적 공간은 약 10^100가지 조합을 포함하는 것으로 추정됩니다. 수십 년 동안 재료과학자들은 에디슨이 필라멘트를 시험하던 방식으로 이 공간을 탐색해 왔습니다. 구조를 가설로 세우고, 실험실에서 합성하고, 시험하고, 결과를 몇 달씩 기다리는 방식입니다. 그리고 인간의 직관은 우리를 진정으로 새로운 조성 영역으로 모험하기보다 알려진 계열 — 가넷, 페로브스카이트 — 의 변형 쪽으로 편향시킵니다.

그래서 업계는 AI로 눈을 돌렸습니다. 이해가 됩니다. 하지만 많은 팀들에게 문제가 어긋난 지점이 바로 여기입니다. 그들은 LLM을 이 문제에 겨눴습니다. 수백만 편의 화학 논문을 "읽은" LLM은 분자 구조를 예측할 수 있었습니다 — 하지만 그것이 예측하는 것은 토큰이지, 전자 밀도가 아닙니다. 그것은 원자가 규칙에 대한 개념이 없고, 양자역학적 힘에 대한 이해도 없습니다. 그것은 종이 위에서는 맞아 보이지만 실제로 만들어 보려 할 때에야 드러나는 방식으로 물리 법칙을 위반하는 결정 구조를 환각으로 만들어낼 수 있습니다.

그 심야 이메일에서 벌어진 일이 바로 이것입니다. AI는 후보를 제안했습니다. 그 후보는 그럴듯했습니다. 하지만 실재하지 않았습니다.

오라클 아키텍처: 우리가 실제로 이 문제를 푸는 방법

그 사건 이후, 저와 저희 팀은 우리가 정말로 무엇을 만들고 있는지에 대해 길고 불편한 대화를 나눴습니다. 우리는 답을 생성하는 AI를 만들고 있었을까요? 아니면 진실을 발견하는 AI를?

우리는 진실을 택했습니다. 그리고 진실은 오라클을 필요로 합니다.

소재 발견을 위한 우리의 아키텍처는 Google DeepMind의 GNoME — 소재 탐색을 위한 그래프 네트워크(Graph Networks for Materials Exploration) — 을 엄밀한 밀도범함수이론(DFT) 검증과 짝지웁니다. 핵심 통찰은 이것입니다. 우리는 질문에 답하기 위해 AI를 사용하지 않습니다. 우리는 후보를 제안하기 위해 방대한 탐색 공간에서 AI를 사용하고, 그런 다음 그것이 어디로든 가기 전에 하나하나를 모두 물리 법칙에 대해 검증합니다.

GNoME는 결정 구조를 그래프로 취급합니다 — 원자는 노드이고, 화학 결합은 엣지입니다. 선형 텍스트를 처리하는 LLM과 달리, GNoME는 3D 기하학과 위상수학을 이해합니다. 그것은 물리학자들이 E(3)-등변성(E(3)-equivariant)이라고 부르는 것으로 설계되어, 결정을 공간에서 회전시켜도 그 예측이 변하지 않는다는 뜻입니다. 그것은 나중에 덧붙이는 기능이 아닙니다. 그것은 아키텍처에 새겨진 수학적 제약입니다. 이 모델은 절대 회전 대칭을 위반할 수 없습니다.

하지만 GNoME조차 확률적입니다. 그것은 형성 에너지 — 결정을 그 구성 원소들로부터 조립하는 데 필요한 에너지 — 를 예측하지만, 그 예측에는 불확실성이 따릅니다. 어떤 결정은 신경망에게는 안정적으로 보이면서도 여전히 다른 가능한 상(phase)들에 비해 열역학적으로 경쟁력이 없을 수 있습니다.

그래서 우리는 오라클 계층을 구축했습니다.

DFT 검증은 왜 배터리 안전에 중요한가?

밀도범함수이론(DFT)은 슈뢰딩거 방정식의 해를 근사하는 양자역학적 방법입니다. 그것은 전자 밀도와 총 에너지를 높은 정밀도로 계산합니다. 그것은 계산 비용이 큽니다 — 단 한 번의 계산에 수백 CPU 시간이 걸릴 수 있습니다 — 하지만 환각을 일으키지 않습니다. 그것은 방정식을 풉니다. 답은 옳거나, 아니면 정량화하고 한계를 지을 수 있는 수치 오차입니다.

우리는 계층적 검증 전략을 운용합니다. 머신러닝 힘장(force field)이 초기 기하학적 완화를 처리하여 — 명백히 잘못된 후보들을 걸러냅니다. 그런 다음 PBE 수준의 계산이 고처리량 스크리닝을 수행합니다. 살아남은 것들은 강하게 결합된 계에 대해 격자 상수와 형성 에너지를 정확하게 예측하는 메타-GGA 범함수인 r²SCAN으로 검증됩니다. 전이 금속은 d-오비탈의 자기상호작용 오차를 처리하기 위해 추가적인 허바드 U 보정을 받습니다.

제가 방금 물리학 전문 용어를 잔뜩 쏟아냈다는 것을 압니다. 요점은 세부 사항보다 단순합니다. 우리에게는 점점 더 비싸지고 정확해지는 물리 시뮬레이션의 여러 계층이 있으며, 모든 후보는 그 전부를 살아남아야 합니다 — 우리가 그것을 배터리에 추천하기 전에 말입니다.

가장 중요한 지표는 우리가 "헐까지의 거리(Distance to Hull)"라고 부르는 것입니다. 주어진 조성 공간의 모든 가능한 소재를 차트에 그린다고 상상해 보십시오 — 한 축에는 조성, 다른 축에는 에너지를. 안정한 소재들은 아래쪽 경계, 즉 "볼록 껍질(convex hull)"을 형성합니다. 그 껍질 위에 있는 것은 무엇이든 자발적으로 껍질 위의 소재들로 분해됩니다. 헐까지의 거리가 0인 소재는 열역학적 바닥 상태입니다. 거리가 100 meV/atom보다 큰 소재는 거의 확실히 무너져 내릴 것이며 — 배터리에서 무너져 내린다는 것은 열을 방출한다는 뜻입니다.

볼록 껍질은 당신의 신경망의 신뢰도 점수 따위에 신경 쓰지 않습니다. 소재는 열역학적으로 안정하거나, 아니면 그렇지 않거나 둘 중 하나입니다.

하룻밤 사이에 더 똑똑해지는 플라이휠

이것을 일회성 파이프라인 이상으로 만드는 것은 능동 학습 루프입니다. GNoME는 수천 개의 후보 구조를 생성합니다. 우리는 모델이 가장 유망하다고 여기는 것들과 그것이 가장 불확실해하는 것들을 선택합니다 — 활용과 탐색을 동시에 말입니다. 그것들은 DFT 클러스터로 보내집니다. 참 에너지가 돌아와 GNoME의 학습 세트에 투입됩니다. 모델은 재학습합니다. 그 내부 물리학이 교정됩니다.

히트율이 올라가는 것을 처음 지켜봤던 때를 기억합니다 — 히트율이란 AI가 제안한 소재 중 DFT 검증 후 실제로 안정한 것으로 드러난 비율입니다. 전통적인 무작위 탐색은 1% 미만에 머뭅니다. 표준적인 머신러닝은 아마 50%까지 데려다줍니다. 여러 번의 능동 학습 사이클을 거친 후, 우리의 GNoME 기반 파이프라인은 80%를 넘어서고 있었습니다.

제 공동창업자는 대시보드를 보며 말했습니다. "이건 더 이상 추측하는 게 아니야. 이건 안정성이 무엇을 의미하는지를 배우고 있는 거야." 그것이 우리가 뭔가를 이뤄냈다는 것을 제가 안 순간이었습니다. 그 숫자가 그 자체로 인상적이어서가 아니라, 그 시스템이 암기가 아니라 반복을 통해 물리적 실재로 수렴하고 있었기 때문입니다.

저는 이 아키텍처를 우리 연구의 인터랙티브 버전에서 더 깊이 있게 다뤘습니다. 전체 워크플로를 보고 싶으시다면 말이죠.

또 다른 종류의 폭발: 생성형 오디오에서의 저작권

이제 완전히 다른 영역에 대해 말씀드리겠습니다. 그곳에서도 동일한 아키텍처 철학 — 제안한 뒤 검증한다 — 이 우리를 또 다른 종류의 재앙에서 구했습니다.

한 미디어 기업이 대규모로 오디오 콘텐츠를 생성하는 문제로 우리를 찾아왔습니다. 그들에게는 라이선스를 받은 음악과 음성 녹음의 방대한 라이브러리가 있었습니다. 그들은 이 라이브러리로부터 새로운 콘텐츠 — 현지화된 보이스오버, 리믹스된 사운드트랙, 그런 종류의 것들 — 를 만들기 위해 AI를 사용하고 싶어 했습니다. 그들은 기성 생성형 오디오 도구들을 실험해 오고 있었습니다.

저는 한 가지 질문을 했습니다. "주어진 어떤 출력에 대해서든, 정확히 어떤 라이선스 소스가 그것에 기여했는지 증명할 수 있습니까?"

침묵.

이것이 생성형 미디어의 블랙박스 문제입니다. 확산 모델(diffusion model) — 대부분의 AI 오디오 및 이미지 생성기 뒤에 있는 아키텍처 — 은 인터넷에서 긁어모은 방대한 데이터셋으로 학습됩니다. 그것들이 출력을 생성할 때, 고차원 잠재 공간을 가로질러 새로운 무언가를 합성합니다. 그 출력은 학습 데이터의 수학적 융합물입니다. 어떤 학습 예제가 결과의 어떤 부분에 영향을 미쳤는지 추적할 수 없습니다.

AI 음악 도구를 가지고 노는 소비자에게 이것은 흥밋거리입니다. 글로벌 미디어 기업에게 이것은 존립을 위협하는 법적 위험입니다. 생성된 오디오 트랙에 저작권이 있는 곡과 동일한 4마디 루프가 포함되어 있다면, 그 기업은 — 아무도 의도하지 않았더라도 — 침해에 대한 법적 책임을 집니다. 법원은 저작권이 있는 데이터로 학습하는 것이 공정 이용(fair use)에 해당하는지를 놓고 활발히 소송을 진행하고 있습니다 (Andersen 대 Stability AI, New York Times 대 OpenAI). 이런 도구들에 콘텐츠 파이프라인을 의존하는 기업은 어느 날 아침 눈을 떠 보니 자신의 전체 자산 라이브러리가 법적으로 오염되어 있음을 발견하게 될 수도 있습니다.

AI가 생성한 콘텐츠의 출처를 증명할 수 없는 미디어 기업은 모래 위에 짓고 있는 것입니다 — 법원이 판결을 내릴 때마다 움직이는 법적 모래 위에 말입니다.

스스로의 결백을 증명할 수 있는 AI 오디오를 어떻게 만드는가?

우리는 "노이즈로부터 생성한다"는 패러다임을 완전히 거부했습니다. 대신, 우리는 제가 오디오를 위한 검색 증강 생성(Retrieval-Augmented Generation)이라고 생각하는 것을 구축했습니다 — RAG가 텍스트에 가져온 것과 동일한 개념적 이동을, 소리에 적용한 것입니다.

이 파이프라인은 두 단계로 이루어집니다. 해체와 재구성입니다.

해체에는 Hybrid Transformer Demucs를 사용합니다 — 이는 혼합된 오디오를 받아 개별 스템으로 분리하는 소스 분리 모델입니다: 보컬, 드럼, 베이스, 그 밖의 악기들로 말이죠. 그 아키텍처는 스킵 연결(skip connection)을 갖춘 U-Net(압축 과정에서 자칫 사라질 고주파 디테일을 보존)과, 병목 지점에서 셀프 어텐션을 사용해 전체 오디오 시퀀스를 분석하는 트랜스포머 인코더로 이루어져 있습니다. 그것은 오디오를 시간 영역과 주파수 영역에서 동시에 처리하며, 양쪽의 정보를 융합합니다.

우리는 고객의 전체 라이선스 아카이브에 걸쳐 Demucs를 실행했습니다. 수천 시간의 혼합 오디오가 깨끗하게 분리된 스템으로 나뉘고, 각각 오디오 특징 — 음색, 음높이, 리듬 — 으로 태깅되고 색인되었습니다. 우리는 그들의 백카탈로그를 완성된 곡들의 모음에서 방대한 빌딩 블록 라이브러리로 바꿔 놓았습니다.

재구성 — 특히 음성 콘텐츠 — 에는 검색 기반 음성 변환(Retrieval-Based Voice Conversion, RVC)을 사용합니다. 이것은 텍스트 음성 변환(TTS)이나 확산 기반 음성 생성과 근본적으로 다릅니다. RVC는 음성 대 음성 방식입니다. 그것은 입력 녹음(가령 크리에이티브 디렉터가 휴대폰으로 대본을 읽는 것)을 받아, 원래 연기의 억양과 리듬을 보존하면서 음색을 라이선스된 대상 목소리에 맞게 변환합니다.

핵심 메커니즘은 그 이름 안에 있습니다: 검색(retrieval). 우리는 HuBERT를 사용해 입력으로부터 화자 비의존적 콘텐츠 특징을 추출합니다. 그런 다음, 매 프레임마다, 라이선스된 성우의 녹음에서 유도된 특징 벡터의 FAISS 색인을 조회합니다. 우리는 검색해 냅니다 — 실제로 승인된 녹음에서, 가장 가깝게 일치하는 음향적 디테일 — 숨소리, 공명, 특유의 음성 질감 — 을 말이죠. 그 출력이 대상 목소리처럼 들리는 것은, 신경망이 근사치를 지어냈기 때문이 아니라 우리가 그들의 라이선스된 색인에서 특정 데이터 포인트를 끌어왔기 때문입니다.

이것이 법적으로 얼마나 중요한지는 아무리 강조해도 지나치지 않습니다. 딥페이크 모델에서 대상 목소리는 불투명한 신경망 가중치로 존재합니다. 우리 시스템에서는 모든 음향적 디테일이 특정한, 타임스탬프가 찍힌, 라이선스된 녹음으로 거슬러 올라갑니다. 권리의 연쇄(chain of title)가 끊어지지 않습니다.

소리와 함께 이동하는 서류

출처가 깨끗한 오디오를 생성하는 것은 필요하지만 충분하지는 않습니다. 그 자산은 스스로의 증거를 지니고 다녀야 합니다. 우리는 C2PA 표준 — 콘텐츠 출처 및 진위성 연합(Coalition for Content Provenance and Authenticity) — 을 구현하는데, 이는 공개키 암호화를 사용해 변조가 드러나는 출처 데이터를 미디어 파일에 직접 삽입합니다.

우리가 생성하는 모든 오디오 파일에는 서명된 매니페스트가 함께 제공됩니다: 입력 가이드 트랙의 해시, 라이선스된 음성 모델의 ID, 처리 작업의 전체 시퀀스, 그리고 도구 버전이 그것입니다. 스트리밍 플랫폼이든 방송사든 모든 다운스트림 사용자는 서명을 검증하고 그 자산이 전적으로 승인된 소스로부터 만들어졌음을 확인할 수 있습니다.

우리는 또한 오디오 품질 관리를 위해 구조적 유사도 지수(Structural Similarity Index)를 응용했습니다. 입력 가이드와 출력의 스펙트로그램을 비교함으로써, AI가 연기를 왜곡한 경우 — 단어를 건너뛰거나, 리듬을 바꾸거나, 존재하지 않는 멈춤을 만들어낸 경우 — 를 포착합니다. 0.95 SSIM 임계값 미만인 것은 무엇이든 자동으로 사람의 검토 대상으로 표시됩니다.

소재와 오디오 아키텍처 양쪽에 대한 전체 기술적 분석은 우리의 연구 논문에서 확인하십시오.

그냥 더 나은 프롬프트를 쓰면 되지 않나?

사람들은 이 접근법에 반발합니다. 그들은 우리가 문제를 과하게 설계하고 있다고 말합니다. "그냥 더 나은 모델을 쓰세요." "그냥 당신의 도메인 데이터로 파인튜닝하세요." "그냥 면책 조항을 추가하세요."

한 투자자가 저에게 대놓고 이렇게 말한 적이 있습니다. "그냥 좋은 시스템 프롬프트와 함께 GPT를 쓰고 인프라 비용을 아끼세요." 저는 그에게, 배터리 전해질이 시스템 프롬프트로 선택된 전기차에 자기 가족을 태우겠느냐고 물었습니다. 그는 화제를 돌렸습니다.

더 깊은 반론은 비용과 복잡성에 관한 것입니다. 그렇습니다, HPC 클러스터에서 DFT 계산을 돌리는 것은 API를 호출하는 것보다 비쌉니다. 그렇습니다, C2PA 서명이 포함된 FAISS 색인 스템 데이터베이스를 구축하는 것은 확산 모델을 텍스트 프롬프트에 겨누는 것보다 어렵습니다. 하지만 문제는 결정론적 검증이 확률적 생성보다 더 비싼지가 아닙니다. 문제는 그것이 배터리 리콜보다 더 비싼지입니다. 아니면 당신의 전체 콘텐츠 라이브러리를 무효화하는 저작권 소송보다 더 비싼지 말입니다.

다른 이들은 이 접근법이 확장 가능한지 묻습니다. 가능합니다 — 능동 학습 플라이휠이 바로 그것을 위한 것입니다. 시스템은 매 사이클마다 더 효율적으로 변합니다. 히트율은 올라갑니다. 검증된 후보 하나당 비용은 떨어집니다. 스템 데이터베이스는 커집니다. 당신은 그저 오늘의 문제를 푸는 것이 아니라, 복리로 불어나는 엔진을 구축하고 있는 것입니다.

AI 관광의 끝

우리는 변곡점에 있다고 생각합니다. AI를 실험하던 시대 — 로비의 챗봇, 사이드바의 코파일럿, 모든 것 위에 얹힌 래퍼 — 는 끝나가고 있습니다. 그런 도구들이 쓸모없어서가 아니라, 가장 중요한 기업들이 이제 AI를 자신들의 운영의 핵심에 넣으려 하고 있기 때문입니다. R&D 연구실에. 프로덕션 스튜디오에. 실패가 어색한 챗봇 응답이 아니라 열 폭주 사고와 소송으로 측정되는 결과를 낳는 시스템에 말입니다.

그런 환경에서 환각에 대한 허용치는 0입니다. 낮은 게 아닙니다. 0입니다.

우리가 Veriprajna에서 구축한 아키텍처는 — 배터리를 위해, 오디오를 위해, 진실이 타협 불가능한 모든 영역을 위해 — 하나의 원칙에 기반합니다: 신경망의 생성 능력은 오라클의 검증 능력에 엄격하게 종속되어야 한다는 것입니다. AI는 제안합니다. 물리학이 결정합니다. AI는 조립합니다. 출처가 증명합니다. 이 모델들의 창의적 역량은 비범합니다. 하지만 책임이 없는 창의성은 그저 정교한 추측일 뿐입니다.

배터리 제조사에게 환각은 화재입니다. 미디어 기업에게 환각은 소송입니다. 유일하게 실행 가능한 아키텍처는 생성을 검증으로 제약합니다 — 매번, 예외 없이.

저는 AI의 미래가 가장 설득력 있는 출력을 생성하는 모델들에게 속한다고 생각하지 않습니다. 저는 그것이 자신의 출력이 진실임을 증명할 수 있는 시스템들에게 속한다고 생각합니다. 제약은 지능을 제한하지 않습니다. 제약은 실재를 창조합니다.