연차보고서 속 열한 단어가 이제 증권 사기가 될 수 있다
제가 AI 워싱을 정말로 이해하게 된 첫 순간, 저는 한 회사의 연차보고서에 있는 단 한 문단을 응시하고 있었습니다. 열한 단어, 대략 "우리의 AI 기반 플랫폼은 실시간으로 리스크를 분석합니다" 같은 문장이었죠. 깔끔하고 자신감 넘치는 문장. 마케팅 팀이 5분 만에 작성하고 CEO가 눈 하나 깜짝하지 않고 승인하는 그런 문구였습니다.
그런 다음 저는 엔지니어들에게 그 분석을 만들어낸 모델이 무엇인지, 어떤 데이터로 돌아갔는지, 그리고 의사결정 흐름의 어디에서 실제로 작동했는지 물었습니다. 방 안이 조용해졌습니다. 무언가를 숨기고 있어서가 아니었습니다. 아무도 그 문장을 어떤 시스템과 연결 지어 본 적이 없었기 때문입니다. 주장은 공시 서류 안에 있었습니다. 시스템은 프로덕션 환경에 있었습니다. 그리고 그 둘 사이에는 아무것도 없었습니다 — 문서도, 지도도, 증거도 없이 — 그 둘을 잇는 것이 없었습니다.
그 격차가 이야기의 전부입니다. AI 워싱은 나쁜 AI에 관한 이야기가 아닙니다. 그것은 당신이 AI가 한다고 말한 것과 당신의 AI가 실제로 하는 것 사이의 거리에 관한 이야기이며 — 그리고 그 거리를 요청 즉시 좁힐 수 있느냐에 관한 이야기입니다. SEC, FTC, 그리고 주 법무장관들은 모두 바로 이 격차가 소송이 벌어지는 지점임을 파악했습니다. 저는 Veriprajna의 AI 검증 및 AI 워싱 방지 부문을 구축했습니다. 기업들이 조사관의 서한이 도착하고 나서야 비로소 그 격차를 발견하는 모습을 거듭 지켜봤기 때문입니다.
"당신의 AI가 작동하는가"가 더 이상 질문이 아니게 된 날
저는 이 일을 증권 집행 업무, 그 화려하지 않은 이면에서 시작했습니다 — 문서 요청 서한이 날아왔을 때 기업들이 조사관에게 건네는 바인더를 꾸리는 일이었죠. 그래서 저는 모든 AI 워싱 조치를 오래된 사기 사건을 읽듯 읽었습니다: 그들이 무엇을 말했고, 무엇을 했으며, 그 둘 사이에 어떤 간극이 있었는가.
그 패턴은 잔혹할 정도로 일관됩니다. 2024년 3월 최초의 두 AI 워싱 합의였던 Delphia와 Global Predictions는 합쳐서 40만 달러를 냈는데, 그들의 AI가 나빠서가 아니라 Delphia가 실제로는 한 번도 통합한 적 없는 머신러닝 기반 투자를 내세웠기 때문입니다. 그들이 모델에 넣어 먹인다고 자랑했던 데이터? 그것은 결코 모델에 도달하지 않았습니다.
그다음은 Presto Automation, 2025년 1월 — 상장 기업을 상대로 한 최초의 AI 워싱 사건입니다. Presto의 드라이브스루 음성 AI는 사람이 주문을 받는 일을 없앤다고 마케팅되었습니다. SEC는 주문의 70% 이상이 여전히 사람을 필요로 했고, 일부 매장에서는 그 비율이 100%였음을 밝혀냈습니다. 그 시스템은 실재했습니다. 다만 마케팅이 말한 그 일을 하고 있지 않았을 뿐입니다.
그리고 Nate가 있습니다. 2025년 4월 SEC와 DOJ는 Nate Inc.의 창업자를 상대로 병행 소송을 제기했는데, 그는 AI 기반 쇼핑 앱을 약속하며 4,200만 달러 넘게 조달했습니다. 실제 자동화 비율은 SEC의 표현을 빌리면 사실상 0이었습니다 — 필리핀의 수백 명 계약직 인력이 AI가 처리하기로 되어 있던 구매를 수작업으로 완료하고 있었습니다. DOJ의 기소는 최대 20년형에 이릅니다. 누군가 저에게 AI 워싱은 마케팅 공시상의 각주에 불과하다고 말할 때 제가 떠올리는 사건이 바로 이것입니다. 창업자의 이름이 박힌 보도자료가 있었고, 그 아래에는 형사 사기 혐의가 깔려 있었습니다.
이 사건들 하나하나가 똑같은 간극에서 갈립니다: 공시 서류가 약속한 것과, 프로덕션의 시스템이 실제로 한 것.
2025년 2월 SEC는 이를 구조적으로 만들었습니다: 집행국 안에 전담 사이버보안·신흥기술팀(Cybersecurity and Emerging Technologies Unit)을 신설한 것입니다. 그리고 2026년 검사 우선순위는 이를 명확히 밝히고 있습니다 — 조사관들은 "등록인의 AI 역량에 관한 진술의 정확성을 검토할" 것입니다. 그 문장은 발송을 기다리고 있는 문서 요청 서한이나 다름없습니다.
세 기관, 하나의 움직임
이것을 지도로 그려보기 시작하면서 저를 놀라게 한 것은, 집행 이론이 기관별로 거의 차이가 없다는 점이었습니다. 그들은 모두 똑같은 방식을 씁니다: 주장을 현실과 나란히 놓고, 그런 다음 증거를 요구하는 것입니다.
FTC는 FTC법 제5조 — 불공정하거나 기만적인 행위 — 를 통해 이에 접근했으며, 2024년 9월에 개시한 'Operation AI Comply'라는 이름의 일제 단속 아래 움직였습니다. 스스로를 "세계 최초의 로봇 변호사"라 칭한 DoNotPay는 뒷받침할 수 없는 주장들을 두고 합의했습니다. Workado는 AI 탐지 도구를 98% 정확하다고 광고했지만, FTC 자체 테스트에서 실제 정확도는 약 53%로 나타났습니다. 사실상 동전 던지기를, 거의 확실한 것처럼 판 셈입니다. 어떤 법무자문위원이라도 두렵게 만들 대목은 FTC의 도구성(instrumentality) 이론입니다: 책임은 기반 모델 개발자에서 그것을 배포하는 기업, 다시 최종 사용자에 이르기까지 사슬을 따라 내려갑니다. 당신이 벤더의 정확도 수치를 당신의 자료에 그대로 반복해 실으면, FTC는 그것을 벤더의 주장이 아니라 당신의 주장으로 취급합니다.
저는 이 점을 아무리 강조해도 지나치지 않다고 봅니다. 왜냐하면 이것이 바로 똑똑한 기업들이 빠져드는 함정이기 때문입니다. 당신은 서드파티 모델을 라이선스하고, 벤더의 벤치마크를 당신의 10-K나 투자자 설명자료에 옮겨 적으면서, 그 수치는 벤더의 것이라고 가정합니다. 아닙니다. 그 수치가 당신의 공시 서류에 등장하는 순간, 그것은 당신의 진술이 되며, "우리 벤더가 그렇게 말했다"는 독립적인 실증이 되지 못합니다.
각 주들은 저마다의 수단으로 가세했습니다. 뉴욕의 AI 동반자(AI-companion) 법은 위반 건당 하루 최대 15,000달러의 처벌을 부과합니다. 2026년 6월 30일 발효되는 콜로라도의 AI법은 고위험 시스템에 대해 영향평가, 소비자 통지, 그리고 합리적 주의를 요구하며, 위반 건당 20,000달러를 부과합니다. 2026년 1월 1일 시행된 텍사스의 책임 있는 AI 거버넌스법(Responsible AI Governance Act)은 단 한 건의 민원만으로도 법무장관에게 광범위한 민사 조사 요구권을 부여합니다 — 소비자 서한 한 통이면 문서 요청이 당신의 책상 위에 놓입니다. 그리고 연방정부가 주(州) AI법을 선점(preempt)하려는 안을 띄웠을 때, 36개 주 법무장관으로 구성된 초당적 연합이 이에 맞섰습니다. 결국 법원이 어떻게 판단하든, 집행 당국은 기다리지 않고 있습니다.
심지어 민간 변호사 업계도 가세했습니다. 스탠퍼드 증권 집단소송 정보센터(Stanford Securities Class Action Clearinghouse)는 2025년 상반기까지 AI 관련 증권 집단소송을 53건 집계했으며, 중간 합의액은 1,150만 달러였습니다. 그중 하나인 2025년 6월 제기된 Tucker 대 Apple 사건은, Apple Intelligence에 관한 Apple의 WWDC 약속이 투자자들로 하여금, 소장에 따르면 작동하는 프로토타입조차 없었던 기능들을 믿고 매수하게 만들었다고 주장합니다. 키노트 슬라이드 한 장이 증거물 A가 된 것입니다.
왜 "우리에게는 AI 거버넌스 정책이 있다"는 것으로는 당신을 구할 수 없을까?
여기서부터는 제가 초기에 틀렸던 부분이고, 그 대가로 저는 몇 달을 엉뚱한 것을 만드는 데 썼습니다.
이 문제를 위해 처음 설계를 시작했을 때, 저는 답이 거버넌스라고 가정했습니다 — Credo AI, IBM의 watsonx.governance, Holistic AI, OneTrust, Fiddler 같은 플랫폼들이 이미 잘 서비스하고 있는 범주 말이죠. 우리는 거버넌스 태세를 향해 만들어 나갔습니다: 정책, AI 인벤토리, 대시보드, 감독 워크플로. 저는 초기 버전을 한 중견 기업의 컴플라이언스 담당자에게 시연했고 스스로 흡족해했습니다. 그녀는 제가 끝까지 마치도록 두더니, 오직 중요한 단 하나의 질문을 던졌습니다: 조사관이 특정한 어떤 주장 하나가 사실이라는 증거를 요구했을 때, 그녀는 어떤 버튼을 눌러야 하느냐고 말입니다.
버튼은 없었습니다. 문서도 없었습니다. 제가 만든 것은 그녀에게 시스템을 문서화해야 한다고 말해주었습니다. 그것은 그 문서를 담고 있지 않았습니다. 저는 격차를 메우는 대신 격차를 가리키기만 하는 것을 만들었던 것입니다. 그것이 저에게 회사 전체를 재정의하게 만든 실패였습니다.
거버넌스는 당신이 당신의 AI를 문서화해야 한다고 말해줍니다. 실증은 그 문서 그 자체입니다 — 테스트되고, 날짜가 기입되어 있으며, 아무런 사전 정보 없이 그것을 읽는 조사관에게 내놓을 준비가 된 것입니다.
거버넌스 플랫폼들은 자신들이 하는 일을 잘합니다. 그들은 모니터링하고, 인벤토리를 만들고, 정책을 집행합니다. 하지만 그것들 아래에는 거의 아무도 구축하지 않는 층이 있습니다: SEC 조사관이나 주 법무장관이 보여달라고 요구하는 실제 증거 사슬 말입니다. 그것이 제가 이 사업을 새로 구축하며 중심에 둔 격차입니다.
조사관은 실제로 당신에게 무엇을 제출하라고 요구할까?
우리가 무엇을 제공할지 정의하려고 앉았을 때, 저는 제품 사양서에서 시작하지 않았습니다. 저는 '제출 바랍니다' 목록 — 집행 서한에 담긴 문자 그대로의 문서 요청 — 에서 출발해 거꾸로 거슬러 올라갔습니다. 방어 가능한 실증 패키지, 즉 우리가 이제 구축하는 그것은 몇 가지 하중을 견디는 핵심 부품을 갖추고 있습니다.
그것은 주장-시스템 매핑에서 시작합니다: 10-K, 웹사이트, 보도자료, 투자 설명자료에서 나온 모든 공개 AI 주장을 — 그것을 구현하는 특정 모델, 데이터 파이프라인, 의사결정 지점에 연결한 것입니다. 공시 서류에 "AI 기반 리스크 분석"이라고 적혀 있으면, 그 매핑은 어떤 모델, 어떤 데이터, 어떤 의사결정인지 짚어냅니다. 이것이 바로 Delphia를 구할 수 있었을 산출물인데, 규제 당국이 묻기 전에 "이 주장이 실제로 어떤 시스템에 연결되어 있는가?"라는 질문을 강제하기 때문입니다.
그다음은 기술 증거 바인더입니다 — 아키텍처, 학습 방법론, 그리고 당신이 주장한 바로 그 지표에 맞춰 측정된 성능 벤치마크로 구성됩니다. 이론이 아니라 테스트된 것입니다. 당신의 자료가 어떤 수치를 말한다면, 바인더는 엄선된 데모가 아니라 실제 방법론 아래에서 그 수치를 만들어낸 테스트를 보여줍니다. Workado가 경고성 사례입니다: 브로슈어에서는 98%, 테스트에서는 53%였습니다.
그다음은 운영 검증이며, 바로 이 지점에서 Presto가 무너졌습니다. 시스템은 존재했습니다. 빠져 있던 것은, AI가 실제 작업을 하는 사람들과 나란히 돌아간 것이 아니라 마케팅이 묘사한 그 의사결정을 실제로 주도했다는 증거였습니다. 운영상의 실체를 입증하는 것은 모델이 존재함을 입증하는 것보다 어려우며, 바로 그것이 이제 조사관들이 파고드는 지점입니다.
이 모든 것의 밑바탕에는 AIBOM이 자리 잡고 있습니다 — AI 자재 명세서(AI Bill of Materials)로, 모든 구성요소의 기계 판독 가능한 인벤토리입니다: 학습 데이터 계보, 모델 버전, 서드파티 의존성, 인프라. 이를 제대로 해낼 표준이 마침내 존재합니다; SPDX 3.0은 2024년 10월 AI 프로파일을 추가했고 CycloneDX 1.6은 머신러닝 자재 명세서를 지원하며, OWASP AIBOM 프로젝트가 도구화를 밀고 나가고 있습니다. 솔직한 진실은, 오늘날 대부분의 기업이 여전히 이를 스프레드시트에 기록하고 있고, 그 스프레드시트는 모델이 재학습되는 순간 낡아버린다는 것입니다. 저는 재학습 주기 두 번만큼 뒤처진 버전 번호를 달고 있는 모델 카드를 열어본 적이 있습니다 — 더 이상 존재하지 않는 시스템을 기술하는 문서였죠. 파이프라인과 함께 갱신되는 AIBOM은 스냅샷과 살아 있는 기록 사이의 차이입니다.
그리고 마지막으로 지속적 모니터링 증거입니다 — 드리프트 탐지 결과, 자동화된 테스트 로그, 출시 이후에도 주장이 계속 참으로 유지되었다는 지속적 증거 말입니다. 실증 패키지는 한 번 제출하고 잊어버리는 바인더가 아닙니다. 그것은 계속 숨 쉬는 기록입니다. 당신의 모델은 계속 바뀌는데 당신의 공시 서류는 그렇지 않기 때문입니다.
아무도 재무제표에 올리지 않는 환각(hallucination) 청구서
여기에는 두 번째 전선이 있으며, 그것이 바로 저를 증권 공시를 넘어 콘텐츠 그 자체로 끌어들인 것입니다.
주장이란 당신이 공시에서 당신의 AI에 관해 말하는 것만이 아닙니다. 그것은 또한 당신의 AI가 생성하고 당신이 자신의 이름을 얹는 모든 산출물이기도 합니다 — 보고서, 분석, 고객 대면 요약본 말입니다. 그리고 그 산출물들은 환각을 일으킵니다. 스탠퍼드의 RegLab은 대규모 언어 모델이 특정 법률 질의에서 69%에서 88% 사이의 빈도로 환각을 일으킨다는 사실을 발견했습니다. 이제 AI 환각이 법원 제출 서류에 등장한 사례가 600건 넘게 문서화되어 있으며, 100명이 넘는 변호사가 연루되었고 판사들은 10,000달러를 넘는 제재를 부과하고 있습니다.
기업이 치르는 비용은 어마어마하지만 기묘하게도 눈에 보이지 않습니다. 한 분석은 AI 환각으로 인한 전 세계 손실을 2024년 674억 달러로 추산했으며, 기업들은 오로지 완화에만 직원 1인당 연간 약 14,200달러를 쓰고 있습니다 — 사람들이 자기 도구를 팩트체크하느라 태워버리는 시간 말입니다. 기업 AI 사용자의 거의 절반이 환각으로 생성된 콘텐츠를 근거로 중대한 결정을 내린 적이 있는 상황에서, "AI가 그것을 생성했다"는 변명이 되지 못합니다. 그것은 자백입니다.
그렇기 때문에 콘텐츠 검증은 주장 실증과 같은 사업 영역에 속합니다: 둘 다 출처(provenance)에 관한 것이기 때문입니다. 2026년 8월 발효되는 EU AI법 제50조는 AI가 생성한 콘텐츠가 기계 판독 가능하고 그러한 것으로 탐지 가능하도록 요구하며, 그와 함께 콘텐츠 라벨링 실무 규범이 마련됩니다. C2PA 출처 표준 — 삼성과 구글의 플래그십 폰이 이미 네이티브로 서명하는 바로 그 표준 — 은 콘텐츠 한 조각이 어디서 왔는지 입증하는 배관(plumbing)이 되어가고 있습니다. 당신의 AI가 보고서를 만들었는데 나중에 그것이 조작된 내용을 담고 있는 것으로 드러난다면, 당신과 책임 사이에 서 있는 유일한 것은 원본까지 거슬러 올라가는 감사 추적입니다. 대부분의 기업은 그것을 갖고 있지 않습니다.
출처는 반대 방향으로도 작동합니다. 2023년 기업의 65%가 딥페이크 사건을 겪었다고 보고했으며, 탐지 시장은 55억 달러에서 2026년까지 예상 157억 달러를 향해 질주하고 있습니다. 당신 자신의 콘텐츠가 진짜임을 입증하는 일이 다른 누군가의 콘텐츠가 가짜임을 입증하는 일만큼이나 시급해지고 있습니다 — 그리고 당신의 AI 산출물을 인증하는 바로 그 C2PA 서명이, 당신의 브랜드를 뒤집어쓴 위조물을 부인할 수 있게 해주는 바로 그것입니다.
제가 받는 질문들, 그리고 제가 받았으면 하는 질문들
사람들은 늘 저에게 ISO 42001 인증이 이 모든 것을 처리해 주느냐고 묻습니다. 도움이 됩니다 — 그것은 실재하고 감사 가능한 표준이며, 서드파티 인증은 이사회와 조달 부서에서 무게를 갖습니다. 하지만 첫해에 90,000달러에서 200,000달러 이상이 들고 자리를 잡는 데 거의 1년이 걸리며, 그것은 당신이 관리 시스템을 갖추고 있음을 인증할 뿐 특정한 어떤 마케팅 주장이 사실임을 인증하지는 않습니다. 인증과 실증은 서로 다른 일입니다. 당신은 인증을 받고도 여전히 당신의 10-K에 담긴 문장 하나에 관한 조사관의 질문에 답하지 못할 수 있습니다.
또 다른 질문은, 보통 창업자들에게서 나오는데, 이것이 그저 대기업만의 문제냐는 것입니다. Nate는 4,200만 달러를 조달했고 창업자는 형사 기소에 직면해 있습니다. Delphia는 누구나 아는 이름이 아니었습니다. 텍사스 법무장관은 단 한 건의 민원으로 조사를 개시할 수 있습니다. 집행 리스크의 크기는 당신 회사의 크기가 아니라 당신이 내세운 주장의 크기를 따라갑니다.
이제 질문은 당신의 AI가 작동하느냐가 아닙니다. 질문은 당신의 AI가 당신의 공시 서류가 말하는 그 일을 한다는 것을 당신이 입증할 수 있느냐입니다.
이 글을 읽는 모든 법무자문위원과 최고컴플라이언스책임자의 머릿속에 하나의 생각을 심을 수 있다면, 그것은 마케팅과 엔지니어링 현실 사이의 격차가 이제 금액이 매겨진 법적 책임이 되었다는 것 — 그리고 그것을 좁혀주는 유일한 것은 누군가 요구하기 전에 당신이 미리 구축해 둔 증거라는 것입니다. 그것이 바로 우리가 Veriprajna에서 만드는 것의 전제 그 자체입니다: AI를 문서화하라고 알려주는 또 하나의 대시보드가 아니라, 실증 패키지 그 자체 말입니다 — 주장-시스템 매핑, 증거 바인더, AIBOM, 출처 추적 — 이 모두가 문서 요청 서한이 도착하기 전에 조립되고 테스트된 것입니다.
저는 그 연차보고서로 계속 되돌아갑니다. 열한 단어, 제출되고 잊혔으며, 그 뒤에는 아무것도 없었습니다 — 그 문장을 시스템과 잇는 지도도, 바인더도, 로그도 없었죠. 그 아래의 모델은 아마 멀쩡히 작동했을 것입니다; 대부분은 그러니까요. 빠져 있던 것은 SEC 조사관, FTC 수사관, 그리고 원고 측 변호사가 모두 똑같이 무미건조한 한 문장으로 요구하는 바로 그것이었습니다: 보여달라. 당신이 입증할 수 있는 주장을 쓰고, 누군가 묻기 전에 그 증거를 구축하십시오.
