모든 AI 기업이 두려워해야 할 $400,000 벌금 — 그리고 내가 대신 만들고 있는 것

나는 SEC가 Delphia와 Global Predictions에 대한 제재 조치를 발표했을 때, 한 잠재 은행 고객과 통화 중이었다. 2024년 3월 18일이었다. 그 고객사의 컴플라이언스 책임자는 우리 대화를 말 그대로 끊고 보도자료를 소리 내어 읽었다. 다 읽고 나자 긴 침묵이 흘렀다. 그러더니 그녀가 말했다. "그러니까 SEC가 방금 우리한테, 지금 쓰는 AI 벤더가 약속한 모든 게 소송으로 이어질 시한폭탄이라고 말해 준 셈이네요."

그녀의 말은 틀리지 않았다. SEC는 규제 당국이 공식적으로 이렇게 부른 행위를 이유로 두 투자자문사에 총 $400,000의 벌금을 막 부과한 참이었다. 바로 AI 워싱 — 인공지능 활용에 대해 허위이거나 오해를 불러일으키는 주장을 하는 행위다. 그중 한 곳인 Delphia는 2019년부터 고객들에게, 머신러닝으로 고객의 소비 패턴과 소셜 미디어 활동을 분석해 "어떤 기업과 트렌드가 크게 성공할지 예측한다"고 말해 왔다. 현실은? 그들은 그 데이터를 투자 프로세스에 실제로 통합한 적이 단 한 번도 없었다. 단 한 번도. 그들은 말 그대로 존재하지 않는 역량을 마케팅하고 있었다.

그 통화는 내 회사의 궤적을 바꿔 놓았다. 제재 조치가 놀라워서가 아니었다 — 나는 AI 과대광고와 규제 현실의 충돌을 몇 달째 지켜보고 있었다. 달라진 것은 절박함이었다. 갑자기 내가 만나는 모든 은행, 모든 의료 시스템, 모든 로펌이 "우리가 AI를 어떻게 도입하지?"를 묻지 않게 됐다. 그들은 이렇게 묻고 있었다. "우리 AI가 우리가 말하는 대로 실제로 작동한다는 걸 어떻게 증명하지?"

그 질문 — AI 시스템 안에 어떻게 입증 가능한 진실을 설계해 넣을 것인가 — 이것이 그 이후로 내가 집요하게 답을 찾아온 문제다.

AI 워싱이란 정확히 무엇이고, 왜 신경 써야 하는가?

그린워싱을 떠올려 보라. 다만 대상이 알고리즘이다. 어떤 회사가 마케팅 자료에 "AI 기반"이라는 문구를 붙이고, 주가가 오르거나 고객 파이프라인이 채워지는 것을 지켜본다. 그리고 그 밑에 깔린 기술이 광고한 대로 실제로 작동하는지는 아무도 묻지 않는다. SEC가 이 용어를 의도적으로 빌려 온 이유가 있다 — 기만의 작동 방식이 똑같기 때문이다.

Delphia는 머신러닝으로 구동되는 "예측 알고리즘 모델"을 사용한다고 주장했다. SEC는 이 회사를 검사했고 2021년에 거짓말을 멈추라고 통보했지만, 그들은 그 짓을 계속했다 — 그것도 2년을 더. 그 대가로 $225,000의 과징금과 견책 처분을 받았다. 한편 Global Predictions는 스스로를 "최초의 규제받는 AI 금융 자문사"라 칭하며 "전문가 수준의 AI 기반 예측"을 약속했다. 규제 당국이 그 주장을 뒷받침할 기술 문서를 요구하자, 회사는 내놓지 못했다. 또 $175,000이 날아갔다.

SEC는 이 사건들을 기소하는 데 AI 전용 신규 입법이 필요하지 않았다. 수십 년간 존재해 온 바로 그 사기 방지 제정법을 사용했다. 기술이 무엇을 하는지에 대해 거짓말을 하면, 그것은 사기다. "AI"라는 부분은 아무 상관이 없다.

이것이 통상적인 가벼운 규제 제재와 다른 점은 이렇다. 게리 겐슬러 SEC 위원장은 이것이 시작일 뿐 일회성 사건이 아니라는 점을 분명히 했다. 게다가 SEC만 나선 것이 아니다. FTC는 "Operation AI Comply"를 개시해 DoNotPay를 겨냥했다 — 스스로를 "세계 최초의 로봇 변호사"로 마케팅한 회사다. 자사 AI가 인간 변호사를 대체할 수 있다는 주장을 입증하지 못했기 때문이다. 법무부(DOJ)는 기업 컴플라이언스 평가의 일부로 AI 리스크 관리를 평가하고, AI 오용으로 촉진된 범죄에 대해서는 더 무거운 처벌을 구형하겠다고 발표했다.

세 개의 연방 기관이 모두 같은 메시지로 수렴하고 있다. 증명하든가, 대가를 치르든가.

대부분의 엔터프라이즈 AI가 모래 위에 세워졌음을 깨달은 밤

특정한 어느 저녁이 기억난다. 나와 팀원들은 한 고객이 검토 중이던 경쟁사의 "AI 기반 법률 리서치 도구"를 벤치마킹하고 있었다. 우리는 최근 연방 항소법원 판결에 관한 간단한 질문을 던졌다. 도구는 세 개의 판례 인용이 담긴, 아름답게 서식이 잡힌 답변을 내놓았다. 자신감 있는 어조. 전문적인 언어. 문제가 하나 있었다. 인용 중 하나는 완전히 날조된 것이었다. 그 판례는 존재하지 않았다. 나머지 둘은 존재했지만, 도구가 주장한 것과 정반대의 내용을 담고 있었다.

공동창업자가 나를 보며 말했다. "이건 변호사처럼 쓰고 앵무새처럼 추론하네요."

그것이 핵심적인 기술적 문제이고, 이는 버그가 아니라 아키텍처 그 자체다. 대부분의 대규모 언어 모델(LLM)은 다음 토큰 예측 방식으로 작동한다. 앞서 나온 모든 것을 조건으로 다음에 올 단어의 확률을 계산한다. 수학은 우아하다. 모델 출력 점수에 대한 소프트맥스 함수로 가장 그럴듯한 이어짐을 선택한다. 하지만 "가장 그럴듯한 것"과 "참인 것"은 근본적으로 다르다. 모델에는 진실이라는 내적 개념이 없다. 모델은 제정법을 읽고 그것을 이해한 적이 단 한 번도 없다. 수십억 개의 토큰을 처리하며 어떤 단어가 어떤 단어 곁에 나타나는 경향이 있는지를 학습했을 뿐이다.

마케팅 문구를 생성하거나 회의록을 요약하는 데는 이것으로 충분하다. 하지만 어떤 거래가 자금세탁방지 규제를 준수하는지 은행에 알려 주거나, 어떤 약물 상호작용이 위험한지 의사에게 알려 주는 일에서 "통계적으로 그럴듯함"은 법적으로 "틀림"과 동일하다.

규제 환경에서 "대체로 맞음"은 품질 등급이 아니다 — 그것은 책임(liability) 범주다.

그럼에도 지금 기업에 팔리고 있는 "AI 솔루션"의 절대다수는 업계가 완곡하게 "래퍼(wrapper)"라고 부르는 것들이다. OpenAI나 Anthropic의 공개 API를 가져다가 약간의 프롬프트 엔지니어링과 그럴싸한 사용자 인터페이스를 얹어 출시한다. 래퍼는 자기 자신의 추론을 검증할 방법이 없다. 답이 어디서 왔는지 증명하지 못한다. 그저 기반 모델이 생성하는 것을, 환각까지 포함해 그대로 중계할 뿐이다.

나는 이 문제를 우리 연구의 인터랙티브 버전에서 깊이 다뤘다 — 이 시스템들이 주장하는 것과, 아키텍처적으로 실제로 할 수 있는 것 사이의 간극은 아연실색할 정도다.

고위험 의사결정에서 RAG는 왜 실패하는가?

이 문제를 기술 청중에게 설명하면 누군가는 반드시 이렇게 말한다. "그런데 RAG는요?" 검색 증강 생성(Retrieval-Augmented Generation) — 모델이 지어내는 대신 찾아볼 수 있도록 문서 데이터베이스에 접근권을 주는 접근법이다. 업계가 가장 좋아하는 반창고다.

문제는 이것이다. 표준 Vector RAG는 질문과 문서를 수학적 표현(벡터)으로 변환한 다음, 그 추상적 공간에서 질문과 "가장 가까운" 문서를 찾는 방식으로 작동한다. 의미적 유사도 검색이다. 그리고 많은 응용 분야에서는 꽤 잘 작동한다.

하지만 정보 조각들 사이의 관계가 정보 자체만큼 중요한 영역에서는 "꽤 잘"이 무너진다. 법률 리서치를 보자. 판례는 그저 존재하는 것이 아니다 — 다른 판례를 인용하고, 일부를 파기하며, 일부를 확정하고, 특정한 관할 위계 안에서 작동한다. 법률 AI에게 "이 판례는 여전히 유효한 법인가?"라고 물으면, 벡터 검색은 단어가 일치한다는 이유로 그 판례를 끌어올릴 수 있다. 하지만 그 판례가 6개월 뒤 상급 법원에 의해 파기되었다는 사실은 알려 줄 방법이 없다. 인용과 부인(否認)을 구별하지 못한다.

우리 팀은 이 문제로 몇 주간 논쟁했다. 한 엔지니어는 벡터 검색을 계속 개선하자고 했다 — 더 나은 임베딩, 더 나은 청킹 전략, 더 정교한 리랭킹. 다른 한 명은 문제가 검색 품질이 아니라 검색 아키텍처라고 계속 주장했다. "가장 가까운 문서를 찾는다"는 패러다임 전체가, 문서들 사이의 관계가 의미를 담고 있는 영역에서는 틀렸다는 것이었다.

그녀가 옳았다. 그리고 그 논쟁이 우리를 GraphRAG로 밀어붙였다.

자기 추론을 증명할 수 있는 AI를 만들면 무슨 일이 벌어지는가?

GraphRAG — 구체적으로 우리가 Citation-Enforced GraphRAG라고 부르는 것 — 는 모호한 의미 검색을 구조화된 지식 그래프로 대체한다. 추상 공간에 벡터를 띄우는 대신, 정보가 어떻게 연결되는지에 대한 명시적인 지도를 구축한다. 법률 지식 그래프에서 판결문은 노드다. 다른 판결문과의 관계는 엣지다 — CITES, OVERRULES, AFFIRMS, INTERPRETS. 제정법은 그것을 해석한 판례들과 연결된다. 관할 위계는 직접 인코딩된다.

AI가 응답을 생성할 때, 단순히 "유사한" 텍스트를 찾는 것이 아니다. 그래프에서 검증된 경로를 순회한다. 판례 A가 명제 B를 뒷받침한다고 주장하려면, 그래프 안에 둘을 잇는 실재하고 감사 가능한 링크가 반드시 있어야 한다. 우리는 그래프 제약 디코딩(graph-constrained decoding)을 사용해, 모델이 검증할 수 없는 인용을 출력하는 것을 물리적으로 차단한다. 아키텍처가 허용하지 않기 때문에 모델은 말 그대로 인용을 환각할 수 없다.

이것이 내가 말하는 결정론적 AI의 의미다. "아마 맞을 것"이 아니다. 입증 가능하게 근거 지어진 것이다.

Vector RAG와 GraphRAG의 차이는 점진적 개선이 아니다 — 어떤 책이 관련 있는지 추측하는 것과 실제로 각주를 읽는 것의 차이다.

우리는 여기에 멀티에이전트 오케스트레이션을 결합한다. 하나의 모델이 리서치, 검증, 작성을 모두 하는 대신, 전문화된 에이전트를 사용한다. Research Agent가 원자료를 검색한다. Verification Agent가 그것을 지식 그래프와 상호 대조한다. Writer Agent는 검증된 사실만 사용해 결과물을 만든다. 이 에이전트들은 우리가 순환적 성찰 패턴(Cyclic Reflection Pattern)이라 부르는 과정을 거치며, 사람이 결과를 보기 전에 초안에 환각이 있는지 반복적으로 검토한다.

래퍼보다 느리다. 구축 비용도 더 든다. 그리고 규제 당국 앞에 서게 될 수도 있는 의사결정을 맡길 수 있는 유일한 아키텍처다.

아무도 이야기하고 싶어 하지 않는 데이터 주권 문제

AI 워싱 논의가 대체로 무시하는 또 하나의 차원이 있다. 바로 데이터가 어디에 있느냐다.

한 의료 고객이 나에게 단도직입적으로 물은 적이 있다. "당신 시스템을 쓰면 우리 환자 데이터는 어디로 갑니까?" 데이터가 그들의 인프라를 절대 떠나지 않는다고 답하자, 그들은 안도한 표정이었다. 그러더니 이전 벤더 — 잘 알려진 AI 회사 — 는 그 질문에 명확히 답하지 못했다고 말했다. 데이터는 벤더의 클라우드로 갔고, 공유 인프라에서 처리되었으며, 벤더의 이용약관은 기술적으로 그 데이터를 자사 모델 개선에 사용하는 것을 허용하고 있었다.

HIPAA, GDPR, CCPA의 규율을 받는 데이터를 다루는 기업에게 이것은 회색지대가 아니다. 위반이다.

우리는 소버린 인프라에 배포한다 — 고객사 구내에 완전히 자체 호스팅하거나, AI 인스턴스가 공용 인터넷과 격리된 고객사 자체 프라이빗 클라우드(VPC) 안에 둔다. 초기 투자가 더 많이 든다. 고객은 GPU와 전용 인프라가 필요하다. 하지만 어떤 공개 API도 제공할 수 없는 것을 얻는다. 바로 데이터 유출 제로와 완전한 감사 가능성이다. 모든 질의, 모든 응답, 모든 모델 버전이 전부 그들의 거버넌스 프레임워크 안에 있다.

우리가 이것을 어떻게 구축하는지에 대한 전체 기술 아키텍처 — 지식 그래프 스키마, 멀티에이전트 오케스트레이션 프레임워크, 소버린 배포에 대한 우리의 접근법을 포함해 — 는 여기서 확인할 수 있다. 바로 우리의 기술 심층 분석이다.

컴플라이언스에 익사하지 않으면서 AI를 실제로 거버넌스하려면?

나는 임원들이 AI 거버넌스를 체크박스 채우기처럼 다루는 이사회 회의실에 앉아 본 적이 있다. 프레임워크 하나 고르고, 양식 채우고, 넘어간다. 그런 접근은 벌금을 부르는 길이다.

두 가지 프레임워크가 업계 표준으로 부상했고, 둘은 서로 다른 목적을 수행한다. NIST AI 리스크 관리 프레임워크는 자발적인 전술 가이드다 — 리스크를 식별하고 측정하며 내부 프로세스를 구축하도록 돕는다. 구현이 빠르고, 조직 내부에 내가 "AI 리스크 근육"이라 부르는 것을 기르는 데 탁월하다. 하지만 자기 확인(self-attested) 방식이다. 당신이 말한 대로 실제로 했는지는 아무도 검증하지 않는다.

ISO/IEC 42001은 인증 가능한 국제 표준이다. 제3자 심사기관이 당신의 AI 경영시스템을 심사해 인증을 주거나 주지 않는다. 규제 당국이나 고객, 인수자가 "당신의 AI 거버넌스가 진짜임을 증명하라"고 요구할 때 그 인증이 힘을 발휘한다.

현명한 수는 둘을 순차적으로 쓰는 것이다. NIST로 민첩한 내부 통제를 빠르게 구축한 뒤, 그 통제를 ISO 42001의 요구사항에 매핑해 공식 인증을 받는 것이다. 하나는 속도를 주고, 다른 하나는 증거를 준다.

그리고 두 프레임워크 아래에는, 대다수 기업이 아직 들어 보지도 못한 새로운 요구사항이 부상하고 있다. 바로 AI 자재명세서(AI Bill of Materials, AIBOM)다. AI 시스템의 영양성분표라고 생각하면 된다. 학습 데이터셋, 기반 모델, 서드파티 라이브러리, 인프라 의존성 등 시스템 구축에 들어간 모든 것을 기계가 읽을 수 있는 형태로 기록한 것이다. 심사관이 "이 모델을 학습시킨 데이터는 무엇인가?" 또는 "이 결정이 내려질 때 실행된 PyTorch 버전은 무엇인가?"라고 물으면, AIBOM이 즉시 답한다.

우리는 배포 파이프라인의 일부로 AIBOM을 자동 생성한다. 모든 모델 버전은 정확한 코드 및 데이터셋 버전까지 추적된다. 화려한 작업은 아니다. 하지만 이것이 감사를 통과하는 것과, 첫날부터 존재했어야 할 문서를 허둥지둥 재구성하는 것의 차이를 만든다.

"그냥 GPT 쓰세요"라고 말한 투자자

이 이야기를 꼭 해야겠다. AI 워싱 단속이 처벌하려는 바로 그 사고방식을 포착하고 있기 때문이다.

Veriprajna 초창기에 나는 한 투자자에게 피칭하고 있었다. 우리 아키텍처를 설명했다 — 지식 그래프, 멀티에이전트 검증, 소버린 배포 모델. 그는 정중히 듣더니 말했다. "그냥 GPT-4를 래핑해서 더 싸게 팔고 더 빨리 확장하면 안 되나요? 아무도 백엔드를 감사하지 않을 텐데요."

나는 SEC가 바로 그런 논리 때문에 두 회사에 방금 벌금을 부과했다고 말했다. 그는 어깨를 으쓱했다.

6개월 뒤, 그의 포트폴리오 회사 중 하나 — "AI 기반" 핀테크 — 가 마케팅 주장에 관한 규제 조회를 받았다. 그들은 자사 AI가 피치덱에 적힌 대로 실제로 작동한다는 것을 보여 주는 문서를 내놓지 못했다. 내가 마지막으로 들은 바로는, 긴급 요율로 컴플라이언스 컨설턴트를 구하려 허둥대고 있었다.

사람들은 늘 나에게 집행 환경이 완화될지 묻는다 — 새 행정부나 우선순위 변화로 AI 워싱의 위험이 줄어들지 않겠느냐고. 솔직한 내 답은 이렇다. 상관없다. SEC는 기존의 사기 방지 법을 사용했다. FTC는 1914년부터 법전에 있던 FTC법 제5조를 사용했다. 주 법무장관들에게는 각자의 소비자 보호 제정법이 있다. 연방의 집행 우선순위가 바뀌더라도, AI 기만을 처벌할 법적 인프라는 영구적이고 다층적이다.

AI 워싱은 일시적인 규제 유행이 아니다. 실험복을 입은 사기이며, 이제 정부의 모든 층위가 이를 처벌할 도구와 의지를 갖추고 있다.

더 중요한 질문은 시장에 무슨 일이 일어나느냐다. 기업들이 날조된 AI 역량에 기대어 성공하면, 경쟁을 왜곡하고 정당한 AI 기업들이 사업하는 데 필요한 신뢰를 침식한다. "첨단 AI"로 팔리는 래퍼 하나하나가, 진짜 엔지니어링을 하는 기업들이 왜 자기 솔루션이 더 비싸고 구축에 더 오래 걸리는지 설명하기 어렵게 만든다.

신뢰할 수 있는 AI 시스템은 실제로 어떤 모습인가?

프레임워크와 약어를 걷어내면, 규제 당국의 검증을 견뎌 낼 AI를 만드는 일은 결국 네 가지로 귀결된다.

결정론을 설계하라. 확률적 출력을 넘어, 자기 추론을 증명할 수 있는 아키텍처로 — 뉴로-심볼릭 시스템, 지식 그래프, 그래프 제약 디코딩 — 나아가라. AI가 풀이 과정을 보여 주지 못한다면, 규제 환경에 투입할 준비가 되지 않은 것이다.

주권을 설계하라. 당신이 통제하는 인프라 안에 배포하라. 고객의 민감 데이터가 공유 공용 인프라에 닿는 순간, 아무리 프롬프트 엔지니어링을 해도 고칠 수 없는 컴플라이언스 책임이 생긴다.

거버넌스를 표준화하라. 인증 가능한 프레임워크를 채택하라. AI 자재명세서를 유지하라. 문서화를 연례 벼락치기가 아니라 지속적이고 자동화된 프로세스로 만들라.

지속적으로 검증하라. 적대적 레드티밍을 실행하고, 환각률과 근거 기반률(grounding rate)을 KPI로 추적하며, 고위험 의사결정에는 사람을 루프 안에 유지하라. 배포 시점에 정확했던 모델은 드리프트한다. 트레이딩 알고리즘을 모니터링하듯 모니터링하라 — 실패의 결과가 그에 준하기 때문이다.

SEC의 $400,000 벌금은 금융 산업에는 반올림 오차 수준이었다. 하지만 그 벌금이 담은 메시지는 그렇지 않았다. 우리는 보유하지 않은 AI 역량을 마케팅하고, 블랙박스를 규제 워크플로에 투입하고, 아무도 확인하지 않을 거라 가정할 수 있던 시대에서 이미 벗어났다. 이제 모든 엔터프라이즈 AI 시스템은 암묵적인 입증 책임 아래 작동한다. 이것이 당신이 주장하는 대로 작동한다는 것을 증명할 수 있는가?

나는 Veriprajna를 세웠다 — 이름은 "Veri"(진실)와 "Prajna"(지혜)를 합친 것이다 — AI 업계의 신뢰 위기가 근본적으로 아키텍처 위기라고 믿기 때문이다. 진실에 관심을 갖도록 설계된 적이 없는 시스템으로는 진실 문제를 풀 수 없다. 지식 그래프에서부터, 모든 에이전트, 모든 검증 루프, 모든 배포 결정에 이르기까지 그것을 설계해 넣어야 한다.

이것을 이해하는 기업들은 실제로 작동하는 AI를 만들 것이다. 이해하지 못하는 기업들은 계속 API를 래핑하고, 인상적인 피치덱을 쓰고, 아무도 보닛 아래를 들여다보지 않기를 바랄 것이다. 규제 당국은 지금 들여다보고 있다. 그리고 멈추지 않을 것이다.