AI 워싱 제재금이 시작되었다: 귀사의 AI 주장은 다음 타깃인가?

문제

미국 증권거래위원회(SEC)는 자사 AI에 대해 거짓말을 한 두 투자운용사에게 합계 400,000달러의 제재금을 부과했습니다. 결함이 있는 AI를 만들어서가 아닙니다. 실제로는 개발한 적이 없는 AI를 보유하고 있다고 주장했기 때문입니다.

2024년 3월, SEC는 인공지능 활용에 관해 허위 진술을 했다는 혐의로 Delphia (USA) Inc.와 Global Predictions Inc.에 대해 조치를 취했습니다. Delphia는 고객에게 지출 패턴과 소셜 미디어 데이터를 분석하여 "곧 크게 성공할 회사와 트렌드를 예측하는" "예측 알고리즘 모델"을 사용한다고 말했습니다. 그러나 SEC 검사관들은 Delphia가 실제로는 그 데이터를 투자 프로세스에 통합한 적이 전혀 없다는 사실을 확인했습니다. 이 회사는 — SEC가 2021년에 중단하라고 경고한 후에도 — 2019년부터 2023년까지 이러한 주장을 계속했습니다.

Global Predictions는 스스로를 "최초의 규제 대상 AI 금융 어드바이저"라고 칭했습니다. 규제 당국이 이를 뒷받침할 기술 문서를 요구했을 때, 이 회사는 그것을 제출하지 못했습니다. Delphia는 225,000달러를 납부했습니다. Global Predictions는 175,000달러를 납부했습니다.

이 사건들은 정교한 사기 행위가 아니었습니다. 엔지니어링 현실을 앞질러 버린 마케팅 주장이었을 뿐입니다. 그리고 이는 법무 및 컴플라이언스 팀이 지금 바로 이해해야 하는 새로운 유형의 기업 리스크를 대표합니다. 귀사가 웹사이트, 투자자 자료, 고객 제안 어디에서든 "AI로 구동됨(powered by AI)"이라고 말한다면, 정확히 동일한 집법 리스크에 노출됩니다. SEC는 새로운 AI 전용 규칙이 아니라 기존 반사기(antifraud) 법을 적용했습니다. 즉, 귀사를 처벌할 법적 틀은 오늘날 이미 존재한다는 뜻입니다.

이것이 귀사 비즈니스에 중요한 이유

SEC 제재금 400,000달러는 첫 포문에 불과했습니다. 이제 여러 연방 기관들이 문제 삼을 수 있는 AI 주장을 적극적으로 찾아내고 있습니다.

FTC(연방거래위원회)는 소비자 경제 전반의 기만적인 AI 주장을 표적으로 삼기 위해 "Operation AI Comply" 작전을 시작했습니다. 2025년 1월, FTC는 자신을 "세계 최초의 로봇 변호사"로 내세웠던 서비스 DoNotPay를 폐쇄했습니다 — 회사가 자사 AI가 실제로 인간 변호사를 대체할 수 있음을 입증하지 못했기 때문입니다. FTC는 또한 학교에서 무기를 탐지하는 자사 AI 센서의 성능을 과장했다는 혐의로 Evolv Technologies도 조사 대상으로 삼았습니다.

미국 법무부(DOJ)는 "Justice AI" 이니셔티브를 발표했습니다. 연방 검사들은 이제 기업 컴플라이언스 검토의 일환으로 귀사의 AI 리스크 관리 역량을 평가합니다. 또한 AI가 화이트칼라 범죄를 가능하게 하는 데 사용된 경우 더 무거운 처벌을 구형하도록 지시받았습니다.

이것이 귀사의 수익에 의미하는 바는 다음과 같습니다:

• 규제 제재금은 천장이 아니라 바닥입니다. 공개 집법 조치 뒤에 따라오는 평판 훼손과 사업 상실에 비하면 Delphia에 부과된 225,000달러의 제재금은 작은 금액입니다.
• 귀사의 책임은 AI 벤더가 만들어냅니다. FTC는 AI 도구가 기만 행위의 "수단(instrumentality)"으로 쓰일 경우 공급자와 기업 고객 양쪽 모두 책임을 질 수 있다고 확립했습니다.
• 주 검찰총장들도 동참하고 있습니다. 이들은 기존 소비자 보호 법령을 활용해 주 차원에서 AI 마케팅 주장을 추궁하고 있습니다.
• 이사회 노출도 현실입니다. 귀사가 SEC 제출 서류나 투자자 발표 자료에서 AI 기반 역량을 주장한다면, 임원들은 기존 반사기 규정에 따라 개인적 책임을 집니다.

이것은 미래의 문제가 아닙니다. 집법 인프라는 이미 구축되어 가동 중입니다.

내부에서 실제로 일어나는 일

AI 워싱의 근본 원인은 현대 AI가 실제로 작동하는 방식에 대한 기술적 오해입니다. 오늘날 대부분의 AI 애플리케이션 — 벤더가 귀사에 판매하고 있을 제품들도 포함하여 — 은 시퀀스에서 가장 가능성 높은 다음 단어를 예측하는 시스템 위에 구축되어 있습니다. 이런 시스템은 사실을 검증하지 않습니다. 그럴듯하게 들리는 텍스트를 생성할 뿐입니다.

스마트폰의 자동완성을 인터넷 규모로 확대한 것이라고 생각하면 됩니다. 스마트폰은 다음 단어가 사실인지 알지 못합니다. 다음에 어떤 단어가 보통 오는지만 알 뿐입니다. ChatGPT 같은 도구의 기반이 되는 AI 시스템인 대규모 언어 모델(LLM)도 더 많은 데이터와 더 많은 수학을 쓸 뿐 같은 방식으로 작동합니다. 모델에는 진실에 대한 내부적인 개념이 없습니다. 학습 데이터의 패턴을 바탕으로 가장 가능성 높은 문자 시퀀스를 예측할 뿐입니다.

이것이 AI 시스템이 "환각(hallucination)"하는 이유입니다 — 존재하지 않는 인용문, 잘못된 재무 수치, 한 번도 판결된 적 없는 법률 선례를 생성합니다. 규제 환경에서 "대체로 정확함"은 법적으로 "부정확함"과 같습니다. 환각된 법률 인용 하나가 귀 조직에 현실적인 법적 책임을 초래합니다.

설상가상으로, 오늘날 기업에 판매되는 "AI 솔루션" 대다수는 업계에서 "래퍼(wrapper)"라고 부르는 것들입니다. 이는 API를 통해 공개 AI 서비스에 연결하는 — 본질적으로 플러그에 불과한 — 애플리케이션으로, 그 위에 사용자 인터페이스를 얹은 것입니다. 이들은 정확성을 희생하는 경우가 많으면서 비용을 최소화하도록 설계되었습니다. 자신의 추론을 검증할 수 없습니다. 기반 모델이 생성하는 것은 무엇이든, 사실인지 여부와 관계없이 그대로 전달할 뿐입니다. 그리고 그 출력물 뒤에 이름과 평판을 내거는 것은 귀사입니다.

효과가 있는 것(그리고 없는 것)

먼저 귀사를 보호하지 못하는 것부터 살펴보겠습니다:

• 프롬프트 엔지니어링만으로는 부족합니다. AI에 주는 지시문을 신중하게 다듬는다고 해서 환각이 방지되지 않습니다. 빈도를 줄일 뿐 리스크를 없애지는 못합니다.
• 얇은 API 래퍼. 공개 AI 모델에 연결하고 자사 브랜딩을 붙이는 것만으로는 정확성, 데이터 프라이버시, 감사 추적에 대한 통제력이 전혀 없습니다. 이런 래퍼는 잘못된 출력을 유발하는 나쁜 입력에 취약합니다 — 이른바 "검색 오염(retrieval poisoning)" 문제입니다.
• 수동 표본 검사. 사람이 AI 출력물 중 무작위 표본만 검토하게 하면 검토하지 않은 출력물 속 오류는 걸러내지 못합니다. 잘못된 안심감만 만들어낼 뿐입니다.

실제로 효과가 있는 것은 근본적으로 다른 아키텍처입니다. 세 단계로 작동 방식을 살펴보겠습니다:

1. 지식 그래프를 통한 그라운딩 검색. AI가 관련 정보를 느슨하게 검색하게 두는 대신, 도메인 지식의 구조화된 지도 — 지식 그래프(Knowledge Graph) — 를 구축합니다. 예컨대 법률 AI에서는 모든 법원 판례가 CITES, OVERRULES, AFFIRMS 같은 특정 관계를 통해 다른 판례와 연결됩니다. 시스템은 이 검증된 구조 안에 존재하는 것만 참조할 수 있습니다. 이로써 검색은 통계적 추측에서 검증된 경로로 바뀝니다.

2. 멀티 에이전트 검증. 하나의 AI 모델에게 조사, 검증, 작성을 모두 맡기는 대신, 전문화된 에이전트들에 걸쳐 업무를 분담시킵니다. "Research Agent"는 원시 데이터를 검색합니다. "Verification Agent"는 지식 그래프와 대조해 교차 확인합니다. "Writer Agent"는 검증된 사실만 사용해 최종 출력물을 작성합니다. 이 에이전트들은 사람이 결과를 보기 전에 순환하며 서로의 작업을 검토합니다.

3. 귀사 인프라 위의 주권적 배포. 귀사의 AI는 자사 방화벽 안에서 — 온프레미스 또는 공용 인터넷과 격리된 프라이빗 클라우드에서 — 실행됩니다. 이를 통해 데이터 유출이 원천적으로 차단됩니다. 지식 재산권, 고객 데이터, 영업 비밀이 외부 서버에 닿는 일이 없습니다. 이는 HIPAA, GDPR, CCPA 컴플라이언스를 위해 필수입니다.

감사 추적의 이점이야말로 이 접근 방식을 방어 가능하게 만듭니다. 모든 출력물은 검증된 링크를 통해 특정 소스 문서까지 거슬러 올라갈 수 있습니다. 규제 당국, 감사인, 상대방 변호사가 "귀사의 AI는 이 결론에 어떻게 도달했습니까"라고 물으면, 소스 데이터에서 검증을 거쳐 최종 출력에 이르는 정확한 경로를 보여줄 수 있습니다. 이것이 방어할 수 있는 시스템과 다음 번 책임 원인이 될 시스템의 차이입니다.

거버넌스 프레임워크는 전술적 리스크 통제를 위한 NIST AI Risk Management Framework와 인증 가능하며 제3자 감사를 거치는 컴플라이언스를 위한 ISO/IEC 42001을 짝지어야 합니다. ISO 42001은 AI 관리 시스템에 대해 유일하게 인증 가능한 국제 표준입니다. 제3자 감사인이 귀사의 컴플라이언스를 검증할 수 있습니다 — 조달 심사, 이사회 보고, 규제 제출에 필요한 문서를 확보하게 되는 것입니다.

마지막으로 AI Bill of Materials(AIBOM)를 구축하십시오 — AI 시스템의 모든 구성 요소에 대한 완전하고 기계 판독 가능한 기록입니다. 여기에는 학습 데이터셋, 베이스 모델, 서드파티 라이브러리, 인프라 세부 정보가 포함됩니다. AIBOM은 귀사의 AI 주장이 기술적 현실과 일치함을 증명하는 단일 신뢰 원천(single source of truth)이 됩니다. SEC가 찾아왔을 때 Delphia와 Global Predictions가 제출하지 못했던 것이 바로 이 문서입니다.