기업 95%가 존재조차 모르는 AI 법규를 위반하고 있다

1월 초 포춘 500대 기업의 CHRO(최고인사책임자)와 통화하던 중, 그녀의 한마디에 저는 말을 멈추고 말았습니다.

"저희 법무팀에서 그냥 규정을 준수하지 않는 것이 더 안전하다고 하더군요."

그녀는 무모했던 것이 아니라 합리적이었습니다. 그녀의 회사는 뉴욕시에서 채용을 위해 AI 기반 선별 도구를 사용하고 있으며, 이는 고용 결정을 돕는 모든 자동화 도구의 편향성 감사 결과를 공개하도록 의무화하는 뉴욕시 지방법 144호(Local Law 144)의 적용 대상임을 의미합니다. 사내 변호사들은 계산을 마친 상태였습니다. 미준수에 따른 처벌은 위반 건당 500달러에서 1,500달러의 벌금이었습니다. 반면,준수(실제로 편향성 감사를 게시하는 것)의 대가는 원고 측 변호사들에게 차별 소송을 위한 통계적 로드맵을 쥐여주는 것이었습니다.

그 대화는 제가 몇 달 동안 고민해 온 문제를 명확히 정리해 주었습니다. 우리에게는 AI 윤리 문제가 있는 것이 아닙니다. 우리에게는AI 아키텍처 문제가 있는 것입니다. 그리고 2025년 12월 뉴욕주 감사원장의 감사 결과가 이를 명백히 입증했습니다.

환상을 깨뜨린 감사

2025년 12월 2일, 톰 디나폴리(Tom DiNapoli) 뉴욕주 감사원장은 뉴욕시 소비자·근로자보호국(DCWP)이 지방법 144호를 어떻게 집행해 왔는지에 대한 감사 결과를 발표했습니다. 그 결과는 충격적이었습니다.

시 자체 조사관들은 32개 고용주를 조사하여 잠재적 미준수 사례를 정확히1건 적발하는 데 그쳤습니다. 그러나 주 감사관들이 더 엄격한 기술적 방법을 사용하여 동일한 32개 기업을 조사했을 때, 그들은17건의 위반 사항을 발견했습니다.

이는 반올림 오차가 아닙니다. 시가 적발한 수치와 실제로 일어나고 있던 현실 사이에 1,600%의 격차가 존재했던 것입니다.

밤 11시에 노트북으로 감사 보고서를 읽으며 결과를 훑어보던 중, 정당성이 입증되었다는 안도감과 극심한 두려움이 교차했던 기억이 납니다. 안도감을 느낀 이유는 이것이 바로 우리가 고객들에게 경고해 온 실패, 즉 실질적인 정밀 조사 앞에서 무너지는 피상적인 AI 컴플라이언스였기 때문입니다. 두려움을 느낀 이유는 문제의 규모가 제 예상보다도 훨씬 심각했기 때문입니다.

동일한 표본에서 시가 1건을 적발하고 주가 17건을 적발했다면, 그것은 집행 격차가 아니라 집행의 허구(보여주기식 집행)입니다.

감사는 거의 황당할 정도로 파탄 난 실태를 드러냈습니다.테스트 통화의 75%(AI 채용 문제에 관한 시 311 핫라인 접수)가 잘못 전달되어 DCWP에 도달조차 하지 못했습니다. 해당 기관은 기업들이 실제로 자동화된 의사결정 도구를 사용하는지 여부를 평가할 기술적 전문성이 부족함을 인정했습니다. 그들은 시 자체 기술혁신국에 단 한 번도 자문을 구하지 않았습니다. 전체 집행 체계는 기능적으로 포템킨 빌리지(눈가림식 겉치레)에 불과했습니다.

대부분의 기업이 침묵을 선택한 이유

상황은 여기서 더 악화됩니다. 코넬 대학교, 데이터 & 소사이어티(Data & Society), 컨슈머 리포트의 공동 연구에서 지방법 144호의 적용을 받는 391개 고용주를 조사했습니다. 그중 단18개사만이 필수 편향성 감사를 공개했습니다. 또한 단13개사만이 투명성 고지를 게시했습니다.

이는 대상 고용주의 약 95%가 단순히 법을 무시하고 있었음을 뜻합니다.

저와 저희 팀은 일주일 동안 해당 연구를 검토하며 그 결과를 이들 기업이 사용하던 AI 도구에 대해 알고 있는 정보와 대조했습니다. 사무실에서는 이것이 집단적 태만인지, 아니면 더 계산된 행동인지에 대해 격렬한 논쟁이 벌어졌습니다. 최고기술책임자(CTO)는 단순한 게으름, 즉 기업들이 아직 신경 쓰지 못했을 뿐이라고 보았습니다. 하지만 저는 동의하지 않았습니다.

제 생각에는 이들 기업 대부분이 내부적으로 감사를 실행해 보았고, 그 수치를 확인한 뒤 패닉에 빠진 것입니다.

그 이유는 구조적입니다. 지방법 144호는 '영향 비율(impact ratios)'을 공개하도록 요구합니다. 즉, 서로 다른 인구통계 집단의 선발률을 비교하고 미국 평등고용기회위원회(EEOC)의 5분의 4 규칙을 충족하는지 확인하는 것입니다. 만약 귀사의 도구가 남성을 60%, 여성을 40% 비율로 선발한다면 그 비율은 0.67이 되며, 이는 잠재적 불균형 영향(disparate impact)을 나타내는 기준치인 0.80 미만입니다.

문제는 무엇일까요?범용 언어 모델을 기반으로 구축된 대부분의 AI 채용 도구가 이 테스트에서 탈락한다는 점입니다.악의적인 편향을 품고 있어서가 아니라, 수십 년간의 사회적 편향을 반영하는 인터넷 규모의 데이터로 훈련되었기 때문입니다. 수치를 정직하게 산출하면 편향이 그대로 드러납니다. 그리고 그 수치를 공개하는 순간, 소송을 위한 법적 증거물을 직접 제출하는 셈이 됩니다.

제가 대화를 나눈 CHRO는 냉소적인 태도를 보인 것이 아니었습니다. 감사를 수행하는 순간 도구 자체가 차별의 증거를 만들어내는 시스템에 대한 지극히 합리적인 대응을 설명하고 있었던 것입니다.

'느낌'에 의존해 AI를 구축할 때 벌어지는 일

오늘날 대부분의 엔터프라이즈 AI가 실제로 어떻게 작동하는지 설명할 필요가 있습니다. 그것이 이번 위기의 근본 원인이기 때문입니다.

현재 시장에서 지배적인 모델은 제가 '래퍼 경제(Wrapper Economy)'라고 부르는 것입니다. 컨설팅 회사가 기반 모델(GPT-4, Claude, Gemini)을 가져와 맞춤형 프롬프트와 API 호출로 구성된 얇은 계층을 씌운 뒤, 이를 기업에 솔루션으로 판매합니다. 이력서 심사, 보험금 청구 처리, 위험 평가 등에서 래퍼는 인터페이스를 담당하지만, 실제 사고는 기업 내 누구도 통제하거나 감사하거나 온전히 이해하지 못하는 모델 내부에서 이루어집니다.

이러한 모델은 시퀀스에서 통계적으로 가장 가능성이 높은 다음 단어를 예측하는 방식으로 작동합니다. 이들은 제가의미론적 개연성(그럴듯하게 들리는 것)이라 부르는 방식에 따라 작동하며, 포렌식적 현실(무엇이실제로 옳은지)에 기반하지 않습니다.

저는 혹독한 시행착오를 겪으며 이를 배웠습니다. Veriprajna 설립 초기, 현재 아키텍처에 완전히 전념하기 전에 저희는 주요 LLM에 '성별을 무시하고' 일련의 이력서를 평가하도록 요청하는 테스트를 진행했습니다. 그럼에도 모델은 여전히 차별을 자행했습니다. 노골적으로 '여성'을 부정적으로 표시한 것은 아니었습니다. 하지만 모델의 훈련 데이터에서 성별과 통계적으로 상관관계가 있던 특정 대학 언급, 특정 어구 패턴, 특정 과외 활동이 기재된 이력서를 체계적으로 우대했습니다.

LLM에 '성별을 무시하라'고 지시하는 것은 누군가에게 '코끼리를 생각하지 마라'고 말하는 것과 같습니다. 상관관계는 이미 가중치 안에 깊숙이 각인되어 있습니다. 프롬프트 수정만으로는 구조적 편향에서 벗어날 수 없습니다.

콜로라도주나 EU가 AI가 불리한 결정을 내린 이유를설명하라고 요구할 때, 래퍼 시스템은 사후적 변명, 즉 왜 그렇게 결정했다고생각하는지에 대한 그럴듯한 서사만을 제공할 수 있을 뿐입니다. 그것은 설명이 아닙니다. 자신의 추론에 대한 환각(할루시네이션)일 뿐입니다. 저는 이 문제에 대해저희 연구의 인터랙티브 버전에서 심도 있게 다루었으며, 이러한 '감사 가능성 격차'가 다양한 규제 체제에서 어떻게 전개되는지 상세히 설명했습니다.

아무도 이야기하지 않는 컴플라이언스 트릴레마

제가 밤잠을 설치며 우려하는 점은 이것이 더 이상 뉴욕만의 문제가 아니라는 사실입니다.

2026년 중반까지 여러 주와 유럽에서 사업을 영위하는 기업들은 최소 4개의 중복되고기술적으로 상충하는 AI 규제에 직면하게 될 것입니다.

뉴욕시 지방법 144호는 인종과 성별로 세분화된 교차적 편향성 통계를 공개할 것을 요구합니다. 콜로라도주 상원법안 24-205(SB 24-205)(2026년 6월 발효)는 더 광범위한 '합리적 주의(reasonable care)' 기준과 알고리즘 차별 발견 시 주 검찰총장에 대한 의무적 공개를 규정하고 있습니다. 일리노이주 하원법안 3773(HB 3773)은 보호 대상 계층의 대리 지표로 우편번호를 사용하는 것을 금지합니다(이는 많은 편향 완화 도구가 실제로 의존하는 기법입니다). 그리고 EU AI 법은 훈련 데이터 출처에 대한 상세한 문서화와 고위험 시스템에 대한 '적합성 평가'를 요구합니다.

이들은 단순히 규정이 서로 다른 것에 그치지 않습니다. 부분적으로 아키텍처 수준에서 양립할 수 없습니다.

일리노이주의 우편번호 금지 규정을 준수하기 위해 사용하는 데이터 마스킹 기술은 EU가 요구하는 데이터 대표성을 훼손할 수 있습니다. 뉴욕의 인종 및 성별 프레임워크를 충족하는 편향성 감사라 할지라도 연령과 장애를 고려하지 않는다면 콜로라도의 기준을 통과하지 못할 수 있습니다. 그리고 이들 규제 프레임워크 중 어느 것도 'GPT-4를 사용하고 일부 가드레일을 추가했다'는 것을 적합성 평가로 인정하지 않습니다.

작년에 한 투자자가 저에게 "그냥 GPT를 쓰고 그 위에 컴플라이언스 레이어를 얹으면 되지 않느냐"고 말했습니다. 저는 그에게 물었습니다. "어느 컴플라이언스 레이어 말입니까? 어느 관할 구역을 위한 것이죠? 어떤 지표로 테스트되었습니까?" 그는 대답하지 못했습니다. 그런 레이어는 존재하지 않기 때문입니다. 애초에 감사가 가능하도록 설계되지 않은 시스템에 사후에 컴플라이언스를 억지로 덧붙일 수는 없습니다.

우리가 대안으로 실제로 구축하고 있는 것

Veriprajna에서 저희는 초기에 한 가지 승부수를 띄웠으며 당시에는 외로운 길이었음을 인정합니다. 저희는 래퍼 모델을 전면 거부했습니다. 얇은 API 계층은 쓰지 않았습니다. 프롬프트 엔지니어링을 제품으로 포장하지도 않았습니다. 대신 저희는 제가Deep AI라고 부르는 것, 즉 결정론성, 추적 가능성, 주권적 통제를 위해 기초부터 설계된 시스템을 구축합니다.

핵심 개념은뉴로-심볼릭 아키텍처(즉, '목소리'와 '두뇌'를 분리하는 시스템)입니다. 신경망은 패턴 인식을 처리합니다. 이력서 읽기, 문서 파싱, 관련 특징 식별 등이 이에 해당합니다. 하지만 모든 결정은 사용자에게 도달하기 전에 실제 법률, 업계 온톨로지, 도메인 제약조건에서 도출된 하드코딩된 규칙인 기호 논리 계층을 통과합니다.

일리노이주에서 우편번호를 인종의 대리 지표로 사용할 수 없다고 규정할 때, 당사의 기호 계층은 이를 피하려고 '노력'하는 데 그치지 않습니다. 결정론적으로 이를차단하며, 어떤 규칙이 왜 작동했는지 정확히 기록합니다. 규제 당국이 설명을 요구할 때 저희는 그럴듯한 변명을 꾸며내지 않습니다. 입력부터 출력까지 추적 가능한 논리 체인을 제공합니다.

래퍼와 Deep AI의 차이는 '모델이 그렇게 말했다'와 '이 결정이 도출된 정확한 규칙, 정확한 입력, 정확한 논리 경로가 여기 있다'의 차이입니다.

저희는 또한 저희가주권형 인프라라고 부르는 것, 즉 민감한 데이터를 퍼블릭 API를 통해 전송하지 않고 고객사의 자체 클라우드에 모델을 배포하는 방식을 고수합니다. 직원 기록이나 지원자 정보를 제3자 API로 전송하면 해당 데이터가 로깅되거나 향후 훈련에 포함되거나 파악할 수 없는 보안 취약점을 통해 유출될 수 있습니다. GDPR, CCPA 및 최근의 AI 특화 규제의 적용을 받는 기업에 이는 용납할 수 없는 위험입니다.

이러한 아키텍처가 어떻게 작동하는지에 대한 완전한 기술적 분석(그래프 기반 추적성, 물리 정보 기반 검증 계층, 엣지 네이티브 배포 모델)은저희의 상세 연구 보고서를 참고하시기 바랍니다. 엔지니어링은 심오하지만 원칙은 단순합니다. 모든 출력은 '아마도 올바른 것'이 아니라 '증명 가능하게 올바른 것'이어야 한다는 점입니다.

"하지만 이것은 과도한 조치(오버킬) 아닌가요?"

사람들은 저에게 끊임없이 이렇게 묻습니다. 대개는 래퍼 모델에 현혹되어 제가 문제를 지나치게 복잡하게 만든다고 생각하는 이들입니다.

제 대답은 이것입니다. 뉴욕주 감사원은 심지어우호적인 규제 검토(시 자체 기관이 수행한 검토)조차 1,600%의 오류율로 작동하고 있었음을 보여주었습니다. 주 차원의 감사관들은 시가 1건을 적발한 동일한 32개사 표본에서 17건의 위반을 적발해 냈습니다.

콜로라도주 검찰총장이 수사에 착수하면 어떻게 될까요? EU가 적합성 평가를 시작하면 어떻게 될까요? 원고 측 변호사가 모델의 의사결정 로그를 소환하여 귀사의 '편향 완화'가 고작 '공정하게 평가해 주세요'라는 시스템 프롬프트 한 줄이었음을 밝혀내면 어떻게 되겠습니까?

이는 가상의 시나리오가 아닙니다. 감사원장의 감사는 수동적인 민원 중심 집행에서 벗어나선제적인 조사 중심 수사로 전환할 것을 명시적으로 권고했습니다. DCWP는 이 권고안을 수용하기로 합의했습니다. '아무도 확인하지 않는다'는 시대는 끝났습니다.

제가 자주 듣는 또 다른 반론이 있습니다. "규제가 정착될 때까지 투자를 미루겠다"는 것입니다. 그 심정은 이해합니다. 하지만 코넬대 연구에 따르면 기다림을 택한 기업들(미준수 95% 기업들)은 이를 해결할 인프라가 전무한 상태에서 눈덩이처럼 불어나는 법적 리스크를 떠안고 있습니다. 단속이 본격화되면 규정 준수 시스템을 구축하는 데 몇 달의 시간이 주어지지 않을 것입니다. 단 몇 주밖에 없을 것입니다.

숫자가 제 생각을 바꾼 밤

이 문제에 대한 저의 생각을 근본적으로 바꿔놓은 한순간을 공유하고자 합니다.

약 8개월 전, 저희는 한 금융 서비스 고객사를 위해 개념 증명(PoC)을 진행하고 있었습니다. 그들은 주요 LLM을 기반으로 구축된 유명 벤더의 기존 AI 선별 도구가 모의 LL144 감사를 통과할 수 있는지 테스트하기를 원했습니다. 저희 팀은 테스트를 셋업하고 영향 비율을 계산하여 밤 9시경 저에게 결과를 보냈습니다.

저는 약간의 미달(재조정을 통해 해결할 수 있을 정도인 0.75나 0.78 수준의 비율)을 예상했습니다. 하지만 특정 교차 범주에서 영향 비율이 무려0.58까지 떨어지는 것을 발견했습니다. 기준선에 근접하지도 않았습니다. 프롬프트 튜닝으로 고칠 수 있는 수준도 아니었습니다. 매일 그 도구를 사용하는 사람들에게는 보이지 않는 방식으로 구조적이고 근본적인 편향이 내재되어 있었습니다.

저는 홈 오피스에 앉아 그 숫자들을 응시하며 업계 전체가 직시해야 할 사실을 깨달았습니다.현재 대부분의 기업이 사용 중인 도구는 자체 편향성 감사조차 통과하지 못할 것이라는 점입니다. 95%의 미준수율은 기업들이 법을 무시하는 문제에 그치지 않습니다. 준수했을 때 드러날 결과를 확인하고 차라리 모르는 척하기로 결정한 기업들의 현실을 보여줍니다.

이것은 규제의 문제가 아닙니다. 엔지니어링의 실패입니다.

향후 전망

2025년 12월의 감사는 AI 규제의 성장통의 끝이 아닙니다. 청소년기의 시작일 뿐입니다. 규제 당국은 자신들의 실수로부터 배우고 있습니다. 차세대 집행은 311 핫라인이나 자진 공시에 의존하지 않을 것입니다. 컴플라이언스 팀이 주장하는 말이 아니라, 귀사의 AI가 실제로 무엇을 수행하는지 조사하기 위해 포렌식 도구를 활용할 것입니다.

기업의 입장에서 이는 아키텍처 결정을 내릴 수 있는 기회의 창이 닫히고 있음을 의미합니다. 확률적 시스템에 결정론성을 사후에 끼워 맞출 수는 없습니다. 블랙박스에 감사 가능성을 억지로 덧붙일 수 없습니다. 단 하나의 프롬프트 템플릿으로 상충하는 4개 관할 구역의 규정을 준수할 수는 없습니다.

2026년 이후 번창할 기업은 지금 더 어려운 선택을 하는 기업들입니다. 즉, 모든 결정이 추적 가능하고 감사 가능하며 방어 가능한 논리 체인을 갖춘 시스템을 구축하는 것입니다. 그것이 쉬워서가 아닙니다. 비용이 적게 들어서도 아닙니다. 무엇을 찾아야 하는지 정확히 아는 규제 당국을 마주했을 때 살아남을 수 있는 유일한 아키텍처이기 때문입니다.

느낌으로 구축된 AI의 시대는 끝났습니다. 그 자리는 업계의 나머지 기업들이 확률에 기반해 만든 시스템에 확정성을 불어넣는 엔지니어링을 감당하려는 기업들에 의해 정의될 것입니다.

1월에 저와 통화했던 CHRO가 지난주에 다시 전화를 걸어왔습니다. 그녀의 법무팀은 감사원의 감사 결과를 정독한 상태였습니다. 그들은 더 이상 법규 미준수를 권고하지 않았습니다. 그들은 우리가 얼마나 빨리 시스템을 배포할 수 있는지 묻고 있었습니다.