법원이 당신의 챗봇을 "제품"이라 판결했다. 그 한 단어가 AI 제품 책임을 다시 썼다.

2026년 1월, 플로리다의 한 연방 법원이 단어 하나를 판결문에 적었는데, 나는 대부분의 기업 법무팀이 그 일이 마치 일어나지 않은 것처럼 여전히 리스크를 산정하고 있다고 본다. 그 단어는 바로 제품이었다.

그 사건은 Garcia 대 Character.AI였다. 열네 살 청소년이 챗봇과 몇 달간 대화를 나눈 끝에 스스로 목숨을 끊었고, 유족은 소송을 제기했다. Character.AI와 Google은 한 세대 동안 인터넷 기업들을 보호해온 두 개의 방패 — 제230조 면책과 수정헌법 제1조 — 를 꺼내 들며, 챗봇의 말은 표현(speech)이거나 기껏해야 자신들이 단지 호스팅했을 뿐인 제3자 콘텐츠라고 주장했다. 법원은 이를 받아들이지 않았다. 법원은 챗봇이 "앱 내부의 아이디어나 표현이 아니라 Character.AI 앱의 결함으로부터 발생한 원고 청구의 목적상 하나의 제품"이라고 판결했다. 두 회사는 플로리다, 콜로라도, 텍사스, 뉴욕의 유족들과 합의했다. 제품이라는 분류는 기록에 남았다.

나는 판결이 나온 그 주에 판결문을 읽었고, 첫 반응을 솔직히 말하겠다. 나는 그것이 예외적 사례라고 생각했다. 소비자용 챗봇, 비극적이지만 흔치 않은 사실관계, 유추에 기댄 법원. 그 직감은 틀렸고, 얼마나 틀렸는지 깨닫는 데는 두어 달과 어느 법무총괄과의 불편한 대화 한 번이 필요했다. 이것은 무엇이 바뀌었는지, 우리 팀이 처음에 어떻게 잘못된 방식으로 만들었는지, 그리고 내가 이제 왜 AI 제품 책임이 대부분의 기업 재무제표에서 가장 저평가된 단 하나의 리스크라고 믿게 되었는지에 관한 이야기다.

표현(speech)에는 결함이 없다. 제품에는 있다.

그 단어 하나가 왜 그토록 중요한지 여기 있다. 당신의 AI 출력물이 표현(speech)이라면, 법적 쟁점은 표현, 의도, 면책에 관한 것이고 — 제230조는 25년 동안 플랫폼을 위해 그런 쟁점들을 사라지게 만들어왔다. 당신의 AI 출력물이 제품이라면, 당신은 완전히 다른 법 영역으로 발을 들인 것이다. 제품은 의견을 갖지 않는다. 제품은 결함을 갖는다. 그리고 결함 있는 제품의 제조자는 제조자가 부주의했든 아니든 그것이 야기한 피해에 대해 책임을 진다.

그 마지막 구절이 승부의 전부다. 과실 기준 아래에서는 — 올해 전까지 법무팀들이 활동하던 세계다 — 원고가 당신이 합리적 주의를 다하지 못했음을 입증해야 한다. 엄격 제조물 책임 아래에서는 그럴 필요가 없다. 그들은 제품에 결함이 있었고 그 결함이 피해를 야기했음을 입증한다. 당신의 성실함, 당신의 선의, 당신의 "우리는 모범 관행을 따랐다" — 그중 어느 것도 항변이 되지 않는다. 당신이 그것을 제조했다. 그것에 결함이 있었다. 당신이 배상한다.

과실 책임은 당신이 주의했는지를 묻는다. 엄격 책임은 당신의 제품에 결함이 있었는지를 묻는다. 대부분의 기업 AI는 첫 번째 질문에 답하도록 만들어졌는데, 법원은 이제 두 번째 질문을 하고 있다.

같은 분기에 나온 두 개의 사건이 더 있어 이 패턴을 일회성으로 치부하기 불가능하게 만들었다. 2026년 3월 일리노이 북부지구에 제기된 Nippon Life 대 OpenAI 사건에서, 한 보험사는 ChatGPT가 자기 대리 소송 당사자를 위해 — 조작된 판례 인용까지 포함해 — 44건의 법원 서면을 작성했고 그녀에게 변호사를 해임하고 추가 소송을 제기하라고 부추겼다고 주장하며 1,030만 달러를 청구하는 소송을 냈다. 그 보험사는 기계가 작성한 서면에 맞서 방어하는 데 약 30만 달러를 썼다. 거기서 누가 피해를 입었는지 주목하라. AI의 사용자가 아니라, 그 출력물의 하류에 있던 제3자였다. 그리고 역시 2026년 3월의 Bouck 대 Meta 사건에서, 캘리포니아 법원은 AI가 생성한 광고에 대해 제230조 면책을 거부하며, Meta의 시스템이 광고 콘텐츠를 만들어냈고 Meta가 그것이 사기임을 실제로 인지하게 된 이상 플랫폼은 그저 남의 말을 호스팅했을 뿐이라고 주장할 수 없다고 판시했다.

2026년 2월까지 AI와 참여도 극대화 알고리즘이 실제 피해를 야기한다고 주장하는 활성 소송이 2,200건이 넘었다. 이것은 미개척지가 아니다. 이것은 재판 목록이다.

입법부가 따라잡은 분기

법원은 사건 하나하나씩 움직인다. 입법부는 대량으로 움직이며, 2025년과 2026년에 그들은 AI를 만드는 대부분의 사람들이 알아차린 것보다 빠르게 움직였다.

내가 어느 기업 법무총괄에게든 가장 먼저 짚어줄 것은 AI LEAD 법, 2025년 9월에 발의된 초당적 더빈–홀리 법안이다. 이 법은 AI 시스템에 특화된 연방 제조물 책임 소권을 엄격 책임으로 창설하게 된다 — 그 조문은 개발자가 "가능한 모든 주의"를 다했더라도 적용된다. 이 법은 설계 결함과 경고 의무 위반 이론을 포괄하고, 4년의 제소 기한을 두며, 그리고 — 이 부분이 특정 이사회 대화를 영구히 끝내야 하는 대목인데 — 이용약관을 통한 그 책임의 포기를 금지한다. 당신의 벤더들이 좋아하는 "수락을 클릭함으로써 이것이 있는 그대로 제공됨에 동의합니다"라는 조항? 이 법안은 이런 종류의 피해에 대해 그것을 집행 불가능하게 만들도록 작성되었다.

캘리포니아는 워싱턴을 기다리지 않았다. 2026년 1월 발효된 AB 316은 내가 고아 항변이라 부르기 시작한 것 — "AI가 스스로 한 일이니 우리 책임이 아니다"라는 주장 — 을 봉쇄한다. 당신은 더 이상 자기 시스템의 자율성을 책임에서 벗어나는 근거로 가리킬 수 없다. 그리고 대서양 건너 EU 제조물 책임 지침 2024/2853은 AI 시스템과 대규모 언어 모델을 포함한 소프트웨어를 엄격 책임 하의 제품으로 명시적으로 분류한다. 회원국들은 이를 2026년 12월 9일까지 국내법으로 전환해야 한다. EU AI 법의 고위험 요건은 2026년 8월 2일에 완전히 적용되며, 과징금은 1,500만 유로 또는 전 세계 매출의 3%에 이른다.

나는 전체 지도를 낱낱이 읊지는 않겠다 — 위반당 2만 달러의 벌칙과 2026년 6월 집행일을 가진 콜로라도의 SB 205, 반복 위반에 대해 최대 3,000만 달러의 벌칙을 두는 뉴욕의 발의된 RAISE 법. 요점은 목록이 아니다. 요점은 방향이고, 그 방향은 만장일치다. 다른 어떤 것에도 합의하지 못하는 관할권들 전반에 걸쳐, AI 피해에 대한 기준은 엄격 책임으로 수렴하고 있고, 계약상의 탈출구는 용접되어 닫히고 있다.

당신의 보험사는 조용히 같은 판결들을 읽었다

변호사는 논쟁한다. 언더라이터는 가격을 매긴다. 그리고 보험 업계는 내가 대화해본 거의 어떤 법무팀이 예상한 것보다 빠르고 더 가차 없이 이것에 가격을 매겼다.

2026년 1월 현재, AI 청구를 전면적으로 배제하는 표준 문구가 이제 사전 작성된 채로 당신의 갱신 계약에 붙일 준비가 되어 존재한다. 미국 상업 보험증권 대부분이 그 양식을 토대로 만들어지는 기관인 보험서비스국(Insurance Services Office)은 CG 40 47 특약을 발표했는데, 이는 생성형 AI로 인한 신체 상해, 재산 손해, 인적·광고적 손해를 표준 상업종합배상책임보험에서 제외한다. 광고적 손해 담보만 제외하는 더 가벼운 형제 격인 CG 40 48도 있다. 그리고 W.R. Berkley 같은 보험사들은 임원배상책임(D&O), 전문직배상책임(E&O), 수탁자 책임 보험에 "절대적" AI 배제를 써넣으며 더 나아갔다 — AI의 사용, 배포, 개발에 "기초하거나, 그로부터 발생하거나, 그에 기인하는" 어떤 청구에 대해서도 담보를 무효화하는 문구다.

나는 이제 충분히 많은 갱신 대화에 앉아봤기에 언더라이터의 질문이 무엇으로 바뀌었는지 말해줄 수 있다. 예전에는 이랬다: AI를 사용하십니까? 이제는 이렇다: 귀사가 배포하는 모든 AI 시스템에 대한 문서화된 거버넌스 증거를 보여주십시오. 적대적 레드팀 결과를 보여주십시오. 모델 계보를 보여주십시오. 인적 감독 통제가 지난 분기에 누군가 갱신한 정책 PDF에 적혀만 있는 게 아니라 실제로 작동하고 있음을 보여주십시오.

언더라이터는 당신이 AI를 사용하는지 묻기를 멈췄다. 이제 그들은 당신의 시스템이 방어 가능함을 증명하라고 요구한다 — 그리고 정책 문서는 증거가 아니다.

덫 안에 덫이 또 있다. CGL 배제가 AI 익스포저를 종합배상책임에서 밀어내면, 그 리스크는 증발하지 않는다 — 그것은 애초에 제조물 책임 청구를 흡수하도록 설계된 적 없는 사이버 및 기술 E&O 보험으로 이전한다. 그래서 한 회사는 자기 보험 구성을 읽고 어딘가에서 "AI 담보됨"을 보고서, 실제로 어느 보험이 무엇을 지급하는지에 대해 파국적으로 틀릴 수 있다. 실질적 문서화를 갖추고 2026년에 들어선 기업들은 증거가 보험 가입 가능성의 통화가 되었음을 발견했다. 그것 없이 들어선 기업들은 자기 보험사가 이미 배제 특약을 작성해두었음을 알아가고 있다.

우리가 처음 만든 버전 — 그리고 그것이 실패한 이유

이것은 내가 틀린 대목이고, 우리가 답에 깔끔하게 도달했다고 당신이 가정하게 두느니 차라리 말해주고 싶다.

우리 팀이 이 문제에 대해 법무 및 엔지니어링 리더들과 처음 일하기 시작했을 때, 우리의 직감은 뻔한 것이었다: 문제는 문서화이니 거버넌스 계층을 만들자는 것이었다. 모델을 목록화하고, 리스크를 점수화하고, 감사 대응이 가능한 보고서를 생성하고, 감사인이 보고 싶어 하는 대시보드를 만들어내자. 합리적인 직감이다 — 성숙한 거버넌스 플랫폼들이 하는 바로 그것이고, 그들은 그것을 잘한다. 4,500만 달러 넘게 투자받고 2026년 Fast Company의 가장 혁신적인 기업 명단에 오른 Credo AI는 EU AI 법, NIST AI 리스크 관리 프레임워크, ISO 42001에 매핑된 사전 구축 정책 팩을 제공한다. IBM의 watsonx.governance는 기업 스택 전반에 걸쳐 라이프사이클 거버넌스를 수행한다. Holistic AI는 알고리즘 편향 감사에 강하고, OneTrust는 프라이버시 컴플라이언스 전통을 가져온다. 사실상 우리는 그것의 더 얇은 버전을 만들고 있었다.

그러다 내가 존경하는 어느 법무총괄이 우리가 만들어낸 것을 보고 내가 답할 수 없는 질문을 던졌다. 그녀는 대략 이렇게 말했다: 이 시스템이 결함 있는 출력물로 소송을 당하면, 나는 합리적 대체설계 항변을 제기할 것이다 — 나는 제조자가 사용했어야 할 더 안전한 설계가 없었다고 주장할 것이다. 이 모든 것 중에서, 배포 전에 어떤 아키텍처적 선택이 이루어졌고 왜 그랬는지를 보여주는 기록이 어디에 있는가?

나는 대시보드로 돌아갔다. 그것들은 시스템이 지금 무엇을 하고 있는지를 아름답도록 상세하게 그녀에게 말해줄 수 있었다. 하지만 그것들은 왜 그런 방식으로 만들어졌는지, 팀이 어떤 대안을 고려하고 기각했는지, 또는 출시하던 순간 엔지니어들이 실패 모드에 대해 무엇을 알고 있었는지는 말해줄 수 없었다. 거버넌스 계층은 현재를 감시했다. 그녀에게 필요한 방어는 과거에 살아 있었다 — 당시에는 아무도 그것이 증거를 만드는 일임을 몰랐기에 아무도 증거로 기록해두지 않은 결정들 속에.

그것이 우리가 다음에 한 모든 일의 대가를 치른 실패였다. 거버넌스 플랫폼은 감시하고 보고한다. 그들은 설계하지 않는다. 결코 방어되도록 설계된 적 없는 시스템에 방어를 볼트로 덧붙일 수는 없다. 결코 실시된 적 없는 충돌 시험을 사진으로 찍을 수 없는 것과 마찬가지다.

"설계에 의한 방어 가능성"이란 실제로 무엇을 의미하는가?

그래서 우리는 대시보드 우선 접근을 버리고 그것을 뒤집었다. 질문은 더 이상 이 시스템을 어떻게 문서화할까?가 아니라 그 역사가 곧 문서인 시스템을 어떻게 설계할까?가 되었다. 그 반전이 바로 Veriprajna의 AI 제품 책임 방어 사업부가 중심으로 삼는 것이다 — 사후에 시스템에 볼트로 덧붙인 또 하나의 감시 계층이 아니라, 방어 가능한 아키텍처와 소송 대응 증거다.

실무에서 그것은 아키텍처 결정 기록을 일급 산출물로 취급함을 의미했다 — 배포 전에 타임스탬프가 찍혀, 팀이 무엇을 시도했고, 무엇을 기각했으며, 그 이유는 무엇인지를 담아, 합리적 대체설계 항변이 소장이 도착한 뒤 역설계되는 것이 아니라 소송에 앞서 존재하는 원천 자료를 갖도록 하는 것이다. 그것은 소송상 증거개시에서 살아남는 감사 추적을 구축함을 의미했다: 30일마다 순환 삭제되는 애플리케이션 로그가 아니라, 프롬프트, 출력물, 모델 버전, 인적 검토 조치의 보존된 사슬이다. AI 시스템에 대한 소송 보존 명령서는 그 모든 것을 당신이 제출하라고 요구받을 대상으로 명시해야 하기 때문이다. 대부분의 기업 법무팀은 그중 단 하나라도 열거하도록 보존 명령 템플릿을 갱신하지 않았는데 — 이는 소장이 도착하기 훨씬 전에, 회사가 순환 로그 회전으로 조용히 파기하고 있는 데이터에 보존 의무가 이미 부착되고 있음을 뜻한다. 그리고 그것은 인적 감독 통제를 출력물을 진정으로 통제하는 시스템의 하중 지지 부품으로 설계함을 의미했다 — 언더라이터가, 그리고 결국 원고 측 전문가가, 당신의 "인간 개입(human in the loop)"이 실제로 나쁜 출력을 멈출 권한과 인터페이스를 가졌는지, 아니면 조직도 위의 체크박스에 불과한지를 시험할 것이기 때문이다.

여기에는 이것을 견뎌낼 기업과 그러지 못할 기업을 가르는 미묘한 지점이 있다. 특권(privilege)은 당신을 구하지 못한다. 2026년 2월, 라코프 판사는 직원들이 변호사의 지시 없이 도구를 사용했을 때 회사의 소비자용 AI 문서가 변호사-의뢰인 특권으로 보호되지 않는다고 판결했다. 당신은 AI 결정들을 특권이라는 담요로 소급하여 감쌀 수 없다. 그 증거는 개시 대상이 될 것이고, 바로 그렇기 때문에 그것은 처음부터 의도적으로 만들어진 좋은 증거여야 한다.

결코 방어되도록 설계된 적 없는 시스템에 방어를 볼트로 덧붙일 수는 없다. 아키텍처가 알리바이다 — 그리고 그 알리바이는 사고 이후가 아니라 사고 이전에 존재해야 한다.

여기가 또한 에이전트형 AI(agentic AI)의 물결이 모든 것을 더 어렵게 만드는 지점이다. 시스템이 자율적으로 행동할 때 — 매번 사람이 버튼을 누르지 않고 조치를 취할 때 — 낡은 계약상 면책 조항은 한계를 넘어 무너진다. 싱가포르 IMDA는 2026년 1월 에이전트형 AI 거버넌스 프레임워크 초안을 발표했고, Clifford Chance 같은 로펌들은 항상 사람이 행위자라고 조용히 가정하는 표준 계약의 "책임 공백"을 지적했다. 캘리포니아의 AB 316은 이미 당신이 에이전트를 탓할 수 없다고 말한다. 그래서 당신이 효율을 위해 구축한 자율성은, 법적으로는, 당신이 이제 소유하는 추가적인 취약 표면이다. 그것은 면책으로 떨쳐낼 것이 아니라 설계되어야 한다.

왜 뻔한 벤더들은 이 공백을 메울 수 없는가?

사람들은 나에게 정당한 질문을 던진다: 거버넌스 플랫폼, 로펌, 대형 시스템 통합업체가 모두 존재한다면, 왜 만들 것이 남아 있는가?

왜냐하면 그들 각각은 그 일의 일부를 하고, 그중 누구도 이 부분을 하지 않기 때문이다. 거버넌스 플랫폼들 — Credo AI, IBM, Holistic AI, OneTrust — 은 이미 존재하는 시스템을 거버닝한다; 그들은 래퍼를 방어 가능한 아키텍처로 재구조화하지 않고, 각하 신청이 기대는 설계 결정 증거를 생성하지 않는다. 로펌은 당신에게 법 이론을 준다 — 그들은 합리적 대체설계 항변이 무엇을 요구하는지 정확히 말해줄 것이다 — 하지만 그들은 코드를 작성하거나 증거를 만드는 아키텍처적 선택을 하지 않는다. 그리고 대형 통합업체들은 자신들이 제휴한 플랫폼을 구현하는데, 이는 그들을 당신의 특정 익스포저가 요구하는 벤더 중립적이고 방어 가능한 맞춤 시스템보다 Salesforce나 Microsoft Copilot 쪽으로 구조적으로 편향되게 만든다.

그 공백은 외부 자문 변호사가 조언하는 것과 엔지니어링 팀이 실제로 구현할 수 있는 것 사이의 이음매다. 나는 그 이음매가 실시간으로 무너지는 것을 지켜봤다 — 변호사가 "우리는 방어 가능한 아키텍처가 필요하다"고 계속 쓰고 엔지니어가 "어느 파일을 바꿔야 하는지 말해달라"고 계속 답하는 슬랙 스레드였다. 판결문 과 저장소를 둘 다 읽을 수 있는 누군가가 그 공백에 서야 한다. 그것이 우리 팀이 하는 일이다 — 대시보드와 보고서가 아니라 아키텍처와 증거를 중심으로 구축하여, 변호사와 엔지니어가 마침내 같은 산출물을 가리키게 하는 것이다.

함께 곱씹어볼 가치가 있는 질문

내가 계속 되돌아가는 것으로 마무리하겠다. 2025~2026년 데이터 유출의 평균 비용은 약 444만 달러였고, 업계는 그 숫자를 중심으로 하나의 온전한 분야 — 예산, 보험 상품, 이사회 보고 — 를 구축했다. AI 제품 책임은 상한이 없는 엄격 책임 익스포저이며, 계약상 탈출구는 입법으로 닫히고 있고, 보험사들은 그것을 과거에 담보하던 보험에서 적극적으로 배제하고 있다. 그런데 대부분의 기업은 그것을 정책 바인더와 벤더의 있는-그대로 조항으로 관리하고 있다.

정책 바인더는 당신이 규제 당국에 건네는 것이다. 그것은 증언 심문에서 살아남는 것이 아니다. 이제 많은 기업에게 닥쳐오는 순간을 그려보라: 원고 측 전문가가 당신의 엔지니어들 맞은편에 앉아, 출시하기 전에 어떤 더 안전한 설계를 고려했는지 묻는다. 그 답은 타임스탬프가 찍힌 기록이거나 침묵이다 — 그리고 엄격 책임 아래에서, 그 침묵이 곧 결함이다. 당신의 AI의 말이 제품이 되었을 때, 당신의 아키텍처는 당신의 방어가 되었고, 사고 이전에 설계하지 않은 방어는 당신이 갖지 못한 방어다. 오늘 그 기록을 열 수 없다면, 당신에게는 문서화 문제가 있는 게 아니다. 당신에게는 시장에 나와 있는 방어되지 않은 제품이 있다. 그것은 소장이 도착한 뒤가 아니라 12월 9일 전에 고칠 가치가 있다 — 그리고 그 공백을 메우는 것이 우리가 하는 일이다.