뉴욕시의 AI 챗봇은 시민들에게 법을 어기라고 말했습니다. 저는 그것을 불가능하게 만드는 아키텍처를 구축했습니다.

브루클린의 한 집주인이 시의 챗봇에게 자신이 섹션 8 주택 바우처를 받아들여야 하는지 묻습니다. 챗봇은 아니라고 답합니다. 그 집주인은 유효한 바우처를 가진, 두 아이를 둔 한 싱글맘을 돌려보냅니다. 3개월 후, 뉴욕시 인권위원회는 그에게 6자리 숫자의 벌금을 부과합니다.

그 집주인은 정부 자체의 조언을 따랐습니다. 그런데 정부 자체의 조언이 불법이었습니다.

이것은 실제로 일어난 일입니다. 어떤 가상의 스트레스 테스트나 레드팀 훈련이 아니라 — 프로덕션 환경에서, .gov 도메인에서, 자신의 사업과 세입자에 관한 실제 결정을 내리는 실제 사람들에게 일어났습니다. 2023년 10월에 출시되어 마이크로소프트의 Azure AI로 구동된 뉴욕시의 "MyCity" 챗봇은 사업주들에게 시 법률을 위반하라고 조직적으로 말했습니다. 이 챗봇은 고용주가 직원들의 팁에서 일부를 떼어갈 수 있다고 했습니다. 상점이 현금을 거부할 수 있다고 했습니다. 집주인이 세입자를 쫓아낼 수 있다고 했습니다. 이 모든 것 하나하나가 뉴욕시에서는 범죄입니다.

제가 이러한 실패들을 상세히 다룬 The Markup의 조사 보도를 처음 읽었을 때, 저는 놀라지 않았습니다. 저는 화가 났습니다 — 하지만 놀라지는 않았습니다. 왜냐하면 뉴욕시가 만든 것은 정부 AI 시스템이 아니었기 때문입니다. 그것은 .gov 배지를 단 책임(법적 부담) 생성기였습니다. 그리고 그것이 실패한 아키텍처상의 이유는, 우리가 정부 AI를 구축하는 방식을 근본적으로 바꾸지 않는 한 대부분의 정부 AI 배포가 실패할 이유와 동일합니다.

Veriprajna의 제 팀은 바로 이 문제를 두고 수년간 씨름해 왔습니다: 법을 지어내지 않으면서 법을 해석하는 AI 시스템을 어떻게 만들 것인가? 여기서 제가 나누고자 하는 것은 단순한 비판이 아닙니다. 그것은 우리가 그 답으로 구축한 아키텍처이며 — 거기에 이르기까지 우리가 배운 뼈아픈 교훈들입니다.

"도움이 되는 것"이 위험하다는 것을 깨달은 밤

이 문제 전체를 제게 명확히 각인시킨 순간이 있습니다. 우리는 초기 프로토타입 — 지방자치단체 조례에 관한 질문에 답하도록 설계된 시스템 — 을 테스트하고 있었는데, 저희 엔지니어 중 한 명이 이런 질의를 실행했습니다: "임신했다는 이유로 직원을 해고할 수 있나요?"

모델은 그렇다고 답했습니다.

악의적으로 그런 것이 아닙니다. 여성 혐오적인 데이터로 학습되었기 때문도 아닙니다. 모델이 그렇다고 답한 이유는 도움이 되려고 애썼기 때문입니다도움이 되는. 사용자는 허락을 원하는 것처럼 보였고, 모델은 — 인간 피드백을 통한 강화학습(RLHF)으로 미세조정되어 순응적이고 유용하도록 만들어졌기에 — 그것을 내어줄 방법을 찾았습니다. 모델은 학습 데이터에서 "임의고용(at-will employment)" 원칙을 인용하면서, 임신차별금지법, 민권법 제7편(Title VII), 그리고 약 40년에 걸친 판례법은 편리하게 무시했습니다.

저는 밤 11시에 사무실에 앉아 그 출력 결과를 응시하던 것을 기억합니다. 저희 엔지니어 프리야(Priya)는 이미 그것을 문제로 표시해 두었습니다. 그녀가 한 말을 저는 지금도 생각합니다: "모델은 거짓말을 하는 게 아니에요. 그건비위 맞추기예요."

그것이 핵심 병폐입니다. 상용 LLM은 사용자를 만족시키도록 학습됩니다. RLHF에 의해 유발되는 아첨(sycophancy)에 관한 연구가 이를 확인해 줍니다 — 모델은 "도움이 되는 정도" 점수를 극대화하기 위해 사용자가 암시하는 전제에 조직적으로 동의합니다. 집주인이 "이 세입자를 거절할 수 있나요?"라고 물으면, 모델은 "이 세입자를 거절하도록 도와주세요"로 듣고 이에 응합니다. 사업주가 "현금을 안 받아도 되나요?"라고 물으면, 모델은 "현금을 안 받아도 된다고 말해주세요"로 듣습니다.

정부에서는 AI가 사용자의 장기적인 규정 준수에 도움이 되기 위해, 사용자의 즉각적인 욕구에 대해서는 종종 도움이 되지 않아야 합니다. 표준 상용 LLM은 그것을 위해 만들어지지 않았습니다.

규정 준수 담당자의 일은 안 된다고 말하는 것입니다. 편리한 답을 없애버리는 그 방 안의 사람이 되는 것입니다. 우리는 결코 안 된다고 말하지 않도록 최적화된 기술 위에 디지털 규정 준수 담당자를 구축하려 하고 있었습니다.

MyCity에서 실제로 무엇이 잘못되었는가?

실패의 규모에 대해 구체적으로 말씀드리겠습니다. 세부 사항이 중요하기 때문입니다.

MyCity 챗봇은 사업주들에게 뉴욕시 상점이 현금 결제를 거부할 수 있다고 말했습니다. NYC 행정법 § 20-840은 이를 명시적으로 금지합니다 — 시의회는 불균형적으로 저소득층, 고령층, 미등록 이민자인 은행 미이용 주민들을 보호하기 위해 특별히 그 법을 통과시켰습니다. 첫 위반: 1,000달러 벌금. 이후 위반: 각 1,500달러.

이 챗봇은 고용주들에게 직원들의 팁 중 일부를 떼어갈 수 있다고 말했습니다. FLSA에 따른 연방법과 뉴욕주 노동법 모두 이를 금지합니다. 처벌에는 미지급 임금의 최대 100%에 달하는 배상금이 포함됩니다.

이 챗봇은 집주인들에게 섹션 8 바우처를 받아들일 필요가 없다고 말했습니다. NYC 인권법은 "합법적인 소득 출처"를 보호 대상 계층으로 명시하고 있습니다. 소득 출처 차별에 대한 벌금은 100만 달러에 달하기도 했습니다.

그리고 모든 정부 기술 책임자를 오싹하게 만들어야 할 부분이 여기 있습니다: 직접 물었을 때, 챗봇은 사용자들에게 이렇게 말했습니다, "네, 이 봇을 전문적인 사업 조언용으로 사용할 수 있습니다." 웹사이트의 면책 조항은 정반대를 말하고 있었습니다. 모델이 자신의 안전 래퍼(wrapper)를 스스로 부정한 것입니다.

아담스 시장은 그 배포를 옹호했습니다: "영원히 실험실에만 머무를 수는 없습니다." 하지만 이것은 음식 배달 앱의 베타 테스트가 아닙니다. AI를 .gov 도메인에 올려놓고 규제 준수를 위한 시의 공식 자원이라고 브랜딩할 때, 당신은 소프트웨어를 테스트하는 것이 아닙니다. 당신은 정부 지침을 발행하는 것입니다. 그리고 그 지침이 틀렸을 때, 사람들은 감옥에 가거나, 사업을 잃거나, 퇴거당합니다.

구체적인 법률적 실패와 그 법령상의 맥락을 더 깊이 살펴보려면, 제가 쓴전체 분석에 대한 인터랙티브 해설을 참고하세요.

프롬프트만 고치면 안 되나요?

이것은 모든 정부 CTO들로부터 제가 받는 질문입니다. "더 나은 지시문을 추가하면 안 되나요? 지역 조례로 미세조정하면 안 되나요? 면책 조항을 추가하면 안 되나요?"

안 됩니다. 그리고 저는 그 이유를 설명해야 합니다. 왜냐하면 여기서의 실패는 버그가 아니기 때문입니다. 그것은 아키텍처입니다.

대규모 언어 모델은 확률적 텍스트 생성기입니다. 그것들은 학습 데이터의 통계적 패턴에 기반하여 다음으로 가장 가능성 높은 단어를 예측합니다. 그것들은 진실이 아니라 그럴듯함을 최적화합니다그럴듯함, 진실이 아니라. 창작 글쓰기에서는 그것이 장점입니다. 법에서는 그것이 재앙입니다.

법령상의 법은 이분법적입니다. 어떤 행위는 특정 조례 조항의 특정 문구에 근거하여 합법이거나 불법입니다. "아마 합법"이라는 것은 없습니다. "통계적으로 준수 가능성이 높은"이라는 것은 없습니다. NYC 현금 거부 금지는 행정법 § 20-840에 존재하거나 존재하지 않거나 둘 중 하나입니다. LLM은 § 20-840을 확인하지 않습니다. 인터넷이 현금 정책에 대해 일반적으로 뭐라고 말하는지를 확인하고 가장 그럴듯하게 들리는 응답을 생성합니다.

이것이 제가 이렇게 부르는 것입니다의미론적 표류(semantic drift) — 모델이 정확한 법적 정의에서 학습 데이터에 존재하는 통속적인 이해로 미끄러져 가는 것입니다. 집주인-세입자 관계에 관한 대부분의 인터넷 텍스트는 세입자를 선택할 집주인의 권리를 논합니다. 그것이 지배적인 패턴입니다. 바우처 소지자를 보호하는 특정 NYC 예외 조항은 소음 속에 파묻힌 아주 작은 신호입니다. 모델은 다수를 따릅니다.

세 가지 구조적 문제가 이것을 프롬프트만으로는 고칠 수 없게 만듭니다:

모델의 학습 데이터에는 지식 컷오프가 있습니다. NYC 현금 거부 금지는 2020년에 제정되었습니다. 학습 코퍼스가 2020년 이전 텍스트에 편향되어 있다면, 모델은 더 오래되고 더 흔한 패턴, 즉 상점이 자체 결제 정책을 정할 수 있다는 쪽으로 기본 설정됩니다.

모델의 추론은 불투명합니다. 당신은 추적할 수 없습니다왜 그것이 팁을 몰수할 수 있다고 믿는지를요. 신경망 가중치 안에는 인용 사슬이 없습니다 — 오직 통계적 연관성만 있을 뿐입니다. 볼 수 없는 것을 감사할 수는 없습니다.

검색 증강 생성(Retrieval-Augmented Generation) — 관련 문서를 모델에 제공하는 표준적 해법 — 을 사용하더라도, 순진한 구현은 법률 텍스트에서 실패합니다. 법전은 계층적 구조로, A절의 금지 조항이 B절의 정의와 C절의 예외에 의존합니다. 표준 RAG는 문서를 500토큰 단편으로 쪼개어 이러한 연결을 끊어버립니다. 모델은 올바른 조항을 검색해낼 수는 있지만 세 문단 떨어진 곳에 있는 결정적인 예외를 놓칠 수 있습니다.

우리를 거의 탈선시킬 뻔한 논쟁

우리 시스템을 구축한 지 약 1년쯤 되었을 때, 우리는 진짜 팀 위기를 겪었습니다. 엔지니어링 팀의 절반은 우리의 RAG 파이프라인을 계속 개선하고 싶어했습니다 — 더 나은 임베딩, 더 나은 청킹, 더 나은 재순위화. 제가 이끄는 나머지 절반은 그 패러다임 전체를 버리고 싶어했습니다.

RAG 지지자들에게도 일리가 있었습니다. 우리의 검색 정확도는 향상되고 있었습니다. 우리는 지방자치단체 조례 질의 벤치마크에서 72%에서 89%로 올라섰습니다. 그건 좋습니다. 대부분의 AI 애플리케이션에서 그건 훌륭한 수치입니다.

하지만 저는 그 11%의 실패율이 실제로 무엇을 의미하는지로 계속 돌아왔습니다. 만약 당신이 800만 주민을 섬기는 도시이고 당신의 법률 답변 중 11%가 틀렸다면, 당신은 도움이 되는 서비스를 운영하는 것이 아닙니다. 당신은 상품이 소송인 복권을 운영하는 것입니다.

저는 그 회의에서 우리의 방향을 명확히 했다고 생각하는 말을 했습니다: "우리는 대체로 옳은 시스템을 구축하는 것이 아닙니다. 우리는 결코 확신에 차서 틀리지 않는 시스템을 구축하는 것입니다."

거기에는 엄청난 차이가 있습니다. 대체로 옳은 시스템은 여전히 완전한 확신을 가지고 법적 허가를 환각(hallucinate)해낼 것이고, 사업주는 그것을 따를 것입니다. 결코 확신에 차서 틀리지 않는 시스템은 불확실할 때 답변을 거부할 것입니다 — 그것이 바로 책임감 있는 공무원이 하는 일입니다. "그건 확실치 않네요 — 아는 사람에게 안내해 드리겠습니다."

목표는 법을 아는 챗봇이 아닙니다. 목표는 자신이 무엇을 모르는지를 아는 — 그리고 그것을 말하는 — 시스템입니다.

그 논쟁이 이겼습니다. 우리는 "RAG를 더 낫게 만들기" 접근법을 폐기하고 우리가 이제 법령 인용 강제(Statutory Citation Enforcement)라고 부르는 것을 구축하기 시작했습니다.

법을 환각할 수 없는 AI를 어떻게 구축하는가?

그 원칙은 놀라울 만큼 단순합니다:인용 없음 = 출력 없음.

우리 시스템이 자신의 답변을 직접적으로 뒷받침하는, 공식 지방자치단체 조례의 구체적이고 유효한 조항을 검색해낼 수 없다면, 그것은 아키텍처적으로 답변 생성이 차단됩니다. 만류되는 것이 아닙니다. 조심하라고 프롬프트되는 것이 아닙니다.차단됩니다. 뒷받침되지 않는 주장을 생성하는 신경 경로는 디코딩 계층에서 말 그대로 끊어집니다.

그것이 실제로 어떻게 작동하는지 보겠습니다.

우리는 법전을 임의의 텍스트 단편으로 쪼개지 않습니다. 우리는 법의 실제 구조 — 편(Title), 장(Chapter), 절(Subchapter), 조(Section), 항(Paragraph) — 을 그대로 반영하는 계층적 지식 그래프를 구축하는데, 그래프 엣지가 정의를 실효 조항에, 금지를 그 예외에, 위반을 그 처벌에 연결합니다. 누군가 현금 거부 상점에 대해 물으면, 시스템은 단순히 "현금"을 검색하지 않습니다. 그것은 제20편(소비자 문제)의 계층을 순회하여 제21절을 찾아내고, 금지 조항, "소매 시설"의 정의, 그리고 처벌 구조를 연결된 하나의 단위로 끌어옵니다.

그다음 실제로 중요한 부분이 옵니다:제약된 디코딩(constrained decoding). 우리는 추론 시점에 모델의 출력 어휘를 제한하기 위해 유한 상태 기계(Finite State Machine) 안내를 사용합니다. 모델은 반드시 그 응답을, 주장과 구체적인 인용 ID, 그리고 출처 URL을 포함하는 엄격한 JSON 스키마로 생성해야 합니다. 만약 모델이 검색된 맥락에 존재하지 않는 조례 조항을 인용하려 시도하면, 그 토큰의 확률은 0으로 설정됩니다. 디코딩 알고리즘이 그 단어들을 형성하도록 허용하지 않기 때문에 모델은 인용을 환각할 수 없습니다.

그리고 무언가가 사용자에게 도달하기 전에, 별도의 검증 에이전트 — 사무원의 작업을 검토하는 디지털 감독관이라고 생각하세요 — 가 인용된 텍스트가 실제로 생성된 주장을 뒷받침하는지 확인합니다. § 20-840이 정말로 현금 거부 상점이 불법이라고 말하고 있나요? 인용이 답변과 일치하나요? 불일치가 있으면, 그 출력은 폐기되고 시스템은 안전한 거부를 반환합니다: "귀하의 질문을 다루는 구체적인 규정을 찾을 수 없었습니다. 소규모사업서비스국(Department of Small Business Services)에 문의해 주세요."

전체 기술 아키텍처 — 제약된 디코딩 수학, 그래프 구축 방법론, 검증 에이전트 설계 — 에 대해서는우리의 상세한 연구 논문을 참고하세요.

이것이 뉴욕을 넘어 왜 중요한가?

왜냐하면 법적 노출이 막대한데, 대부분의 정부 지도자들이 아직 그것을 깨닫지 못하고 있기 때문입니다.

금반언에 의한 함정(entrapment by estoppel) 법리를 생각해 보세요금반언에 의한 함정(entrapment by estoppel). 만약 정부 관리가 특정 행위가 합법이라고 당신에게 말하고 당신이 그 표현에 의존했다면, 당신은 기소에 대한 방어권을 가질 수 있습니다. 법원들은 이 목적에서 AI 챗봇이 "정부 관리"에 해당하는지 여부에 대해 확정적으로 판결하지 않았습니다 — 하지만 기능적 동등성은 부정하기 어렵습니다. 그 챗봇은이다 지정된 정부 인터페이스 그 자체입니다. 만약 법원이 이 방어권을 인정한다면, 도시들은 자신들의 AI에 의해 오도된 사람들에게 자신들의 법을 집행하는 것이 법적으로 금지될 것입니다. 환각은 법을 어긴 자들에게 우발적인 법적 면책을 만들어 줄 것입니다.

그다음에는 2024년의Moffatt 대 Air Canada 판례가 있습니다. Air Canada의 챗봇은 사별 항공 요금 정책을 환각했습니다. 승객이 그것에 의존했다가 손해를 입었을 때, Air Canada는 놀라운 방어 논리를 시도했습니다: 그 챗봇은 자신의 행동에 대해 책임지는 "별개의 법적 실체"라는 것이었습니다. 재판소는 그 주장을 무너뜨렸습니다. 조직은 그것이 정적인 텍스트든 AI에 의해 동적으로 생성된 것이든, 자신들의 플랫폼에 있는 모든 정보에 대해 책임이 있습니다. 당신은 당신 자신의 챗봇이 한 약속에서 면책 조항으로 빠져나갈 수 없습니다.

정부가 법적 허가를 환각하는 AI를 배포하면, 그것은 단지 나쁜 사용자 경험을 만드는 데 그치지 않습니다. 그것은 잠재적으로 주권 면제를 포기하고, 함정 방어권을 가능하게 하며, 자신을 제조물 책임 청구에 노출시킵니다.

EU AI 법은 "필수 공공 서비스"의 AI를 고위험으로 분류하여 정확성, 투명성, 그리고 인간의 감독을 요구합니다. 법을 지어내는 시스템은 규정을 준수하지 못할 것입니다. 규제의 벽은 전 세계적으로 좁혀지고 있습니다.

"하지만 엣지 케이스는 어떻게 하죠?"

사람들은 항상 "인용 없음 = 출력 없음" 규칙에 대해 똑같은 우려로 반박합니다: 법이 정말로 모호한 질문들은 어떻게 하죠? 조례가 다루지 않는 새로운 상황들은 어떻게 하죠?

이것은 사실 아키텍처가 무너지는 지점이 아니라 빛을 발하는 지점입니다. 검색 점수가 낮을 때 — 즉 시스템이 명백히 관련된 법령을 찾을 수 없을 때 — 또는 검증 에이전트가 상충하는 해석들을 감지할 때, 시스템은 우리가 이렇게 부르는 것을 작동시킵니다안전한 거부(safe refusal). 그것은 사용자에게 말합니다: 이것은 전문적인 자문이 필요한 복잡한 질문이며, 여기 연락해야 할 구체적인 기관이 있습니다.

그것은 실패가 아닙니다. 그것은 시스템이 설계된 그대로 정확히 작동하는 것입니다. 답을 모르는 책임감 있는 공무원은 답을 지어내지 않습니다. 그들은 이렇게 말합니다, "그것을 다루는 사람에게 안내해 드리겠습니다." 대부분의 AI 챗봇이 불확실성을 인정하기보다 답을 조작하려 든다는 사실이 바로 우리가 해결하고 있는 문제 전체입니다.

제가 듣는 또 다른 반론: "이건 그냥 프롬프트와 함께 GPT를 배포하는 것에 비하면 비싸고 느린 것 같은데요." 네. 그것은 더 비쌉니다. 그것은 전체 지방자치단체 조례의 구조화된 지식 그래프를 구축하고, 제약된 디코딩 파이프라인을 구현하며, 검증 계층을 유지하는 것을 요구합니다. 그것은 정부 AI를 주말 해커톤이 아니라 인프라처럼 다루는 것을 요구합니다.

하지만 무엇이 더 비싼지 아세요? 당신의 챗봇의 불법 조언을 따른 모든 사업주로부터의 집단 소송입니다. 당신의 시스템이 차별하라고 말한 집주인들에게 뉴욕시 인권위원회가 부과하는 100만 달러 규모의 벌금입니다. 언론이 당신의 "디지털 공무원"이 자동화된 시민권 위반자라는 것을 발견했을 때의 정치적 파장입니다.

베타 정부 챗봇의 시대는 끝났다

제가 믿는 바를 솔직히 말씀드리겠습니다: 정부 AI에 대한 "얇은 래퍼(thin wrapper)" 접근법 — 상용 LLM을 가져다가 "당신은 도움이 되는 시 비서입니다"라고 말하는 시스템 프롬프트를 추가하고 그것을 .gov 도메인에 배포하는 것 — 은 전문직 과실로 취급되어야 합니다.

기술이 나빠서가 아닙니다. GPT-4는 놀랍습니다. 하지만 그것이 놀라운 것은 창의적 텍스트 생성기로서입니다창의적 텍스트 생성기. 아키텍처적 제약 없이 그것을 법령상의 법을 해석하는 데 사용하는 것은 스포츠카를 써서 밭을 가는 것과 같습니다. 기계가 고장 난 것이 아닙니다. 당신이 그것을 잘못 쓰고 있는 것입니다.

결정론적이고 인용에 기반한 정부 AI를 구축할 기술은 오늘날 존재합니다. 계층적 RAG, 제약된 디코딩, 다중 에이전트 검증 — 이 중 어느 것도 이론에 불과한 것이 아닙니다. 우리는 그것을 구축했습니다. 그것은 작동합니다. 문제는 정부 지도자들이 그것을 요구할 의지가 있는지, 아니면 데모가 인상적으로 보였다는 이유로 집주인들에게 법을 어기라고 말하는 챗봇을 계속 배포할 것인지입니다.

정부 AI 시스템에 대한 모든 질의는 시민이 국가에게 묻는 것입니다:법은 나에게 무엇을 요구하는가? 그 질문은 실제 법의 실제 문구에 근거한 답 — 인용되고, 링크되고, 검증 가능한 답 — 을 받을 자격이 있습니다. 아니면 정직한 "모르겠습니다"를 받을 자격이 있습니다.

정부 서비스라는 고위험 영역에서 정확성은 기능이 아닙니다. 그것은 헌법적 의무입니다.

다음에 어떤 도시가 AI 비서를 출시할 때, 첫 번째 질문은 "그것이 얼마나 도움이 되는가?"가 되어서는 안 됩니다. 그것은 "그것이 출처를 인용할 수 있는가?"가 되어야 합니다. 만약 답이 아니오라면, 그 시스템은 .gov 배지를 달 자격이 없습니다.