정부 챗봇에게 정확한 법 조항을 줬는데도, 집주인에게 법을 어기라고 답했다

2024년 3월, The Markup의 한 기자가 뉴욕시의 공식 챗봇에게 간단한 질문을 던졌습니다. 집주인이 섹션 8(Section 8) 바우처를 가진 세입자를 거절할 수 있는가?

그 봇 — .gov 도메인에서 운영되고, 2,000개가 넘는 시 웹페이지로 학습되었으며, Microsoft의 Azure AI에서 구동되는 MyCity — 는 그렇다고 답했습니다. 집주인은 그 바우처를 받아들일 필요가 없다고, 친절하게도 설명했습니다.

그 답변은 불법입니다. 뉴욕시 인권법(Human Rights Law)은 2008년부터 소득 출처에 따른 차별을 금지해 왔으며, 벌금은 25만 달러에 이릅니다. 챗봇은 얼버무리지도, 면책 고지를 하지도, "변호사와 상담하세요"라고 말하지도 않았습니다. 자신 있고 유창하며 틀린 답변을 내놓았고, 그것도 뉴욕시의 인장을 단 채로 그렇게 했습니다.

그해 봄 어느 토요일, 저는 실제 뉴욕시 행정법전(NYC Administrative Code)을 다른 탭에 띄워 놓은 채 The Markup의 조사 기사를 읽으며, 봇이 한 말과 법령이 말하는 바를 한 줄 한 줄 대조했습니다. 바로 거기서 법을 지어내는 대신 법을 인용하는 정부 AI라는 아이디어가 저에게 시작되었습니다 — 전략 발표 자료가 아니라, 스크린샷과 법령 사이의 간극에서 말이죠. 봇은 혼란스러워한 것이 아니었습니다. 설계된 그대로 정확히 작동하고 있었습니다. 그리고 그 설계가 바로 문제였습니다.

뉴요커들에게 네 가지 서로 다른 법을 어기라고 말한 챗봇

MyCity가 딱 한 가지만 틀린 게 아니었습니다. The Markup은 도시 생활의 기본 작동 방식 전반에 걸친 하나의 패턴을 기록했습니다.

MyCity는 사업주들에게 직원의 팁 일부를 가져가도 된다고 말했습니다 — 공정근로기준법(Fair Labor Standards Act)과 뉴욕주 노동법(New York Labor Law)상 불법이며, 임금 절도 소송과 배상금으로 끝나는 부류의 일입니다. 상점들에게는 현금을 받지 않고 지폐를 거부해도 된다고 말했는데, 이는 은행 계좌가 없는 주민을 보호하기 위해 뉴욕시 행정법전 § 20-840이 명시적으로 금지하는 행위입니다. 집주인들에게는 세입자를 쫓아내고 문을 잠가도 된다고 말했는데, 이는 30일 이상 거주 후에는 형사 범죄에 해당합니다.

모든 답변이 불법이었습니다. 모든 답변이 시의 공인(imprimatur)을 달고 있었습니다.

시의 대응은 면책 고지를 추가하는 것이었습니다. 하지만 봇은 자기 텍스트 안에서 여전히 그 고지를 쾌활하게 무시하고 있었습니다 — 어느 시점에는 한 사용자에게 "네, 이 봇을 전문적인 사업 자문에 사용하실 수 있습니다"라고 말하기도 했습니다. 신임 시장 Zohran Mamdani는 나중에 이 도구를 "사실상 사용 불가능하다"고 평하며 폐기 절차에 들어갔습니다. 그때까지 이 프로그램은 시에 약 50만 달러의 비용을 들였는데, 120억 달러의 예산 부족액과 견주면 특히 참담해 보이는 항목입니다.

저를 잠 못 이루게 한 대목은 바로 이것입니다. 누구도 법을 어기는 기계를 만들려고 나선 사람은 없었습니다. 유능한 팀이 실제 시 데이터로 합리적인 모델을 학습시켜 출시했습니다. 그 실패는 그들이 선택한 아키텍처에 처음부터 새겨져 있었고, 오늘날 챗봇을 배포하는 거의 모든 정부가 바로 그 똑같은 것을 선택하고 있습니다.

언어 모델은 왜 기본적으로 법을 어기는 쪽으로 흐를까?

대규모 언어 모델이 실제로 무엇을 최적화하는지 이해해야 합니다. 그것은 확률 엔진입니다. 질문을 던지면 통계적으로 가장 그럴듯한 이어짐을 만들어냅니다 — 그럴듯하게 들리는 답변, 즉 그런 종류의 질문 뒤에 대개 따라오는 부류의 답변을 내놓는 것이죠.

이제 그 학습 데이터에 무엇이 들어 있는지 생각해 보십시오. 집주인이 "이 세입자를 거절할 수 있나요?"라고 물을 때, 인터넷 전체를 지배하는 패턴은 일반 계약법입니다. 즉, 부동산 소유주는 누구에게 임대할지 선택할 수 있다는 것이죠. 이는 거의 모든 곳에서 사실입니다. 소득 출처에 따른 차별을 금지하는 뉴욕시의 구체적 조항은 좁은 지역적 예외이며, 넓은 신호에 묻혀 버린 희미한 신호입니다. 모델은 이 특정 블록에 적용되는 법령이 아니라, 자신이 만 번은 본 그 패턴을 향해 손을 뻗습니다.

그다음, 강화 학습이 이를 더 악화시킵니다. 현대 챗봇은 도움이 되도록 조정되어 있는데, 실제로는 이것이 순응적이라는 뜻입니다 — 사용자가 원하는 것처럼 보이는 것을 주는 쪽으로 기울죠. 세입자를 거절하는 방법을 묻는 집주인의 질문은, 모델에게는 "이 세입자를 거절하도록 도와줘"로 읽힙니다. 그래서 돕습니다. 예라고 말합니다.

정부 챗봇은 법이 무엇을 말하는지에 대해 정직하려면, 당신이 원하는 것에 대해 기꺼이 도움이 되지 않을 각오가 되어 있어야 합니다. 그런 본능은 이 모델들이 갖도록 학습된 것과 정확히 정반대입니다.

그것이 바로 함정입니다. 소비자용 챗봇을 즐겁게 만드는 자질들 — 유창함, 순응성, 언제나 답을 내놓는 자신감 — 이 바로 정부 법률 챗봇을 위험하게 만드는 자질들입니다.

왜 RAG는 이 문제를 해결하지 못했을까?

약 일주일 동안 저는 답을 안다고 확신했지만, 문제 전체를 가르쳐 준 방식으로 틀려 있었습니다.

명백한 해결책은 검색 증강 생성(retrieval-augmented generation) — RAG입니다. 모델이 기억에 의존해 답하게 두는 대신, 먼저 실제로 관련된 문서를 검색해서 그것을 맥락으로 모델에 건네는 것이죠. 진짜 법령을 주면 지어내는 것을 멈추리라는 생각입니다. 우리는 이를 증명하려고 파일럿을 만들었습니다.

검색은 아름답게 작동했습니다. 저는 섹션 8 질문을 던지고, 시스템이 소득 출처 관련 조항을 정확히 맥락으로 끌어오는 것을 지켜보곤 했습니다 — 올바른 법이 바로 프롬프트 안에 놓여 있었죠. 그런데도 모델은 그것을 읽고 나서 여전히 "네, 바우처를 거절할 수 있습니다"라고 답하는 것이었습니다. 저는 그 장면을 응시했던 기억이 납니다. 예상보다 더 나빴으니까요. 검색은 작동했습니다. 그런데 추론은 그렇지 않았습니다. 모델은 올바른 법령을 눈앞에 두고도 어쨌든 자신의 학습된 선입견을 택했거나, 조항을 잘못 읽었거나, 검색된 구절들의 잘못된 조합에서 그럴듯한 답을 엮어냈습니다.

그것은 우리가 집어넣은 버그가 아니었습니다. 그것은 문서로 입증된 최신 기술 수준입니다. 스탠퍼드 연구진은 바로 이런 용도를 위해 만들어진 상용 법률 AI 도구들 — 검색 증강 방식에, 전문적으로 설계된 — 을 시험했는데, 그중 가장 뛰어난 도구인 LexisNexis의 Lexis+ AI조차도 여전히 17%의 확률로 환각을 일으켰습니다. Westlaw의 AI 지원 리서치(AI-Assisted Research)는 33%에 달했습니다. 이것들은 변호사에게 월 수백 달러에 판매되는 도구인데, 다섯 중 하나에서 셋 중 하나꼴로 답변이 조작된 것입니다.

검색은 올바른 문서를 방 안으로 가져다 놓습니다. 하지만 모델이 그것을 무시하는 것을 막는 데는 아무 역할도 하지 못합니다.

그래서 저는 처음에 가지고 시작했던 가정을 버려야 했습니다. RAG는 아키텍처가 아닙니다. RAG는 하나의 구성 요소이며, 그 자체만으로는 실패를 "모델이 법을 모른다"에서 "모델이 법을 알면서도 그것과 모순되는 말을 한다"로 옮겨 놓을 뿐입니다 — 정부 도메인에서는 이것이 오히려 더 위험한 실패라고 할 수 있는데, 이제는 틀린 답 바로 옆에 인용이 붙어 그것을 권위 있어 보이게 만들기 때문입니다.

아무도 깨알 같은 약관을 읽지 않는 그 책임

17%의 확률로 틀리는 소비자용 챗봇은 사람들을 짜증나게 합니다. 정부용 챗봇은 답변 하나하나마다 법적 위험을 축적합니다.

여기서 엄청나게 중요한, 대부분의 기술자가 들어 본 적 없는 법리가 하나 있습니다. 정부는 일반적으로 "재량적(discretionary)" 기능 — 통치의 판단 행위 — 에 대한 소송으로부터 보호받습니다. 하지만 정부가 시민에게 구체적이고 실행 가능한 조언을 제공할 때, 법원은 이를 사적(proprietary) 기능으로 취급하며, 이는 민간 컨설턴트가 수행하는 것과 동일합니다. 사적 기능에는 주권 면책이 적용되지 않습니다. 그래서 MyCity가 사업주에게 직원의 팁을 챙겨도 된다고 말했을 때, 그 도시는 법적 효과상 면허 없는 자문가로서 배임 수준의 잘못된 조언을 한 셈이었습니다 — 실제 정부 결정이었다면 누렸을 면책 없이 말이죠.

그리고 법은 이를 명시적으로 만들기 위해 빠르게 움직이고 있습니다. 2026년 2월 26일 상원 본회의에 상정된 뉴욕주 상원 법안 S7263은 챗봇이 실질적인 전문적 조언을 제공하는 것을 금지하고 사적 소권(private right of action)을 신설하려 합니다 — 즉, 챗봇의 조언으로 피해를 입은 시민이 실제 손해액과 변호사 비용을 청구해 소송을 제기할 수 있다는 뜻입니다. 전국적으로, 입법 추적 기관들은 27개 주에서 78건의 챗봇 안전 법안을 집계했습니다 — 2026년으로 접어드는 시점에 말이죠. 유럽에서 주민을 대상으로 서비스하는 모든 정부의 경우, EU AI Act는 시민을 대면하는 공공 서비스 AI를 고위험으로 분류하며, 그 벌금은 1,500만 유로 또는 전 세계 매출의 3%에 이릅니다. 이 의무는 2026년 8월에 발효됩니다.

초기에 한 자문가가 저에게 그냥 GPT를 파인튜닝해서 정부 파일럿용으로 출시하라고 말했을 때, 우리가 나눈 대화가 바로 이것입니다. "대체로 맞음"은 영화 추천 엔진에는 괜찮은 기준입니다. 하지만 .gov 도메인에서, 이런 규제 환경에서, 여섯 번에 한 번꼴로 자신 있게 틀리는 시스템은 개선해 나갈 제품 기능이 아닙니다. 그것은 원고를 기다리는 사적 소권입니다.

모두가 과소평가하는 대목: 법전 자체가 엉망이다

모델에 관한 어떤 질문이 문제가 되기도 전에, 데모에서는 드러나지 않으면서 실제 배포를 조용히 침몰시키는 문제가 하나 있습니다. 법은 데이터베이스 안에 있지 않다는 것입니다.

저는 실제 지방자치 법전을 처음으로 마주하고 앉았을 때 이것을 뼈저리게 깨달았습니다 — 여백에 손으로 장 개정 번호를 매긴 PDF였는데, 시 조례의 공식 판본이란 한 서기가 수십 년 동안 편집해 온 문서이기 때문입니다. 지방자치 법전은 전국적으로 수십 가지 호환되지 않는 형식으로 존재합니다 — PDF, 구식 HTML, 독점 출판 시스템 — 그리고 단일 도시 안에서도 서로 조율하지 않는 부서들에 의해 비동기적으로 관리됩니다. 용도지역(zoning) 갱신은 한 일정으로, 보건 법규는 또 다른 일정으로 이뤄집니다. "단일 진실 공급원(single source of truth)"이란 허구입니다.

먼저 기계가 신뢰할 수 있게 추론할 수 있는 무언가로 재구성해 놓지 않은 법률 코퍼스 위에는 신뢰할 만한 정부 AI를 구축할 수 없습니다. "법전을 수집한다"는 것은, 모델이 토큰 하나를 보기도 전에 그 4분의 1이 데이터 고고학입니다.

이것이 또한 기존 시장이 들어맞지 않는 이유입니다. Microsoft Azure Government, AWS GovCloud, Google의 공공 부문 클라우드는 인가된 인프라와 범용 모델을 제공합니다 — 그런데 MyCity를 구동한 것이 바로 Azure였습니다. 환각 문제는 플랫폼 계층 위에 자리하며, 클라우드는 그것을 건드리지 못합니다. 강력한 법률 AI 도구인 Thomson Reuters의 CoCounsel과 Lexis+ AI는 로펌 가격으로 변호사를 위해 만들어진 것이지, 밤 11시에 질문하는 주민을 위한 것이 아닙니다. 대형 통합업체들 — 생성형 AI에 수십억 달러를 투입한 Deloitte, 그리고 AI 수주가 수십억 달러에 이르는 Accenture Federal — 은 그런 벤더 플랫폼을 구현할 뿐, 맞춤형 제약 디코딩(constrained-decoding) 아키텍처를 구축하지는 않습니다. 그리고 유망한 지방자치 법전 AI 스타트업들은 딱 그 말 그대로입니다. 유망하지만, 대규모로 검증되지 않았고, 정부 조달 실적도 없습니다. 그 중간에 공백이 있고, 그 공백이 바로 시민들이 다치는 곳입니다.

마침내 통한 것: 시스템이 말할 권리를 스스로 얻게 하라

모든 것을 바꿔 놓은 발상의 전환은, 시스템의 기본 상태를 침묵으로 정한 것이었습니다 — 답변이 아니라 말이죠.

모델에게 더 정확해지라고 요구하는 대신, 우리는 어떤 법적 주장이 검색된 특정 법령 조항에 결부되지 않는 한 그 주장을 물리적으로 내보낼 수 없도록 시스템을 만들었습니다. 생성 단계가 제약되어 있습니다. 시스템이 법이 무엇을 허용하는지에 관한 문장을 만들어낼 때, 그 문장은 그것이 나온 정확한 법전 조항으로 추적 가능한 인용을 반드시 담아야 하며, 생성 이후 원문과 대조해 검증됩니다. 모델이 "당신은 바우처를 거절해도 됩니다"라고 말하고 싶은데 그것을 뒷받침하는 조항이 없다면 — 혹은 더 나쁘게, 그것과 모순되는 조항이 있다면 — 그 주장은 통과되지 못합니다. 시스템은 그 질문에 답할 수 없다고 말하고, 그 사람을 사람에게 안내합니다.

그것이 바로 저희가 Veriprajna에서 구축한 것의 전체 철학이며, 전체 아키텍처는 여기서 확인하실 수 있습니다: veriprajna.com/solutions/government-municipal-ai. 모든 응답은 특정 법령으로 추적되거나, 아니면 시스템이 침묵을 지킵니다. 저희는 모든 것에 답하고 이따금 도시를 25만 달러짜리 차별 벌금에 옭아매느니, 더 적은 질문에 답하더라도 법을 어길 수 없는 편을 택하겠습니다.

작업 순서가 중요합니다. 먼저, 엉망인 지방자치 코퍼스를 어떤 조항이 어떤 조항에 우선하는지 아는 구조화된 계층적 지식 베이스로 재구성합니다 — 이는 결코 사소하지 않은 문제인데, 바로 그 조항들이 서로 조율되지 않은 부서별 일정에 따라 개정되기 때문에 우선순위 그래프 자체가 계속 표류하기 때문입니다. 그다음 그것을 대상으로 검색합니다. 그다음 — 그리고 이것이 모두가 건너뛰는 단계인데 — 출력이 검색된 것에 기계적으로 매이도록 생성을 제약하며, 성립하지 않는 주장은 어떤 것이든 거부하는 검증 단계를 둡니다. 그다음 감사 추적을 유지합니다. 그래서 규제 당국이나 원고 측 변호사가 시스템이 왜 그런 말을 했는지 물을 때, 모델 가중치에 대한 어깨 으쓱임이 아니라 법령을 가리키는 기록이 있게 됩니다.

유용한 부수 효과가 있습니다. 모든 답변에 대해 인용을 제시할 수 있는 시스템은 실제로 방어할 수 있는 시스템입니다. 감사 추적은 규정 준수 연극이 아닙니다. 그것은 "AI가 그렇게 말했다"와 "여기 그 답변이 나온 § 조항이 있다"의 차이입니다.

"하지만 그러면 유용성이 떨어지지 않나요?"

사람들은 저에게 이 질문을 끊임없이 하는데, 옳은 질문입니다. 그렇습니다 — 인용을 강제하는 시스템은 MyCity보다 더 적은 질문에 답합니다. 수다스러운 봇이라면 기꺼이 뭔가를 지어냈을 자리에서, 이 시스템은 때때로 "그것에 대해서는 조언해 드릴 수 없습니다"라고 말할 것입니다. MyCity의 그 추가 답변 하나하나가 서비스가 아니라 책임이었다는 것을 기억하기 전까지는, 그것이 격하처럼 느껴집니다.

제가 듣는 또 다른 이야기는 조달 시계에 관한 것인데, 이는 이 분야 전체에서 가장 과소평가된 위험입니다. 정부 AI는 모델 품질로 흥하거나 망하지 않습니다. 인가를 통과하느냐로 흥하거나 망합니다. FedRAMP와 StateRAMP의 운영 인가(ATO) 절차는 12개월에서 18개월이 걸리며, 대부분의 AI 스타트업은 배포에 이를 만큼 오래 ATO 서류 뭉치를 버텨내지 못합니다. 정부를 위해 구축한다는 것은 첫날부터 그 현실을 염두에 두고 설계한다는 뜻입니다 — 접근 통제, 데이터 분리 보장, 감사 인프라를 파일럿 이후에 덧붙이는 것이 아니라 말이죠. 데모에서는 뛰어나지만 인가를 통과하지 못하는 모델은 단 한 명의 시민에게도 결코 서비스하지 못합니다.

그리고 연방 정부가 주(州)별로 제각각인 AI 법들을 선점(preempt)할 수도 있다는 신호를 보낸 마당에 이것이 과연 그럴 가치가 있는가 하는 문제가 있습니다. 어쩌면 그렇게 할지도 모릅니다. 하지만 도시는 미래의 행정명령이 무엇을 할지에 주민의 팁 소득과 주거권을 걸고 도박할 수는 없습니다. MyCity가 준 조언은 AI 규제와는 아무 상관이 없는 법들 — 노동법, 주거법, ChatGPT보다 수십 년 앞선 소비자 보호법 — 아래에서 불법이었습니다. 어떤 선점도 그것을 바로잡지 못합니다.

제가 자꾸 되돌아가게 되는 것은 The Markup의 그 스크린샷입니다. 챗봇의 자신 있는 "네" 옆에, 아니라고 말하는 법령. 답을 모르는 인간 서기라면 "확인해 보겠습니다" 혹은 "변호사에게 물어보셔야 합니다"라고 말했을 것입니다. 우리는 결코 그런 말을 하지 않는 기계를 만들어 정부 웹사이트에 올려놓고는, 그것들이 사람들을 소송으로 몰아넣자 놀란 척했습니다.

주민이 법이 무엇을 허용하는지 물을 때 정부의 임무는, 옳게 답하거나 아니면 모른다는 것을 솔직히 인정하는 것입니다. 그 두 가지만이 유일하게 용인되는 출력입니다. 유창하고 권위 있는 세 번째 선택지 — 자신 있게 틀린 답 — 를 내놓는 시스템은 도시의 인장을 달 자격이 없습니다. 해결책은 결코 더 그럴듯하게 들리는 모델이 아니었습니다. 그것은 언제 입을 다물어야 할지를 아는 모델을 만드는 것이었죠 — 그리고 그것이 바로 저희가 정부 및 지방자치 AI를 위해 구축한 것의 전제 전부입니다.