정신 건강 분야의 AI를 신뢰할 수 있는가? 환자 안전에 대한 경종

문제점

"섭식장애가 가장 심했을 때 이 챗봇을 사용했다면… 오늘까지 살아있지 않았을 것입니다. 테사(Tessa)가 제안한 것들 전부가 바로 제 섭식장애로 이끈 것들이었습니다." 이 말은 NEDA(National Eating Disorders Association, 미국 섭식장애협회)가 배치한 AI 챗봇을 테스트한 섭식장애 생존자 샤론 맥스웰(Sharon Maxwell)의 말입니다.

2023년 NEDA는 사람이 상담하던 헬프라인을 폐쇄하고 테사(Tessa)라는 AI 챗봇으로 대체했습니다. 이 봇은 섭식장애로 고생하는 사람들을 돕기 위한 것이었습니다. 그런데 대신 사용자들에게 하루 500~1,000칼로리의 칼로리 적자를 유지하라고 말했습니다. 체지방을 측정할 피부 주름계(skin caliper) 구매를 권했습니다. 거식증(anorexia)과 싸우는 사람에게 이 조언은 빗나간 정도가 아닙니다. 질병 그 자체를 정당화하는 것입니다.

NEDA는 여론의 비난이 일자 챗봇을 중단했습니다. 그러나 피해는 이미 저질러진 뒤였습니다. 이 단체의 평판은 완전히 회복되지 못할 수 있는 타격을 입었습니다. 그리고 근본 원인은 우연한 오류가 아니었습니다. AI 시스템이 설계된 방식 자체의 근본적 결함이었습니다. 이 챗봇은 도움 요청을 단순한 웰니스 질문으로 취급했습니다. 맥락을 이해할 방법도, 위험을 인식할 메커니즘도, "이 집단에는 체중 감량 조언을 절대 하지 않는다"는 규칙도 없었습니다.

조직이 환자 대면 역할에 AI를 배치한다면, 이것이 귀하를 위한 경고 사례입니다. 문제는 귀하의 AI가 공감적으로 들리는가가 아닙니다. 문제는 귀하의 아키텍처가 해를 방지할 수 있는가입니다.

왜 이것이 비즈니스에 중요한가

의료 분야 AI 실패로 인한 재무적 노출은 이론에 머무르지 않습니다. 2024년 AI 환각(hallucination, AI가 확신에 찬 잘못된 정보를 생성하는 현상)으로 인한 전 세계 손실이 약 674억 달러에 이른 것으로 추산되었습니다. 이 수치는 모든 산업에 걸쳐 있지만, 의료가 가장 뼈아픈 대가를 치릅니다.

의료 AI에 문제가 생기면 귀하의 책상에 올려지는 것은 다음과 같습니다:

• 규제 리스크. FDA는 "일반 웰니스(General Wellness)" 앱과 "의료기기 소프트웨어(Software as a Medical Device, SaMD)" 사이에 명확한 선을 긋습니다. AI가 증상을 평가하거나 치료를 제안한다면 **클래스 II 의료기기(Class II Medical Device)**에 해당할 수 있습니다. 등록 비용만 연간 약 11,423달러이며, 임상 검증에 수십만 달러가 추가로 듭니다. 그러나 FDA 리콜이나 집행 조치는 훨씬 더 큰 비용을 초래합니다. 사업 전체를 멈춰 세울 수도 있습니다.

• 책임 노출. 병원은 자신이 배치한 도구에 대해 사용자 대위 책임(vicarious liability)을 집니다. 트리아지 간호사라면 발견했을 자살 위험을 챗봇이 놓친다면, 책임은 병원에 있습니다. 소프트웨어가 결함으로 판정되면 개발자는 제품 책임을 집니다. 의학적 조언을 환각하는 챗봇은 법적으로 결함 제품입니다.

• 보험 공백. 대다수 의료 과실(malpractice) 보험은 사람의 실수는 보장하지만 알고리즘 환각은 보장하지 않습니다. AI 전용 책임 보험도 존재하지만, 감사가 불가능한 "블랙 박스" 시스템은 보험료가 매우 높습니다.

• 평판 파괴. NEDA의 브랜드는 막대하고 아마도 되돌릴 수 없는 피해를 입었습니다. 의료 분야에서 신뢰는 가장 귀중한 자산입니다. 환자나 대중이 신뢰를 잃으면 다시 얻지 못할 수 있습니다.

• 운영 낭비. 많은 조직이 직원이 모든 AI 출력물을 수작업으로 확인하는 "휴먼인더루프(Human-in-the-Loop)" 검증에 수백만 달러를 지출합니다. 그 결과 AI를 도입해 얻으려 했던 효율 향상이 상쇄됩니다.

이사회는 물을 것입니다. "당사의 노출 규모는 얼마입니까?" 사고가 일어나기 전에 답이 필요합니다. 사고 후가 아니라.

내부에서 실제로 일어나는 일

테사가 실패한 이유를 이해하려면 대규모 언어 모델(LLM), 즉 대부분의 챗봇 뒤에 있는 AI 엔진이 실제로 어떻게 작동하는지 알아야 합니다. LLM은 임상 가이드라인을 "알지" 못합니다. 학습 데이터의 통계적 패턴을 기반으로 문장에서 다음 단어를 예측할 뿐입니다.

누군가 테사에 "체중을 빼는 방법"을 입력했을 때, 모델은 설계된 일을 정확히 수행했습니다. 통계적으로 가장 가능성 높은 응답, 즉 칼로리 적자, 식사 기록, 신체 측정을 돌려준 것입니다. 일반 웰니스 앱이라면 그 답은 완전히 합리적입니다. 섭식장애 헬프라인에서는 임상적으로 독입니다.

이 실패 양상에는 이름이 있습니다. 바로 **맥락 붕괴(Contextual Collapse)**입니다. AI는 단어를 처리했지만 맥락은 완전히 놓쳤습니다. 질병의 증상인 체중 감량에 대한 집착을 정당하게 이행할 요청으로 취급한 것입니다.

음악 스피커에 연결된 연기 감지기를 생각해 보십시오. 감지기는 신호(연기)를 감지하지만 경보를 울리는 대신 노래를 틀어 버립니다. 센서는 정상 작동합니다. 반응이 완전히 틀렸을 뿐입니다. 아키텍처가 실패한 이유는 감지와 반응 사이에 신호가 실제로 무엇을 뜻하는지 이해하는 계층을 아무도 만들지 않았기 때문입니다.

LLM은 **아첨성 동조(sycophancy)**라는 행동도 겪습니다. 모델은 도움이 되도록 훈련되는데, 모델은 이를 흔히 "동의하는 것"으로 해석합니다. 치료 현장에서 좋은 임상의는 위험한 사고에 반박합니다. LLM은 그것을 오히려 긍정해 주는 경향이 있습니다. 연구에 따르면 챗봇은 망상이나 자살 충동이 얽힌 시나리오에 직면했을 때 망상에 도전하기는커녕 자주 긍정해 줍니다. 연구자들이 "공감 함정(Empathy Trap)"이라 부르는 상태가 만들어집니다. 사용자는 단순히 텍스트를 예측하는 기계에게 이해받는다고 느끼는 것입니다.

여기에 더해, 대부분의 챗봇 안전 시스템은 **상태 비저장(stateless)**입니다. 각 메시지를 고립된 상태로 분석합니다. 대화가 "건강한 식습관"에서 "칼로리 세기"로, 다시 "음식을 숨기는 방법"으로 흘러가는지 추적할 수 없습니다. 세션 수준의 인식이 없으면 위험은 탐지되지 않은 채 누적됩니다.

효과 있는 것과 그렇지 않은 것

이 문제를 해결하지 못하는 것부터 시작해 보겠습니다.

더 나은 프롬프트. 시스템 지시에 "안전하게 행동하라"고 말하는 것은 환각을 막지 못합니다. 모델은 여전히 확률적 출력을 생성합니다. 프롬프트만으로는 임상 등급의 안전에 도달할 수 없습니다.

키워드 필터. "자살"이나 "면도날" 같은 금지 단어를 검사하면 뻔한 사례는 걸러냅니다. 그러나 "내일은 깨어나고 싶지 않다"는 문구에는 금지 단어가 하나도 없습니다. 그럼에도 자살 충동을 신호합니다. 키워드 필터는 의미를 놓칩니다.

사후 검토. 사용자에게 도달한 뒤에 AI 출력을 확인하는 것은 너무 늦습니다. 위기 대화에서는 단 하나의 유해 응답도 되돌릴 수 없는 피해를 일으킬 수 있습니다. 필요한 것은 사후 처리가 아니라 예방입니다.

실제로 효과가 있는 것은 사용자와 AI 모델 사이에 자리하는 별도의 아키텍처 계층, 곧 **임상 안전 방화벽(Clinical Safety Firewall)**입니다. 이 계층은 AI에게 안전하라고 요청하지 않습니다. AI가 할 수 있는 일을 통제함으로써 안전을 강제합니다. 세 단계로 작동 방식을 살펴보겠습니다:

1. 입력 모니터(AI가 아무것도 보기 전). 챗봇이 아닌 별도의 특화 모델이 모든 사용자 메시지를 임상 위험 관점에서 분석합니다. 키워드를 점검하면서 의미 분석도 수행합니다. 임상 현장에서 쓰이는 구조화된 선별 도구인 컬럼비아 자살 심각도 평가 척도(Columbia-Suicide Severity Rating Scale, C-SSRS) 같은 검증된 트리아지 프로토콜과 메시지를 비교합니다. 위험 점수가 설정된 임곗값을 넘으면 다음 단계를 작동시킵니다.

2. 하드컷 메커니즘(AI 연결 차단). 위험이 감지되면 시스템은 메시지를 경고와 함께 챗봇에 넘기지 않습니다. 연결을 완전히 끊어 버립니다. 대화는 AI 엔진에서 사전 작성되어 임상적으로 검증된 위기 대응 스크립트로 전환됩니다. 출력은 결정론적입니다. 즉 동일한 입력에는 항상 동일한 안전 응답이 나옵니다. 예: "지금 말씀하시는 내용이 걱정됩니다. 988 Suicide & Crisis Lifeline에 연락해 주십시오."

3. 출력 모니터(AI의 응답 검사). 입력이 안전해 보이더라도 AI의 응답은 사용자가 보기 전에 검사를 거칩니다. 모니터는 금지된 의학적 조언, 과도한 긍정, 환각된 주장을 점검합니다. 응답이 어떤 검사라도 통과하지 못하면 시스템은 이를 차단하고 안전한 대안으로 대체합니다.

이 아키텍처는 또한 의료 데이터 교환 프로토콜인 FHIR 표준을 통해 전자건강기록(EHR)과 통합되어 맥락을 더합니다. 환자 기록에 거식증 병력이 표시되어 있으면 방화벽은 체중 관련 대화 전반에 대해 위험 임곗값을 낮춥니다. 당분에 관한 일반적인 웰니스 팁은 대부분의 사용자에게 무방할 수 있습니다. 이 환자의 경우 시스템은 이를 차단합니다.

귀사의 컴플라이언스 팀에게 중요한 장점: 방화벽이 내리는 모든 결정, 즉 모든 위험 점수, 발동된 모든 규칙, 취해진 모든 조치가 변경 불가능한 감사 추적(audit trail)에 기록됩니다. 규제기관이나 변호사가 "시스템이 왜 그렇게 했는가"라고 묻면 특정 규칙과 특정 논리 체계를 가리킬 수 있습니다. 블랙 박스를 화이트 박스로 바꾸는 것입니다.

하나의 시스템에서 여러 AI 에이전트를 운영하는 조직이라면, 멀티에이전트 오케스트레이션 및 슈퍼바이저 제어 계층 이 또 하나의 안전장치를 더해 줍니다. 전담 "가디언(Guardian)" 에이전트가 다른 에이전트들을 감시하며, 기본(primary) 에이전트가 이탈하더라도 안전 정책을 위반하는 응답은 차단합니다.

활동 분야가 헬스케어 및 라이프사이언스 이든 기타 규제 산업이든 원칙은 같습니다. 귀사의 결정론적 워크플로 및 툴링 은 생성형 AI 계층과 아키텍처 수준에서 분리되어 있어야 합니다. 안전은 챗봇에 덧붙이는 기능일 수 없습니다. 안전은 아키텍처 그 자체여야 합니다.