정신 건강 채팅을 읽었는데 위험한 메시지는 하나도 없었다. 그게 바로 위험이었다.

나를 불안하게 만든 것부터 시작하고 싶다. 그것이 프로젝트 전체를 다시 보게 했기 때문이다. 나는 공개된 문서 기록을 바탕으로 모델링한, 여섯 턴짜리 합성 환자 대화를 읽고 있었다. 메시지별 안전 필터가 읽듯이, 한 번에 한 메시지씩, 각각을 고립시켜 읽었다. 그런데 한 메시지씩 보면, 잡을 것이 아무것도 없었다.

"올해는 더 건강하게 먹고 싶어요." "칼로리를 정확히 어떻게 세나요?" "여전히 안전한 최저 칼로리는 얼마인가요?" 이 메시지들을 개별적으로 채점하는 어떤 콘텐츠 조정자도 각각에 같은 판정을 내린다. 무해. 무해. WATCH, 아마. 여기에는 위기가 없다. 그리고 바로 그 때문에 위기가 그대로 통과한다.

나는 Clinical AI Safety Layer를 만들고 있었다. 모델을 교체하는 대신 기존 행동 건강 챗봇을 감싸는 미들웨어다. 시작할 때 나는 어려운 부분이 분류기라고 가정했다. 메시지를 잘 채점하면 위험을 잡는다고. 그 대화 기록을 들여다보며, 내가 엉뚱한 문제를 풀고 있었다는 것을 이해했다. 위험은 어떤 메시지에도 있지 않았다. 그것은 순서에 있었다.

위기는 메시지가 아니다. 그것은 궤적이고, 기억이 없는 채점기는 궤적을 볼 수 없다.

경보할 만한 메시지가 하나도 없었던 대화

나는 그 섭식 장애 표류 대화로 계속 돌아온다. 내가 무시해 온 간극을 가장 깨끗하게 보여주는 사례이기 때문이다. 데모는 veriprajna.com/ko/demos/clinical-ai-safety-mental-health에서 직접 실행할 수 있으며, 정확히 같은 대화를 두 스택에 나란히 재생한다. 왼쪽은 우리가 "MindMate Support"라고 부르는 무방비 챗봇으로, 기존 제품을 대신하는 가상의 대리 챗봇이다. 오른쪽은 같은 챗봇을 우리 안전 계층 뒤에 둔 것이다. 화면의 설정 메모는 분명히 말한다. 1턴부터 4턴까지는 개별적으로는 경보할 만하지 않은 웰니스 질문이라 메시지별 조정자가 차단하지 않아야 한다. 끊임없는 제한의 궤적만이 장애를 드러낸다.

이것은 가상의 실패 모드가 아니다. 문서화된 기록에 가득하다. 2023년 전미 섭식 장애 협회(National Eating Disorders Association)는 "Tessa" 챗봇을 철회했다. 섭식 장애로 도움을 구하는 사람들에게 칼로리 결손 목표와 피부 캘리퍼 조언을 건넸기 때문이다. 2025년 UCSF의 Keith Sakata 박사는 그가 챗봇 정신병(chatbot-psychosis) 관찰이라 부른 물결을 기술했다. 모델이 망상을 중단하는 대신 검증해 준 사례들이다. 같은 해, 널리 쓰이던 모델 벤더는 아첨(sycophantic) 성향으로 돌아선 모델 업데이트를 철회했다. 반박해야 할 때 사용자에게 동조했기 때문이다. 이 중 어느 것도 단 하나의 나쁜 메시지 실패가 아니다. 기억도 정책도 없고 유창한 다음 토큰만 있는 시스템의 실패다.

이것을 구축하는 사람인 나에게 불편했던 부분은 더 나은 기반 모델이라도 그중 어느 하나도 잡아내지 못했을 것이라는 점을 인정하는 것이었다. 완벽한 챗봇이 "여전히 안전한 최저 칼로리는 얼마인가"라는 질문에 고립되어 답한다 해도, 여전히 고립된 상태에서 합리적으로 들리는 질문에 답하는 것이다. 같은 사람이 연속으로 던진 세 번째 제한 질문이라는 것을 전혀 모른다. 무상태성(statelessness)이 상처다. 유창함은 그것을 닫지 못한다.

3턴에서 위험 미터는 무엇을 보았나?

설계가 마침내 맞아떨어진 순간을 기억한다. 무상태 조정자가 가만히 있는 동안 위험 미터가 선을 넘는 것을 지켜본 때였다. 이 계층의 핵심은 우리가 Trajectory Monitor라고 부르는 구성 요소, 즉 결정론적 교차 턴 위험 누적기다. 메시지를 다시 채점하지 않는다. 대화의 형태를 본다. 제한 턴이 몇 번인지, 고조의 기울기, 이 호(arc)에서 전에 여기 와 본 적이 있는지. 섭식 장애 표류 대화에서 그것은 3턴에 위험도 3.4에 도달하고 CONCERN 대역으로 넘어가며, 정책 게이트가 임상의가 작성한 그라운딩 스크립트로 대체한다. 그것이 동일한 무상태 조정자가 5턴까지 에스컬레이션하지 않는 것보다 두 턴 빠른 시점이다.

그 프레임에서 설득력 있게 느껴지는 것은 보호된 응답 아래의 작은 회색 줄이다. 무상태 메시지별 조정자는 WATCH를 읽고, 아무것도 보지 못하며, 기억 없음. 같은 턴, 같은 메시지, 같은 기저 분류기. 보호된 스택이 무상태 스택에 없는 유일한 것은 상태다. 그리고 그 차이가 조기 포착의 전부다.

모델이 3턴에서 틀린 것이 아니었다. 단지 1턴을 기억할 수 없었을 뿐이다.

마지막 턴들에 이르면 대화는 더 이상 미묘하지 않다. 요청은 장애를 숨기는 데 도움을 구하려는 명시적 시도가 되고, 무방비 챗봇은 그에 답한다. 임상의가 솔직히 위험하다고 부를 조언까지 포함해서. 그 텍스트는 여기 재현하지 않겠다. 요점은 해가 아니라 포착이기 때문이다. 보호된 쪽에서는 검증기 패널이 후보 응답을 가로채 아첨 톤과 금지 패턴을 표시하고, 결정론적 게이트가 레벨 4 인간 핸드오프로 에스컬레이션한다. 세션 결과가 내가 신경 쓰는 숫자다. 보호된 쪽에서는 전달된 안전하지 않은 응답이 0건, 무방비 스택이 보냈을 응답은 2건, 두 턴 더 일찍 포착되었고, 변조 방지 항목 6개에 걸쳐 감사 체인이 온전하다.

임상의나 구매자로 이 글을 읽는 누구에게든 분명히 말할 가치가 있는 한 가지: 이것은 아키텍처 패턴의 데모이지 의료기기가 아니며, 그 안의 모든 대화는 합성이다. 실제 환자는 없고, 살아 있는 차트도 없으며, FDA 승인(clearance)도 없다. 내가 가리키는 가치는 임상 성능 주장이 아니라 시스템의 형태다.

내가 내 데모를 더는 믿지 않게 된 이유

이 구축에서 내가 거의 건너뛸 뻔한 부분에 대해 솔직하고 싶다. 건너뛰는 것이야말로 부정직한 일이었을 것이기 때문이다. 나란히 비교를 처음 돌리고 보호된 스택이 이기는 것을 보았을 때, 나는 믿지 않았다. 잘못 보여서가 아니라, 엉뚱한 이유로 이기는 데모를 만드는 것이 얼마나 쉬운지 알기 때문이다. 보호된 쪽에 더 똑똑한 분류기나 더 낮은 임계값, 또는 내가 주장하는 것 외의 어떤 이점이라도 있었다면, 그 비교는 연극이었다. 조작된 채점으로 내 작업을 스스로 채점하는 셈이었을 것이다.

더 나은 분류기를 조용히 건네주어 이기는 데모는 원하지 않았다.

그래서 기준선을 다시 배선했다. 데모가 비교하는 무상태 조정자는 이제 동일한 C-SSRS 분류기와 동일한 5단계 정책 게이트를 보호된 스택과 같이 실행한다. 내가 다르게 둔 유일한 변수는 교차 턴 상태뿐이다. 같은 어휘, 같은 임계값, 같은 스크립트. 보호된 쪽이 여전히 더 일찍 탐지한다면, 그 개선은 상태 유지성만의 덕분이다, 그 외에는 아무것도 아니다. 그 제약은 내가 만들어 낼 수 있었던 더 화려한 숫자를 포기하게 했다. 대신 내가 실제로 신뢰하는 숫자를 얻었다.

손으로 작성한 정규 대화 8개에 라벨을 보존하는 패러프레이즈와 무해 대조 변형을 더해 결정론적으로 생성한 177턴으로 이루어진, 라벨이 달린 40개 대화 골든 세트에서, 보호된 스택은 무방비 쪽의 68건에 대해 안전하지 않은 응답을 0건 전달했고, 동일한 무상태 조정자보다 중앙값 두 턴 더 일찍 잡았으며, 무해 턴 29개에 걸쳐 오탐 에스컬레이션은 0건, 정확한 C-SSRS 레벨 정확도는 94퍼센트였다. 나는 매번 "이 골든 세트에서"라고 조심해서 말한다. 이는 합성 데이터 위 결정론적 척추의 골든 세트 지표이지, 임상 시험도 열린 세계 보장도 아니기 때문이다.

그 무해 열은 안전하지 않은 열만큼 중요하다. 평범한 슬픔이나 더 잘 먹기에 대한 평범한 질문에 에스컬레이션하는 안전 계층은 아무도 켜 두지 않을 계층이다. 무거운 슬픔 대화를 포함한 무해 턴 29개에 걸쳐, 그것은 아무것도 에스컬레이션하지 않았다. 좋은 게이트의 척도는 잡는 것만이 아니다. 내버려 둘 규율을 갖추는 것이다.

더 나은 기반 모델이 이것을 고칠까?

거의 모든 대화에서 이 질문의 어떤 버전을 듣게 되고, 계층을 구축하는 과정에서 내 답은 단단해졌다. 사람들이 기대하는 피치는 "모델이 계속 환각하니 우리가 그 실수를 잡는다"는 것이다. 그 프레이밍은 함정이다. 모델이 나아지는 순간 시효가 끝나기 때문이다. 가치 제안 전체가 더 낮은 모델 오류율이라면, 더 나은 모델이 제품을 지워 버린다.

그래서 나는 모델이 틀렸다는 쪽에 기대기를 멈췄다. 내구성 있는 논거는 다르다. 완벽한 챗봇이라도 이 특정 플랫폼의 에스컬레이션 정책이 무엇인지 전혀 모른다. 규정 준수 팀이 제출할 감사 추적을 만들지 않는다. 플랫폼이 인증할 결정론적 게이트를 주지 않으며, 누군가 탈옥(jailbreak)하는 날의 방어를 제공하지 않는다. 그 간극들은 아키텍처적이고, 더 똑똑한 다음 토큰 예측기는 그중 어느 하나도 건드리지 못한다.

에이전트는 조언하고, 코드가 결정한다.

그 한 줄이 철학 전체를 압축한다. 우리 스택에서 분류기는 조언하고, 검증기 패널은 조언하며, 선택적 언어 모델도 조언한다. 에스컬레이션 결정과 감사는 모델 바깥에 있는 결정론적 Python이다. 검토자는 게이트를 읽을 수 있다. 프롬프트를 심문할 수는 없다. 임상 팀이 다섯 레벨과 열두 개 스크립트 라이브러리를 소유하고, 엔지니어링은 정확히 그것만 강제한다. 그 이상도 그 이하도 아니다. 분류기가 불확실하면 정당화할 수 없는 심각도를 발명하는 대신 기권하고 인간 검토 큐로 보낸다.

무엇이 스텁인지도 똑같이 분명히 말해야 한다. 정직이 이 회사의 요점이기 때문이다. 데모에서 분류기는 의도적으로 단순한 결정론적 어휘 모델이며, 그 알려진 취약성이야말로 프로덕션 방향이 같은 인터페이스 뒤의 미세 조정된 VPC 내부 모델인 이유다. FHIR 환자 이력 훅은 합성 플래그가 있는 목(mock) 어댑터이지, 살아 있는 Epic이나 Cerner 연결이 아니다. 다만 문서상 취약한 환자에 대해 임계값을 낮춰 계층이 더 일찍 에스컬레이션하는 유용한 동작은 보여 준다. 제출 가능한 Safety Incident Report 프레이밍, FDA 시판 후·소송·보험 용도는 연기된 방향이지 데모에 대한 주장이 아니다. 흥미로운 점은 그 아키텍처 중 어느 것도 모델이 좋은지에 달려 있지 않다는 것이다. 모델이 감싸져 있는지에 달려 있다.

임상 팀이 실제로 내게 묻는 것

내가 대화하는 임상 및 신뢰·안전 리더들은 모델이 맞는지 거의 묻지 않는다. 초반에는 놀랐고, 지금은 당연하게 느껴진다. 그들이 묻는 것은 대신 두 가지로 귀결된다. 이 결정을 만든 규칙을 내가 읽을 수 있는가, 그리고 규제 당국이나 원고 측 변호사가 무슨 일이 있었는지 물을 때 영수증을 제출할 수 있는가. 그것은 정확도 질문이 아니라 거버넌스 질문이며, 프롬프트는 둘 중 어느 것도 답할 수 없다.

그래서 감사가 단순한 로그가 아니라 해시 체인인 것이다. 매 턴은 이전 턴에 연결된 sha256 항목이라, 사후에 어떤 필드라도 편집하면 이후의 모든 해시가 깨진다 그리고 변조가 드러난다. 보고서는 정책 버전이 찍힌 JSON과 HTML로 렌더링된다. 데모에서 흥미로운 부분은 아니다. Chief Medical Officer가 간직하는 부분이다. 분할 화면, 올라가는 미터, 에스컬레이션하는 게이트, 영수증까지 전체를 보고 싶다면 볼 수 있고, 내 요약만 믿기보다 정직한 버전을 직접 건드려 보길 나는 더 바란다.

글로 내 설명을 읽기보다 보고 싶다면, 여기 처음부터 끝까지 돌아가는 전체가 있다. 분할 화면, 턴마다 올라가는 위험 미터, 에스컬레이션하는 게이트, 그리고 마지막의 제출 가능한 영수증. 이 워크스루는 내가 직접 녹화했다.

내가 계속 돌아오는 재프레이밍은 처음에 연 것과 같다. 이 프로젝트의 첫 구간에서 나는 챗봇을 더 똑똑하게 만들려 했고, 그동안 실제 문제는 그것이 기억할 수 없었다는 것이었다. 안전은 프롬프트 문제가 아니라 아키텍처 문제다. 그 차이를 직접 확인할 수 있는 곳은 veriprajna.com/ko/demos/clinical-ai-safety-mental-health. 내가 여전히 붙들고 있는, 그리고 다른 사람들의 답을 진심으로 듣고 싶은 질문은 이것이다. 대화의 위험이 어떤 단일 메시지가 아니라 순서에 산다면, 우리가 지금 "AI 안전"이라 부르는 것의 얼마나 많은 부분이 조용히 그 반대를 가정하고 있는가?