문제점
AI가 생명을 위협하는 증상을 설명하는 환자에게 보낼 답변 초안을 작성했습니다. 환자에게 응급실로 가라고 안내하는 대신, 차분하고 일상적인 답변을 보낸 것입니다. 이 단 한 건의 메시지는 추후 환자에게 직접적인 사망 위험을 초래한 것으로 분류되었습니다.
이는 결코 예외적인 실패 사례가 아닙니다. 2024년 4월 《란셋 디지털 헬스(The Lancet Digital Health)》에 게재된 연구에서 하버드 의과대학, 예일 대학교, 위스콘신 대학교 연구진은 GPT-4의 환자 포털 메시지 초안 작성 능력을 테스트했습니다. 연구진은 모의 전자의무기록 시스템 내에서 AI를 통해 156건의 시뮬레이션 환자 대화를 실행했습니다. 결과는 충격적이었습니다. AI가 생성한 초안의 7.1%가 환자에게 심각한 위해를 가할 위험을 안고 있었으며, 0.6%(시뮬레이션 중 메시지 1건)는 직접적인 사망 위험을 초래했습니다.
하지만 정말로 경각심을 가져야 할 부분은 바로 이것입니다. 현직 1차 진료 의사 20명이 해당 AI 초안들을 검토했습니다. 그러나 의사들은 위험한 오류의 평균 3분의 2를 놓쳤습니다. 20명의 의사 중 의도적으로 오류가 포함된 4건의 메시지를 모두 잡아낸 의사는 단 1명에 불과했습니다. 오류가 있는 초안의 35%에서 45%가 단 한 번의 수정도 거치지 않고 그대로 환자에게 전송되었습니다. 의사들은 AI를 신뢰했습니다. 90%는 이 도구의 성능을 신뢰한다고 답했고, 80%는 정신적 업무 부담이 줄었다고 응답했습니다. AI는 유려한 문장을 구사했고, 공감하는 어조를 띠었으며, 적절한 톤을 유지했습니다. 단지 의학적 내용을 틀렸을 뿐이었고, 의사들은 이를 알아채지 못했습니다.
여러분의 의료 기관이 환자와의 소통 초안을 작성하는 데 AI를 사용하고 있다면, 이것이 바로 현재 여러분이 직면한 리스크 프로필입니다.
이것이 여러분의 비즈니스에 중요한 이유
이로 인한 재무적·법적 위험 노출은 이론적인 것이 아닙니다. 이는 측정 가능하며 계속 증가하고 있습니다.
캘리포니아주 하원 법안 3030(AB 3030)이 2025년 1월 1일부로 시행되었습니다. 이 법안은 모든 의료 시설, 클리닉 및 개인 병원이 임상 정보를 전달할 때 생성형 AI를 사용하는 경우 환자에게 이를 고지하도록 의무화하고 있습니다. 이는 이메일 상단의 서면 면책 조항, 전화 통화 시작과 종료 시의 구두 고지, 화상 및 채팅 상호작용 내내 지속적인 고지를 포함합니다. 이를 준수하지 않을 경우 의료 시설은 벌금 및 면허 관련 행정 조치에 직면하게 되며, 개별 의사는 의사 면허에 대한 징계 처분을 받게 됩니다.
AB 3030에는 면제 조항이 포함되어 있습니다. 면허를 보유한 의료진이 AI의 출력물을 "읽고 검토(reads and reviews)"한 경우 이를 공개할 필요가 없습니다. 하지만 란셋 연구 데이터를 고려해 보십시오.
- AI 생성 초안의 **7.1%**가 심각한 위해 위험 초래
- 검토 의사가 이러한 위험한 초안의 **66.6%**를 놓침
- 오류가 있는 초안의 **35%–45%**가 전혀 수정되지 않은 채 전송됨
- 의사의 **90%**가 AI 도구의 성능을 신뢰한다고 응답
이 면제 조항은 인간의 검토가 실제로 효과가 있다는 전제에 기반합니다. 그러나 증거에 따르면 그렇지 않은 경우가 많습니다. 의사가 실질적인 검토 없이 승인한 AI 작성 메시지로 인해 환자가 피해를 입는다면, 빠르게 진화하고 있는 진료 기준(standard of care) 하에서 의료 과실 소송에 직면하게 됩니다. 법원은 이제 의료진이 AI의 권장 사항을 맹목적으로 수용했는지를 묻고 있습니다. 또한 알고리즘 편향을 실제 환자 피해의 원인으로 인정하고 있습니다. 그리고 의료 과실 보험사는 모델 버전, 추론 단계, 의사의 구체적인 수정 사항을 보여주는 문서화된 감사 로그를 요구할 수 있습니다.
이제 AI 환각(hallucination) 관련 청구를 보장하는 새로운 보험 상품들이 출시되고 있지만, 보상 한도가 낮고 엄격한 감독 문서화 요건이 수반됩니다. 이러한 문서를 제시할 수 없다면 보험 보장을 받지 못할 수 있습니다.
내부에서 실제로 벌어지고 있는 일
오늘날 대부분의 의료 AI 도구는 업계에서 "LLM 래퍼(LLM wrappers)"라고 부르는 형태입니다. 이를 GPT-4나 Google Gemini 같은 범용 AI를 둘러싼 얇은 소프트웨어 껍데기로 생각하면 됩니다. 전자의무기록 시스템이 환자의 메시지를 AI로 전송하면, AI가 초안을 다시 보내주는 구조입니다. 이것이 사실상 시스템의 전부입니다.
이것이 위험한 이유는 다음과 같습니다. 이러한 모델들은 통계적 패턴을 기반으로 문장의 다음 단어를 예측합니다. 의학적 추론을 수행하지 않습니다. 약물 상호작용을 점검하지 않습니다. 환자의 증상이 화요일 아침의 사소한 불편인지, 토요일 밤의 응급 상황인지 평가하지 못합니다. 란셋 연구에 따르면 AI의 가장 치명적인 실패는 환자 상황의 시급성을 평가하지 못하는 데서 비롯되었습니다.
수천 개의 기존 메모에서 문구를 짜깁기해 메모를 작성하는 직원을 상상해 보십시오. 문법은 완벽합니다. 어조는 전문적입니다. 하지만 그 직원은 그 단어들이 실제로 무엇을 의미하는지 전혀 알지 못합니다. 범용 AI가 여러분의 환자 메시지를 처리하는 방식이 바로 이와 같습니다.
이러한 모델들에는 지식 컷오프(knowledge cutoff), 즉 그 이후의 정보는 알지 못하는 고정된 시점이 존재합니다. 누군가가 연결 고리를 구축해 두지 않는 한 환자의 최신 검사 결과나 최신 임상 가이드라인을 참조할 수 없습니다. 영상 데이터, 심전도(ECG) 파형, 유전체 데이터를 처리하지 못하는 경우도 많습니다. 또한 특정 HIPAA 비즈니스 제휴 계약(Business Associate Agreement) 및 데이터 마스킹 프로토콜 없이 범용 AI API를 통해 환자 데이터를 전송하는 것은 심각한 개인정보 보호 위험을 초래합니다. 적대적 프롬프트 인젝션(prompt injection) 공격은 이러한 모델을 속여 민감한 환자 정보를 유출하게 만들 수도 있습니다.
그 결과, AI는 자신감 있는 태도를 보입니다. 의사들은 이를 신뢰합니다. 그리고 환자가 피해를 입을 때까지 아무도 오류를 발견하지 못합니다.
무엇이 효과가 있고 (무엇이 효과가 없는가)
먼저, 이 문제를 해결하지 못하는 세 가지 접근법입니다.
"의사들에게 더 주의를 기울이도록 교육한다." 자동화 편향(Automation bias)은 잘 입증된 심리적 효과입니다. AI가 세련되고 공감 어린 문장을 작성하면 숙련된 임상의조차 경계심을 풀게 됩니다. 란셋 연구는 이를 통계적 유의성(p < 0.001)을 통해 증명했습니다.
"의료 전문 AI 모델을 미세조정(fine-tune)한다." 연구에 따르면 MedGemma와 같은 특화 의료 모델도 일부 환각 테스트에서 28%–61%의 정확도에 그쳤습니다. 도메인 미세조정만으로는 근본적인 추론 능력의 격차를 해결할 수 없습니다.
"면책 조항을 추가하고 넘어간다." AB 3030 준수는 필수적이지만 충분하지는 않습니다. 면책 조항이 환자의 피해를 방지하지는 못합니다. 그저 환자에게 누구를 탓해야 할지 알려줄 뿐입니다.
실제로 효과가 있는 것은 3단계로 구축된 근거 기반 아키텍처입니다.
1단계: 생성하기 전에 검색한다. AI가 단 한 단어를 쓰기 전에도 관련 출처 자료를 가져와야 합니다. 이를 검색 증강 생성(Retrieval-Augmented Generation, RAG)이라고 합니다. 이는 환자의 임상 기록, 최신 치료 가이드라인, 기관 프로토콜과 같이 검증된 문서를 AI에 제공하는 기법입니다. 그러면 AI는 일반적인 학습 데이터가 아니라 검색된 정보에만 기반하여 응답을 생성합니다.
2단계: 지식을 그래프 구조로 구축한다. 의료 지식 그래프(Medical Knowledge Graph)는 임상 개념을 상호 연결된 관계로 매핑합니다. 예를 들어 약물은 금기 사항과 연결되고, 이는 다시 특정 환자 상태와 연결됩니다. MediGRAF와 같은 시스템은 그래프 데이터베이스를 활용하여 일반 질문을 정밀한 쿼리로 변환합니다. 시스템이 통계적 추측이 아닌 검증된 관계를 탐색하기 때문에 사실에 기반한 임상 쿼리에서 100% 재현율(recall)을 달성합니다.
3단계: 모든 주장에 출처를 인용한다. AI 출력물의 모든 진술은 출처 문서로 다시 연결되어야 합니다. 검토 의사는 AI가 맞는지 추측할 필요가 없습니다. 인용된 출처를 대조하여 각 진술을 몇 초 만에 검증할 수 있습니다. 이는 수동적인 검토를 능동적인 검증으로 전환시킵니다.
감사 추적(audit trail)의 이점은 이 접근 방식을 법적으로 방어 가능하게 만듭니다. AI가 생성한 모든 초안에는 어떤 문서가 검색되었는지, 어떤 지식 그래프 경로를 탐색했는지, 각 진술을 뒷받침하는 출처가 무엇인지에 대한 기록이 포함됩니다. 컴플라이언스 팀, 보험사 또는 원고 측 변호사가 특정 메시지가 어떻게 생성되었는지 물을 때 완전한 논리적 추적 경로를 제시할 수 있습니다. 이것이 바로 방어 가능한 프로세스와 법적 책임 사이의 차이점입니다.
여러분의 의료 AI 컴플라이언스 및 안전 프로그램에 있어, 이 아키텍처는 선택 사항이 아닙니다. 이는 새롭게 부상하는 표준 진료 지침(standard of care)입니다. 동일한 원칙이 여러분의 RAG 및 지식 그래프 인프라 와 시스템을 매일 스트레스 테스트해야 하는 레드티밍 및 유효성 검증 테스트 에도 그대로 적용됩니다.
상세한 엔지니어링 사양은 전체 기술 분석 읽기 에서 확인하시거나, 아키텍처에 대한 단계별 안내는 인터랙티브 버전 살펴보기 를 통해 확인하실 수 있습니다.
핵심 요점
- 란셋 연구에 따르면 AI가 작성한 환자 메시지의 7.1%가 심각한 위해 위험을 안고 있었으며, 의사들은 오류의 3분의 2를 놓쳤습니다.
- 캘리포니아주 AB 3030은 이제 AI가 임상 커뮤니케이션을 생성할 때 환자에게 고지하도록 의무화하며, 미준수 시 벌금 및 면허 징계가 부과됩니다.
- AB 3030의 '인간 검토' 면제 조항은 의사가 AI 오류를 잡아낸다는 가정을 전제로 하지만, 데이터는 의사들이 오류를 놓치는 경우가 많음을 보여줍니다.
- 범용 모델을 감싼 단순 AI 래퍼는 의학적 결과가 아닌 단어를 예측하므로 위험한 과신 격차를 초래합니다.
- 검증된 임상 출처를 검색하고 모든 주장을 인용하는 근거 기반 AI 시스템은 조직에 감사 가능하고 법적 방어가 가능한 프로세스를 제공합니다.
결론
증거는 명확합니다. 범용 AI가 환자 메시지 초안을 작성하는 것은 인간의 검토만으로는 해결할 수 없는 측정 가능한 환자 안전 리스크를 발생시킵니다. 여러분의 의료 기관에는 검증된 임상 출처를 검색하고, 구조화된 의료 지식을 통해 추론하며, 모든 주장에 대한 인용 추적 경로를 생성하는 AI가 필요합니다. 여러분의 AI 공급업체에 이렇게 질문하십시오. 귀사의 시스템이 환자 메시지를 생성할 때, 정확히 어떤 임상 문서를 참조했는지 그리고 대안 대신 왜 그 권장 사항을 선택했는지 명확히 보여줄 수 있습니까?