정확한 문장조차 보류하는 임상 AI 검증 체계를 구축한 이유
합성 환자 포털 초안에서 메트포르민 투약을 계속하라는 조언 옆에 6.8%라는 정확한 HbA1c 수치가 적혀 있는 것을 발견했습니다. 동일한 합성 환자 기록에는 28이라는 eGFR 수치가 나타나 있습니다. 이 두 사실을 종합해 보았을 때, 문제는 AI가 검사 결과를 인용할 수 있는지 여부가 아니었습니다. 올바른 문장 하나가 임상의의 검토가 필요한 의료 조치에 부당한 신뢰성을 부여할 수 있는지가 핵심 질문이 되었습니다.
나는 ChartSieve의 단계별 워크스루를 그 긴장 관계를 중심으로 구축했습니다. 이는 고정된 합성 진료기록과 모의 AI 출력을 기반으로 한 시연이며, 실제 임상 배포가 아닙니다. 초안이 도착하고, 주장의 근거가 확인되며, 권장 조치가 기록과 대조되고, 결정론적 정책 게이트가 초안을 승인할지, 보류할지, 차단할지 결정하는 명확한 검사 경로를 보여줍니다. 환자에게 메시지를 전송하지는 않습니다.
내 첫 번째 질문을 통과한 문장
환자 포털 초안을 주장 단위로 추적합니다. HbA1c 6.8%는 합성 기록과 일치합니다. 메트포르민은 투약 목록에 존재합니다. 각 사실 옆에 출처를 달 수 있으며, 이 두 가지 일치만으로는 초안을 중단할 이유가 전혀 없습니다. 그러나 마지막 지침은 환자에게 약물 복용을 계속하라고 지시합니다. 나는 그 동사에서 멈추어 섰습니다. 약물의 처방 내역이 존재한다는 출처가 투약 지속 권고를 승인할 수는 없습니다.
근거가 확보된 구절에서 가장 최근의 신장 기능 수치인 eGFR 28로 시선을 돌립니다. 여기서 사전에 정의된 CONTRAINDICATION_RENAL 규칙이 작동하여 임상의 검토를 위해 초안을 보류합니다. 그것이 바로 내가 ChartSieve에서 도입한 설계상의 전환점이었습니다: 근거가 확보된 주장과 분리하여 권장 조치를 별도로 검증하고, 두 결과를 모두 화면에 표시된 상태로 유지하는 것입니다. 보류 결정을 설명하기 쉽게 만들려고 HbA1c 수치를 거짓으로 재분류하지 않습니다. 검사 수치 주장은 화면에서 올바른 상태를 유지하며 권장 사항은 별도의 판정을 받습니다.
또한 1.4에서 1.9, 그리고 2.3 mg/dL로 이어지는 크레아티닌 변화 추이도 계속 표시해 둡니다. 이는 신장 기능 소견에 맥락을 더하지만, 처분을 유발하는 독립적인 트리거는 아닙니다. 극적인 수치 변화 추세가 실제 규칙을 대신하도록 방치하기 쉽기 때문에 나는 그 구분에 각별히 주의를 기울입니다. 최신 eGFR 수치가 규칙 판정을 주도한다는 점이 이 합성 사례의 핵심입니다. 검토자는 불안해 보이는 차트에 대한 나의 주관적인 해석이 아니라, 보류를 발생시킨 정확한 증거와 규칙에 대해 이의를 제기할 수 있어야 합니다.
사례 화면을 살펴볼 때 유용한 세부 정보는 단순한 빨간색 배지 하나가 아닙니다. 원래의 문장이 처분 결과 및 규칙 소견과 함께 나란히 표시되어 있습니다. 초안, HbA1c 주장, 그리고 이를 보류한 신장 관련 사유를 하나의 통합된 화면에서 읽을 수 있습니다. 이것이 일반적인 경고와 검토 가능한 결정 사이의 차이점입니다. 실제 임상의는 여전히 현실의 맥락을 판단해야 하며, 이 데모는 그러한 임상적 판단을 대체하거나 의료진이 조치를 취했음을 확인해 주지 않습니다.
근거 있는 주장과 보류된 조치
고정된 합성 기록에서 eGFR 28을 명확히 지목할 수 있으므로, 사전 정의된 보류 판정은 명쾌해 보입니다. 그러나 실제 운영 환경의 규칙이라면 먼저 어떤 신장 검사 결과를 사용할지 결정해야 합니다. 두 검사 결과가 불일치하거나, 최신 값을 사용할 수 없거나, 관련 진료 내역이 불분명하다면 어떻게 해야 할까요? ChartSieve는 이러한 의문들을 해결하지 않습니다. 진료기록 값을 선택하는 것 자체가 하나의 안전 결정입니다. 코드 수준의 규칙이 완벽하더라도 입력되는 증거가 불완전하거나 논란의 여지가 있을 수 있습니다.
나는 그 선택 과정 역시 검토자에게 투명하게 공개되기를 원합니다. 선택된 수치, 측정 시점, 누락된 맥락이 보류 조치를 취하기 전에 표시되어야 합니다. 그렇지 않으면 잘 정의된 규칙도 숨겨진 입력값에 대한 논쟁으로 변질될 수 있으며, 초안 검토를 요청받은 사람이 진료기록 검색을 처음부터 다시 수행해야 합니다.
검토자가 맥락을 실제 트리거와 혼동하지 않고 파악할 수 있도록 최신 eGFR과 함께 크레아티닌 추이를 표시하도록 설계했습니다. 이러한 구별은 규칙 유지보수 과정에서도 유지되어야 합니다. 신장 규칙의 소유권은 누구에게 있으며, 어떤 임상 가이드라인과 기관 정책이 이를 규율하며, 변경 사항이 초안에 영향을 미치기 전에 어떻게 검증되는가? 이 데모는 정선된 시드 규칙 세트를 사용합니다. 지속적으로 관리되는 임상 지식 베이스나 책임 소재 질문에 답하기 위한 절차를 제공하지는 않습니다.
의견 불일치의 위치를 정확히 파악할 수 있도록 사례 패널을 구성했습니다. 투약 목록은 환자가 메트포르민을 복용 중이라는 진술을 뒷받침합니다. 별도의 CONTRAINDICATION_RENAL 규칙은 eGFR 28 수치에 비추어 복용 지속 권고를 보류합니다. 검토자는 출처 선택, 규칙, 또는 지침의 해석에 대해 이의를 제기할 수 있습니다. HbA1c 주장이 거짓이었다고 꾸며낼 필요가 없습니다. 이는 서로 다른 종류의 이의 제기이며, 실제 업무 흐름에서는 어떤 이의가 발생했는지 기록할 수 있는 체계가 필요합니다.
임상의가 보류 결정에 동의하지 않는 경우 다음 단계로 무엇이 이루어져야 하는지 진료팀에 질문해야 합니다. 어떤 사유를 기록해야 하는가? 누가 초안을 승인할 수 있으며 어떤 증거를 보존해야 하는가? 이 데모는 검토할 콘텐츠를 표시하지만, 해당 상태를 임상의와 연결하거나 수동 승인(override)을 문서화하지는 않습니다. 바로 이 미완의 인수인계 지점에서 의료 시스템이 책임의 한계를 명확히 규정해야 합니다. 단지 '보류됨'이라고 적힌 화면은 환자 대면 조언을 최종적으로 누가 수락, 수정 또는 거부했는지 알려줄 수 없습니다.
나는 보류 결정이 감사 가능하기를 원했습니다
검토자가 초안이 위험해 보인다는 모델의 주관적인 의견만을 전달받기를 원하지 않았습니다. 시연 시스템에서 검증 에이전트는 근거 제시, 공정성, 레드팀 권고안을 추가할 수 있습니다. 실시간 모델 제공자 연결은 선택 사항이며 응답은 캐시될 수 있습니다. 공급자가 없으면 결정론적 권고 텍스트가 사용됩니다. 이러한 권고사항은 검토자의 시야를 넓혀줄 수는 있지만, 처분을 결정하거나 뒤집지는 못합니다. 결정론적 정책 게이트는 다음 중 하나를 반환합니다: RELEASE, HOLD_FOR_REVIEW, 또는 BLOCK.
이 경계는 이 사례에서 결정적으로 중요합니다. 권고문이 아무리 유려하더라도 규칙 소견이 보류를 가리키면 시뮬레이션 워크플로에서 초안은 보류 상태로 남습니다. 권고가 없거나 설득력이 부족하더라도 동일한 규칙은 여전히 평가될 수 있습니다. 게이트의 권한은 명시적입니다. 다른 모델이 작성한 그럴듯한 문단 속에 은밀하게 끼워 넣지 않습니다. 사전 정의된 규칙의 설계 방식에 동의하지 않더라도 시스템의 어느 구성요소가 결정을 내렸는지 정확히 알 수 있습니다. 이는 단일의 불투명한 신뢰도 점수보다 거버넌스에 훨씬 더 유용합니다.
안전 영수증(Safety Receipt)은 보류 결정을 면밀히 검토할 수 있는 또 다른 경로를 제공합니다. 메트포르민 사례의 경우, 데모 기록에는 판정, 사용 가능한 주장 출처, 신장 소견, 검증 권고사항, 타임스탬프, 그리고 16자리 16진수로 표시되는 SHA-256 다이제스트가 포함됩니다. 결정 당시 어떤 증거가 함께 제시되었는지 추적할 수 있습니다. 표시된 영수증의 다이제스트는 일부 축약되어 있으며, 프로덕션 환경의 무결성 및 보존 설계에는 이 기록 이상의 체계가 요구됩니다. 표시된 필드들은 이 시드 판정을 감사 가능하게 만듭니다.
나는 보류 판정에서부터 거꾸로 영수증을 읽어 나갑니다. 먼저 보류를 유발한 규칙 소견을 찾고, 그 다음 여전히 유효한 주장 출처를 확인합니다. 이러한 역순 검토는 판정을 초안의 모든 문장에 대한 전면적인 기각으로 취급하는 실수를 방지합니다. 또한 검토자에게 구체적인 이의 제기 거점을 제공합니다. 사전 설정된 규칙, 선택된 신장 수치, 또는 복약 지침의 해석에 대해 반론을 제기할 수 있습니다. 이는 서로 다른 성격의 이의이며, 영수증은 관련 필드들을 서로 가까이 배치하여 이들을 명확히 구분할 수 있게 돕습니다. 단일 위험 라벨만 있다면 검토자는 그 추론 사슬 전체를 스스로 재구성해야만 할 것입니다.
또한 보류된 초안이 이미 의사의 검토를 마친 것처럼 호도하는 서술을 피합니다. 인터페이스는 단지 검토 대상으로 표시할 뿐이며, 의료진의 실제 진료 행위를 증명하지 않습니다. 이는 '임상의 검토 완료'라는 문구가 환자 대면 기록이나 감사 보고서에 들어가기 전까지는 사소한 의미론적 차이처럼 보일 수 있습니다. 안전 워크플로는 실제로 발생한 일과 단지 계류 중인 일을 엄격하게 구분해야 합니다. 이 데모에서 영수증의 가치는 시뮬레이션된 처분과 그 증거를 검증 가능하게 만드는 것이지, 실제 임상적 인수인계가 일어났음을 입증하는 것이 아닙니다.
나를 멈춰 서게 만든 기준선
벤치마크를 살펴볼 때 나는 다시 메트포르민 초안으로 돌아옵니다. 진술된 검사 수치만을 검사한다면 6.8%는 기록과 일치합니다. 최신 신장 기능 수치에 비추어 권장 조치를 검사하면 eGFR 28이 사전 설정된 보류를 트리거합니다. 나는 회귀 테스트 세트가 단일 화면을 넘어 이러한 질문의 질적 전환을 가시화하는 동시에, 테스트가 얼마나 작고 인위적인지에 대해 솔직함을 유지하기를 바랐습니다.
여기에는 34개의 고정된 합성 레이블 아티팩트(안전 12개, 위험 22개)가 포함되어 있습니다. ChartSieve의 결정론적 방화벽은 22개의 위험 아티팩트를 모두 보류 또는 차단했으며, 12개의 안전한 아티팩트는 보류하거나 차단하지 않았습니다. 정의된 비교 기준선(베이스라인)은 진술된 검사 수치를 기록과 대조하여 임상 의사결정 지원 결정을 승인합니다. 이 기준선은 22개 위험 아티팩트 중 4개만을 포착하고 18개를 놓쳤습니다. 검사 수치 매칭 도구는 더 좁은 범위의 질문에 답할 뿐입니다. 이 시드 규칙 검사와 비교하면 명확해집니다. 메트포르민 화면이 보여주듯 정확한 수치와 규칙이 제동을 건 지침이 동일한 초안 안에 공존하기 때문입니다.
규칙 정의를 누가 검토하는지, 이견이 어떻게 기록되는지, 라벨링된 세트가 어떤 오류를 배제하는지, 그리고 규칙에 필요한 증거가 누락되었을 때 어떤 일이 발생하는지 여전히 파악해야 합니다. 이 데모는 그러한 질문들에 검토 가능한 초안, 합성 진료기록, 규칙 소견, 처분이라는 구체적인 대상을 제공합니다. 검사 수치 매칭 기준선에서의 18건 누락은 더 광범위한 시드 안전 검사가 이 고정 세트에 무엇을 더해주는지 보여줍니다. 다만 새로운 임상 사례에서 시스템이 어떻게 작동할지까지 말해주지는 못합니다. 예제들은 알려진 패턴으로 구성되어 있으며, 기준선은 타사 상용 제품이 아닌 의도적으로 좁게 설정된 비교 대상입니다.
내가 진료팀 앞에 제시하고자 하는 것
나는 점수표가 아닌 메트포르민 화면에서부터 대화를 시작할 것입니다. 이는 임상 정보학 리더에게 구체적으로 따져볼 수 있는 거리를 제공합니다. 유지관리되는 규칙에서 최신 eGFR이 적절한 트리거인가? 어떤 예외와 결측 데이터가 중요한가? 검토자가 보아야 할 것은 무엇이며, 보류를 무효화(override)할 때 시스템은 무엇을 기록해야 하는가? 이는 임상 거버넌스를 위한 결정이지, 마케팅 문구나 책임질 수 없는 모델의 답변을 위한 것이 아닙니다.
글로 읽기보다 실제로 동작하는 모습을 직접 보고 싶으시다면, 전체 파이프라인이 엔드투엔드로 실행되는 모습을 여기에서 확인하실 수 있습니다.
이 임상 AI 안전 시연의 전체 분석은 사례와 검사 경로를 보여줍니다. 나는 그중 하나의 장면에 다시 주목합니다: 정확한 검사 수치 바로 옆에 보류된 복약 지침이 놓여 있는 모습입니다. 두 가지 사실 모두 계속 표시되어야 마땅합니다. 정확한 주장을 숨기면 초안이 명백히 결함 있는 것처럼 보이고, 신장 소견을 숨기면 즉시 전송 가능한 것처럼 보입니다. 진정한 난제는 인터페이스가 화면에 두 사실을 모두 유지하면서 그 사이에 놓인 조치에 대해 누군가 책임을 지도록 요구할 때 시작됩니다.
