어두운 피부색의 아이 손가락에 물린 맥박 산소 측정기가 산소 포화도 수치를 표시하고 있는 클로즈업 편집 사진으로, 임상적 신뢰와 감춰진 부정확성 사이의 미묘한 긴장을 담고 있다.
Artificial IntelligenceHealthcareRacial Equity

제 딸 손가락에 물린 맥박 산소 측정기는 거짓말을 하고 있었습니다 — 그리고 당신 병원의 AI도 마찬가지입니다

Ashutosh SinghalAshutosh Singhal2026년 3월 30일15 min

지난봄 제 딸이 화씨 103도의 고열에 시달렸습니다. 우리는 응급실에 있었고, 간호사가 딸의 작은 갈색 손가락에 맥박 산소 측정기를 집어 물렸습니다. 화면에는 산소 포화도 97%가 표시되었습니다. 정상. 간호사는 미소 지었습니다. 저는 그러지 못했습니다.

저는 알고 있었습니다 — Veriprajna의 한 프로젝트를 위해 몇 달 동안 임상 문헌에 파묻혀 지냈기 때문에 — 딸의 손가락에 물린 그 기기가 거의 확실히 딸의 혈중 산소를 과대평가하고 있다는 것을요. 사소한 정도가 아니었습니다. 문제가 될 만큼이었습니다. 다음 학술지, 즉 New England Journal of MedicineBritish Medical Journal에 실린 연구는 흑인 환자가 거의 세 배 더 높은 확률로 임상의들이 "잠복성 저산소증"이라 부르는 상태를 경험한다는 것을 보여주었습니다 — 이는 기기는 당신이 괜찮다고 말하지만 실제 산소 수치는 위험할 정도로 낮은 상태를 가리킵니다. 2024년 밴더빌트 연구는 흔히 쓰이는 맥박 산소 측정기가 가장 어두운 피부색을 가진 아동의 7%에서 낮은 산소를 감지하지 못했음을 발견했습니다. 반면 가장 밝은 피부색의 아동에서는 놓친 사례가 단 한 건도 없었습니다.

저는 화면 위의 그 작게 빛나는 숫자를 바라보며 생각했습니다: 여기서부터 시작되는구나. 악의적인 알고리즘에서 시작되는 것이 아닙니다. 편향된 데이터셋에서 시작되는 것도 아닙니다. 백인의 피부를 기준으로 보정되어 30년 동안 나머지 모든 사람에 대해 거짓말을 해온 30달러짜리 하드웨어 조각에서 시작됩니다.

그날 밤은 우리가 Veriprajna에서 만드는 모든 것에 대한 제 생각을 바꿔놓았습니다. 그것이 바로 제가 임상 AI의 알고리즘 형평성에 관한 우리의 연구를 쓴 이유이며, 지금 이 글을 쓰고 있는 이유이기도 합니다.

왜 당신의 맥박 산소 측정기는 어두운 피부에서 다르게 작동할까요?

그 물리학은 거의 모욕적일 만큼 단순합니다. 맥박 산소 측정기는 적색광과 적외선을 손가락에 통과시켜 얼마나 흡수되는지를 측정합니다. 산소가 결합한 헤모글로빈과 산소가 결합하지 않은 헤모글로빈은 서로 다른 비율로 빛을 흡수하며, 기기는 그 비율을 이용해 혈중 산소 수치를 추정합니다.

문제는 이것입니다: 멜라닌 역시 바로 그 동일한 파장대에서 빛을 흡수합니다. 기기를 주로 밝은 피부의 사람들을 기준으로 보정하면 — 제조사들은 실제로 그렇게 했고, 최근까지 FDA는 총 10명의 피험자에 대한 시험만을 요구했습니다 — 어두운 피부의 멜라닌에서 나오는 추가 흡수가 잘못 읽힙니다. 기기는 이를 실제 존재하는 것보다 더 많은 산소 결합 헤모글로빈으로 해석합니다. 당신의 수치는 실제보다 높게 보입니다.

이것은 미묘한 학술적 발견이 아닙니다. 낮은 산소를 감지하는 데 있어 위음성률은 밝은 피부색에서 1.2%에서 26.9%에 이릅니다. 어두운 피부색에서는 이것이 7.6%에서 62.2%로 치솟습니다. 그것은 반올림 오차가 아닙니다. 그것은 전혀 다른 의학적 현실입니다.

당신의 손가락에 물린 기기가 97%라고 말하는데 실제 동맥혈 산소가 88%일 때, 당신은 보조 산소를 받지 못합니다. 당신은 상급 치료로 넘어가지 못합니다. 당신은 집으로 돌려보내집니다.

이 데이터를 취합한 뒤 팀 회의에 앉아 있던 것이 기억납니다. 우리 엔지니어 중 한 명 — 명석한 친구이자 제가 전적으로 신뢰하는 사람 — 이 이렇게 말했습니다. "하지만 분명 하류의 AI 모델들이 이를 보정하지 않나요?" 그리고 저는 바로 그 가정이 사람들을 죽이고 있다는 것을 깨달았습니다. AI는 이를 보정하지 않습니다. AI는 증폭시킵니다, 그것을.

아무도 이야기하지 않는 연쇄 작용

단일한 편향된 맥박 산소 측정기 판독값이 병원 데이터 파이프라인을 따라 어떻게 흘러가는지 — 센서에서 EHR로, 그리고 AI 경보 시스템으로 — 그리고 입력 단계의 편향이 어떻게 AI로 하여금 환자에 대한 치료 상향 조정을 소리 없이 실패하게 만드는지를 보여주는 시스템 다이어그램.

현대 병원에서 벌어지는 일은 이렇습니다. 환자가 도착합니다. 활력 징후가 기록됩니다 — 그 맥박 산소 측정기 판독값을 포함해서요. 그 활력 징후는 전자 건강 기록(EHR)으로 흘러 들어갑니다. 그리고 점점 더, AI 시스템이 그 데이터 흐름을 지켜보며 악화를 시사하는 패턴, 즉 패혈증, 호흡 부전, 심장 이벤트를 찾습니다.

AI가 "고우선순위" 경보를 울리는 기준이 SpO₂ 92% 미만이고, 흑인 환자의 산소 측정기가 실제 동맥혈 산소가 88%일 때 93%로 표시된다면, 경보는 결코 울리지 않습니다. 환자는 표시(플래그)되지 않습니다. 다른 열다섯 명의 환자를 관리하고 있고 그 시스템을 신뢰하도록 학습된 임상의는 개입하지 않습니다.

이것은 가정이 아닙니다. 이것은 바로 지금 수백 개 병원의 아키텍처입니다.

저는 공동 창업자와 함께 이것의 함의를 오랜 저녁 내내 짚어보았습니다. 우리는 계속해서 같은 불편한 깨달음으로 돌아왔습니다: 편향은 알고리즘에 있지 않다는 것. 그것은 바로 입력에 있습니다. 그리고 세상에서 가장 정교하고, 공정성을 인식하며, 완벽하게 보정된 AI 모델을 만든 다음, 인종차별적인 체온계에서 나온 데이터를 그것에 먹인다면, 당신은 훌륭한 자격을 갖춘 인종차별적 AI를 얻게 됩니다.

가장 널리 쓰이는 패혈증 AI가 사례의 67%를 놓칠 때 무슨 일이 벌어질까요?

맥박 산소 측정기 이야기가 소프트웨어로 흘러 들어가는 하드웨어 편향에 관한 것이라면, Epic Sepsis Model 이야기는 소프트웨어 자체가 애초에 모든 사람을 위해 작동하도록 만들어지지 않았을 때 무슨 일이 벌어지는지에 관한 것입니다.

Epic Sepsis Model, 즉 ESM은 수백 개 미국 병원의 EHR 시스템에 통합되어 있습니다. 그것은 획기적인 기술로 홍보되었습니다 — 임상의가 인지하기 전에 패혈증을 식별하여 조기 개입으로 생명을 구할 수 있는 AI라고 말입니다. 개발사는 곡선하면적(AUC, 표준적인 성능 지표)이 0.76에서 0.83이라고 보고했습니다. 그럴듯한 수치입니다.

그런 다음 Michigan Medicine의 연구진이 독립적인 외부 검증을 수행했습니다. AUC는 0.63으로 떨어졌습니다. 민감도 — 모델이 실제로 패혈증 사례를 잡아내는 능력 — 는 33%였습니다. 세 건 중 두 건을 놓친 것입니다. 양성 예측도는 12%로, 이는 경보의 88%가 거짓 경보였다는 뜻입니다. 그리고 임상의보다 먼저 환자를 표시한 경우는 단 6%에 불과했습니다.

잠시 이 사실을 곱씹어 보고 싶습니다. 수백 개 병원에 배치되고 의사들이 매일 의존하는 워크플로에 통합된 시스템이, 경보를 울릴 때 거의 열 번 중 아홉 번은 틀렸고, 실제 사례의 3분의 2를 놓쳤습니다.

민감도 33%의 패혈증 모델은 안전망이 아닙니다. 그것은 병원 전체가 구독료를 내는 거짓된 안도감입니다.

하지만 그 성능 수치가 아무리 나쁘다 해도, 최악의 부분은 아닙니다. 최악의 부분은 그것이 누구를 저버리는가입니다.

왜 AI 패혈증 감지는 특히 흑인 환자에게 실패할까요?

흑인과 히스패닉 환자는 백인 환자에 비해 패혈증 발생률이 거의 두 배에 이르며, 종종 더 젊은 나이에 발병합니다. 그렇다면 그들이 AI 감지 시스템의 최우선 대상 집단이 되어야 한다고 생각할 것입니다. 그러나 연구들은 ESM 같은 모델이 이러한 집단들에 걸쳐 부실한 보정을 보인다는 것을 발견했습니다.

그 이유는 레이블 편향이라 불리는 것이며, 일단 그것을 이해하고 나면 다시는 못 본 척할 수 없습니다.

대부분의 패혈증 모델은 임상적 정의나 청구 코드로 학습됩니다. 그 코드들은 인간의 결정을 내리는 인간 임상의들에 의해 생성됩니다. 만약 의사들이 역사적으로 흑인 환자에게 혈액 배양 검사를 지시하는 데 더 느렸다면 — 암묵적 편향, 의사소통 장벽, 또는 구조적 요인 때문이든 — 학습 데이터는 그 지연을 반영합니다. AI는 "패혈증"이 백인 환자의 데이터 특징처럼 보인다고 학습하는데, 신속하게 진단받은 환자가 바로 그들이기 때문입니다. 그것은 사실상 흑인 환자에게서 나타나는 패혈증의 발현에 눈이 멀게 됩니다.

그리고 치명적인 피드백 루프가 닫힙니다: 과거 데이터가 편향되어 있었기 때문에 AI가 환자를 놓칩니다. 경보를 울리지 않은 AI를 신뢰했기 때문에 임상의가 환자를 놓칩니다.

저는 이 문제로 한 잠재적 투자자와 논쟁을 벌인 적이 있습니다. 그는 이렇게 말했습니다. "그냥 더 나은 데이터로 모델을 재학습시키면 되지 않나요?" 마치 "더 나은 데이터"가 어딘가 창고에 앉아 꽂히기만을 기다리고 있다는 듯이 말입니다. 그 데이터가 역사입니다. 그 역사가 편향입니다. 동일하게 편향된 데이터를 더 추가한다고 해서 편향된 데이터셋을 고칠 수는 없습니다. 아키텍처를 바꿔야 합니다.

10만 명당 50.3명의 사망: 헬스케어 AI를 괴롭혀야 할 숫자

산소 측정기 오류율, 산모 사망률, AI 시스템 누락률 등 글 전체에 흩어진 핵심 인종 격차 통계를 하나의 시각 자료로 통합하여, 불평등의 규모를 즉각적으로 생생하게 와닿게 만드는 비교 인포그래픽.

지금까지 제가 설명한 모든 것 — 산소 측정기의 거짓말, 패혈증 모델의 실패, 레이블 편향 — 은 산모 건강에서 가장 파괴적으로 수렴합니다.

CDC는 흑인 여성이 임신 관련 사망률이 출생아 10만 명당 50.3명에 이른다고 보고합니다. 백인 여성은 14.5명입니다. 그것은 격차가 아닙니다. 그것은 심연입니다 — 3.5배나 높습니다. 그리고 교육 수준과 소득을 통제하더라도 그 격차는 지속됩니다. 대학 학위를 가진 흑인 여성이 고등학교 졸업장이 없는 백인 여성보다 출산 중 사망할 가능성이 더 높습니다.

이 나라에서 가장 데이터가 풍부한 산모 건강 환경 중 하나인 California's Maternal Data Center는 자동화된 조기 경보 시스템이 흑인 환자의 중증 이환 사례 중 40%를 놓쳤음을 발견했습니다. 40퍼센트나 말입니다. 이것들은 생명을 위협하는 합병증 — 출혈, 자간전증, 패혈증 — 으로, 산모 사망보다 100배 더 자주 발생합니다. AI는 이것들을 잡아냈어야 했습니다. 그러지 못했습니다.

그 이유의 일부는 연구자들이 "풍화(weathering)" 효과라 부르는 것과 관련이 있습니다 — 구조적 인종차별로 인한 만성 스트레스의 생리적 대가입니다. 흑인 여성은 종종 더 높은 기저 혈압과 변화된 심혈관 반응을 나타냅니다. 인구 평균으로 학습된 AI는 이를 만성적 압박 아래 놓인 신체의 경고 신호로 인식하기보다 "이 환자에게는 정상"이라고 해석할 수 있습니다.

AI 조기 경보 시스템이 흑인 산모의 중증 합병증 40%를 놓칠 때, 그것은 기술적 결함이 아닙니다. 그것은 학습 데이터가 가르친 그대로 정확히 작동하는 시스템입니다 — 다시 말해, 불공평하게 말입니다.

그리고 여기 모든 헬스케어 경영진이 주목해야 할 숫자가 있습니다: 맥킨지는 흑인 산모 건강 격차를 해소하면 미국 GDP에 244억 달러를 더하고 연간 예방 가능한 의료비 3억 8,500만 달러를 절감할 수 있다고 추산합니다. 이것은 단지 도덕적 위기가 아닙니다. 그것은 경제적 위기입니다.

흑인 여성은 중증 합병증이 일단 발생하고 나면 백인 여성에 비해 사망할 가능성이 1.79배 더 높습니다. 이것은 발생률에 관한 것이 아닙니다 — 이것은 "구조 실패(failure to rescue)"에 관한 것입니다. 합병증이 발생하고, 개입의 창이 열리고, 시스템이 제때 행동하지 못합니다. AI가 경보를 울리지 않고 임상의가 다른 열두 명의 환자를 관리하고 있을 때, 그 창은 닫힙니다.

왜 ChatGPT는 이 문제를 해결할 수 없을까요?

저는 이 질문을 끊임없이 받습니다. 대략 이런 식입니다: "그냥 의료 프롬프트와 함께 GPT-4를 쓰면 안 되나요? 그건 의학에 대해 많이 알잖아요."

그것은 실제로 의학에 대해 많이 압니다 — 모든 교과서를 읽었지만 환자를 한 번도 만져본 적 없는 사람이 의학에 대해 많이 아는 것과 똑같은 방식으로 말입니다. LLM은 언어 확률로 학습된 통계 엔진입니다. 그것은 병태생리학을 이해하지 못합니다. 그것은 병상 모니터에서 나오는 실시간 파형 데이터를 처리하지 못합니다. 그것은 환자의 피부색과 사용 중인 특정 기기 모델을 고려할 때 특정 SpO₂ 판독값이 신뢰할 만한지 여부를 알려줄 수 없습니다.

연구들은 환자별 변수가 복잡할 때 신장 기능 장애의 용량 조정에서 LLM이 오직 16.7%의 정확도만을 달성했음을 발견했습니다. 그것들은 환각을 일으킵니다 — 권위 있게 들리지만 완전히 날조된 임상 정보를 자신 있게 생성합니다. 그것들은 임상의가 권고를 검증하기 위해 필요로 하는 투명한 추론 사슬을 제공할 수 없는데, 이는 GDPR과 진화하는 미국 보건 규제 하에서 점점 더 규제 요건이 되고 있습니다.

헬스케어 AI 시장은 제가 "래퍼(wrapper)" 애플리케이션이라 부르는 것 — 범용 공개 API 위에 씌운 얇은 인터페이스 — 로 넘쳐납니다. 그것들은 퇴원 요약을 초안 작성하거나 차트 노트를 요약하는 데는 괜찮습니다. 그러나 경계선상의 활력 징후를 보이는 32세 흑인 여성이 즉각적인 개입이 필요한지 아니면 기다려도 되는지를 결정하는 데는 근본적으로 부적합합니다.

그 구분이 중요합니다. 래퍼는 범용 언어 모델을 가져다 의료 질문을 향하게 합니다. 딥 AI 시스템 — 우리가 Veriprajna에서 만드는 것 — 은 실시간 생리 신호, 전문가가 레이블링한 데이터셋, 그리고 공정성을 인식하는 수학적 제약을 처음부터 모델의 아키텍처에 통합합니다.

이 두 접근 방식 중 하나는 패혈증에 관한 설득력 있는 문단을 쓸 수 있습니다. 다른 하나는 그것을 실제로 공평하게 감지할 수 있습니다.

차별하지 않는 임상 AI를 실제로 어떻게 구축할까요?

여기서 저는 약간 기술적인 이야기를 해야 합니다. 왜냐하면 그 해법은 철학적인 것이 아니라 — 수학적인 것이기 때문입니다. 그리고 바로 그 수학이 딥 AI를 선의로 가득 찬 허풍(vaporware)과 구분 짓습니다.

전통적인 머신러닝 최적화는 전체 데이터셋에 걸친 평균 오차를 최소화합니다. 그것은 "평균"이 자연스럽게 다수 집단에 유리하다는 것을 깨닫기 전까지는 합리적으로 들립니다. 만약 학습 데이터의 70%가 백인 환자에게서 나온다면, 모델은 백인 환자에 맞춰 최적화될 것입니다. 나머지 모든 사람의 오차율은 그저... 평균 속에서 감내할 만한 손실일 뿐입니다.

우리는 그것을 받아들이지 않습니다. Veriprajna에서는 최악 그룹 손실 최적화라 불리는 것을 구현합니다. 평균 오차를 최소화하는 대신, 우리는 최대 오차를 모든 인구통계학적 하위 집단에 걸쳐 최소화합니다. 수학적으로, 우리는 흑인, 백인, 히스패닉, 그리고 그 밖의 집단에 걸친 최악의 경우 손실을 동시에 최소화하는 것을 풉니다. 자동화된 우울증 감지 연구는, 이 접근 방식이 전체 정확도를 약간 낮출 수는 있지만, 그렇지 않았다면 체계적으로 잘못 분류되었을 과소대표 집단의 결과를 상당히 개선한다는 것을 보여주었습니다.

우리는 또한 균등화 승산(equalized odds)을 강제합니다 — 진양성률과 위양성률이 모두 인구통계학적 집단에 걸쳐 동일할 것을 요구합니다. 만약 패혈증 모델이 백인 환자에게는 80%의 민감도를 갖지만 흑인 환자에게는 40%에 불과하다면, 그것은 인종에 근거해 다른 등급의 치료를 제공하고 있는 것입니다. 두말할 것도 없습니다. 그것은 모델 성능 문제가 아닙니다. 그것은 시민권 문제입니다.

완전한 수학적 프레임워크 — 공정성을 인식하는 손실 함수, 적대적 편향 제거, 그리고 다중모드 신호 융합에 대한 우리의 접근 방식을 포함해 — 에 대해서는 우리의 연구 논문에 기술적 세부 사항을 정리해 두었습니다.

하지만 수학은 하나의 층위일 뿐입니다. 실제로 전체 아키텍처가 어떤 모습인지 여기 있습니다:

입력을 바로잡아야 합니다. 우리는 맥박 산소 측정기 판독값을 절대적 진실로 취급하지 않습니다. 우리 모델은 산소 측정값을 심박 변이도, 호흡수, 그리고 젖산 추세와 융합합니다. 만약 환자의 심박수와 젖산이 오르는데 SpO₂는 의심스러울 만큼 안정적으로 유지된다면, 시스템은 신호 불일치를 표시하고 임상의에게 표준(gold standard)인 동맥혈 가스 검사를 지시하도록 촉구합니다. 우리는 단일한 편향된 센서를 신뢰하는 대신 환자의 진짜 상태를 삼각 측량합니다.

레이블을 바로잡아야 합니다. 우리는 청구 코드 대신 전문가가 판정한 실측 자료(ground truth)를 사용합니다. 세 명의 패혈증 전문가가 독립적으로 한 사례를 검토하고 진단 시점에 합의할 때, 그것은 환자가 이미 중환자실(ICU)에 들어간 지 여섯 시간 후에 생성된 청구 코드와는 근본적으로 다른 학습 신호입니다.

현장에서 검증해야 합니다. 모든 배치는 해당 기관 자체 데이터에 대한 후향적 감사로 시작됩니다. 우리는 인구 안정성 지수(Population Stability Index)라 불리는 것을 측정해 현지 환자 집단이 우리 학습 코호트와 얼마나 다른지를 정량화합니다. 그 격차가 너무 크면, 가동에 들어가기 전에 재보정합니다. Epic Sepsis Model의 파국적인 성능 하락 — 내부적으로 0.83 AUC에서 외부적으로 0.63으로 — 은 바로 이 단계를 건너뛸 때 벌어지는 일입니다.

"하지만 이것이 AI 도입을 늦추지 않을까요?"

사람들은 제게 이렇게 묻는데, 그 이면의 충동을 이해합니다. AI를 임상 워크플로에 도입해야 한다는 진짜 절박함이 있습니다. 우리가 공정성 지표를 두고 논쟁하는 동안 사람들이 죽어가고 있습니다.

하지만 제가 배운 것은 이것입니다: 편향된 AI 시스템을 빠르게 배포한다고 해서 더 많은 생명을 구하지는 못합니다. 그것은 일부 생명을 구합니다 — 불균형적으로 백인, 불균형적으로 부유한 사람들의 생명을 — 그러면서 다른 모든 사람에게 능동적으로 해를 끼치는 거짓된 안도감을 만들어냅니다. Epic Sepsis Model은 빠르게 배포되었습니다. 그것은 널리 배포되었습니다. 그리고 그것은 패혈증 사례의 3분의 2를 놓치면서 88%의 확률로 거짓 경보를 생성했습니다. 형평성 없는 속도는 진보가 아닙니다. 그것은 대규모의 태만입니다.

제가 듣는 또 다른 반론: "공정성 제약은 정확도를 떨어뜨린다." 이것은 가장 좁은 의미에서는 기술적으로 사실입니다 — 최악 그룹 성능에 맞춰 최적화하면 총합 지표가 약간 낮아질 수 있습니다. 하지만 "총합 정확도"는 맥박 산소 측정기 위기가 30년 동안 지속되게 만든 바로 그 통계적 눈속임입니다. 당신의 95% 정확도가 백인 환자에게는 95%이고 흑인 환자에게는 62%를 의미할 때, 그 총합 숫자는 거짓말입니다.

헬스케어 AI에서 평균 정확도에 맞춰 최적화하는 것은 병원의 평균 기온을 보고하는 것과 같습니다 — 그것은 몸에 불이 붙은 환자에 대해 아무것도 말해주지 않습니다.

새벽 2시에 제가 생각하는 것들

저는 흑인 여성 세 명 중 한 명이 출산 돌봄 과정에서 부당한 대우를 받았다고 보고한다는 사실을 생각합니다. 저는 California의 AI 시스템이 흑인 환자에게서 놓친 중증 이환 사례의 40%를 생각합니다. 저는 그 맥박 산소 측정기 집게에 물린 제 딸의 손가락을, 그리고 간호사의 미소를, 그리고 아마도 틀렸음을 제가 알고 있던 화면 위의 그 숫자를 생각합니다.

그리고 저는 우리가 이것을 해결할 수학적 도구를 가지고 있다는 사실을 생각합니다. 공정성을 인식하는 손실 함수는 존재합니다. 다중모드 신호 융합은 존재합니다. 현지 검증 프레임워크는 존재합니다. 최악 그룹 최적화는 존재합니다. 이 중 어느 것도 이론적이지 않습니다. 우리는 그것을 만들었습니다. 다른 팀들도 그것을 만들고 있습니다. 그 지식은 여기 있습니다.

빠져 있는 것은 의지입니다. 너무 많은 의료 시스템이 값싸고 빠르다는 이유로 래퍼 솔루션을 사들이고 있습니다. 너무 많은 AI 업체가 하위 집단별 분석이 창피할 것이기 때문에 총합 정확도를 보고하고 있습니다. 너무 많은 규제 당국이 열 명의 피험자로 기기를 시험하고는 그것으로 충분하다고 말하고 있습니다.

앞으로 나아갈 길은 복잡하지 않습니다. 모든 AI 업체에 하위 집단 성능 지표 — 인종, 연령, 성별로 세분화된 민감도, 특이도, 양성 예측도 — 를 요구하십시오. 분모를 보여주지 않는 "99% 정확도" 주장을 거부하십시오. 업체의 백서가 아니라 독립적인 외부 검증을 요구하십시오. 그리고 공정성을 기능 요청처럼 취급하는 것을 멈추십시오. 그것은 설계 요건입니다.

흑인 산모는 백인 산모의 3.5배 비율로 죽어가고 있습니다. 편향된 하드웨어와 편향된 레이블 위에 세워진 AI 시스템은 상황을 더 악화시키고 있습니다. 그리고 우리가 그것이 누구에게 작동하고 누구에게 작동하지 않는지 묻지 않은 채 또 하나의 래퍼 솔루션을 배포하는 매일매일, 우리는 생명보다 편의를 선택하고 있는 것입니다.

저는 의료 어휘를 갖춘 또 하나의 챗봇을 만들려고 Veriprajna를 시작한 것이 아닙니다. 저는 딥 AI — 자기 자신의 입력을 심문하고, 형평성을 수학적으로 강제하며, 단 한 명의 환자를 만지기 전에 현장에서 검증하는 종류의 AI — 야말로 누군가의 생명이 걸려 있을 때 그 방에 있을 자격이 있는 유일한 기술이라고 믿기 때문에 시작했습니다.

문제는 AI가 헬스케어에 속하는지 여부가 아닙니다. AI는 속합니다. 문제는 우리가 그것을 제대로 만들 만한 진정성을 가지고 있는가입니다.

관련 연구

다른 채널에도 게시됨

확신을 가지고 AI를 구축하세요.

차세대 엔터프라이즈 AI 구축에 깊은 경험을 갖춘 팀과 협업하세요. 신뢰할 수 있는 AI 전략을 설계하고 구축하며 배포할 수 있도록 지원해 드리겠습니다.

Veriprajna 딥테크 컨설팅 은(는) 헬스케어, 금융, 규제 분야를 위한 안전 필수 AI 시스템 구축을 전문으로 합니다. 당사의 아키텍처는 확립된 프로토콜에 따라 검증되며 포괄적인 규정 준수 문서를 갖추고 있습니다.