מד־החמצן־דופק על אצבע בתי שיקר — וכך גם ה-AI של בית החולים שלך
לבתי היה חום של 103 מעלות באביב שעבר. היינו בחדר המיון, והאחות הצמידה מד־חמצן דופק (פולס אוקסימטר) אל אצבעה החומה הקטנה. המסך הראה ריווי חמצן של 97%. תקין. האחות חייכה. אני לא.
ידעתי — משום שביליתי חודשים שקוע בספרות הקלינית עבור פרויקט ב-Veriprajna — שהמכשיר על אצבעה כמעט בוודאות מעריך יתר על המידה את רמת החמצן בדמה. לא בכמות זניחה. אלא במידה שיש לה משמעות. מחקר שפורסם בכתב העת New England Journal of Medicine וכתב העת British Medical Journal הראה שחולים שחורים נוטים כמעט פי שלושה יותר לחוות את מה שרופאים מכנים "היפוקסמיה סמויה" — מצב שבו המכשיר אומר שאתה בסדר בעוד רמות החמצן האמיתיות שלך נמוכות באופן מסוכן. מחקר של אוניברסיטת ונדרבילט מ-2024 מצא שמדי־חמצן דופק נפוצים נכשלו בזיהוי חמצן נמוך אצל 7% מהילדים בעלי גווני העור הכהים ביותר. הם החמיצו אפס מקרים אצל ילדים בעלי הגוונים הבהירים ביותר.
הבטתי במספר הקטן והזוהר הזה על המסך וחשבתי: כאן זה מתחיל. לא באלגוריתם זדוני. לא במאגר נתונים מוטה. אלא בפיסת חומרה בשווי 30 דולר שכוילה על עור לבן ומשקרת לגבי כל השאר כבר שלושים שנה.
אותו לילה שינה את האופן שבו אני חושב על כל מה שאנחנו בונים ב-Veriprajna. זו הסיבה שכתבתי את המחקר שלנו על הוגנות אלגוריתמית ב-AI קליני, וזו הסיבה שאני כותב את זה עכשיו.
מדוע מד־החמצן־דופק שלך פועל אחרת על עור כהה?
הפיזיקה פשוטה עד כדי עלבון. מד־חמצן דופק מקרין אור אדום ואינפרא־אדום דרך אצבעך ומודד כמה ממנו נספג. המוגלובין מחומצן והמוגלובין לא־מחומצן סופגים אור ביחסים שונים, והמכשיר משתמש ביחס הזה כדי לאמוד את רמת החמצן בדמך.
והנה הבעיה: מלנין סופג גם הוא אור באותם אורכי גל. אם מכיילים את המכשיר בעיקר על אנשים בעלי עור בהיר — כפי שעשו היצרנים, ועד לאחרונה ה-FDA דרש בדיקה על עשרה נבדקים בלבד בסך הכול — אזי הספיגה הנוספת מהמלנין בעור כהה נקראת באופן שגוי. המכשיר מפרש אותה כיותר המוגלובין מחומצן ממה שקיים בפועל. המספר שלך נראה גבוה יותר מהמציאות.
זו אינה תגלית אקדמית עדינה. שיעור התוצאות השליליות־כזובות בזיהוי חמצן נמוך נע בין 1.2% ל-26.9% בגווני עור בהירים. בגווני עור כהים, הוא מזנק ל7.6% עד 62.2%. זו אינה שגיאת עיגול. זו מציאות רפואית שונה.
כאשר המכשיר על אצבעך מראה 97%, בעוד החמצן העורקי האמיתי שלך הוא 88%, אינך מקבל חמצן משלים. אינך מקבל הסלמה של הטיפול. אתה נשלח הביתה.
אני זוכר שישבתי בישיבת צוות אחרי שריכזתי את הנתונים האלה, ואחד המהנדסים שלנו — בחור מבריק, מישהו שאני סומך עליו לחלוטין — אמר: "אבל בוודאי שמודלי ה-AI במורד הזרם מתקנים את זה?" והבנתי שזו בדיוק ההנחה שהרגה אנשים. ה-AI לא מתקן את זה. ה-AI מגביר אותו.
המפל שאיש אינו מדבר עליו
הנה מה שקורה בבית חולים מודרני. חולה מגיע. סימנים חיוניים נרשמים — כולל קריאת מד־החמצן דופק ההיא. הסימנים החיוניים האלה זורמים אל הרשומה הרפואית האלקטרונית. ובאופן הולך וגובר, מערכת AI צופה בזרם הנתונים הזה, מחפשת דפוסים המעידים על הידרדרות: אלח דם (ספסיס), אי־ספיקה נשימתית, אירועים לבביים.
אם סף ה-AI להתראה ב"עדיפות גבוהה" הוא SpO₂ מתחת ל-92%, ומד־החמצן של חולה שחור מראה 93% בעוד החמצן העורקי האמיתי שלו הוא 88%, ההתראה אינה מופעלת לעולם. החולה אינו מסומן. הרופא, המטפל בחמישה־עשר חולים נוספים ולמד לסמוך על המערכת, אינו מתערב.
זו אינה השערה תיאורטית. זו הארכיטקטורה של מאות בתי חולים ברגע זה.
ביליתי ערב ארוך בליבון ההשלכות של זה עם השותף המייסד שלי. חזרנו שוב ושוב לאותה תובנה לא־נוחה: ההטיה אינה באלגוריתם. היא בקלט. ואם תבנה את מודל ה-AI המתוחכם ביותר, המודע להוגנות, המכויל בשלמות בעולם, ותזין לו נתונים ממדחום גזעני, תקבל AI גזעני עם אישורים מצוינים.
מה קורה כאשר ה-AI לאלח דם הנפוץ ביותר מחמיץ 67% מהמקרים?
אם סיפור מד־החמצן דופק עוסק בהטיית חומרה הזורמת אל תוכנה, סיפורו של Epic Sepsis Model עוסק במה שקורה כאשר התוכנה עצמה מעולם לא נבנתה כדי לעבוד עבור כולם.
ה-Epic Sepsis Model, או ESM, משולב במערכות ה-EHR של מאות בתי חולים אמריקאיים. הוא שווק כפריצת דרך — AI שיכול לזהות אלח דם לפני שהרופאים מזהים אותו, ומציל חיים באמצעות התערבות מוקדמת. המפתח דיווח על שטח מתחת לעקומה (Area Under the Curve, מדד ביצועים סטנדרטי) של 0.76 עד 0.83. מספרים מכובדים.
אז חוקרים ב-Michigan Medicine ערכו אימות חיצוני עצמאי. ה-AUC צנח ל-0.63. הרגישות — יכולת המודל לתפוס בפועל מקרי אלח דם — הייתה 33%. הוא החמיץ שניים מכל שלושה מקרים. הערך המנבא החיובי היה 12%, כלומר 88% מההתראות שלו היו אזעקות שווא. והוא סימן חולים לפני הרופאים ב-6% מהמקרים בלבד.
אני רוצה להתעכב על זה לרגע. מערכת שנפרסה במאות בתי חולים, משולבת בזרימת העבודה שרופאים מסתמכים עליה מדי יום, טעתה כמעט תשע פעמים מתוך עשר כשהפעילה אזעקה, והחמיצה את המקרים האמיתיים בשני שלישים מהמקרים.
מודל לאלח דם עם רגישות של 33% אינו רשת ביטחון. הוא תחושת ביטחון כוזבת בעלת דמי מנוי בהיקף בית חולים שלם.
אבל מספרי הביצועים, גרועים ככל שיהיו, אינם החלק הגרוע ביותר. החלק הגרוע ביותר הוא מי שהוא מכשיל.
מדוע זיהוי אלח דם באמצעות AI נכשל דווקא אצל חולים שחורים?
חולים שחורים והיספנים חווים שכיחות של אלח דם כמעט כפולה בהשוואה לחולים לבנים, ולעיתים קרובות מופיעים בגילים צעירים יותר. הייתם חושבים שזה יהפוך אותם לאוכלוסייה בעדיפות הגבוהה ביותר עבור מערכת זיהוי מבוססת AI. במקום זאת, מחקרים מצאו שמודלים כמו ה-ESM מציגים כיול לקוי על פני קבוצות אלה.
הסיבה היא משהו שנקרא הטיית תיוג (label bias), וברגע שאתה מבין אותה, אינך יכול עוד להתעלם ממנה.
רוב מודלי אלח הדם מאומנים על הגדרות קליניות או קודי חיוב. הקודים האלה נוצרים בידי רופאים אנושיים המקבלים החלטות אנושיות. אם רופאים איטיים יותר באופן היסטורי בהזמנת תרביות דם עבור חולים שחורים — בין אם מהטיה סמויה, מחסמי תקשורת, או מגורמים מערכתיים — אזי נתוני האימון משקפים את העיכוב הזה. ה-AI לומד ש"אלח דם" נראה כמו החתימות בנתונים של חולים לבנים, משום שאלה החולים שאובחנו במהירות. הוא הופך, למעשה, לעיוור להופעת אלח דם אצל חולים שחורים.
ואז לולאת המשוב הקטלנית נסגרת: ה-AI מחמיץ את החולה משום שהנתונים ההיסטוריים היו מוטים. הרופא מחמיץ את החולה משום שסמך על AI שלא הפעיל התראה.
היה לי ויכוח עם משקיע פוטנציאלי בנושא זה. הוא אמר: "אתם לא יכולים פשוט לאמן מחדש את המודל על נתונים טובים יותר?" כאילו "נתונים טובים יותר" מונחים במחסן כלשהו, מחכים שיחברו אותם. הנתונים הם ההיסטוריה. ההיסטוריה היא ההטיה. אינך יכול לתקן מאגר נתונים מוטה בהוספת עוד מאותם נתונים מוטים. אתה חייב לשנות את הארכיטקטורה.
50.3 מקרי מוות לכל 100,000: המספר שאמור לרדוף את ה-AI בתחום הבריאות
כל מה שתיארתי עד כה — שקרי מד־החמצן, כשלי מודל אלח הדם, הטיית התיוג — מתכנס באופן ההרסני ביותר בבריאות האם.
ה-CDC מדווח שנשים שחורות ניצבות בפני שיעור תמותה הקשור להיריון של 50.3 לכל 100,000 לידות חי. נשים לבנות: 14.5. זה אינו פער. זו תהום — גבוה פי 3.5. וזה נמשך אפילו לאחר שמנטרלים את השפעת ההשכלה וההכנסה. אישה שחורה בעלת תואר אקדמי צפויה יותר למות בלידה מאשר אישה לבנה ללא תעודת בגרות.
מרכז נתוני האם של קליפורניה, אחת מסביבות בריאות האם עתירות הנתונים ביותר במדינה, מצא שמערכות אזהרה מוקדמת אוטומטיות החמיצו 40% ממקרי התחלואה החמורה אצל חולות שחורות. ארבעים אחוז. אלה סיבוכים מסכני חיים — דימום, רעלת היריון, אלח דם — המתרחשים פי 100 בתדירות גבוהה יותר ממוות אימהי. ה-AI היה אמור לתפוס אותם. הוא לא.
חלק מהסיבה כרוך במה שחוקרים מכנים אפקט ה"בליה" (weathering) — המחיר הפיזיולוגי של מתח כרוני הנגרם מגזענות מערכתית. נשים שחורות מרבות להופיע עם לחצי דם בסיסיים גבוהים יותר ותגובות קרדיו־וסקולריות משתנות. AI שאומן על ממוצעים אוכלוסייתיים עלול לפרש אותם כ"נורמלי עבור חולה זה" במקום לזהות אותם כסימני אזהרה בגוף הנתון במצוקה כרונית.
כאשר מערכת אזהרה מוקדמת מבוססת AI מחמיצה 40% מהסיבוכים החמורים אצל אימהות שחורות, זו אינה תקלה טכנית. זו מערכת הפועלת בדיוק כפי שנתוני האימון שלה לימדו אותה — כלומר, באופן לא־שוויוני.
והנה המספר שאמור לגרום לכל מנהל בכיר בתחום הבריאות לשים לב: McKinsey מעריכה שסגירת הפער בבריאות האם השחורה יכולה להוסיף 24.4 מיליארד דולר לתמ"ג של ארה"ב ולחסוך 385 מיליון דולר בעלויות בריאות שנתיות הניתנות למניעה. זה אינו רק משבר מוסרי. זהו משבר כלכלי.
נשים שחורות צפויות פי 1.79 יותר למות לאחר שאירע סיבוך חמור בהשוואה לנשים לבנות. זה אינו עניין של שכיחות — אלא של "כשל בהצלה". הסיבוך מתרחש, חלון ההזדמנות להתערבות נפתח, והמערכת נכשלת בפעולה בזמן. כאשר ה-AI אינו מתריע, והרופא מטפל בתריסר חולים נוספים, החלון הזה נסגר.
מדוע ChatGPT לא יכול לתקן את זה?
אני מקבל את השאלה הזו כל הזמן. גרסה כלשהי של: "למה שלא פשוט להשתמש ב-GPT-4 עם פרומפטים רפואיים? הוא יודע הרבה על רפואה."
הוא אכן יודע הרבה על רפואה, באותו אופן שבו מי שקרא כל ספר לימוד אך מעולם לא נגע בחולה יודע הרבה על רפואה. LLM הוא מנוע סטטיסטי שאומן על הסתברויות שפה. הוא אינו מבין פתופיזיולוגיה. הוא אינו מעבד נתוני צורת גל בזמן אמת ממוניטור ליד המיטה. הוא אינו יכול לומר לך אם קריאת SpO₂ מסוימת אמינה בהתחשב בגוון עורו של החולה ובדגם המכשיר הספציפי שבו משתמשים.
מחקרים מצאו ש-LLMים השיגו רק 16.7% דיוק בהתאמות מינון עבור תפקוד כלייתי לקוי כאשר משתנים ספציפיים לחולה היו מורכבים. הם הוזים — מייצרים בביטחון מידע קליני שנשמע סמכותי ובדוי לחלוטין. הם אינם יכולים לספק את שרשרת ההנמקה השקופה שרופא זקוק לה כדי לאמת המלצה, מה שהופך יותר ויותר לדרישה רגולטורית תחת ה-GDPR ותקנות הבריאות המתפתחות בארה"ב.
שוק ה-AI בתחום הבריאות מוצף במה שאני מכנה יישומי "עטיפה" (wrapper) — ממשקים דקים מעל ממשקי API ציבוריים כלליים. הם בסדר גמור לניסוח סיכומי שחרור או לסיכום רשומות תרשים. הם בלתי מספקים באופן יסודי להכרעה אם אישה שחורה בת 32 המופיעה עם סימנים חיוניים גבוליים זקוקה להתערבות מיידית או יכולה להמתין.
ההבחנה חשובה. עטיפה לוקחת מודל שפה כללי ומכוונת אותו אל שאלה רפואית. מערכת AI עמוקה — מה שאנחנו בונים ב-Veriprajna — משלבת אותות פיזיולוגיים בזמן אמת, מאגרי נתונים מתויגים בידי מומחים, ואילוצים מתמטיים מודעי־הוגנות אל תוך ארכיטקטורת המודל מהיסוד.
אחת מהגישות האלה יכולה לכתוב פסקה משכנעת על אלח דם. האחרת יכולה באמת לזהות אותו באופן שוויוני.
כיצד בונים בפועל AI קליני שאינו מפלה?
כאן אני חייב להיעשות מעט טכני, משום שהפתרון אינו פילוסופי — הוא מתמטי. והמתמטיקה היא מה שמפריד בין AI עמוק לבין תוכנה ערטילאית (vaporware) בעלת כוונות טובות.
אופטימיזציה מסורתית של למידת מכונה ממזערת את השגיאה הממוצעת על פני כל מאגר הנתונים. זה נשמע סביר עד שמבינים ש"ממוצע" מעדיף מטבעו את קבוצת הרוב. אם 70% מנתוני האימון שלך מגיעים מחולים לבנים, המודל יבצע אופטימיזציה עבור חולים לבנים. שיעורי השגיאה עבור כל השאר הם פשוט... אובדנים מקובלים בממוצע.
אנחנו לא מקבלים את זה. ב-Veriprajna, אנחנו מיישמים את מה שנקרא אופטימיזציית הפסד לקבוצה הגרועה ביותר (worst-group loss optimization). במקום למזער את השגיאה הממוצעת, אנחנו ממזערים את השגיאה המקסימלית על פני כל תת־הקבוצות הדמוגרפיות. מתמטית, אנחנו פותרים עבור: מזעור ההפסד במקרה הגרוע ביותר על פני אוכלוסיות שחורות, לבנות, היספניות ואחרות בו־זמנית. מחקר בזיהוי דיכאון אוטומטי הראה שבעוד גישה זו עשויה להוריד מעט את הדיוק הכולל, היא משפרת משמעותית את התוצאות עבור קבוצות בתת־ייצוג שאחרת מסווגות בטעות באופן שיטתי.
אנחנו גם אוכפים סיכויים שווים (equalized odds) — בדרישה ששיעור החיוב האמיתי ושיעור החיוב הכוזב יהיו שווים כאחד על פני קבוצות דמוגרפיות. אם למודל אלח דם יש רגישות של 80% עבור חולים לבנים אך רק 40% עבור חולים שחורים, הוא מספק דרג טיפול שונה על בסיס גזע. נקודה. זו אינה סוגיית ביצועי מודל. זו סוגיית זכויות אזרח.
עבור המסגרת המתמטית המלאה — כולל פונקציות הפסד מודעות־הוגנות, הסרת הטיה יריבותית (adversarial debiasing), וגישתנו למיזוג אותות רב־מודאלי — פירטתי את הפרטים הטכניים במאמר המחקר שלנו.
אבל המתמטיקה היא רק שכבה אחת. הנה כיצד נראית הארכיטקטורה המלאה בפועל:
צריך לתקן את הקלטים. אנחנו לא מתייחסים לקריאת מד־חמצן דופק כאל אמת מוחלטת. המודלים שלנו ממזגים מדידת חמצן עם שונות קצב הלב, קצב הנשימה, ומגמות לקטט. אם קצב הלב והלקטט של חולה מטפסים בעוד ה-SpO₂ נותר יציב באופן חשוד, המערכת מסמנת אי־התאמה באות ומבקשת מהרופא להזמין בדיקת גזים בדם עורקי — תקן הזהב. אנחנו מבצעים טריאנגולציה של המצב האמיתי של החולה במקום לסמוך על חיישן מוטה יחיד.
צריך לתקן את התוויות. אנחנו משתמשים באמת מוחלטת שנקבעה בידי מומחים במקום בקודי חיוב. כאשר שלושה מומחי אלח דם בוחנים מקרה באופן עצמאי ומסכימים על ציר הזמן של האבחון, זהו אות אימון שונה מהותית מקוד חיוב שנוצר שש שעות לאחר שהחולה כבר היה ביחידה לטיפול נמרץ.
צריך לאמת מקומית. כל פריסה מתחילה בביקורת רטרוספקטיבית של נתוני המוסד עצמו. אנחנו מודדים משהו שנקרא מדד יציבות האוכלוסייה (Population Stability Index) כדי לכמת עד כמה אוכלוסיית החולים המקומית שונה מקבוצת האימון שלנו. אם הפער גדול מדי, אנחנו מכיילים מחדש לפני העלייה לאוויר. הצניחה הקטסטרופלית בביצועי ה-Epic Sepsis Model — מ-0.83 AUC פנימית ל-0.63 חיצונית — היא מה שקורה כאשר מדלגים על שלב זה.
"אבל האם זה לא יאט את אימוץ ה-AI?"
אנשים שואלים אותי את זה, ואני מבין את הדחף שמאחורי זה. יש דחיפות אמיתית להכניס AI לזרימות עבודה קליניות. אנשים מתים בזמן שאנחנו מתדיינים על מדדי הוגנות.
אבל הנה מה שלמדתי: פריסה מהירה של מערכת AI מוטה אינה מצילה יותר חיים. היא מצילה חלק מהחיים — באופן לא־פרופורציונלי לבנים, באופן לא־פרופורציונלי אמידים — תוך יצירת תחושת ביטחון כוזבת שפוגעת באופן פעיל בכל השאר. ה-Epic Sepsis Model נפרס במהירות. הוא נפרס בהיקף רחב. והוא החמיץ שני שלישים ממקרי אלח הדם תוך יצירת אזעקות שווא ב-88% מהמקרים. מהירות ללא שוויון אינה התקדמות. זו רשלנות בקנה מידה גדול.
ההתנגדות האחרת שאני שומע: "אילוצי הוגנות מפחיתים דיוק." זה נכון טכנית במובן הצר ביותר — אופטימיזציה לביצועים של הקבוצה הגרועה ביותר עשויה להוריד מעט את המדד המצרפי. אבל "דיוק מצרפי" הוא אותה אחיזת עיניים סטטיסטית שאפשרה למשבר מד־החמצן דופק להימשך שלושים שנה. כאשר הדיוק של 95% שלך פירושו 95% עבור חולים לבנים ו-62% עבור חולים שחורים, המספר המצרפי הוא שקר.
אופטימיזציה לדיוק ממוצע ב-AI בתחום הבריאות היא כמו דיווח על הטמפרטורה הממוצעת בבית חולים — היא אינה אומרת לך דבר על החולה שעולה באש.
על מה אני חושב בשתיים לפנות בוקר
אני חושב על העובדה שאחת מכל שלוש נשים שחורות מדווחת על יחס לקוי במהלך טיפול היולדות. אני חושב על 40% ממקרי התחלואה החמורה שמערכות ה-AI של קליפורניה החמיצו אצל חולות שחורות. אני חושב על אצבעה של בתי באותו תפס של מד־חמצן דופק, ועל חיוכה של האחות, ועל המספר שעל המסך שידעתי שכנראה שגוי.
ואני חושב על העובדה שיש לנו את הכלים המתמטיים לתקן את זה. פונקציות הפסד מודעות־הוגנות קיימות. מיזוג אותות רב־מודאלי קיים. מסגרות אימות מקומיות קיימות. אופטימיזציה לקבוצה הגרועה ביותר קיימת. שום דבר מזה אינו תיאורטי. בנינו את זה. צוותים אחרים בונים את זה. הידע כאן.
מה שחסר הוא הרצון. יותר מדי מערכות בריאות קונות פתרונות עטיפה משום שהם זולים ומהירים. יותר מדי ספקי AI מדווחים דיוק מצרפי משום שפילוחים לפי תת־קבוצות היו מביכים. יותר מדי רגולטורים בודקים מכשירים על עשרה נבדקים ומכנים זאת מספק.
הדרך קדימה אינה מסובכת. דרשו מדדי ביצועים לפי תת־קבוצות מכל ספק AI — רגישות, סגוליות, וערך מנבא חיובי מפולחים לפי גזע, גיל ומין. דחו טענות "דיוק של 99%" שאינן מראות לכם את המכנה. דרשו אימות חיצוני עצמאי, לא ניירות עמדה של ספקים. והפסיקו להתייחס להוגנות כאל בקשת פיצ'ר. זו דרישת עיצוב.
אימהות שחורות מתות בשיעור גבוה פי 3.5 מזה של אימהות לבנות. מערכות AI הבנויות על חומרה מוטה ותוויות מוטות מחמירות את המצב. ובכל יום שבו אנחנו פורסים עוד פתרון עטיפה מבלי לשאול עבור מי הוא עובד ועבור מי לא, אנחנו בוחרים בנוחות על פני חיים.
לא הקמתי את Veriprajna כדי לבנות עוד צ'אטבוט עם אוצר מילים רפואי. הקמתי אותה משום שאני מאמין ש-AI עמוק — מהסוג שחוקר את הקלטים של עצמו, אוכף שוויון באופן מתמטי, ומאמת מקומית לפני שהוא נוגע ולו בחולה אחד — הוא הטכנולוגיה היחידה הראויה להיות בחדר כאשר חייו של אדם על הכף.
השאלה אינה אם ל-AI יש מקום בתחום הבריאות. יש לו. השאלה היא אם יש לנו את היושרה לבנות אותו נכון.
