האלגוריתם ששלל טיפול ממטופלים גוססים — ומה הוא לימד אותי על בניית AI שלא הורג
ישבתי בחדר ישיבות בסוף 2024 כשעמיתה שלי העלתה נתון על המחשב הנייד שלה וסובבה את המסך לעברי. "ראית את זה?"
זה היה שיעור היפוך הערעורים עבור אלגוריתם nH Predict של UnitedHealth Group — מערכת ה-AI שחברת הבת שלהם, NaviHealth, השתמשה בה כדי להחליט מתי יש לנתק מטופלי Medicare מטיפול בתר-אקוטי. סיעוד מיומן. שיקום. סוג הטיפול שמונע ממישהו בן 82 להישלח הביתה לדירה ריקה לאחר שבץ.
המספר היה 90%.
בתשע מתוך עשר פעמים שבהן שופט אנושי אכן בחן את החלטת האלגוריתם לשלול כיסוי, הוא היפך אותה. ה-AI טעה בתשע מתוך עשר פעמים. ו-UnitedHealth ידעה. הם ידעו משום שרק 0.2% מהמטופלים — אנשים קשישים, נכים ולקויים קוגניטיבית — הצליחו אי פעם להגיש ערעור. המערכת לא תוכננה להיות מדויקת. היא תוכננה להיות בלתי ניתנת לערעור.
סגרתי את המחשב הנייד שלי באותו לילה ולא הצלחתי לישון. לא משום שהטכנולוגיה הפתיעה אותי — ביליתי שנים בבניית מערכות AI ואני מבין כיצד מודלים מונעי-מתאם נכשלים. מה שהדיר שינה מעיניי היה משהו מכוער יותר: זה לא היה באג. זה היה מודל עסקי. וזו הייתה נקודת הקצה ההגיונית של פילוסופיה שלמה של AI ארגוני שהתעשייה שלי קידמה בשמחה במשך חצי עשור.
אני מנהל את VeriPrajna, חברה שנבנתה על ההנחה ש-AI בתחומים בעלי סיכון גבוה חייב להיות שונה מהותית מהצ'אטבוטים ומחוללי התוכן ששולטים בשיח. משבר UnitedHealth לא רק אישש את ההנחה הזו. הוא הקצין אותה.
אלגוריתם במיליארד דולר שלא הצליח לראות אישה גוססת
הרשו לי לספר לכם על קרול קלמנס, משום שהמספרים אינם אומרים דבר בלעדיה.
לקרול הייתה מתמוגלובינמיה — הפרעת דם מסכנת חיים שבה הדם אינו מסוגל לשאת חמצן כראוי. לאחר התקף חמור, היא שהתה במוסד סיעודי מיומן וקיבלה את השיקום שנזקקה לו כדי לשרוד. סוג הטיפול ש-Medicare אמורה לכסות.
ואז nH Predict הפיק "תאריך שחרור יעד". האלגוריתם, שאומן על 6 מיליון רשומות מטופלים, הצליב את האבחנה של קרול עם תוצאות היסטוריות והחליט שהיא סיימה. לא משנה שרמות החמצן בדמה עדיין היו נמוכות באופן מסכן חיים. לא משנה שהקלינאים שלה אמרו שהיא זקוקה לעוד זמן. המודל אמר את דברו.
משפחתה שילמה $16,768 מכיסה כדי להשאיר אותה בטיפול. הם היו ברי מזל — היו להם המשאבים. לרוב המטופלים במצבה של קרול לא היו.
הנה מה שרודף אותי במקרה הזה: nH Predict לא היה ניסוי סורר כלשהו. חטיבת Optum של UnitedHealth שילמה מעל מיליארד דולר כדי לרכוש את NaviHealth ואת האלגוריתם שלה. זה היה מוצר דגל בחברה שחזתה הכנסות של 340 מיליארד דולר לשנת 2025. פריסת ה-AI היקרה ביותר בתולדות הבריאות, והיא לא הצליחה להבחין בין ממוצע סטטיסטי לבין אישה שנחנקה.
מדוע האלגוריתם טעה ב-90% מהמקרים?
זו השאלה שכולם שואלים, והתשובה פשוטה באופן מטעה. nH Predict היה מנוע מתאם שהתחזה לכלי קליני.
הוא קלט רשומות מטופלים ומצא דפוסים: מטופלים עם אבחנה X נשארים בדרך כלל Y ימים. זהו. זה כל הטריק. הוא לא מידל מדוע מטופלים זקוקים לאורכי טיפול שונים. הוא לא לקח בחשבון האם למישהו יש מטפל בבית, האם הוא יציב מספיק מבחינה כלכלית כדי להתמודד עם טיפול אמבולטורי, האם היו לו סיבוכים ספציפיים שהפכו את מקרהו לשונה מהממוצע הסטטיסטי.
מודל שאומר לך "מטופלים כאלה משתחררים בדרך כלל תוך 14 ימים" אינו זהה למודל שמבין מדוע המטופל הספציפי הזה זקוק ל-21 ימים. הראשון הוא גיליון אלקטרוני עם צעדים נוספים. השני הוא אינטליגנציה.
ניהלתי את הוויכוח הזה עם יזמים אחרים יותר פעמים משאני יכול לספור. "אבל המודל מדויק בממוצע!" הם יגידו. בטח. וגם נהר עמוק בממוצע ארבעה רגל, מה שאינו מנחם את מי שטבע בקטע בעומק שמונה רגל.
המונח הטכני למה שחסר ל-nH Predict הוא היסק סיבתי — היכולת לעבור מ"מה קורה בדרך כלל" ל"מה יקרה אם נשנה את המשתנה הזה". מודל סיבתי היה שואל: מה קורה למסלול ההחלמה של קרול קלמנס אם נסיר את הטיפול הסיעודי המיומן ביום ה-14? האם היא תסבול מהישנות? האם היא תמות? מודל מתאם אינו שואל. הוא לא יכול. הוא לא נבנה לשם כך.
כתבתי על ההבחנה הזו לעומק בגרסה האינטראקטיבית של המחקר שלנו, משום שאני חושב שזהו המושג היחיד והחשוב ביותר שמנהיגים ארגוניים צריכים להבין לגבי AI כרגע.
כלל ה-3% ל-1% — או, כיצד הופכים אחיות לחותמות גומי
חוסר הדיוק של האלגוריתם היה נורא מספיק. מה ש-UnitedHealth עשתה איתו היה גרוע יותר.
עדות חושף שחיתויות חשפה שמנהלי NaviHealth קבעו יעדי ציות נוקשים לצוות הקליני שלהם. מנהלי מקרים — אחיות, רופאים, אנשים שהקדישו עשורים ללמידה כיצד להעריך את צורכי המטופלים — התבקשו לשמור על אורכי השהייה בפועל של המטופלים בתוך שונות של 3% ממה ש-nH Predict חזה.
לאחר מכן הם הידקו זאת ל-1%.
חשבו על מה שזה אומר בפועל. אתם אחות. בדקתם מטופל. אתם יודעים, משנים של ניסיון ומהראיות הקליניות שלפניכם, שהאדם הזה אינו מוכן לחזור הביתה. אבל האלגוריתם אומר יום 14, והמנהל שלכם אומר שאתם צריכים לפגוע ביום 14 פלוס מינוס חלקיק של יום, אחרת תעמדו בפני צעדים משמעתיים. אולי פיטורים.
מה אתם עושים?
רוב האנשים צייתו. לא משום שהיו קלינאים גרועים, אלא משום שהמערכת תוכננה להפוך את הציות לאפשרות היחידה שאפשר לשרוד בה. רכזי טיפול קיבלו הוראה לתזמן את סקירות ההתקדמות שלהם כך שיחפפו בדיוק עם תאריך השחרור שנחזה על ידי האלגוריתם — כשהם מהנדסים את ציר הזמן הקליני שיתאים למודל ולא למטופל.
אני זוכר שתיארתי זאת לחבר שעובד בבטיחות תעופה, והוא החוויר. "זה כמו לומר לטייסים לנחות על סמך תוכנית הטיסה ללא קשר לתנאי מזג האוויר," הוא אמר. "לעולם לא היית טס שוב."
כאשר קלינאים נענשים על עקיפת אלגוריתם פגום, אין לך "אדם בתוך הלולאה". יש לך חותמת גומי בצורת אדם.
זה מה שאני מכנה כפייה אלגוריתמית, וזהו מצב הכשל שמפחיד אותי יותר מכל — לא משום שה-AI אוטונומי, אלא משום שהוא יוצר סביבה שבה בני אדם נענשים על הפעלת שיקול הדעת שחסר ל-AI.
מה קרה בבית המשפט ב-13 בפברואר 2025?
התביעה הייצוגית — Estate of Gene B. Lokken v. UnitedHealth Group — הגיעה לנקודת מפנה כאשר שופט בית המשפט המחוזי של ארה"ב, ג'ון טונהיים, פסק שהתיק יכול להתקדם. לזה יש חשיבות עצומה, ולא רק עבור UnitedHealth.
בית המשפט מצא שמסמכי המדיניות של UHC עצמה הבטיחו שהחלטות כיסוי יתקבלו על ידי "צוות שירותים קליניים" ו"רופאים". על ידי החלפת בני האדם הללו באלגוריתם שהכתיב למעשה את התוצאות, ייתכן ש-UnitedHealth הפרה את החוזה שלה עם כל מבוטח.
משמעותי אף יותר: השופט ויתר על הדרישה שהמטופלים ימצו את הליכי הערעור המנהליים בטרם הגשת תביעה. בדרך כלל, מוטבי Medicare נאלצים לנווט בין רמות מרובות של בדיקה בירוקרטית לפני שהם יכולים לפנות לבית המשפט. אבל טונהיים הביט בשיעור השגיאה של 90%, הביט בשיעור הערעור של 0.2%, ובעצם אמר: אנחנו לא נאלץ אנשים גוססים להשתתף במערכת שמכוונת נגדם.
פסיקה זו צריכה להיות קריאת חובה עבור כל מנהל שפורס AI בענף מפוקח. מערכת המשפט אינה מוכנה עוד להתייחס לתפקוד לקוי אלגוריתמי כאל בעיית תהליך שהמטופלים צריכים לפתור בעצמם.
מדוע "AI עוטף" הוא פצצת זמן מתקתקת בתחום הבריאות
כאן אני צריך להיות בוטה לגבי התעשייה שלי עצמה, משום שסיפור UnitedHealth אינו אירוע מבודד. זהו הסימפטום הגלוי ביותר של בעיה מבנית.
בשלוש השנים האחרונות, שוק ה-AI הארגוני הוצף במה שאני מכנה פתרונות עטיפה — חברות שלוקחות מודל שפה גדול קיים, עוטפות אותו בממשק מותאם אישית, אולי מכווננות אותו על נתונים ספציפיים לתחום, ומוכרות אותו כמוצר AI לתחום הבריאות. או מוצר AI לביטוח. או מוצר AI לציות.
עטיפות אלה חולקות כל פגיעות שהפכה את nH Predict למסוכן:
הם קופסאות שחורות. אי אפשר לבקר את ההיגיון מאחורי כל החלטה בודדת, מה שאומר שאי אפשר לתפוס הטיה שיטתית עד שהיא כבר פגעה באלפי אנשים.
הם יורשים את ההטיות של מודלי היסוד שלהם. אם נתוני האימון משקפים דפוסים היסטוריים של אפליה — ובתחום הבריאות, הם תמיד משקפים — העטיפה משכפלת בנאמנות את הדפוסים הללו.
אין להם שום הבנה סיבתית. הם חוזים על בסיס מתאם סטטיסטי, מה שאומר שהם ממטבים ל"מה קורה בדרך כלל" במקום ל"מה צריך לקרות עבור המטופל הזה".
וקריטית, הם אינם ברי-הגנה. כל מתחרה יכול לבנות את אותה עטיפה על אותו מודל יסוד. אין שום אינטליגנציה קניינית, שום תובנה ייחודית — רק שכבה דקה של אוטומציה מעל המנוע של מישהו אחר.
כלכלת העטיפות ב-AI לתחום הבריאות בונה על חול. כשגאות הרגולציה תגיע — והיא מגיעה במהירות — חברות ללא מערכות עמוקות, ניתנות-להסבר ומעוגנות-סיבתית ייסחפו.
אני לא אומר זאת משום ש-VeriPrajna מתחרה בחברות עטיפה (אף שאנחנו כן). אני אומר זאת משום שראיתי מה קורה כשמערכות אלה נכשלות בסביבת ייצור, והפער בין "מוכן להדגמה" לבין "בטוח קלינית" הוא תהום שעטיפות אינן יכולות לחצות.
כיצד ה-FDA רוצה ש-AI יוכיח שהוא ראוי לאמון?
בינואר 2025, ה-FDA פרסמה טיוטת הנחיות המקימה מסגרת הערכת אמינות בת 7 שלבים עבור מודלי AI המשמשים בקבלת החלטות רפואיות ורגולטוריות. ביליתי שבועות עם המסמך הזה, וזוהי פיסת הרגולציה על AI המשמעותית ביותר שראיתי.
המסגרת דורשת שכל פריסת AI תגדיר בבירור את השאלה המדויקת שעליה היא עונה, תפרט את תפקידה בתהליך העבודה הקליני, תעריך מה קורה אם היא טועה, ואז תוכיח — באמצעות בדיקות קפדניות — שהיא מתאימה למטרה הספציפית הזו.
nH Predict היה נכשל בכל שלב. לא הייתה לו הגדרה ברורה של תפקידו הקליני. הערכת הסיכונים שלו התעלמה מההשלכות מסכנות החיים של טיפול שנשלל. ה"אימות" שלו מוטב לצמצום עלויות, לא לתוצאות המטופלים.
בינתיים, ה-EU AI Act סיווג את ה-AI לתחום הבריאות כ"סיכון גבוה" ב-2025, ודרש גילויי שקיפות מחייבים ופיקוח אנושי. הקנסות על אי-ציות מגיעים עד 7% מהמחזור הגלובלי. עבור חברה בגודל של UnitedHealth, זה אינו קנס — זהו איום קיומי.
ארגון הבריאות העולמי הרחיק לכת אף יותר, ומתמקד במפורש במה שהוא מכנה הטיית אוטומציה — הנטייה של קלינאים לסמוך על אלגוריתם גם כשהוא סותר את שיקול הדעת הקליני שלהם. זה בדיוק מה שקרה ב-NaviHealth. ההנחיות של ה-WHO משנת 2024 מזהירות שהסתמכות יתר על AI עלולה להוביל ל"שחיקת מיומנויות" בקרב רופאים שמפסיקים להפעיל הערכה ביקורתית.
לפירוט הטכני המלא של מסגרות רגולטוריות אלה וכיצד הן חלות על פריסת AI ארגוני, ראו את מאמר המחקר שלנו.
הלילה שבו הבנתי שהסבירוּת אינה אופציונלית
יש רגע במסע של כל יזם שבו עיקרון מופשט הופך למוחשי-בטני. עבורי, זה היה ערב מאוחר של בדיקת גרסה מוקדמת של אחד המודלים שלנו על מערך נתונים מתחום הבריאות.
המודל סימן מקרה לשלילה. ביקשתי מהצוות שלי להריץ SHAP — SHapley Additive exPlanations, כלי שמראה אילו מאפיינים הובילו לחיזוי מסוים. הגורם המוביל לא היה האבחנה של המטופל או המסלול הקליני שלו. הוא היה מיקוד המגורים שלהם.
המהנדס הראשי שלי ואני בהינו במסך. שנינו ידענו עם מה מיקוד מתואם בנתוני הבריאות האמריקאיים. לא הסתכלנו על משתנה קליני. הסתכלנו על מתווך לגזע ולהכנסה מחופש בחמש ספרות.
גרטנו את המאפיין באותו לילה. אבל החוויה גיבשה משהו שהבנתי באופן אינטלקטואלי אך לא חשתי בבטני: אם אינך יכול להסביר מדוע ה-AI שלך קיבל החלטה, אינך יכול לתפוס את ההחלטות שאינן ברות-הגנה.
זו הסיבה שאנחנו בונים עם הסבירוּת כארכיטקטורה, לא כמחשבה שלאחר מעשה. כלים כמו SHAP מעניקים לך מבט גלובלי על מה שמניע את המודל שלך. LIME — Local Interpretable Model-Agnostic Explanations — מראה לך את ההיגיון מאחורי כל החלטה בודדת. עבור מטופלת כמו קרול קלמנס, LIME היה מבהיר בעליל שהאלגוריתם התעלם מרמות החמצן הנמוכות באופן מסוכן בדמה לטובת סטטיסטיקות החלמה ממוצעות עבור קוד האבחנה שלה.
ואז ישנו ניקוד ביטחון — הרכיב שרוב פתרונות העטיפה מדלגים עליו לחלוטין. כאשר מטופל מגיע עם מצב נדיר המיוצג בצורה גרועה בנתוני האימון, המערכת צריכה לומר, במפורש: "אני לא יודע מספיק כדי לקבל את ההחלטה הזו. נתב זאת לאדם." לא הצעה. עצירה מוחלטת.
מדוע זה לא יכול להיות עוד "בעיית IT"
אנשים תמיד מתנגדים לי כשאני אומר שממשל AI שייך לחדר הישיבות של הדירקטוריון. "האם לא בשביל זה קיים צוות ההנדסה?" לא. ממש לא. ומקרה UnitedHealth הוא ההוכחה.
המהנדסים ב-NaviHealth לא קבעו את מנדט השונות של 1%. זו הייתה החלטת הנהלה. המהנדסים לא החליטו להעניש קלינאים שעקפו את האלגוריתם. זו הייתה החלטת מדיניות. המהנדסים לא בחרו לפרוס מודל מבוסס-מתאם עבור החלטות כיסוי של חיים או מוות ללא אימות סיבתי. זו הייתה החלטה אסטרטגית.
עד 2025, 72% מחברות S&P 500 חשפו סיכוני AI מהותיים בדיווחי ה-SEC שלהן. סיכון מוניטין הוא כעת החשש המצוטט ביותר. כשל אלגוריתמי בודד יכול לעורר התדיינות משפטית, פעולה רגולטורית וזעם ציבורי בו-זמנית — והדירקטוריון שאומר "לא ידענו" יגלה שבורות אינה הגנה.
ב-VeriPrajna, אנחנו דוחפים כל לקוח להקים ועדות ממשל AI רב-תחומיות הכוללות מנהיגים קליניים, יועצים משפטיים ונציגי בטיחות מטופלים — לא רק מהנדסים ומנהלי מוצר. ועדות אלה זקוקות לסמכות לתחזק רישום מרכזי של כל מודל AI במערך הארגון, לאכוף אפשרויות שחזור לאחור כשהביצועים מתדרדרים, ו — זהו החלק שגורם למנהלים אי-נוחות — להרוג מודל רווחי כשהוא גורם נזק.
ממשל AI אינו מרכז עלות. זהו ההבדל בין חברה שפורסת AI באחריות לבין חברה שהופכת לסיפור האזהרה הבא בחקירה של הסנאט.
הוויכוח שאני מנהל שוב ושוב
יש שיחה שאני מנהל כמעט בכל כנס, והיא הולכת כך:
"אשוטוש, אתה מסבך את זה יתר על המידה. אנחנו יכולים לכוונן את GPT-4 על הנתונים הקליניים שלנו ולשלח משהו בתוך שישה שבועות. הגישה שלך לוקחת חודשים."
אני לא חולק על לוח הזמנים. אני חולק על ההגדרה של "מוגמר".
אתה בהחלט יכול לשלח עטיפה בתוך שישה שבועות. אתה יכול להדגים אותה בצורה יפהפייה. היא תפיק סיכומים קליניים שנשמעים מתקבלים על הדעת ותשמח את המשקיעים שלך. ואז, שישה חודשים לאחר מכן, כשמטופל מת משום שהמודל שלך המליץ בביטחון על דרך הפעולה הלא נכונה ואיש לא הצליח להסביר מדוע, תגלה ששישה השבועות שחסכת עלו לך בכול.
משבר UnitedHealth לא נגרם בגלל מהנדסים גרועים או כוונה זדונית. הוא נגרם בגלל ארגון שהתייחס ל-AI כבעיית מיטוב תפוקה — צמצום זמן הבדיקה בשש עד עשר דקות למקרה — במקום כבעיית שיקול דעת קליני. הם מדדו הצלחה במהירות עיבוד ובשיעורי שלילה, לא בתוצאות המטופלים.
המעבר מעטיפות חיזוי למה שאני מכנה AI עמוק אינו נוגע לשימוש במודלים מפוארים יותר. הוא נוגע לשאילת שאלה שונה מהותית. לא "כיצד אנחנו הופכים את ההחלטה הזו לאוטומטית?" אלא "כיצד אנחנו הופכים את ההחלטה הזו לטובה יותר, שקופה יותר ואחראית יותר משאדם לבדו יכול?"
לאן נמשיך מכאן
אני רוצה לסיים במשהו שהטריד אותי מאז שהתחלתי לכתוב את זה.
סיפור nH Predict מזעזע, אבל הוא לא אמור להפתיע. בילינו שנים בבניית מערכת אקולוגית של AI שמתגמלת מהירות על פני בטיחות, מתאם על פני סיבתיות, ואוטומציה על פני העצמה. מבני התמריצים — לוחות הזמנים של הון סיכון, מחזורי הרכש הארגוניים, הלחץ הבלתי פוסק לשלח — כולם דוחפים לעבר גישת העטיפה. לבנות מהר, למכור מהר, לדאוג לממשל אחר כך.
אין "אחר כך". הפסיקה מפברואר 2025 הבהירה זאת. מסגרת האמינות של ה-FDA הבהירה זאת. הקנס של 7% מ-EU AI Act הבהיר זאת. וחשבון הרפואי של קרול קלמנס בסך $16,768 הבהיר זאת במונחים האנושיים ביותר האפשריים.
הדרך קדימה אינה פחות AI. זהו AI שמרוויח את הסמכות שאנחנו מעניקים לו — דרך אימות סיבתי שמבין מדוע, דרך ארכיטקטורה ניתנת-להסבר שמראה את עבודתה, דרך מבני ממשל שמעצימים בני אדם לעקוף את המכונה ללא חשש מעונש, ודרך הענווה המוסדית הבסיסית להודות מתי המודל אינו יודע מספיק כדי לקבל את ההחלטה.
השאלה מעולם לא הייתה "האם AI יכול לקבל החלטות רפואיות?" היא תמיד הייתה "האם עלינו לתת ל-AI לקבל החלטות רפואיות שהוא אינו יכול להסביר, אינו יכול להצדיק, וטועה בהן ב-90% מהמקרים?" התשובה, סוף סוף, היא לא.
בנינו את VeriPrajna משום שהאמנו שהתשובה הזו בדרך. הלוואי שלא היו נדרשים מטופלים גוססים כדי להוכיח שצדקנו.
