הבעיה
אלגוריתם ה-AI של UnitedHealth Group שלל טיפול ממטופלים קשישים — וטעה ב-90% מהמקרים. תשע מכל עשר דחיות בוטלו כששופט אנושי בחן אותן ממש. אבל UnitedHealth ידעה דבר הרסני: רק 0.2% מהמטופלים היו בעלי המשאבים להיאבק.
האלגוריתם במרכז המשבר הזה נקרא nH Predict. חטיבת Optum של UnitedHealth רכשה אותו בשנת 2020 תמורת יותר ממיליארד דולר. הוא נועד לחזות כמה זמן יזדקקו מטופלי Medicare לטיפול לאחר אשפוז חד, כמו שהייה במוסדות סיעוד. בפועל הוא הפך למכונת קיצוץ עלויות שהתעלמה מהשאלה אם המטופלים זקוקים באמת לעזרה.
שקלו את המקרה של קרול קלמנס. לאחר ששרדה מתהמוגלובינמיה — הפרעת דם מסכנת חיים — היא זקקה לטיפול סיעודי אינטנסיבי. הראיות הקליניות תמכו בצורך המתמשך שלה בשיקום. אבל התחזיות של nH Predict סיימו את הכיסוי הביטוחי שלה בכל זאת. משפחתה שילמה יותר מ-16,768 דולר מכיסה כדי למנוע את שחרורה המוקדם. UnitedHealth, כך נטען בתובענה, "התעשרה" על חשבון העובדה שמטופלים כמו קלמנס היו חולים מדי, מבוגרים מדי או עניים מדי כדי לערער.
בפברואר 2025 קבע שופט פדרלי כי התובענה הייצוגית תוכל להתנהל. עידן ההסתתרות מאחורי החלטות של קופסה שחורה ב-AI מגיע לסיומו. אם הארגון שלך משתמש ב-AI כדי לקבל החלטות שמשפיעות על חייהם או פרנסתם של אנשים, התיק הזה הוא יריית האזהרה שלך.
מדוע זה חשוב לעסק שלך
זה לא סיפור על בריאות בלבד. זהו סיפור על ממשל תאגידי, והחשיפה הפיננסית עצומה.
UnitedHealth Group מגלגלת הכנסות של כ-300 מיליארד דולר בשנה. החברה מתמודדת כעת עם תובענה ייצוגית פדרלית שעשויה לעצב מחדש את האופן שבו כל ארגון מפוקח פורס AI. הנה מה שהמספרים אומרים לך על הסיכון של עצמך:
שיעורי הדחייה זינקו ביותר מ-100%. דחיות טיפול לאחר אשפוז חד קפצו מכ-10% ל-22.7% לאחר פריסת ה-AI. דחיות במוסדות סיעוד גדלו ב-800%. מועצת המנהלים שלך צריכה לשאול: האם מערכות ה-AI שלך מייצרות תוצאות חריגות סטטיסטית שרגולטורים יכולים לסמן?
72% מחברות S&P 500 חושפות כיום סיכוני AI מהותיים בדוחות ה-SEC השנתיים שלהן. נזק למוניטין הוא הדאגה המדורגת ראשונה. כשל AI ויראלי אחד יכול להצית הליך משפטי שעולה פי כמה ממה שה-AI נועד לחסוך.
קנסות חוק ה-AI האירופי (EU AI Act) מגיעים עד 7% ממחזור גלובלי. מערכות AI לבריאות מסווגות כ"סיכון גבוה" לפי החוק הזה, המחייב הערכות התאמה, גילויי שקיפות ופיקוח אנושי. אם אתה עוסק באירופה, אי-ציות הוא איום פיננסי ברמת הדירקטוריון.
טיוטת ההנחיה של ה-FDA מינואר 2025 מציבה כעת מסגרת חובה בת 7 שלבים לבחינת מהימנות עבור מודלי AI המשמשים בקבלת החלטות רפואיות ורגולטוריות. הרגולטורים כבר אינם מציעים שיטות עבודה מומלצות. הם כותבים כללים.
השורה התחתונה ל-P&L שלך: העלות של ממשל תקין ב-AI היא שבריר מהעלות של התגוננות מפני תובענה ייצוגית, תשלום קנסות רגולטוריים או בנייה מחדש של המותג שלך אחרי כשל פומבי.
מה באמת קורה מתחת למכסה המנוע
הנה הסיבה לכשל של nH Predict, מוסברת בלי ז'רגון.
האלגוריתם פעל באמצעות הצלבת מסד נתונים של 6 מיליון רשומות מטופלים. הוא חיפש דפוסים: מטופלים עם אבחנות דומות שהו בעבר X ימים. ואז הוא ייצר תאריך שחרור "יעד" לכל מטופל חדש.
חשבו על זה כמו GPS שמכיר רק דפוסי תנועה ממוצעים. הוא אומר לך שהנסיעה לוקחת 30 דקות. אבל הוא לא רואה את התאונה שלפניך, את חסימת הכביש, או את העובדה שלמכונית שלך יש צמיג נקוב. הוא פשוט ממשיך להתעקש שכבר הגעת.
ל-nH Predict הייתה אותה נקודה עיוורת בדיוק. הוא הסתמך על מתאם — מה שקורה בדרך כלל — במקום על סיבתיות — מה שמניע בפועל את מצבו של כל מטופל. הוא לא ידע להתחשב בשאלה אם למטופל יש מטפל בבית, אם הוא מתמודד עם אי-יציבות כלכלית, או אם יש לו סיבוכים קליניים ספציפיים. הגורמים האלה קובעים נחיצות רפואית לפי כללי Medicare, אבל המודל התעלם מהם לחלוטין.
למצב הכשל הזה יש שם: זה ההבדל בין לשאול "מה קורה בדרך כלל" לבין "מדוע המטופל הזה צריך זמן נוסף". מודל מונחה-מתאם — כזה שמזהה דפוסים בלי להבין סיבות — אומר לך שמטופלים עם אבחנה מסוימת בדרך כלל משתחררים אחרי 14 יום. מודל סיבתי שואל אילו גורמים מביאים מטופל להזדקק לזמן נוסף, ומה קורה כשמפסיקים כיסוי ביטוחי בטרם עת.
הבעיה החמירה כי UnitedHealth הפכה כלי חיזוי פגום להנחיה מחייבת. מנהלים פנימיים הורו למנהלי המקרים להחזיק את משך האשפוז בטווח של 3% מהתחזית של האלגוריתם. אחר כך צמצמו את היעד הזה ל-1% בלבד. קלינאים שסטו כדי להיענות לצרכים האמיתיים של המטופלים התמודדו עם הליכים משמעתיים או פיטורים. אמצעי "האדם בלולאה" צומצם לחותמת גומי.
מה עובד (ומה לא)
נתחיל במה שלא עובד, כי ייתכן שהארגון שלך כבר עושה אחד מאלה.
הוספת שכבת צ'אטבוט על גבי AI קיים. זו הגישת ה"עוטף" — מנשק מותאם אישית מעל מנוע AI של צד שלישי כמו GPT. עוטפים כאלה אינם מציעים שום לוגיקה קניינית, יורשים כל הטיה מהמודל הבסיסי שלהם, ומפיקים פלטים של קופסה שחורה שאי אפשר לבקר. בתעשיות מפוקחות הם מקור חבות.
הנחה שסקירה אנושית פותרת הכול. באופן טכני ל-UnitedHealth היו אנשים שסקרו החלטות AI. אבל כשאתה מעניש עובדים על עקיפת האלגוריתם, "האדם בלולאה" שלך הוא בדיה. עיצוב התהליך מכריע יותר מניסוח המדיניות.
התייחסות לממשל AI כפרויקט IT. אם ממשל ה-AI שלך יושב כולו ב-IT, אתה מפספס את הממדים המשפטיים, הקליניים והפיננסיים שיוצרים את החבות בפועל. פסיקת פברואר 2025 הצליחה כי השופט מצא ש-UnitedHealth הפרה את ההתחייבות החוזית שהחלטות כיסוי יתקבלו בידי "צוות שירותים קליניים" ו"רופאים" — לא אלגוריתמים.
הנה מה שעובד בפועל, בשלושה צעדים:
קלט: מידול סיבתי במקום מתאם. מערכת ה-AI שלך צריכה להיבנות על מידול סיבתי ונגד-סיבתי — גישה שבה ממפים את יחסי הסיבה והתוצאה האמיתיים בתחום שלך, ולא רק דפוסים היסטוריים. בתחום הבריאות פירוש הדבר למדל מדוע מטופל זקוק לטיפול, ולא רק כמה זמן שהו מטופלים דומים.
עיבוד: AI ניתן להסבר עם ציוני מהימנות. כל החלטה שמקבלת מערכת ה-AI שלך צריכה לגרור הסבר בשפה פשוטה של הגורמים שהניעו אותה. כלים כמו SHAP ו-LIME — שיטות שמציגות אילו נקודות נתונים השפיעו על פלט מסוים — מאפשרים למבקרים לראות אם דחיות נובעות מראיות קליניות או ממשתני פרוקסי כמו מיקוד. כשה-AI פוגש מקרה מחוץ לנתוני האימון שלו, ציון מהימנות צריך לסמן את אי-הוודאות ולהפנות את המקרה לסוקר אנושי.
פלט: מסלול ביקורת מלא עם בקרות מתג-עצירה. כל פלט של ה-AI חייב להירשם, להיות מתוארך ולהיות ניתן למעקב. תוכנית ממשל ה-AI והציות שלך צריכה לכלול מאגר AI מרכזי שמקטלג כל מודל במחסנית שלך, ניהול שינויי מודל עם אפשרויות חזרה לאחור, וסמכות ברורה לוועדה בין-תחומית לעצור מודל אם ביצועיו יורדים.
מסלול הביקורת הזה הוא מה שמוכר את הגישה הזאת לצוות הציות שלך. כשרגולטור או עורך דין של התובע שואל "הראה לי איך התקבלה ההחלטה הזאת", יש לך או מסלול לוגי מתועד או תביעה. מסגרת 7 השלבים של ה-FDA דורשת כעת במפורש "דוח מהימנות" (Credibility Report) שמתעד אסטרטגיות אימות, מדדים וכל חריגה. אם ה-AI שלך אינו מסוגל להפיק את הדוח הזה, הוא נכשל במבחן הרגולטורי עוד לפני שהוא מגיע לאולם המשפט.
הארגונים שבונים פתרונות AI לבריאות ולמדעי החיים זקוקים למערכות שמסבירות את ההיגיון שלהן, מדגישות בעצמן את אי-הוודאות שלהן, ומשאירות בני אדם בשליטה אמיתית. המסר של בית המשפט בתיק UnitedHealth היה חד-משמעי: אם מערכת ה-AI שלך שבורה מהיסוד, בתי המשפט לא ידרשו מהנפגעים לקחת חלק בהצגת הבובות של תהליך ערעור מרומה.
באפשרותך לקרוא את הניתוח הטכני המלא או לעיין בגרסה האינטראקטיבית למבט מעמיק יותר במסגרות הרגולטוריות ובדרישות הארכיטקטורה.
נקודות מפתח
- ה-AI של UnitedHealth דחה טיפול למטופלים קשישים בשיעור שגיאה של 90%, אבל רק 0.2% מהמטופלים יכלו לערער — ונוצר כשל רווחי.
- שופט פדרלי אישר שהתובענה הייצוגית תתנהל, בקביעה שהחלפת שיקול דעת קליני אנושי באלגוריתם AI עלולה להפר התחייבויות חוזיות כלפי המבוטחים.
- חוק ה-AI האירופי יכול להטיל קנסות של עד 7% ממחזור גלובלי על פריסות AI לבריאות שאינן עומדות בדרישות, וה-FDA מחייב כעת מסגרת מהימנות בת 7 שלבים למודלי AI.
- AI מבוסס-מתאם שמנבא "מה קורה בדרך כלל" נכשל בסביבות מפוקחות — נדרשים מודלים סיבתיים שמסבירים "מדוע" התקבלה החלטה.
- כל פלט AI בתחום בעל סיכון גבוה דורש מסלול ביקורת מלא, ציוני מהימנות ומתג-עצירה — אחרת אתה בונה חבות, לא יעילות.
שורה תחתונה
התיק של UnitedHealth הוכיח שמערכת AI רווחית יכולה להיות גם שגויה באופן קטסטרופלי — ובתי המשפט יחייבו את הארגון שלך באחריות לפער הזה. אם אתה פורס AI בכל החלטה שמשפיעה על בריאותם, כספם או זכויותיהם המשפטיות של אנשים, המערכת שלך חייבת להסביר את ההיגיון שלה ולסמן בעצמה את אי-הוודאות שלה. שאל את ספק ה-AI שלך: כשהמודל שלכם דוחה תביעה או נותן המלצה בעלת סיכון גבוה, האם הוא יכול להציג לרגולטור את הגורמים המדויקים ששקל, את רמת המהימנות של אותה החלטה ספציפית, ואת מסלול הביקורת שמוכיח שלאדם הייתה סמכות אמיתית לעקוף אותה?