תשעים אחוז מהרופאים בוטחים ב-AI הקליני שלהם. הם תופסים רק שליש מהשגיאות המסוכנות שלו.
הגרסה הראשונה של כלי בטיחות ה-AI הקליני שלנו עבדה נהדר. זו בדיוק הייתה הבעיה.
בנינו אותו כדי לעשות את הדבר המובן מאליו: לתפוס הזיות. מכוונים אותו אל תמלילן סביבתי או אל כלי ניסוח בפורטל המטופלים, מזינים לו את הפלט של ה-AI, והוא מסמן אמירות שהיו שגויות עובדתית. הוא תפס שמות תרופות שגויים. הוא תפס ערכי מעבדה בלתי אפשריים. הוא תפס מינון שסטה בסדר גודל שלם. אני זוכר שהרגשתי טוב באמת עם זה — מצאנו שגיאות, הדמו הצליח, המספרים נראו נקיים.
ואז יועץ קליני בפרויקט, רופא אשפוז שבילה שני עשורים במחלקות, הראה לי דוגמה שאני עדיין חושב עליה. AI ניסח תשובת MyChart למטופל ששאל על התרופה שלו. הטיוטה אמרה להמשיך מטפורמין וציינה בעליזות שה-HbA1c האחרון היה 6.8%. כל עובדה בה הייתה נכונה. ההערה הייתה אמפתית, בנויה היטב, בדיוק מה שרופא טוב היה כותב. הכלי שלנו העביר אותה בלי לסמן דבר.
רמת הקריאטינין של המטופל טיפסה לאורך שלושה ביקורים. עלייה בקריאטינין משמעה ירידה בתפקוד הכליות, וירידה בתפקוד הכליות הופכת את המטפורמין למסוכן. ה-AI לא ידע לחפש. וזה — זהו החלק ששינה את האופן שבו אני חושב על בטיחות ה-AI הקליני — גם הרופא הבודק לא היה יודע, כשהוא סורק טיוטה שוטפת, ידידותית ועקבית עובדתית באותן עשר או חמש-עשרה שניות שרופא עמוס מקדיש לה לפני הלחיצה על 'שלח'.
מגלה ההזיות שלנו פתר את הבעיה הלא נכונה. השגיאות שפוגעות במטופלים אינן בדרך כלל אלה השגויות באופן ברור. הן אלה שנכונות מקומית וקטלניות בהקשרן. אי אפשר להגיע לבטיחות בעזרת בדיקת עובדות, כי הסכנה שוכנת במה שה-AI לא אמר.
הכישלון הזה הוא הסיבה לכך ש-Veriprajna הפסיקה לבנות מגלה הזיות והחלה לבנות תשתית בטיחות עצמאית עבור כל מערך ה-AI שמערכת בריאות באמת מפעילה. המסה הזו עוסקת במה שגילינו כשהתבוננו ביושר במערך הזה.
המספר שאמור להדיר שינה מכל CMIO
באפריל 2024, The Lancet Digital Health פרסם מחקר שלדעתי הוא הממצא החשוב ביותר והנטמע-פחות מכולם בתחום ה-AI בבריאות. חוקרים הניחו לרופאים לבחון תשובות שנוסחו על-ידי AI להודעות מטופלים. 7.1% מהטיוטות הללו היוו סיכון חמור לפגיעה במטופל. 0.6% היוו סיכון למוות.
הנה החלק שחשוב יותר משיעור השגיאות. הרופאים, שעשו בדיוק את מה שאנו מבקשים מהם — בחנו את עבודת ה-AI — החמיצו 66.6% מהטיוטות המזיקות. בין שליש לכמעט מחצית מהשגויות יצאו ללא כל עריכה. וכשנשאלו, 90% מאותם רופאים אמרו שהם בוטחים בביצועי הכלי.
תשעים אחוז אמון, ורק שליש מהשגיאות המסוכנות נתפסות. הפער הזה אינו בעיה של הכשרה. הוא התוצאה הצפויה של בקשה מבן אדם לבקר מכונה שכותבת שוטף יותר ממנו.
זוהי הטיית אוטומציה, והיא אינה פגם באופיים של הרופאים. זוהי תכונה של האינטראקציה. כשטיוטה כתובה היטב ואמפתית, איכות הכתיבה מחליפה במוחו של הקורא את האימות העצמאי. ככל שה-AI כותב טוב יותר, כך האדם בודק פחות. אנו פורסים כלים שעוצמתם הגדולה ביותר — שפה שוטפת ובטוחה — היא בדיוק המנגנון שמפרק את רשת הביטחון שבנינו סביבם.
ECRI, המלכ"ר לבטיחות המטופל שמפרסם את הרשימה השנתית של סכנות טכנולוגיית הבריאות המובילות, דירג את הסיכון האבחוני המונע על-ידי AI בתור הסכנה מספר אחת גם ב-2025 וגם ב-2026. לא בעשירייה הראשונה. מספר אחת, שנתיים ברציפות.
"נקרא ונבדק" הוא בדיה משפטית
חוק AB 3030 של קליפורניה, שנכנס לתוקף בינואר 2025, מחייב מערכות בריאות לגלות מתי נעשה שימוש ב-AI בתקשורת קלינית עם מטופלים. הוא כולל פטור שנשמע סביר: אם נותן שירות מורשה קורא ובודק את פלט ה-AI, אין צורך בגילוי. ההיגיון הוא שאדם במעגל הופך את תרומת ה-AI לבלתי נראית ובטוחה.
נתוני The Lancet מפוצצים את ההיגיון הזה. אם רופאים מחמיצים שני שלישים מהשגיאות המזיקות, אז "נקרא ונבדק" הוא, בחלק גדול מהמקרים, חותמת גומי. הפטור מניח איכות ביקורת שהטיית האוטומציה הופכת לבלתי אפשרית בקנה מידה גדול. הפרות מגיעות עד 25,000$ לאירוע עבור מוסד, בתוספת חשיפה משמעתית לרופא ששמו מופיע על ההערה.
אני מבלה זמן רב עם מנהלי מידע רפואי ראשיים, וכאן השיחה נעשית בדרך כלל לא נוחה. המסגרת המשפטית מניחה שהביקורת האנושית משמעותית. המציאות הקלינית היא שביקורת משמעותית דורשת פיגומים טכניים שספקי ה-AI ברובם לא בנו — הדגשת אי-ודאות, קישור ציטוטים בחזרה למקור, תהליכי אישור אקטיביים שגורמים לרופא לעצור על הטענות החשובות. מעט ספקים החלו לבנות זאת — Linked Evidence של Abridge עוקבת אחר כל שורה בהערה שנוצרה בחזרה אל מקטע השמע המדויק שהפיק אותה — מה שרק מוכיח שהיכולת קיימת ושרוב הכלים עדיין אינם נותנים לה עדיפות. בלי אותם פיגומים, "אדם בדק את זה" הוא תיבת סימון לצורך היענות, לא בקרת בטיחות.
הספק אמר 0.001%. היועץ המשפטי לממשל של טקסס אמר תוכיח.
כל ספק AI קליני פותח במספר דיוק. הדבר הראשון שלמדתי בביקורת הכלים הללו הוא שהמספר הוא מוצר שיווקי עד שאתה יודע כיצד הוא חושב.
בספטמבר 2024, היועץ המשפטי לממשל של טקסס הגיע לפשרה עם Pieces Technologies בעניין טענתה השיווקית בדבר "שיעור הזיות קריטי" הנמוך מ-0.001%. התוכנה של Pieces הוטמעה בארבעה בתי חולים מרכזיים בטקסס — Houston Methodist, Children's Health, Texas Health Resources ו-Parkland. הדבר הבולט במקרה הוא שהיועץ המשפטי לא נזקק לשום חוק ייעודי ל-AI. חוק הגנת הצרכן הקיים הספיק כדי לערער על טענת דיוק שהחברה לא יכלה לבסס.
הפשרה — התחייבות בת חמש שנים להיענות מרצון — מחייבת כעת את Pieces לגלות, לכל לקוח, כיצד מוגדרים ומחושבים המדדים שלה, על אילו נתונים אומן המודל, ואילו שימושים מזיקים ידועים לה. זוהי תבנית לכל התעשייה.
שיעור הזיות ללא מכנה אינו מדידה. הוא פרסומת.
השוו את 0.001% למה שאנחנו ואחרים מוצאים בפועל בשטח. בפיילוט ברבעון הראשון של 2025, עוזר שחרור מבוסס-AI המליץ על תרופה למטופל שסומן במפורש כאלרגי לאותה משפחת תרופות. השיעור האמיתי של הצהרות שגויות ברות-פעולה קלינית היה 0.98% — פי שנים-עשר מ-0.08% שהספק טען לו. אותה קטגוריית מוצר, פער בסדר גודל שלם בין השקופית למטופל. מעבדת המדיה של MIT מצאה שללא הפחתה, מודלים מגיעים לשיעורי הזיות מעל 60% במקרים קליניים. התשובה הכנה היא ששום מספר-כותרת אינו אומר דבר עד שאתה שואל: חושב על איזה מסד נתונים, אומת על-ידי מי, לאורך איזו תקופה, ו — השאלה שכמעט אף אחד לא שואל — על פני אילו מאפיינים דמוגרפיים של מטופלים?
השאלה האחרונה הזו התבררה כזו שיש מאחוריה גופות.
ההטיה שאינך יכול לראות כי המכשיר מסתיר אותה
יש עובדה שהלוואי והייתה מוכרת יותר מחוץ לטיפול הנמרץ. מד-החמצן הדופק — האטב הקטן על אצבע המטופל שקורא את רוויית החמצן בדם, אחד המספרים המהימנים ביותר ברפואה — פחות מדויק באופן שיטתי על עור כהה.
מטופלים שחורים נוטים בערך פי שלושה יותר לפתח היפוקסמיה סמויה: חמצן נמוך ומסוכן בדם שהמכשיר קורא כתקין. ההערכה-ביתר נעה בין 0.6 ל-1.5 נקודות אחוז, מה שנשמע זניח עד שזה ההבדל בין "אשפוז בטיפול נמרץ" לבין "שחרור הביתה". בנתונים ילדיים, המכשיר החמיץ חמצן נמוך אצל 7% מהילדים בעלי גווני העור הכהים ביותר ו-0% מבעלי הבהירים ביותר. ה-FDA פרסם טיוטת הנחיה בינואר 2025 הממליצה שהיצרנים יבחנו על לפחות 150 משתתפים מגוונים באמצעות סולם גווני העור של Monk, לעומת נורמה קודמת של עשרה בלבד.
עכשיו הוסיפו שכבת AI על גבי מדידה שכבר מוטה ברמת החיישן. המודל יורש את ההטיה ומלבין אותה דרך פלט בטוח. זהו החלק של בטיחות ה-AI הקליני שהספקים הכי פחות מצוידים לגלות בעצמם, כי גילויו מחייב פילוח מכוון של הביצועים לפי גזע, מין וגיל — ואז פרסום הפערים.
מודל האלח-דם של Epic הוא הסיפור המזהיר שאני מביא לכל דיון ממשל. המפתח דיווח על AUC — מדד סטנדרטי לדיוק ניבוי שבו 1.0 הוא מושלם ו-0.5 הוא הטלת מטבע — של 0.76 עד 0.83. כשאוניברסיטת מישיגן אימתה אותו חיצונית על המטופלים שלה, הם קיבלו 0.63. הרגישות הייתה 33%, כלומר הוא החמיץ שני שלישים ממקרי האלח-דם. הערך המנבא החיובי שלו היה 12%, כלומר 88% מההתראות שלו היו התראות שווא. והוא כויל בצורה גרועה עבור מטופלים שחורים והיספנים, שאצלם שכיחות האלח-דם כמעט כפולה. מודל שאומן על שיפוט קליני היסטורי לומד את הנקודות העיוורות הקליניות ההיסטוריות, ואז יורה אותן בחזרה אל הרופאים כשהוא עוטה על עצמו את סמכות האלגוריתם. Epic שיפצה את המודל ב-2022, ואימות פרוספקטיבי רב-מרכזי של גרסתו השנייה פורסם ב-JAMA Network Open בפברואר 2026 — וזו בדיוק הנקודה. אימות חיצוני, לאחר ההטמעה, הוא מה שתופס את הפער שטענת AUC מקורית מסתירה, וכאן נדרשו שנים וחוקרים מבחוץ כדי לכפות זאת.
הגרסה הקיצונית ביותר של זה מופיעה בטיפול ביולדות. נשים שחורות מתות בלידה בשיעור של 42.8 עד 50.3 לכל 100,000 לידות חי, לעומת 13 עד 14.5 בקרב נשים לבנות. סקירה אחת בקליפורניה מצאה שמערכות אזהרה מוקדמת מבוססות-AI החמיצו 40% ממקרי התחלואה החמורה בקרב מטופלות שחורות. כשמערכת האזהרה עיוורת לאוכלוסייה שבסיכון הגבוה ביותר, היא לא רק נכשלת בנייטרליות — היא מרחיבה את הפער שנמכרה כדי לסגור.
למה אי אפשר פשוט לבדוק את המודל להטיה ולהמשיך הלאה?
אנשים שואלים אותי מדוע מערכות בריאות לא פשוט מריצות בדיקת הוגנות ומאשרות את המודל. פעם חשבתי שזו בעיה של משאבים. זה עמוק מכך, וזה מתמטי.
יש תוצאה הנקראת משפט האי-אפשרות של Chouldechova. בפשטות: שתי הגדרות סבירות של הוגנות — שוויון דמוגרפי (המודל מסמן כל קבוצה באותו שיעור) וסיכויים מְשׁוֹוים (המודל מדויק באותה מידה בתוך כל קבוצה) — לא יכולות להתקיים שתיהן בו-זמנית למעט במקרים טריוויאליים. עליך לבחור איזה סוג הוגנות אתה ממטב, ולבחירה הזו יש השלכות קליניות.
"בדקנו הטיה" הוא חסר משמעות ללא ציון הקריטריון. כל ספק שאינו יכול לומר לך איזו הגדרת הוגנות בחר — בחר באחת ואינו מספר לך.
לכן ביקורת הטיה אמיתית אינה תעודה חד-פעמית. אלה טבלאות ביצועים מפולחות לתת-קבוצות, עקומות כיול לפי דמוגרפיה, ומדד יציבות אוכלוסייה (Population Stability Index) — מדד סחף — הנמדד לכל אתר הטמעה, כי מודל שהיה הוגן בבוסטון עלול לסחוף אל מחוץ לכיול בהיוסטון ככל שתמהיל המטופלים משתנה. תוויות אמת-יסוד שנקבעו על-ידי מומחים לעבודה זו עולות 50$ עד 200$ למקרה. זוהי תשתית יקרה, מתמחה ומתמשכת. היא גם הדבר היחיד שעומד בין החלטת רכש לבין דוח חוקר מקרי מוות.
אף אחד לא מחזיק במערך כולו
הבעיה המבנית שנתקלתי בה שוב ושוב היא זו: מערכת בריאות בינונית-עד-גדולה מפעילה בין חמישה לחמישה-עשר כלי AI בבת אחת. תמלילן סביבתי (Abridge בארבעים-פלוס בתי החולים של UPMC, או DAX Copilot של Nuance המחווט אל תיק המטופל האלקטרוני), מודל אלח-דם מ-Epic, כלי ניסוח בפורטל המטופלים, אלגוריתם מיון, עוזר קידוד. לכל אחד טענת דיוק משלו, פרופיל בטיחות משלו, נקודות עיוורון משלו, ולוח בקרה משלו. אף ספק אינו מספק ממשל החוצה את הכלים, כי אף ספק אינו מוכר את כולם.
והממשל שאכן קיים דליל יותר ממה שתרשימי הארגון מרמזים. נתוני Censinet ל-2026 מראים ש-84% ממערכות הבריאות מחזיקות בוועדת ממשל ל-AI — אך רק ל-59% יש תהליך אישור פורמלי ומתועד לפני שכלי AI עולה לאוויר. מנהלי מערכות מידע ראשיים (CIO) יושבים ב-63% מהוועדות הללו; ה-CMIO, האדם האחראי קלינית כשהכלי טועה, יושב רק ב-45%. בינתיים רופאים מאמצים כלים על דעת עצמם — AI צללים — מהר יותר מכפי שכל ועדה מסוגלת לבחון אותם.
זהו הפער ש-Veriprajna נבנתה כדי לגשר עליו, וזו הסיבה שהפסקתי לתאר את מה שאנו עושים כ"גילוי הזיות". אנו מבצעים הערכה עצמאית, ניטרלית כלפי ספקים, של ה-AI שמערכת בריאות באמת הטמיעה: תקיפת הכלים בגישת צוות אדום כפי שיריב או יום רע היו עושים, אימות טענות הדיוק של הספק מול המכנה האמיתי, הרצת ביקורות ההטיה שלרוב צוותי ה-IT אין יכולת להריץ, והפיכת AB 3030, חוק ה-AI של קולורדו וכללי הסיכון-הגבוה של חוק ה-AI של האיחוד האירופי לבקרות תפעוליות במקום לחרדות משפטיות. שכבת בטיחות אחת שחוצה כל כלי.
"האם זה לא פשוט מאט את החדשנות?"
זו ההתנגדות שאני שומע הכי הרבה, בדרך כלל ממישהו שראה את התיעוד הסביבתי הופך לקטגוריה של 600 מיליון דולר בשנה אחת, ואינו רוצה להיות המנהל שאמר לא.
אני הייתי טוען את ההפך. בטיחות עצמאית היא מה שהופך אימוץ מהיר לבר-שרידה. מערכות הבריאות שנכוות אינן הזהירות — הן אלה שהטמיעו על סמך מצגת שקופיות של ספק וגילו את הפער בין 0.08% ל-0.98% אחרי שמטופל נפגע. השקעה ממוצעת ב-AI בתחום הבריאות מחזירה כ-3.20$ על כל דולר, ממומשת בתוך 14 חודשים. אותו החזר-השקעה מתאדה בפעם הראשונה שכלי לא מאומת מייצר תביעת רשלנות רפואית — ותביעות הקשורות ל-AI כבר עלו ב-14% מאז 2022, מרוכזות ברדיולוגיה, קרדיולוגיה ואונקולוגיה. אימות אינו המס על החדשנות. הוא הביטוח שמאפשר לך להמשיך לחדש אחרי שהדבר הראשון משתבש.
ההתנגדות השנייה: האם צוות האינפורמטיקה שלנו לא יכול להתמודד עם זה? לפעמים, בחלקו. אבל הערך של הערכה עצמאית הוא בדיוק בכך שהיא עצמאית — אותה סיבה שבגללה אינך נותן לחברה לבקר את הדוחות הכספיים של עצמה. ספק לא יבצע תקיפת צוות אדום על עצמו שתוביל למספר גרוע יותר, ולצוות פנימי שקידם רכישה יש אינטרס שקט בהצלחתה. מישהו ללא עמדה בעסקה שואל את השאלות שלכל השאר יש סיבה לא לשאול.
מה הייתי אומר ל-CMIO היום
השאלה שחשבתי פעם שהיא החשובה הייתה האם ה-AI הזה עובד? טעיתי. כל ספק יראה לך שהוא עובד. השאלה שחשובה היא האם תוכל להוכיח שהוא עובד — על פני כל מאפיין דמוגרפי של מטופלים — ביום שבו רגולטור, עורך דין של תובע, או עיתונאי יבקש ממך זאת?
כרגע רוב מערכות הבריאות אינן יכולות. יש להן מספרי דיוק שאינן יכולות לשחזר, ועדת ממשל ללא הבכיר הקליני בתוכה, וצי כלים ששום גורם עצמאי מעולם לא בחן יחד. הטיוטה השוטפת תמשיך להיות מאושרת בלחיצה. התראת האלח-דם תמשיך לזעוק זאב 88% מהזמן. מד-החמצן הדופק ימשיך לקרוא 'תקין' על המטופל שאינו כזה.
בניתי את מערך בטיחות ה-AI בתחום הבריאות של Veriprajna כי דוגמת המטפורמין מעולם לא עזבה אותי. ההערה הייתה מושלמת. כל דבר בה היה נכון. והיא יכלה להרוג מישהו — לא כי ה-AI היה טיפש, אלא כי הוא היה משכנע, ואף אחד לא היה מצויד לבדוק את הדבר שהוא לא אמר. בטיחות ב-AI קליני אינה תפיסת הטעות הברורה. היא בניית התשתית לתפוס את הבלתי-נראית, לפני שהמטופל עושה זאת.
