ה-AI של הרופא שלך ניסח לך הודעה שעלולה להרוג אותך — ואף אחד לא סיפר לך

הייתי בשיחה עם מנהל טכנולוגיות ראשי (CTO) של מערכת בריאות בשנה שעברה, כשהוא אמר משהו שהקפיא אותי.

"יש לנו כעת את GPT שמנסח הודעות בפורטל המטופלים. הרופאים מתים על זה. חוסך להם שעות בשבוע. בעצם סיימנו את הטמעת ה-AI."

סיימנו. המילה הזאת ישבה לי בחזה כמו אבן. כי בדיוק סיימתי לקרוא מחקר — שפורסם ב־The Lancet Digital Health באפריל 2024, על ידי חוקרים מבית הספר לרפואה של הרווארד, ייל, ומאוניברסיטת ויסקונסין — שסיפר סיפור שונה מאוד. באותו מחקר, GPT-4 ניסח 156 הודעות בפורטל המטופלים בתוך רשומה רפואית אלקטרונית מדומה. 7.1% מאותן טיוטות היוו סיכון לפגיעה חמורה. אחת — 0.6% — היוותה סיכון ישיר למוות.

והנה המספר שגרם לי להניח את הקפה ולקרוא את הפסקה מחדש שלוש פעמים: עשרים רופאי הרפואה הראשונית העוסקים במקצוע שבחנו את טיוטות ה-AI הללו פספסו בממוצע 66.6% מהשגיאות המסוכנות.

ה-CTO לא היה רשלן. הוא עשה את מה שכל התעשייה עשתה — עטף מודל שפה כללי בשכבת תוכנה דקה, כיוון אותו אל הודעות המטופלים, ובטח שעיניו של רופא בקצה הצינור יתפסו כל מה שישתבש.

ביליתי את השנים האחרונות בבניית מערכות AI ב-Veriprajna שנועדו להיות מעוגנות — מעוגנות בידע מאומת, לא רק בהסתברות סטטיסטית. והמחקר הזה גיבש משהו שטענתי בחדרים שבהם אנשים לא רצו לשמוע אותו: "האדם שבתוך הלולאה" אינו מנגנון בטיחות. הוא תפילה.

מה קורה כשה-AI כותב את התשובה של הרופא שלך?

תנו לי לצייר את התמונה של מדוע הטכנולוגיה הזאת קיימת מלכתחילה, כי הצורך אמיתי ודחוף.

רופאי הרפואה הראשונית בארצות הברית מקדישים בממוצע 10 שעות בחודש רק על מענה להודעות בפורטל המטופלים. וזו עבודה ללא תשלום, אגב — שהיסטורית אי אפשר לחייב עליה. זהו אחד המניעים המרכזיים של משבר השחיקה שדוחף רופאים אל מחוץ לרפואה כליל.

אז כשצצו כלי AI שיכלו לנסח תשובות אמפתיות, מפורטות ומלוטשות מבחינה דקדוקית לשאלות מטופלים — תשובות שלעתים קרובות זכו לציון גבוה יותר באיכות נתפסת מאשר מה שרופאים עמוסי עבודה כתבו ב-11 בלילה — האימוץ היה מהיר. MyChart של Epic שילב ניסוח AI. סטארט-אפים גייסו מאות מיליונים. מערכות בריאות חגגו את רווחי היעילות.

ואני מבין את זה. באמת שכן. בעיית השחיקה אינה מופשטת עבורי. ישבתי מול רופאים שתיארו את תיבת הדואר הנכנס שלהם כמשרה מלאה שנייה, כזו שגרמה להם לרחוש טינה כלפי המטופלים שלמענם נכנסו לרפואה.

אבל יעילות ללא דיוק בתחום הבריאות אינה חדשנות. זו רשלנות שממתינה לתובע.

מחקר ה-Lancet שהיה אמור להיות אזעקת אש

מחקר אפריל 2024 לא היה פיילוט קטן או טור דעה. הוא היה סימולציית חתך-רוחב שבה קלינאים פעילים בחנו טיוטות שנוצרו על ידי AI בסביבת רשומה רפואית אלקטרונית ריאליסטית. החוקרים זרעו במכוון שגיאות בחלק מהטיוטות — מהסוג שמודלי שפה גדולים (LLM) אכן מייצרים — ואז צפו במה שקרה.

מה שקרה היה מרשיע.

90% מהרופאים הבוחנים דיווחו שהם בוטחים בביצועי כלי ה-AI. הם מצאו שהוא צמצם את העומס הקוגניטיבי שלהם — 80% הסכימו עם הנקודה הזאת. הטיוטות היו רהוטות, אמפתיות, בנויות היטב. הן הרגישו נכונות.

אבל רק רופא אחד מתוך עשרים תפס את כל ארבע הטיוטות השגויות במכוון. אחד. ובין 35% ל-45% מהטיוטות השגויות נשלחו למטופלים ללא כל עריכה.

כשטיוטת AI נקראת טוב יותר ממה שרופא עייף היה כותב בסוף משמרת בת 12 שעות, האינסטינקט אינו לבחון אותה בקפדנות. הוא ללחוץ על 'שלח'.

לתופעה הזאת יש שם: הטיית אוטומציה — הנטייה המתועדת היטב של בני אדם להסתמך יתר על המידה על הצעות אוטומטיות, ולהפעיל פחות ביקורתיות מזו שהיו מפעילים על עבודתם שלהם או של עמית. חוקרי ה-Lancet מצאו שהמתאם היה מובהק סטטיסטית (p < 0.001): ככל שטיוטת ה-AI נראתה טובה יותר על פני השטח, כך גדל הסיכוי שרופא יפספס שגיאה קלינית קבורה.

השגיאות לא היו שגיאות הקלדה. הן היו כשלים בהיסק קליני. ה-AI בדה מידע רפואי. הוא הפנה לפרוטוקולים מיושנים. במקרה שסומן כסיכון למוות, הוא נכשל בכך שלא הנחה מטופל שחווה סימפטום מסכן חיים לפנות לחדר המיון — ובמקום זאת יצר תשובה רגועה, מרגיעה, שגויה עד מוות ולא-דחופה.

אני חוזר שוב ושוב למקרה הספציפי הזה. ההודעה כנראה נקראה נהדר. חמה. אמפתית. מפורטת. ואילו מטופל היה פועל לפי עצתה, הוא עלול היה למות בבית בהמתנה לתור ביום שני.

מדוע "הרופא שבתוך הלולאה" ממשיך להיכשל?

היה לי ויכוח על כך עם עמית שבונה כלי AI קליניים. עמדתו הייתה פשוטה: "הרופא בוחן הכול. זו רשת הביטחון."

שאלתי אותו שאלה: "אם היית נותן לרופא ערימה של 50 הודעות, 48 מהן תקינות לחלוטין, ואומר לו שה-AI כתב את כולן — עד כמה בקפדנות לדעתך הוא היה קורא את הודעה מספר 37?"

הוא השתהה.

זו הבעיה המרכזית. מודל האדם-שבתוך-הלולאה מניח שתשומת הלב האנושית קבועה, שעייפות אינה פוגמת בערנות, ושאיכות הפרוזה של ה-AI אינה משפיעה על עומק הבחינה. כל אחת מההנחות האלה שגויה, ונתוני ה-Lancet מוכיחים זאת.

"האדם שבתוך הלולאה" אינו מנגנון בטיחות כאשר האדם הוכן פסיכולוגית לבטוח במכונה.

יש גם בעיה ארכיטקטונית עמוקה יותר. מודלי שפה גדולים (LLM) סטנדרטיים הם אוטו-רגרסיביים — הם חוזים את המילה הבאה על סמך הסתברות סטטיסטית, לא על סמך היסק רפואי מובנה. הם לא "מבינים" שסימפטום הוא דחוף. הם לא "יודעים" שהנחיה עודכנה בחודש שעבר. הם מייצרים טקסט שנשמע כמו קלינאי בקיא משום שהם אומנו על מיליוני דוגמאות של קלינאים בקיאים שכותבים. אבל להישמע נכון ולהיות נכון הם דברים שונים באופן מסוכן ברפואה.

כתבתי על הפער הארכיטקטוני הזה לעומק בגרסה האינטראקטיבית של המחקר שלנו, אבל בקצרה: ל-LLM אין מודל של המטופל. יש לו מודל של שפה. ואלה אינם אותו הדבר.

קליפורניה בדיוק הפכה את זה לבעיה של כולם

בעוד קהילת המחקר הרימה אזעקות, בית המחוקקים של קליפורניה ניסח חוק. Assembly Bill 3030, שנחתם בספטמבר 2024, נכנס לתוקף ב-1 בינואר 2025. הוא מחייב כל מוסד בריאות, מרפאה ומרפאת רופא בקליפורניה ליידע את המטופלים בכל פעם שנעשה שימוש ב-AI גנרטיבי לתקשורת מידע קליני.

הודעות כתובות זקוקות לגילוי נאות בראשן. הודעות קוליות זקוקות לגילוי מילולי בהתחלה וגם בסוף. תקשורת וידאו וצ'אט זקוקה לגילויים המוצגים לכל אורכה.

כאן זה נעשה מעניין — וכאן, לדעתי, רוב מערכות הבריאות קוראות את החוק באופן שגוי.

AB 3030 כולל פטור: אם ספק מורשה "קרא ובחן" את התקשורת שנוצרה על ידי AI, דרישות הגילוי אינן חלות. על הנייר, זה נראה כמו כרטיס יציאה חופשי מהכלא. השאירו את הרופא בתוך הלולאה, דלגו על הגילוי הנאות, שמרו על האשליה שכל הודעה נוצרה באופן אישי.

אבל שלבו את הפטור הזה עם נתוני ה-Lancet — 66% מהשגיאות מפוספסות, 35-45% מהטיוטות המסוכנות נשלחות ללא עריכה — ויש לכם פצצת זמן משפטית. מערכת בריאות שטוענת שרופאיה "קראו ובחנו" טיוטות AI בעוד אותם רופאים מפספסים באופן מובהק שני שלישים מהשגיאות אינה עומדת בדרישות. היא חשופה.

אמרתי ל-CTO באותה שיחה: "הפטור אינו מגן. הוא מאיץ אחריות — אלא אם כן הטכנולוגיה מסייעת באופן פעיל לבוחן לתפוס את מה שמוחו בנוי לפספס."

מה באמת פגום בגישת "עוטף ה-LLM"?

רוב סטארט-אפי ה-AI בתחום הבריאות כרגע בונים את מה שאני מכנה עוטפים — שכבות תוכנה דקות שמעבירות נתוני מטופלים ל-API מסחרי של LLM ומחזירות את התשובה עם מעט עיצוב. הן מהירות לבנייה, קלות להדגמה, ובלתי מספקות ביסודן לשימוש קליני.

שלוש בעיות הופכות את העוטפים למסוכנים:

נקודות חיתוך הידע הן רוצחות בלתי נראות. מודלי LLM ציבוריים מאומנים על מערכי נתונים סטטיים. הם אינם יודעים על ההנחיה שהשתנתה ברבעון שעבר, על אינטראקציית התרופות שסומנה בחודש שעבר, או על תוצאות המעבדה של המטופל מהבוקר. עוטף שאינו משלב נתונים קליניים בזמן אמת מייצר תשובות בוואקום — ואקום שהרופא הבוחן את הטיוטה אולי אפילו אינו מודע לקיומו.

חיזוי טוקנים אינו היסק קליני. כשה-GPT-4 כותב "עליך להמשיך בתרופה הנוכחית שלך", הוא אינו מעריך את תפקוד הכליות שלך, את אינטראקציות התרופות שלך, או את בדיקות הדם האחרונות שלך. הוא חוזה אילו מילים סבירות סטטיסטית לבוא אחרי המילים הקודמות. ברדיולוגיה, באונקולוגיה, בכל תחום הדורש פרשנות אבחנתית מעודנת, הפער הזה בין רהיטות לשונית לדיוק רפואי הוא המקום שבו מטופלים נפגעים.

אבטחה היא מחשבה שלאחר מעשה. ממשקי LLM כלליים רבים אינם עומדים מטבעם בתקן HIPAA. ללא מיסוך נתונים קפדני והסכם שותף עסקי (Business Associate Agreement) תקין, כל הודעת מטופל המנותבת דרך API מסחרי היא הפרת פרטיות פוטנציאלית. והתקפות הזרקת פרומפט — שבהן קלטים עוינים מרמים את המודל לחשוף הקשר פנימי או נתוני מטופלים — נותרות פרצה שברובה אינה מטופלת בארכיטקטורות עוטפים.

כיצד בונים AI שהוא באמת בטוח למטופלים?

כאן אני עובר ממבקר לבונה, כי ביקורת ללא חלופות היא סתם רעש.

ב-Veriprajna, פיתחנו את מה שאני מכנה AI מעוגן — מערכות שבהן מודל השפה לעולם אינו מקור האמת היחיד. הוא תמיד קשור לידע קליני מאומת, והוא תמיד שקוף לגבי מהיכן מגיעות תשובותיו.

שכבת האחזור משנה הכול

יצירה מבוססת-אחזור (Retrieval-Augmented Generation, RAG) היא היסוד. לפני שה-AI מייצר ולו מילה אחת של תשובה למטופל, הוא תחילה מאחזר מסמכים רלוונטיים ממאגר מאומת: הרשומות הקליניות של המטופל, ההנחיות המוסדיות הנוכחיות, ספרות שעברה ביקורת עמיתים. לאחר מכן המודל מתנה את תשובתו בהקשר המאוחזר הזה, לא רק בנתוני האימון שלו.

זה אינו כוונון מזערי. זו ארכיטקטורה שונה מיסודה. מערכת מבוססת-RAG יכולה לצטט את מקורותיה — "בהתבסס על תוצאות המעבדה שלך מ-12 במרץ וההנחיות הנוכחיות של ACC/AHA..." — מה שהופך את בחינת הרופא מ"האם זה נשמע נכון?" ל"האם המקור הזה נכון?" השאלה השנייה קלה בהרבה למענה, אפילו ב-11 בלילה ביום חמישי.

גרפי ידע נותנים ל-AI משהו שעוטפים לעולם אינם יכולים: קשרים

השכבה הבאה היא גרפי ידע רפואיים — רשתות מובנות שמייצגות ידע קליני לא כטקסט אלא כמושגים מקושרים זה לזה. גרף ידע אינו יודע רק שמטפורמין היא תרופה לסוכרת. הוא יודע את מנגנון הפעולה של מטפורמין, את התוויות הנגד שלה בליקוי בתפקוד הכליות, את האינטראקציות שלה עם חומר ניגוד, ואת סף ה-eGFR הספציפי שמתחתיו יש להפסיק אותה.

מערכות כמו MediGRAF משתמשות במסדי נתונים גרפיים כמו Neo4j כדי לשלב שאילתות מובנות מדויקות עם אחזור נרטיבי, ומשיגות 100% ריקול (recall) בשאילתות קליניות עובדתיות תוך שמירה על תקני בטיחות עבור היסק מורכב. כשראיתי לראשונה את מספרי הריקול הללו, הייתי סקפטי — אז העמדנו את הגישה במבחני עומס מול מקרי קצה שהכשילו כל מערכת מבוססת-עוטף שהערכנו. הגרף עמד במבחן.

לפירוט הטכני המלא של הגישות הארכיטקטוניות הללו — צינורות RAG, שילוב גרף ידע, מידול ברמת המושג — ראו את מאמר המחקר המפורט שלנו.

בעיית הבדיקות שאיש אינו רוצה לדבר עליה

אני זוכר הדגמה של סטארט-אפ AI בתחום הבריאות — מלוטשת, מרשימה, מהסוג שגורם למשקיעים לשלוף את פנקסי הצ'קים. ה-AI ניסח הודעה למטופל על ניהול אבחנה חדשה של סוכרת. היא הייתה חמה, יסודית, ניתנת ליישום.

שאלתי: "מה קורה אם אומר למערכת שאני אלרגי לתרופה שהיא בדיוק המליצה עליה?"

המייסד השתהה. "הרופא היה תופס את זה."

הנה זה שוב. התפילה.

בניית AI קליני בטוח דורשת בדיקות יריב (adversarial testing) — לא כמחשבה שלאחר מעשה, אלא כתהליך רציף ואוטומטי. ב-Veriprajna, אנו משתמשים במסגרות כמו Med-HALT (Medical Domain Hallucination Test), אשר תוכננה במיוחד לזהות הזיות AI בתחום הבריאות באמצעות טכניקות כמו מבחן הביטחון השקרי (False Confidence Test), שבו המודל מאותגר להעריך תשובה שגויה שהוצעה באקראי, ומבחן השאלות המזויפות (Fake Questions Test), הקובע אם המודל מסוגל לזהות שאילתות רפואיות בדויות.

אנו גם מריצים red teaming אוטומטי — התקפות מדומות שבודקות פרצות של הזרקת פרומפט, ניסיונות לחלץ נתוני מטופלים באמצעות תשאול עקיף, ודפוסי jailbreak שמנסים לעקוף מעקות בטיחות קליניים. כל יום. לא כל רבעון. לא לפני שחרור גרסה. כל יום.

אם מערכת ה-AI שלך לא הותקפה על ידי red team השבוע, אינך יודע אם היא בטוחה. אתה יודע שהיא הייתה בטוחה בפעם האחרונה שבדקת.

ממצא אחד ממחקר עדכני שרודף אותי: מודלים "מותאמים-רפואית" כמו MedGemma השיגו רק 28-61% דיוק במדדים מסוימים, בעוד מודלי היסק רחבים יותר עלו עליהם בביצועים. ההשלכה נוגדת אינטואיציה אך חשובה — בטיחות ב-AI קליני נובעת מיכולות היסק מתוחכמות, לא רק מכוונון עדין ספציפי-תחום. הדבקת תווית רפואית על מודל אינה הופכת אותו לבטוח מבחינה רפואית.

נוף הרשלנות הרפואית משתנה תחת רגליו של כל אחד

הנה שיחה שקיימתי עם שלושה יועצים משפטיים ראשיים שונים של בתי חולים בשנה החולפת, והיא מתנהלת פחות או יותר באותו אופן בכל פעם.

אני: "אם ה-AI שלך מנסח הודעה שפוגעת במטופל, והרופא הבוחן פספס את השגיאה, מי אחראי?"

הם: "הרופא. הוא בחן ואישר אותה."

אני: "ואם עורך דינו של התובע יראה שהמערכת שלך תוכננה באופן שהכין את הרופא פסיכולוגית לפספס שגיאות — שרהיטות ה-AI יצרה תחושת ביטחון כוזבת — האם זה משנה את הניתוח שלך?"

שתיקה.

סטנדרט הטיפול ברפואה מתפתח כדי להביא בחשבון את ה-AI. בתי המשפט מתחילים להכיר בכך שאי-השימוש בכלי AI מאומת שיכול היה למנוע שגיאה עלול להוות הפרת חובה. אך גם ההפך מתחיל לצוץ: השימוש בכלי AI לא-מאומת, או שימוש בכלי מאומת באופן שמערער פיקוח אנושי, יוצר אחריות משלו.

היסחפות המודל (model drift) מחריפה זאת. מערכות AI מתדרדרות עם הזמן ככל שהן מאומנות מחדש על נתונים חדשים. המודל שעבר את הערכת הבטיחות שלך לפני שישה חודשים אולי אינו המודל שמייצר הודעות למטופלים היום. ללא יומני ביקורת עם בקרת גרסאות המראים בדיוק איזה מודל הפיק איזה פלט ואילו צעדי היסק נקט, למערכת בריאות אין עמדה הניתנת להגנה בבית המשפט.

כמה מוצרי ביטוח רשלנות רפואית חדשים יותר מתחילים לכסות תביעות הקשורות ל-AI, אך בדרך כלל יש להם תקרות נמוכות והם דורשים הוכחה מתועדת של פיקוח אנושי — אותו פיקוח ממש שמחקר ה-Lancet הראה שאינו אמין.

"אבל מטופלים אוהבים יותר את הודעות ה-AI"

אנשים מתנגדים לי בטענה הזאת, ואני רוצה להתייחס אליה בכנות כי הנתונים אמיתיים. מחקרים הראו שמטופלים מדרגים הודעות שנוסחו על ידי AI גבוה יותר באמפתיה ובפירוט מאלה שנכתבו על ידי רופאים. זה לא כלום. במערכת בריאות שבה מטופלים חשים שאין מי שמקשיב להם, AI שמקדיש את הזמן להסביר, להכיר, להרגיע — יש לו ערך אמיתי.

אבל הנה מה שהמחקר גם מראה: דירוגי שביעות הרצון של המטופלים יורדים כשמטופלים מגלים ש-AI היה מעורב. פועלת כאן הטיית אוטומציה הפוכה — מטופלים מעריכים את האמונה שרופאם מעורב באופן אישי בטיפול בהם. הקשר הקליני חשוב להם, והם מבחינים כשהוא תווך, גם אם התיווך הפיק הודעה "טובה יותר".

זה אומר לי משהו חשוב על היכן מקומו של ה-AI בתהליך העבודה הזה. הוא לא אמור לשמש ככותב צללים עבור הרופא. הוא אמור לבצע את העבודה המובנית, הניתנת לאחזור ולאימות — לשלוף תוצאות מעבדה, לבדוק הנחיות, לסמן אינטראקציות — כדי שלרופא יהיה המרווח לכתוב תשובה אישית באמת למטופל הזקוק לה.

מטרת ה-AI הקליני אינה להחליף את קולו של הרופא. היא להחזיר לרופא את הזמן להשתמש בו.

לאן זה הולך מכאן

אני לא עומד לסיים ב"הזמן יגיד" מהוסס או במצג רך של החברה שלי. אני עומד לומר לכם במה אני מאמין.

הדור הנוכחי של כלי התכתובת עם מטופלים מבוססי-AI יגרום נזק. לא עלול — יגרום. החשבון פשוט: שיעור פגיעה חמורה של 7.1% בטיוטות AI, שיעור פספוס של 66% מצד רופאים בוחנים, בהיקף של מיליוני הודעות בפורטל המטופלים בחודש בכל מערכת הבריאות של ארה"ב. התקריות יצטברו. התביעות יבואו בעקבותיהן. והתגובה הרגולטורית תהיה בוטה ומענישה, כי הראיה שהדבר היה צפוי כבר פורסמה ב־The Lancet.

מערכות הבריאות שיימנעו מכך אינן אלה שנעות לאט. הן אלה שנעות אחרת. פירוש הדבר ארכיטקטורות RAG המעוגנות בידע רפואי מאומת. גרפי ידע שנותנים ל-AI היסק קליני מובנה במקום חיזוי מילים סטטיסטי. בדיקות יריב שרצות ברציפות, לא באופן טקסי. וממשקי בחינה המתוכננים לנטרל הטיית אוטומציה, לא לנצל אותה.

בנינו את Veriprajna כדי לבצע את העבודה הזאת — לא מפני שראינו הזדמנות שוק, אלא מפני שראיתי אנשים חכמים ובעלי כוונות טובות פורסים מערכות שעלולות לפגוע במטופלים, והפער בין מה שהם בנו לבין מה שהראיות דרשו היה בלתי נסבל.

הכלל הראשון של הרפואה הוא primum non nocere — קודם כול, אל תזיק. בילינו את השנתיים האחרונות בבניית AI שמתייחס לכלל הזה כאילוץ הנדסי, לא כסיסמת שיווק. הטכנולוגיה לעשות זאת נכון קיימת. המחקר שמוכיח שהגישה הנוכחית מסוכנת קיים. השאלה היחידה שנותרה היא האם התעשייה תפעל על פי הראיות לפני שהראיות יפעלו על התעשייה.