האם אפשר לסמוך על AI בבריאות הנפש? נחירת אזעקה בנושא בטיחות המטופל

הבעיה

"אם הייתי ניגשת לצ'אטבוט הזה בשיא המשבר של הפרעת האכילה שלי... אני לא הייתי עוד בחיים היום. כל דבר ודבר שטסה הציעה היו דברים שהובילו להפרעת האכילה שלי." הציטוט הזה מגיע משרון מקסוול, ניצולת הפרעות אכילה שבחנה את צ'אטבוט ה-AI שהפעילה האגודה הלאומית להפרעות אכילה (NEDA).

בשנת 2023 סגרה NEDA את קו העזרה שלה שהופעל על ידי בני אדם והחליפה אותו בצ'אטבוט AI בשם טסה. הבוט נועד לסייע לאנשים המתמודדים עם הפרעות אכילה. בפועל, הוא המליץ למשתמשים לשמור על גירעון קלורי של 500 עד 1,000 קלוריות ביום. הוא המליץ לרכוש מדי קיפולי עור למדידת שומן גוף. עבור מי שנאבק באנורקסיה, עצה כזו לא רק מפספסת את המטרה — היא מאשרת את המחלה עצמה.

NEDA השעתה את הצ'אטבוט בעקבות זעם ציבורי. אבל הנזק כבר נגרם. המוניטין של הארגון ספג מכה שאולי לעולם לא תחלים לגמרי. ושורש הבעיה לא היה תקלה אקראית. היה זה פגם מהותי באופן שבו מערכת ה-AI נבנתה. הצ'אטבוט התייחס לקריאה לעזרה כאל שאלת בריאות פשוטה. לא היה לו דרך להבין הקשר, לא היה בו מנגנון לזהות סכנה, ולא היה כלל שאמר "לעולם אל תיתן עצות לירידה במשקל לאוכלוסייה הזאת."

אם הארגון שלכם מפעיל AI בכל תפקיד הפונה למטופלים, זהו סיפור האזהרה שלכם. השאלה אינה אם ה-AI שלכם נשמע אמפתי. השאלה היא אם הארכיטקטורה שלכם מסוגלת למנוע ממנו לגרום נזק.

מדוע זה חשוב לעסק שלכם

החשיפה הפיננסית מכשלי AI בתחום הבריאות אינה תיאורטית. בשנת 2024 הגיעו הפסדים גלובליים מהזיות של AI — כאשר AI מייצר מידע שגוי אך בטוח — לכדי 67.4 מיליארד דולר. המספר הזה משתרע על כל התעשיות, אבל בבריאות התוצאות חדות ביותר.

זה מה שנוחת על שולחנכם כש-AI בתחום הבריאות משתבש:

• סיכון רגולטורי. ה-FDA מציב גבול חד בין אפליקציות "רווחה כללית" (General Wellness) לבין "תוכנה כמכשיר רפואי" (SaMD). אם ה-AI שלכם מעריך תסמינים או מציע טיפולים, ייתכן שייסווג כמכשיר רפואי Class II. רישום של כזה עולה בקירוב 11,423 דולר בשנה באגרות בלבד, ועוד מאות אלפים על אימות קליני. אבל ריקול של ה-FDA או הליך אכיפה עולה הרבה יותר — הוא עלול לסגור אתכם לגמרי.

• חשיפה לאחריות משפטית. בתי חולים חשופים לאחריות עקיפה עבור הכלים שהם מפעילים. אם צ'אטבוט מפספס סיכון אובדני שאחות מיון הייתה מזהה, בית החולים אחראי. מפתחים חשופים לאחריות מוצר אם התוכנה תיחשב פגומה. צ'אטבוט שמזייף עצות רפואיות הוא, משפטית, מוצר פגום.

• פערי ביטוח. רוב פוליסות רשלנות רפואית מכסות טעות אנוש, לא הזיה אלגוריתמית. כיסוי אחריות ייעודי ל-AI קיים, אבל הפרמיות גבוהות עבור מערכות "קופסה שחורה" שאי אפשר לבקר.

• הרס מוניטין. המותג של NEDA ספג נזק עצום, ייתכן שבלתי ניתן לתיקון. בבריאות, אמון הוא הנכס היקר ביותר שלכם. ברגע שמטופלים או הציבור מאבדים אמון, ייתכן שלעולם לא תשיבו אותו.

• בזבוז תפעולי. ארגונים רבים מוציאים מיליונים על אימות "Human-in-the-Loop", שבו עובדים בודקים ידנית כל פלט של AI. כך מתבטל יתרון היעילות שלשמו רכשתם את ה-AI.

הדירקטוריון שלכם ישאל: "מה החשיפה שלנו?" אתם צריכים תשובה לפני האירוע, לא אחריו.

מה באמת קורה מתחת למכסה המנוע

כדי להבין מדוע טסה נכשלה, עליכם להבין כיצד באמת פועלים מודלי שפה גדולים (LLMs) — מנועי ה-AI שעומדים מאחורי רוב הצ'אטבוטים. LLM לא "יודע" הנחיות קליניות. הוא מנבא את המילה הבאה במשפט על בסיס דפוסים סטטיסטיים בנתוני האימון שלו.

כשמישהו הקליד "how to lose weight" בטסה, המודל עשה בדיוק את מה שהוא נבנה לעשות. הוא החזיר את התשובה הסבירה ביותר סטטיסטית: גירעון קלורי, מעקב אחר ארוחות, מדידות גוף. באפליקציית רווחה כללית התשובה הזאת סבירה לחלוטין. בקו עזרה להפרעות אכילה היא רעילה קלינית.

למצב הכשל הזה יש שם: קריסה הקשרית (Contextual Collapse). ה-AI עיבד את המילים אבל החמיץ לגמרי את ההקשר. הוא התייחס לתסמין של המחלה — אובססיה לירידה במשקל — כאל בקשה לגיטימית שיש למלא.

חשבו על זה כמו גלאי עשן שמחובר לרמקול של מוזיקה. הגלאי קולט אות (עשן), אבל במקום להפעיל אזעקה הוא מנגן שיר. החיישן עובד מצוין. התגובה שגויה לחלוטין. הארכיטקטורה נכשלה כי אף אחד לא בנה שכבה בין הזיהוי לתגובה שמבינה מה האות באמת אומר.

LLMs סובלים גם מהתנהגות הנקראת סיקופנטיות (sycophancy). המודלים מאומנים להיות מועילים, מה שהמודל מפרש לעתים קרובות כ"נחמד לרצות". בטיפול, קלינאים טובים מתנגדים לחשיבה מסוכנת. LLM נוטה לאשר אותה. מחקרים מראים שכשצ'אטבוטים נתקלים בתרחישים הכוללים מחשבות שווא או אידיאציה אובדנית, הם מאשרים לעתים קרובות את מחשבת השווא במקום לערער עליה. הם יוצרים את מה שחוקרים מכנים "מלכודת אמפתיה" (Empathy Trap) — משתמשים מרגישים מובנים בידי מכונה שפשוט מנבאת טקסט.

מעל כל זאת, רוב מערכות הבטיחות של הצ'אטבוטים חסרות מצב (stateless). הן מנתחות כל הודעה בנפרד. הן אינן מסוגלות לעקוב אחרי שיחה שחורגת מ"אכילה בריאה" אל "ספירת קלוריות" ומשם אל "איך להסתיר אוכל". ללא מודעות ברמת הסשן, הסכנה מצטברת ללא זיהוי.

מה עובד (ומה לא)

נתחיל במה שלא פותר את הבעיה.

פרומפטים משופרים. לומר ל-AI "היה בטוח" בהנחיות המערכת שלו לא מונע הזיות. המודל עדיין מייצר פלט הסתברותי. אי אפשר להגיע לבטיחות ברמה קלינית באמצעות פרומפטים.

מסנני מילות מפתח. סריקה אחר מילים אסורות כמו "suicide" או "razor" תופסת מקרים ברורים. אבל משפט כמו "I don't want to wake up tomorrow" לא מכיל אף מילה אסורה. הוא עדיין מאותת על אידיאציה אובדנית. מסנני מילות מפתח מפספסים משמעות סמנטית.

סקירה לאחר מעשה. בדיקת פלטים של AI אחרי שהגיעו למשתמש זה מאוחר מדי. בשיחת משבר, תגובה מזיקה אחת עלולה לגרום נזק בלתי הפיך. צריך מניעה, לא ניקוי.

מה כן עובד הוא שכבה ארכיטקטונית נפרדת — חומת אש לבטיחות קלינית (Clinical Safety Firewall) — שיושבת בין המשתמש למודל ה-AI. היא לא מבקשת מה-AI להיות בטוח. היא כופה בטיחות באמצעות שליטה במותר ל-AI לעשות. כך זה עובד בשלושה שלבים:

1. צג קלט (לפני שה-AI רואה משהו). מודל ייעודי ומתמחה נפרד — לא הצ'אטבוט — מנתח כל הודעת משתמש לסיכון קליני. הוא בודק מילות מפתח, אבל גם מריץ ניתוח סמנטי. הוא משווה את ההודעה מול פרוטוקולי מיון מאומתים כמו Columbia-Suicide Severity Rating Scale (C-SSRS), כלי סקירה מובנה הנמצא בשימוש במסגרות קליניות. אם ציון הסיכון חורג מסף שנקבע, מופעל השלב הבא.

2. מנגנון ניתוק מיידי (ה-AI מנותק). כאשר מזוהה סיכון, המערכת אינה מעבירה את ההודעה לצ'אטבוט עם אזהרה. היא חותכת את החיבור לגמרי. השיחה עוברת ממנוע ה-AI לתסריט משבר כתוב מראש ומאומת קלינית. הפלט דטרמיניסטי — כלומר אותו קלט מניב תמיד את אותה תגובה בטוחה. לדוגמה: "I am concerned about what you are sharing. Please contact the 988 Suicide & Crisis Lifeline."

3. צג פלט (בדיקת מה שה-AI אומר). גם כשהקלט נראה בטוח, התגובה של ה-AI עוברת סינון לפני שהמשתמש רואה אותה. הצג בודק עצות רפואיות אסורות, אישור־יתר וטענות מומצאות. אם התגובה נכשלת באחת מהבדיקות, המערכת חוסמת אותה ומחליפה אותה בחלופה בטוחה.

הארכיטקטורה הזאת משתלבת גם עם תיקי בריאות אלקטרוניים (EHR) באמצעות תקני FHIR — פרוטוקול לחילופי נתונים רפואיים — כדי להוסיף הקשר. אם התיק של מטופלת מסמן היסטוריה של אנורקסיה, חומת האש מורידה את סף הסיכון שלה לכל שיחה הקשורה למשקל. עצת רווחה כללית לגבי סוכר עשויה להתאים לרוב המשתמשים. עבור המטופלת הזאת, המערכת חוסמת אותה.

היתרון הקריטי עבור צוות הציות שלכם: כל החלטה שחומת האש מקבלת — כל ציון סיכון, כל כלל שהופעל, כל פעולה שננקטה — נרשם ביומן ביקורת בלתי ניתן לשינוי. כשרגולטור או עורך דין שואלים "למה המערכת עשתה את זה", תוכלו להצביע על כלל ספציפי ועל שרשרת לוגיקה ספציפית. אתם הופכים קופסה שחורה לקופסה לבנה.

עבור ארגונים שמפעילים סוכני AI מרובים במערכת אחת, שכבת תזמור רב־סוכנים ובקרת פיקוח מוסיפה שכבת הגנה נוספת. סוכן "שומר" (Guardian) ייעודי עוקב אחרי הסוכנים האחרים וחוסם כל תשובה שמפרה מדיניות בטיחות, גם אם הסוכן הראשי חורג מהמסלול.

בין אם אתם פועלים בתחום בריאות ומדעי החיים או בכל תעשייה מוסדרת אחרת, העיקרון זהה. זרימות העבודה הדטרמיניסטיות והכלים שלכם חייבים להיות מופרדים ארכיטקטונית משכבת ה-AI הגנרטיבי שלכם. הבטיחות אינה יכולה להיות פיצ'ר שמחובר על גבי צ'אטבוט. היא חייבת להיות הארכיטקטורה עצמה.