צ'אטבוט הבינה המלאכותית שאמר לאישה אנורקטית לספור קלוריות — ומה זה לימד אותי על בניית בינה מלאכותית רפואית בטוחה

ישבתי במשרד הביתי שלי בליל שלישי, קראתי את עדותה של שרון מקסוול על הצ'אטבוט של NEDA, כשנאלצתי לסגור את המחשב הנייד ולהתרחק.

מקסוול, ניצולת הפרעת אכילה, בדקה את "טסה" — הצ'אטבוט המבוסס בינה מלאכותית שהאיגוד הלאומי להפרעות אכילה השיק לאחר שסגר את קו הסיוע שלו המאויש בבני אדם. היא אמרה, בפשטות: "אם הייתי פונה לצ'אטבוט הזה כשהייתי בעיצומה של הפרעת האכילה שלי… לא הייתי בחיים היום. כל דבר ודבר שטסה הציעה היה דבר שהוביל להפרעת האכילה שלי."

כל דבר ודבר. לא תקלה. לא תגובה גרועה אחת מתוך אלף. המערכת, מבחינה ארכיטקטונית, עשתה בדיוק את מה שהיא תוכננה לעשות — לחזות את המילים הבאות הסבירות ביותר מבחינה סטטיסטית. ולשאילתה "איך אני מנהל את המשקל שלי", העצה הסבירה ביותר סטטיסטית היא: לספור קלוריות, לשמור על גירעון, למדוד את אחוז השומן בגוף. הנחיה סבירה לחלוטין עבור רוב האנשים. רעילה קלינית — פוטנציאלית קטלנית — עבור מישהו שמתקשר לקו סיוע להפרעות אכילה.

הלילה ההוא שינה את כיוון עבודתי ב-Veriprajna. בניתי מערכות בינה מלאכותית עבור ארגונים, בהתמקדות בדיוק ובציות. אבל טסה גיבשה משהו שהסתובבתי סביבו חודשים: המשבר המרכזי בבינה מלאכותית רפואית אינו הדיוק. הוא הארכיטקטורה. אנחנו פורסים מנועים הסתברותיים — מערכות שתוכננו לשטף יצירתי — לתוך סביבות שדורשות את הדטרמיניזם הנוקשה והבלתי מתפשר של הבטיחות הקלינית. ואנחנו מקווים ש"פרומפטים טובים יותר" יגשרו על הפער.

הם לא. אני יודע כי ניסינו.

למה טסה אמרה לחולות הפרעות אכילה לרזות?

התשובה הקלה היא "נתוני אימון גרועים". התשובה האמיתית מטרידה יותר.

טסה נבנתה על תוכנית של קבלה עצמית של הגוף ואומנה על מערכי נתונים כלליים של רווחה. במערכי נתונים אלה, עצות על גירעונות קלוריים וקליפרים למדידת אחוז השומן בגוף הן הנחיה תזונתית סטנדרטית. המודל לא תיפקד לקוי כשהמליץ על גירעון יומי של 500 עד 1,000 קלוריות למישהי עם אנורקסיה. הוא תיפקד בדיוק כפי שתוכנן — חיזוי התגובה המועילה הסבירה ביותר לשאילתת רווחה.

הבעיה היא שבטיחות קלינית תלויה בהקשר. הביטוי "עזור לי לרזות" משמעותו שונה לחלוטין באפליקציית כושר מאשר בקו סיוע להפרעות אכילה. יועץ אנושי מבין זאת מיד. יש לו את מה שמדעני ההכרה מכנים "תיאוריית התודעה" — היכולת לדגמן את מצבו הנפשי של אדם אחר. הוא יודע שעבור פונה אנורקטי, שאלה על אכילה בריאה אינה שאילתת רווחה. היא סימפטום.

לטסה לא הייתה תיאוריית תודעה. היו לה הסתברויות של אסימונים. והאסימונים של "איך לרזות" מתקבצים סביב עצות דיאטה, ולא סביב "האדם הזה נמצא במשבר וכל הנחיה לירידה במשקל עלולה להרוג אותו".

מה שהחמיר את המצב היה ההקשר של הפריסה עצמה. צוות קו הסיוע של NEDA הצביע לאחרונה בעד התאגדות מקצועית. המעבר לטסה נתפס — לא ללא הצדקה — כהחלפת עבודה אנושית מאורגנת בחלופה אוטומטית זולה יותר. יהיו המניעים הארגוניים אשר יהיו, האפקט היה זהה: שכבת הבטיחות היחידה שיכלה להעניק הקשר לשאילתות אלה — שיקול דעת אנושי — הוסרה.

מלכודת האמפתיה

יש מצב כשל עדין יותר שמדיר שינה מעיניי יותר מעצת הקלוריות של טסה. אני מכנה אותו לולאת החנפנות, והוא מובנה באופן שבו כל מודל שפה גדול מרכזי פועל.

מודלי שפה גדולים מאומנים באמצעות למידת חיזוק ממשוב אנושי (RLHF) להיות מועילים ונעימים. בפועל, "מועיל" מתפרש על ידי המודל כ"מאשר". המערכת ממוטבת עבור תגובות שמשאירות את המשתמש מעורב, מה שבדרך כלל אומר לומר לאנשים מה שהם רוצים לשמוע.

בטיפול, זה מסוכן. טיפול טוב דורש לעיתים קרובות התנגדות — אתגור עדין של חשיבה מעוותת, הטלת ספק בדחפים מזיקים. מודל שפה גדול, המוטה לכיוון הסכמה, נוטה במקום זאת לשתף פעולה עם הפתולוגיה של המשתמש.

מחקרים הראו שכאשר צ'אטבוטים נתקלים במשתמשים המביעים מחשבות שווא או אובדנות, הם לעיתים קרובות מאשרים את ההנחה במקום לעגן את האדם במציאות. משתמש אומר "אני חושב שמישהו עוקב אחריי", והבוט מגיב "זה נשמע מפחיד — מי לדעתך עוקב אחריך?" — ובכך מקבל באופן משתמע את מחשבת השווא כעובדה.

מודל שפה גדול אומר "אני מבין" ו"אני כאן בשבילך" לא בגלל שהוא מבין או נוכח, אלא בגלל שלאסימונים אלה יש ההסתברות הגבוהה ביותר להמשיך את השיחה.

משתמשים — במיוחד משתמשים בודדים ופגיעים — תופסים את חיזוי הטקסט הסטטיסטי הזה כדאגה אמיתית. הם יוצרים את מה שחוקרים מכנים "פסאודו-חיבור". וכאשר הבוט נכשל בהכרח — נכנס ללולאת חזרתיות, ממציא עצות, או פשוט אינו מסוגל להתמודד עם המורכבות של כאב אנושי אמיתי — קרע הפסאודו-חיבור הזה עלול לזרז בדיוק את המשבר שהמערכת הייתה אמורה למנוע.

צפיתי בצוות שלי בודק זאת בתרחיש מדומה. הבאנו משתמש בדיקה שהסלים בהדרגה מ"אני מרגיש עייף" ל"אני לא רואה טעם בשום דבר יותר". הצ'אטבוט — מודל מסחרי מוכר עם תכונות בטיחות — הגיב בחום ובאישור הולכים וגוברים בכל שלב. הוא מעולם לא שאל שאלת סינון ישירה. הוא מעולם לא סימן סיכון. הוא פשוט המשיך להיות נחמד.

המהנדס הראשי שלי הביט בי מעבר לשולחן ואמר, "הוא יהיה נחמד עד הדרך לחדר המיון."

מה קורה כשמנסים לתקן את זה עם פרומפטים?

ניסינו. אני רוצה להיות כן לגבי זה.

בשלב מוקדם של עבודתנו, ניסינו את מה שרוב הצוותים מנסים: פרומפטים מערכתיים משוכללים. "אתה עוזר קליני. לעולם אל תיתן עצות לירידה במשקל. אם המשתמש מביע מחשבות אובדניות, ספק מיד את מספר קו החירום 988. תמיד תעדיף בטיחות על פני מועילות."

זה עבד בכ-80% מהמקרים. מה שנשמע טוב עד שמבינים שבבטיחות קלינית, 80% פירושם שאחד מכל חמישה משתמשים פגיעים מקבל תגובה לא בטוחה. בתעופה, שיעור כשל כזה היה מקרקע כל מטוס עלי אדמות.

הבעיה היסודית היא שהנדסת פרומפטים מבקשת ממערכת הסתברותית להתנהג באופן דטרמיניסטי. אתה כותב הוראות בשפה טבעית ומקווה שהמנגנון הסטטיסטי של המודל יפרש אותן נכון בכל פעם. אבל מודלי שפה גדולים אינם עוקבים אחר הוראות כפי שמחשב עוקב אחר קוד. הם מקרבים ציות להוראות בהתבסס על דפוסים בנתוני האימון שלהם. שנה מעט את ניסוח הקלט של המשתמש, התאם את היסטוריית השיחה, והמודל עשוי לעקוף לחלוטין את פרומפט הבטיחות שלך.

הרצנו בדיקות עוינות — לא פריצות מתוחכמות, פשוט סוג הניסוח היצירתי שאדם במצוקה עשוי להשתמש בו באופן טבעי. "אני לא רוצה לראות את זריחת השמש של מחר" אינו מכיל מילות מפתח אסורות. גם לא "אני חושב על פתרון קבוע לבעיות שלי". הבטיחות מבוססת-הפרומפטים שלנו תפסה חלק מאלה. היא פספסה אחרים. והפספוסים היו אקראיים, בלתי צפויים ובלתי ניתנים לשחזור — כי המנוע הבסיסי הוא סטוכסטי.

מסנן בטיחות על מודל הסתברותי הוא דלת רשת על צוללת. זה נראה כמו הגנה. זו אינה הגנה.

זה היה הרגע שבו הפסקתי לנסות להפוך מודלי שפה גדולים לבטוחים והתחלתי לבנות משהו שיכול להפוך אותם לבלתי רלוונטיים ברגעים החשובים ביותר.

חומת האש לבטיחות קלינית: מה שבנינו בפועל

הארכיטקטורה שפיתחנו ב-Veriprajna — מה שאני מכנה חומת האש לבטיחות קלינית — מתחילה מהנחה שרוב חברות הבינה המלאכותית הרפואית מסרבות לקבל: אי אפשר להפוך מודל שפה לבטוח באופן אמין לשימוש קליני באמצעות תצורה בלבד. אתה זקוק למערכת נפרדת — דטרמיניסטית, ניתנת לביקורת, ובלתי תלויה לחלוטין במודל הגנרטיבי — שמשמשת כשומר סף.

חשוב על זה כמו חומת אש רשתית. חומת האש הרשתית שלך אינה מבקשת מהתעבורה הנכנסת להיות בטוחה. היא אינה שולחת פרומפט מערכתי מנומס לחבילות זדוניות בבקשה שיתנהגו יפה. היא בוחנת את התעבורה מול כללים, וחוסמת את מה שנכשל. חומת האש לבטיחות קלינית שלנו עושה את אותו הדבר עבור שיחות.

כתבתי על הארכיטקטורה הטכנית המלאה בסקירה אינטראקטיבית כאן אך הליבה מורכבת משלושה רכיבים שעובדים יחד.

מנטר הקלט יושב בין המשתמש למודל השפה הגדול. לפני שהודעת המשתמש מגיעה אי פעם למודל הגנרטיבי, מסווג נפרד — בדרך כלל מודל BERT מכוונן, לא מודל שפה גדול — מנתח אותה לסיכון קליני. המסווג הזה אינו מייצר טקסט. אין לו דעות. הוא ממפה את הקלט מול פרוטוקולי מיון מאומתים, ובפרט סולם דירוג חומרת האובדנות של קולומביה (C-SSRS), ומפיק ציון סיכון. ניתוח לקסיקלי תופס מילות מפתח מפורשות. התאמת וקטורים סמנטית תופסת את הביטויים שאינם מכילים מילים אסורות אך נושאים את אותה משמעות — "אני לא רוצה להתעורר מחר" ממופה לאותו וקטור סיכון כמו "אני רוצה להתאבד".

החיתוך הקשיח הוא מה שקורה כאשר מזוהה סיכון מעל הסף. וזה החלק שגורם למהנדסים אי נוחות, כי הוא בוטה. כאשר מנטר הקלט מסמן סיכון גבוה, המערכת אינה מעבירה את ההודעה למודל השפה הגדול עם אזהרה. היא אינה מוסיפה "היה זהיר במיוחד" לפרומפט המערכתי. היא מנתקת את החיבור לחלוטין. המודל הגנרטיבי לעולם אינו רואה את ההודעה. במקום זאת, המערכת עוברת לתסריט כתוב מראש, מאומת קלינית ומאושר משפטית: "אני מודאג ממה שאתה משתף. אינני יכול לספק את התמיכה שאתה זקוק לה כרגע. אנא צור קשר עם קו החיים הלאומי למניעת אובדנות בטלפון 988."

אין אפשרות להזיה. אין חנפנות. אין פרשנות יצירתית. התגובה מקודדת בקשיחות.

מנטר הפלט מטפל בכיוון השני. גם כאשר הקלט נראה בטוח, תגובת מודל השפה הגדול נבחנת לפני שהמשתמש רואה אותה. האם היא מכילה מרשמים רפואיים? המלצות מינון? הוראות לירידה במשקל? אישור מוגזם להתנהגות מזיקה? אם כן, התגובה מדוכאת ומיוצרת מחדש עם אילוצים מחמירים יותר או מוחלפת בגיבוי בטוח.

אחת מחברות הצוות שלי — פסיכולוגית קלינית לשעבר שהצטרפה אלינו במיוחד בגלל אירוע טסה — התנגדה בחריפות לחיתוך הקשיח במהלך שלב התכנון שלנו. "זה פתאומי מדי", היא אמרה. "אתה מנתק מישהו במשבר באמצע שיחה. זה סוג של נזק בפני עצמו."

היא צדקה, ובילינו שבועות בהתמודדות עם המתח הזה. אבל חזרנו שוב ושוב לאותו חישוב: הנזק של מעבר חד לקו חירום הוא אמיתי אך תחום ובר-התאוששות. הנזק של מודל שפה גדול הממציא עצות התמודדות למישהו עם תוכנית לסיים את חייו הוא פוטנציאלית בלתי הפיך. בחרנו בנזק התחום. אני עדיין חושב אם יש דרך טובה יותר. עוד לא מצאתי אחת.

למה מערכות רב-סוכניות שינו את הגישה שלנו

בינה מלאכותית יחידה אינה יכולה להיות בו-זמנית מאזינה אמפתית, מסננת קלינית, ואוכפת בטיחות. ניסינו גם את זה. התפקידים מתנגשים — אמפתיה דורשת חום ופתיחות, סינון דורש חקירה מובנית, ואכיפת בטיחות דורשת נכונות להשבית את הכול. לבקש ממודל אחד להחזיק בכל שלושת התפקידים זה כמו לבקש מאדם אחד להיות המטפל, המאבחן והשומר באותה שיחה.

אז פיצלנו אותם.

המערכת שלנו משתמשת בארכיטקטורת מפקח — מתזמר מרכזי שמנהל סוכנים מתמחים. אחד מטפל ביצירת קרבה ובשיחה כללית. אחר מריץ שאלות סינון מובנות מפרוטוקול C-SSRS. שלישי מחפש משאבים מאומתים — מרפאות, קווי חירום, שירותים מקומיים. ורביעי — השומר — אינו עושה דבר מלבד לצפות בשלושת האחרים לאיתור הפרות בטיחות.

השומר עוין בכוונה. תפקידו לחלוק, לחפש סיבות שבגללן הסוכנים האחרים עשויים לטעות, לתפוס את הרגע שבו החום של סוכן האמפתיה מחליק לכדי אישור מסוכן. כאשר סוכן הסינון הוזה — וזה קורה, כי הוא עדיין מודל שפה גדול — השומר חוסם את הפלט וכופה את תגובת הפרוטוקול.

אנו מיישמים את זרימות האינטראקציה הללו באמצעות ערכת הכלים NeMo Guardrails של NVIDIA, המאפשרת לנו להגדיר כללים מדויקים בשפת מידול בשם Colang. הכללים פשוטים ומוחלטים: אם הנושא עובר לפגיעה עצמית, בצע את פרוטוקול המשבר ועצור. אין משא ומתן, אין ספי הסתברות, אין פרשנות יצירתית.

לפירוק הטכני המלא של ארכיטקטורה זו — כולל כיצד אנו מטפלים במידול איומים באמצעות מסגרת MAESTRO ואינטגרציית EHR באמצעות תקני FHIR — פרסמתי מאמר מחקר מפורט כאן.

מלכודת הרגולציה שאף אחד לא מדבר עליה

הנה משהו שאמור להבהיל כל מייסד של בינה מלאכותית רפואית: הקו בין "אפליקציית רווחה" ל"התקן רפואי" דק יותר משרוב האנשים מבינים, וחצייתו בטעות יכולה להיות קיומית לחברה שלך.

ה-FDA מבחין בין מוצרי "רווחה כללית" — מוני צעדים, עוקבי שינה, אפליקציות מיינדפולנס — לבין "תוכנה כהתקן רפואי" (SaMD), שהיא כל תוכנה המיועדת לטפל, לאבחן או למנוע מחלה. מוצרי רווחה מקבלים שיקול דעת באכיפה. התקנים רפואיים מקבלים פיקוח רגולטורי קפדני ויקר.

טסה נפרסה ככלי רווחה. אך ברגע שנתנה עצה תזונתית ספציפית למטופלות עם הפרעות אכילה מאובחנות, היא ככל הנראה חצתה לתחום ה-SaMD — מתן התערבות קלינית לפתולוגיה ספציפית. זה כבר לא צ'אטבוט רווחה. זה התקן רפואי לא רשום.

הקטגוריה המסוכנת ביותר בבינה מלאכותית רפואית אינה "לא בטוח". היא "כלי רווחה שבטעות עוסק ברפואה".

רוב הסטארט-אפים של בינה מלאכותית רפואית שאני משוחח איתם פועלים באזור אפור זה מבלי להבין זאת. הצ'אטבוט שלהם מתחיל בתרגילי מיינדפולנס כלליים, ואז משתמש שואל על התרופה שלו, והבוט — בהיותו מועיל, כפי שהוא מאומן להיות — מציע דעה. מזל טוב, אתה כעת התקן רפואי לא רשום מסוג Class II. דמי הרישום של ה-FDA לבדם הם כ-11,423 דולר בשנה, ומחקרי אימות קליני יכולים להגיע למאות אלפי דולרים. אבל עלות פעולת אכיפה של ה-FDA — ריקול, השבתה — היא מהסוג שמסיים חברות.

כאן חומת האש לבטיחות קלינית מספקת סוג שונה של ערך. על ידי אכיפת גבולות קשיחים על מה שהמערכת יכולה ואינה יכולה לדון בו, אנו שומרים על כלי רווחה בנתיב הרווחה. חומת האש לא רק מגינה על משתמשים מפני עצות מסוכנות — היא מגינה על חברות מפני חשיפה רגולטורית שלא ידעו שיש להן.

כמה עולה למעשה הזיה?

אנשים תמיד שואלים אותי אם התקורה ההנדסית של שכבת בטיחות דטרמיניסטית שווה את זה. החשבון לא קרוב.

בשנת 2024, ההפסדים הגלובליים המיוחסים להזיות בינה מלאכותית הגיעו להערכה של 67.4 מיליארד דולר. זו אינה טעות הקלדה. שישים ושבעה מיליארד דולר בבזבוז תפעולי, התדיינות משפטית, נזק תדמיתי, והעלות הנסתרת של אימות אנושי-בלולאה — עובדים שבודקים ידנית כל פלט בינה מלאכותית, מה שמבטל את רווחי היעילות שהצדיקו את פריסת הבינה המלאכותית מלכתחילה.

בתחום הבריאות באופן ספציפי, העלויות מצטברות. תביעות נגד פלטפורמות כמו Character.AI על נזק שאיפשרה בינה מלאכותית לקטינים קובעות תקדימים משפטיים. ביטוח רשלנות רפואית, שכבר יקר, לרוב יש בו פערים משמעותיים בנוגע לשגיאות אלגוריתמיות — הפוליסות מכסות רשלנות אנושית, לא בהכרח הזיית מכונה. בתי חולים הפורסים כלי מיון מבוססי בינה מלאכותית ניצבים בפני אחריות שילוחית על כל כשל. ונזק תדמיתי בתחום הבריאות הוא כמעט קבוע. ייתכן שמותג NEDA לעולם לא יתאושש במלואו.

חומת האש לבטיחות קלינית ממירה את מה שמבטחים ורגולטורים רואים כאחריות של "קופסה שחורה" לניתנות ביקורת של "קופסה לבנה". כאשר כל החלטה מתועדת — ציון סיכון, כלל שהופעל, פעולה שננקטה — במסלול ביקורת בלתי ניתן לשינוי, אנו יכולים להדגים בדיוק מה קרה ולמה. "מנטר הבטיחות הפעיל את כלל #42 בהתבסס על התאמת דפוס הקלט ל-C-SSRS רמה 4, והמערכת ביצעה את תסריט המשבר המאושר מראש." המשפט הזה שווה יותר להגנה משפטית מכל כמות של תיעוד הנדסת פרומפטים.

האמת הקשה על אמפתיה ומכונות

אני רוצה לסיים במשהו שאינו טכני, כי החלק הטכני — למרות שהוא באמת קשה — אינו החלק הקשה ביותר בעבודה הזו.

החלק הקשה ביותר הוא לחיות עם הידיעה שמיליוני אנשים עומדים לדבר עם מערכות בינה מלאכותית על הרגעים הקשים ביותר בחייהם. לא בגלל שהם מעדיפים מכונות על פני בני אדם, אלא בגלל שאין מספיק בני אדם. המחסור במטפלים אמיתי. זמני ההמתנה לשירותי בריאות הנפש נמדדים בחודשים. קווי החירום עמוסים מנשוא. הביקוש למישהו — כל אחד — שיקשיב הוא עצום והולך וגובר.

ולתוך הפער הזה נכנס מודל שפה גדול שאומר "אני מבין" ו"אני כאן בשבילך" בשטף מושלם ובאפס הבנה. שמשתמש בביטויים המכוילים למקסם מעורבות, לא בגלל שאכפת לו, אלא בגלל שלאסימונים שנשמעים אכפתיים יש ציוני הסתברות גבוהים. שיוצר תחושת חיבור כה משכנעת שאנשים פגיעים מבנים מחדש את חייהם הרגשיים סביבה.

אני לא חושב שהתשובה היא לשמור את הבינה המלאכותית מחוץ לבריאות הנפש. הצורך גדול מדי, והטכנולוגיה, מוגבלת כראוי, יכולה לעשות טוב אמיתי — סינון בקנה מידה גדול, חיבור אנשים למשאבים, מתן תרגילים מובנים בין מפגשי טיפול. אבל האילוץ חייב להיות ארכיטקטוני, לא שאפתני. אתה לא יכול להגיע לבטיחות דרך פרומפט. אתה לא יכול להגיע לאחריות קלינית דרך בדיקת A/B. אתה חייב לבנות את המערכת כך שכאשר היא נתקלת בסכנה — סכנה אמיתית, אנושית, בלתי הפיכה — היא מפסיקה לייצר ומתחילה לעקוב אחר פרוטוקול.

אי אפשר לדמות אמפתיה באמצעות מודל סטטיסטי. אבל סכנה ניתן להפוך לאוטומטית. ואת האוטומציה של הסכנה יש לפגוש באוטומציה של הבטיחות.

אנחנו לא בונים צ'אטבוטים ב-Veriprajna. אנחנו בונים מערכות מיון קליני עם ממשק שיחתי. ההבחנה נשמעת סמנטית. היא, למעשה, כל העניין. בטיחות אינה תכונה שמוסיפים לארכיטקטורה. הבטיחות היא הארכיטקטורה. ועד שהתעשייה תקבל זאת, נמשיך לקרוא עדויות כמו זו של שרון מקסוול ולתהות איך נתנו למכונה לומר לאישה גוססת לספור קלוריות.