המספר המסוכן ביותר בבינה מלאכותית כרגע הוא 99.999%

הייתי בשיחה עם מנהל מערכות מידע (CIO) של בית חולים בשנה שעברה כשהוא פתח מצגת מכירה של ספק ושיתף את המסך שלו. בשקופית שבע היה מספר יחיד, ממורכז, בגופן בגודל 72 נקודות: שיעור הזיות של פחות מ‑0.001%. מתחתיו, בכתב קטן יותר: "מאומת קלינית."

הוא הביט בי דרך המצלמה ואמר, "אשוטוש, האם כדאי לי להאמין לזה?"

אמרתי לו שאני לא יודע — אבל שהמספר עצמו צריך להלחיץ אותו, לא להרגיע אותו. שיעור הזיות של פחות מאחת למאה אלף, עבור מערכת שמסכמת רשומות קליניות מבולגנות, סותרות, כתובות בכתב יד ומוכתבות בהקלטה על פני עשרות תחומי התמחות? זו לא טענת דיוק. זה טריק קסם. ומניסיוני, כשמישהו מראה לך טריק קסם בפגישת מכירה, כדאי שתבדוק את הכיסים שלך אחר כך.

כמה חודשים לאחר מכן, היועץ המשפטי לממשלה של טקסס הפך את האינטואיציה הזו לרשמית. בספטמבר 2024, המדינה הגיעה לפשרה תקדימית עם Pieces Technologies, חברת בינה מלאכותית לתחום הבריאות מבסיס דאלאס, על מה שהיועץ המשפטי טען שהיו טענות דיוק מטעות — כולל אותו שיעור הזיות קריטי של 0.001% בדיוק. זו הייתה פעולת האכיפה הראשונה מסוגה נגד חברת בינה מלאכותית גנרטיבית בתחום הבריאות, והיא לא דרשה שום חוק חדש ייעודי לבינה מלאכותית. רק חוק מנהגי המסחר המטעים של טקסס (Texas Deceptive Trade Practices Act) הישן והפשוט, אותו חוק ששימש לרדוף אחרי סוחרי מכוניות עקומים.

הפשרה הזו שינתה את האופן שבו אני חושב על כל מה שאנחנו בונים ב‑Veriprajna. לא כי עשינו משהו לא בסדר, אלא כי היא גיבשה משהו שהתקשיתי לנסח ללקוחות: הבעיה בבינה מלאכותית ארגונית אינה שהמודלים מהזים. אלא שהתעשייה בנתה אסטרטגיית יציאה‑לשוק שלמה סביב ההעמדה כאילו הם לא מהזים.

מה בעצם משמעותו של שיעור הזיות של 0.001%?

תנו לי להוליך אתכם דרך החשבון, כי החשבון הוא המקום שבו טריק הקסם מתפרק.

מודלי שפה גדולים הם מערכות הסתברותיות. הם לא "יודעים" דברים כפי שמסד נתונים יודע דברים. הם חוזים את המילה הבאה — או ליתר דיוק, את האסימון (token) הבא — על סמך דפוסים שנלמדו במהלך האימון. ההסתברות של כל פלט שנוצר היא מכפלת ההסתברויות של כל אסימון בודד ברצף. כל אסימון הוא הימור זעיר, והפלט הסופי הוא שרשרת ארוכה של הימורים זעירים המוכפלים זה בזה.

כעת, טענה על שיעור הזיות קריטי של פחות מ‑0.001% פירושה שפחות מ‑1 מתוך 100,000 פלטים מכילים שגיאה חמורה מספיק כדי לגרום לנזק קליני. כדי לאמת טענה כזו בכל רמת ביטחון סטטיסטי, היית זקוק למאגר נתונים עצום, מוער בקפידה ומהווה תקן זהב — עשרות אלפי סיכומים קליניים, כל אחד נבחן על ידי מומחי תחום המסכימים על מה נחשב "קריטי." מאגר נתונים כזה אינו קיים. לא עבור Pieces Technologies, ולא עבור אף אחד. רשומות קליניות אידיוסינקרטיות מדי, ספציפיות מדי לתחום ההתמחות, ותלויות מדי בסגנון של הרופא הבודד ובהיסטוריה של המטופל.

כשמישהו טוען לדיוק של 99.999% במשימה שבה אפילו מומחים אנושיים חלוקים על איך נראית תשובה "נכונה", הם לא פתרו את הבעיה. הם הגדירו אותה מן העולם.

החקירה של היועץ המשפטי לממשלה של טקסס הסיקה שהמדדים ש‑Pieces השתמשה בהם היו "ככל הנראה לא מדויקים" ובעלי פוטנציאל להטעות את בתי החולים שהטמיעו את הכלי — ובכללם Houston Methodist, Parkland Hospital, Children's Health System of Texas, ו‑Texas Health Resources. ארבע מערכות מרכזיות. מטופלים אמיתיים. רשומות קליניות אמיתיות המסוכמות על ידי מערכת שטענות הדיוק שלה לא יכלו לעמוד בבחינה רגולטורית.

הלילה שבו הפסקתי לבטוח במדדי ביצועים (benchmarks)

אני רוצה לספר לכם על רגע ששינה מן היסוד את החשיבה שלי בנושא.

ערכנו הערכה פנימית של צינור סיכום קליני — לא עבור לקוח, פשוט למחקר ופיתוח שלנו. הצוות שלי בנה את מה שחשבנו שהיא מערכת מוצקה מבוססת RAG. Retrieval-Augmented Generation, לבלתי מיודעים, היא טכניקה שבה במקום לבקש מהמודל לענות מהזיכרון, אתה קודם מאחזר מסמכים רלוונטיים ממאגר ידע ומזין אותם למודל כהקשר. זה אמור לעגן את הפלט בעובדות.

המדדים הפנימיים שלנו נראו מצוינים. ציוני נאמנות מעל 95%. דיוק אחזור בשנות ה‑90 הגבוהות. הרגשנו טוב. ואז אחת המהנדסות שלנו — פְּריה, שיש לה ההרגל המטריף הזה לצדוק בדברים שאף אחד לא רוצה לשמוע — הציעה שנעשה משהו שונה. במקום למדוד מול מערך הבדיקה שלנו עצמנו, היא שלפה חמישים סיכומי שחרור אמיתיים ממאגר נתונים ציבורי, ונתנה לשני רופאים לבחון באופן עצמאי את הגרסאות שנוצרו על ידי הבינה המלאכותית.

התוצאות חזרו בליל יום חמישי. אני זוכר כי הכנתי ארוחת ערב והטלפון שלי זמזם עם הודעת Slack מפְּריה שאמרה פשוט: "כדאי שתסתכל על זה לפני מחר."

הרופאים סימנו בעיות ב‑23 מתוך 50 סיכומים. לא שגיאות קטסטרופליות ברוב המקרים — מינון תרופה שנשלף מאשפוז קודם במקום הנוכחי, פרט בהיסטוריה משפחתית שיוחס לקרוב המשפחה הלא נכון, ערך מעבדה שהיה נכון בכיוון אך שגוי מספרית. אבל בהקשר קליני, "נכון בכיוון אך שגוי מספרית" יכול להיות ההבדל בין שחרור בטוח לבין אשפוז חוזר.

המדדים האוטומטיים שלנו פספסו כמעט את כל זה. המערכת ייצרה טקסט שהיה שוטף לשונית ודומה סמנטית לחומר המקור — שזה בדיוק מה שהמדדים מדדו. אבל היא לא ייצרה טקסט שהיה בטוח קלינית, שזה מה שבאמת חשוב.

זה היה הלילה שבו הפסקתי לבטוח במדדי ביצועים כתחליף לאיכות. וזו הסיבה שמקרה Pieces פגע בי כל כך חזק כשהתפוצץ. ידעתי בדיוק כיצד חברה יכולה להסתכל על המספרים שלה עצמה, להאמין בהם בכנות, ועדיין לטעות באופן מסוכן.

מדוע טקסס השתמשה בחוק הגנת הצרכן — ולא בחוק בינה מלאכותית?

זה החלק שאמור למנוע שינה מכל ספק בינה מלאכותית.

היועץ המשפטי לממשלה של טקסס לא חיכה שהקונגרס יעביר רגולציה על בינה מלאכותית. הוא לא הסתמך על שום תיאוריה משפטית חדשנית. הוא השתמש בחוק מנהגי המסחר המטעים והגנת הצרכן של טקסס (Texas Deceptive Trade Practices–Consumer Protection Act) — חוק שקיים בספרי החוקים במשך עשרות שנים — והחיל אותו על טענות דיוק של בינה מלאכותית באותו אופן שבו הוא היה מוחל על חברה שמשקרת לגבי צריכת הדלק של מכונית.

התחייבות הציות מרצון (Assurance of Voluntary Compliance) שנוצרה בעקבות זאת נועלת את Pieces Technologies לתקופה של חמש שנים של שקיפות מוגברת. החברה חייבת כעת לחשוף את ההגדרות ושיטות החישוב שמאחורי כל מדד דיוק שהיא מפרסמת. עליה להודיע ללקוחות על "שימושים מזיקים או בעלי פוטנציאל מזיק, ידועים או שניתן לדעת עליהם באופן סביר" של מוצריה. עליה לספק תיעוד על נתוני האימון וסוגי המודלים שלה. ועליה להיענות לבקשות מידע ממשרד היועץ המשפטי לממשלה בתוך 30 יום.

זו אינה סטירה קלה על פרק כף היד. זהו תבנית.

פעולת האכיפה הגדולה הראשונה בתחום הבינה המלאכותית בבריאות לא דרשה חקיקה חדשה. חוק הגנת הצרכן הקיים היה מספיק — ולכל מדינה יש כזה.

שוחחתי עם צוותים משפטיים ארגוניים שהניחו שהם מוגנים כי "עדיין אין חוק בינה מלאכותית." ההנחה הזו שגויה. אם אתה מעלה טענה לגבי ביצועי מערכת הבינה המלאכותית שלך, והטענה הזו מטעה, אתה כבר חשוף תחת החוק הקיים. פשרת Pieces פשוט הוכיחה זאת.

כתבתי על מלוא ההשלכות הרגולטוריות — כולל ההתחייבויות הספציפיות תחת הפשרה — בהגרסה האינטראקטיבית של המחקר שלנו. אם אתה עוסק ברכש, במשפט או בציות, שווה לקרוא זאת בעיון.

בעיית העטיפה (The Wrapper Problem)

הנה מה שאני חושב שבאמת השתבש, מבחינה ארכיטקטונית — ומדוע זה חשוב הרבה מעבר ל‑Pieces Technologies.

רוב מוצרי הבינה המלאכותית הארגוניים הנשלחים כיום הם מה שהתעשייה מכנה "עטיפות" (wrappers). עטיפה לוקחת קלט של משתמש, שולחת אותו ל‑API של מודל יסוד — GPT-4, Claude, Gemini — ומציגה את התגובה עם עיצוב קל ואולי כמה guardrails מוברגים עליה. היא מהירה לבנייה, מהירה למשלוח, ומהירה למכירה. היא גם שברירית מיסודה.

עטיפה לא מבינה את הנתונים שלך. היא לא שומרת על הקשר לאורך הרשומה האורכית של המטופל. היא לא יודעת שד"ר רמירז בקרדיולוגיה כותב רשומות אחרת מד"ר צ'ן באונקולוגיה. אין לה גישה לידע המוסדי שאחות עם עשרים שנות ניסיון נושאת בראשה. היא פשוט חוזה אסימונים.

היה לי פעם ויכוח עם משקיע על זה — ויכוח לוהט. הוא ראה הדגמה של כלי תיעוד קליני מבוסס עטיפה והיה משוכנע שהוא "מספיק טוב." מילותיו המדויקות: "אשוטוש, פשוט השתמש ב‑GPT. עשה לו כוונון עדין קצת. שלח אותו. השוק לא יחכה."

אמרתי לו שהשוק לא יחכה, אבל הרגולטורים כן יחכו. וגם המטופלים. וגם התביעות המשפטיות.

הוא לא השקיע. אני לא מתחרט על השיחה.

החלופה — מה שאנחנו בונים ב‑Veriprajna ומה שאני חושב שהתעשייה צריכה לנוע לעברו — היא אינטגרציה עמוקה. זה אומר להטמיע את המודל בתוך מארג הנתונים הממשי של הארגון. זה אומר להשתמש ב‑RAG לא כתכונה לסימון וי אלא כמנגנון עיגון אמיתי, עם צינורות אחזור המכוונים לתחום הספציפי. זה אומר כוונון עדין על מאגרי טקסט ייעודיים לתחום. זה אומר פיקוח אנושי רב‑שכבתי שבו לבני האדם באמת יש את הסמכות וההקשר לתפוס שגיאות.

מחקר תומך בכך. מחקרים מראים ש‑65% מהמפתחים מדווחים שהבינה המלאכותית "מאבדת הקשר רלוונטי" במהלך משימות מורכבות — וזה בהנדסת תוכנה, שבה מה שמונח על הכף הוא build שבור, לא מטופל שבור. בתחום הבריאות, אובדן הקשר אינו באג. זהו אירוע בטיחותי.

מה באמת עובד: בינה מלאכותית יריבה (Adversarial AI) ובעיית 3.7 השעות

אני אזכה את Pieces Technologies בדבר אחד: הארכיטקטורה שלהם כללה מודול זיהוי יריב (Adversarial Detection Module). הרעיון תקין — להשתמש במודל בינה מלאכותית שני כדי לפקח על הראשון, בסריקת סיכומים שנוצרו לאיתור אי‑התאמות מול הנתונים הקליניים המקוריים. המאמר הטכני שלהם הראה שהמודול היריב היה יעיל פי 7.5 בתפיסת הזיות משמעותיות קלינית מאשר דגימה אקראית.

זו תוצאה אמיתית. היא גם לא מספיקה.

הנה מדוע. כשהמודול היריב סימן שגיאה, הסיכום המסומן נותב לרופא מוסמך (board-certified) לבחינה. הזמן החציוני לתיקון? 3.7 שעות. עבור רשומת התקדמות המתויקת בסוף משמרת, אולי זה מקובל. עבור סיכום שחרור הקובע האם מטופל הולך הביתה היום או נשאר עוד לילה, 3.7 שעות הן נצח. עבור כלי תמיכה בהחלטות קליניות בזמן אמת — מהסוג שכולם מתחרים לבנות — זה חסר תועלת.

זה מה שאני מכנה בעיית מהירות ההתערבות, וזו בעיה שהתעשייה לא פתרה. אתה יכול לבנות את מערכת זיהוי ההזיות הטובה בעולם, אבל אם לולאת התיקון איטית יותר מזרימת העבודה הקלינית, הפלט הלא מתוקן הוא מה שהרופא רואה כשזה חשוב.

זיהוי ללא תיקון בזמן הוא רק תיעוד של כישלון.

ב‑Veriprajna, התחלנו לחשוב על זה במדרגים. לא כל מקרה שימוש בבינה מלאכותית נושא את אותו סיכון, ולא כל מקרה שימוש זקוק לאותה מהירות של התערבות אנושית. תזמון מנהלי? בקר אותו שבועית. תיעוד קליני? בחן לפני שהוא מגיע לתיק. תמיכה בהחלטות בזמן אמת? האדם חייב להיות בלולאה לפני שהפלט נוצר, לא אחרי.

מסגרת רמת בטיחות הבינה המלאכותית (AI Safety Level) המתגבשת בתחום הבריאות ממפה זאת היטב — מרמה 1 (משימות מנהליות בעלות השפעה נמוכה) ועד רמה 5 (אינטראקציה אוטונומית עם מטופל). רוב הארגונים שאני משוחח איתם פורסים כלים ברמה 3 ו‑4 עם פיקוח ברמה 1. זה הפער שהרגולטורים ימשיכו לסגור.

מדוע רק 5% מהחברות מפיקות ערך אמיתי מבינה מלאכותית?

יש נתון סטטיסטי ממחקר בינה מלאכותית ארגונית שרודף אותי: רק 5% מהחברות משיגות ערך עסקי מדיד מבינה מלאכותית בקנה מידה. לא 50%. לא 25%. חמישה אחוזים.

החברות ב‑5% הללו חולקות דפוס. הן משקיעות 70% ממאמץ ההטמעה שלהן בטרנספורמציה ארגונית — עיצוב מחדש של זרימות עבודה, הגדרה מחדש של תפקידים, שינוי האופן שבו מתקבלות החלטות. עשרים אחוזים הולכים למחסנית הטכנולוגיה. עשרה אחוזים הולכים לאלגוריתם עצמו.

כל השאר הופכים את היחס הזה. הם מבלים חודשים בבחירת המודל הנכון, שבועות בבניית הצינור, ובקירוב אפס זמן בחשיבה על השאלה האם בני האדם בהמשך התהליך באמת בוטחים, מבינים או יכולים לפקח ביעילות על הפלט של הבינה המלאכותית.

ראיתי זאת ממקור ראשון. עבדנו עם צוות שבנה מערכת אלגנטית מבחינה טכנית — ארכיטקטורה יפהפייה, קוד נקי, מדדי ביצועים מרשימים. אבל הרופאים שעבורם היא נבנתה לא השתמשו בה. לא כי היא הייתה גרועה, אלא כי אף אחד לא שאל אותם מה הם צריכים. הכלי ייצר סיכומים בפורמט שלא תאם את זרימת העבודה הקיימת שלהם. הוא הציף מידע שהם כבר ידעו וקבר מידע שהם באמת הזדקקו לו. זה היה פתרון לבעיה שהוגדרה על ידי מהנדסים, לא על ידי האנשים שעושים את העבודה.

בילינו שלושה שבועות פשוט לשבת עם הצוות הקליני, לצפות בהם עובדים, לפני שכתבנו שורת קוד אחת עבור העיצוב מחדש. זה ה‑70% שחשוב.

לפירוק הטכני המלא של מסגרות הערכה, ארכיטקטורות זיהוי יריב, ודפוסי ה‑ROI שמפרידים בין ה‑5% ל‑95%, ראו את מאמר המחקר המפורט שלנו.

כיצד ארגונים צריכים באמת להעריך טענות דיוק של בינה מלאכותית?

אנשים שואלים אותי את זה כל הזמן, אז תנו לי להיות ישיר.

ראשית, דרשו הגדרות. כשספק אומר לכם ששיעור ההזיות שלו הוא X%, שאלו: מה נחשב הזיה? מי הוסיף הערות למערך הבדיקה? כמה גדול הוא היה? האם הוא הוערך על ידי מומחי תחום או על ידי מודל בינה מלאכותית אחר? אם הם לא יכולים לענות על השאלות האלה בבירור, המספר חסר משמעות.

שנית, הביטו במסגרת ההערכה. הטובה ביותר שראיתי עבור תחום הבריאות היא Med-HALT — מבחן ההזיות בתחום הרפואי (Medical Domain Hallucination Test). הוא לא רק מודד האם המודל מגיע לתשובה הנכונה. הוא בוחן האם המודל יכול להתנגד למתן תשובה בטוחה בעצמה אך שגויה. אחד ממבחני המשנה שלו, מבחן הביטחון השגוי (False Confidence Test), מציג למודל שאלה ותשובה "נכונה" מוצעת שלמעשה שגויה, ואז בודק האם המודל הולך בעקבותיה. מבחן נוסף, הנקרא "אף אחת מהתשובות" (None of the Above), בודק האם המודל יכול לזהות מתי אף אחת מהאפשרויות שסופקו אינה נכונה — מיומנות קריטית, כי ברפואה, "אני לא יודע" היא לעתים קרובות התשובה הבטוחה ביותר.

שלישית, התעקשו על מה שמסגרת FAIR-AI מכנה "תווית בינה מלאכותית" (AI Label) — גילוי סטנדרטי המספר למשתמש הקצה על אילו נתונים המודל אומן, מהם אופני הכשל הידועים שלו, ואיזו גרסה פרוסה כעת. חשבו על זה כמו תווית תזונה עבור בינה מלאכותית. אם ספק לא ייתן לכם אחת, שאלו את עצמכם מה הם מסתירים.

השאלה אינה "כמה מדויקת הבינה המלאכותית שלך?" אלא "איך אתה יודע — והאם אתה יכול להוכיח זאת לרגולטור?"

הפשרה שינתה הכול. רוב האנשים עדיין לא שמו לב.

הנה מה שאני חושב שיקרה בשנתיים הקרובות, ואני אומר זאת כמי שבונה את המערכות שיהיו כפופות לכללים האלה.

פשרת טקסס תשוכפל. יועצים משפטיים לממשלה של מדינות אחרות צופים. ה‑FTC צופה. הדפוס מבוסס: אתה לא צריך חוק בינה מלאכותית כדי להסדיר טענות בינה מלאכותית. אתה רק צריך חוק הגנת צרכן וספק שהבטיח יותר מדי.

הרכש הארגוני ישתנה. מערכות בתי חולים וקונים גדולים יתחילו לדרוש ביקורות עצמאיות של צד שלישי על טענות דיוק של בינה מלאכותית לפני חתימת חוזים. הפשרה מתירה זאת במפורש כחלופה לגילוי עצמי, וקונים חכמים ידרשו זאת.

מודל העטיפה ימות — לאט, ואז בבת אחת. לא כי עטיפות לא עובדות עבור יישומים בסיכון נמוך (הן כן), אלא כי העלות הרגולטורית של פריסת מערכת לא מעוגנת בסביבה בעלת סיכון גבוה עומדת להפוך לבלתי כדאית. החברות ששורדות יהיו אלה שהשקיעו באינטגרציה עמוקה כשזה היה קשה, לא אלה ששלחו במהירות וקיוו שאף אחד לא יבדוק.

והטענה של 0.001%? היא עומדת להפוך לסיפור אזהרה — המקבילה בעולם הבינה המלאכותית הארגונית ל"טיפת דם אחת" של Theranos. מספר כה מושלם עד שהוא היה צריך להיות אזהרה.

אני חושב על מנהל מערכות המידע של אותו בית חולים לפעמים. זה שהראה לי את השקופית עם המספר הגדול. הוא לא קנה את המערכת הזו. הוא סיפר לי מאוחר יותר שמשהו בדיוק של הטענה הטריד אותו — היא הייתה יותר מדי נקייה, בטוחה מדי עבור טכנולוגיה שהוא ידע שהיא הסתברותית מיסודה.

הוא צדק שהוטרד. הדבר הקשה ביותר בבינה מלאכותית ארגונית אינו לבנות מערכת שעובדת. אלא לבנות מערכת שאומרת לך בכנות מתי היא לא עובדת. זה התקן כעת. לא 99.999%. לא מספר על שקופית. התקן הוא: האם אתה יכול להראות את העבודה שלך, לעמוד מאחוריה, ולקבל את ההשלכות כשאתה טועה?

זה מה שאנחנו בונים לעברו. לא בינה מלאכותית מושלמת. בינה מלאכותית כנה. ואני חושב שזה יהיה חשוב הרבה יותר משיעור ההזיות של מישהו.