טענות לדיוק AI בתחום הבריאות: מה המשמעות האמיתית של 0.001%

הבעיה

בספטמבר 2024, התובע הכללי של טקסס אילץ חברת בינה מלאכותית בתחום הבריאות בשם Pieces Technologies להגיע להסדר פשרה תקדימי. החברה טענה בפני בתי חולים כי לתוכנת התיעוד הקליני שלה יש "שיעור הזיות קריטי" של פחות מ-0.001% — פחות משגיאה אחת לכל 100,000 פלטים. המדינה הגדירה טענה זו הן כבלתי מדויקת והן כמטעה.

הנה החלק שצריך להדיר שינה מעיניכם. ארבעה בתי חולים מרכזיים בטקסס כבר הטמיעו את התוכנה הזו. Houston Methodist, Children's Health System of Texas, Texas Health Resources ו-Parkland Hospital השתמשו בה כולם. ה-AI סיכם תיקים רפואיים של מטופלים, ניסח רשומות קליניות ועקב אחר חסמים לשחרור מאשפוז. אלו אינן משימות בעלות סיכון נמוך. שגיאות בתיעוד קליני עלולות להשפיע באופן ישיר על בטיחות המטופלים.

התובע הכללי של טקסס לא נזקק לחוק AI חדש כדי לפעול. כללי הגנת הצרכן הקיימים — ה-Texas Deceptive Trade Practices–Consumer Protection Act — הספיקו. המדינה קבעה כי מדדי הדיוק ששיווקה Pieces Technologies היו "ככל הנראה לא מדויקים" ובעלי פוטנציאל להטעיה. הארגון שלכם אינו חייב לפעול בתחום הבריאות כדי לחוש את ההשפעה. אם אתם מטמיעים AI וטוענים טענות לגבי רמת הדיוק שלו, לתובע הכללי של המדינה שלכם כבר יש את הכלים לחקור אתכם.

מקרה זה אינו נוגע רק לחברה אחת. זוהי יריית אזהרה לכל ארגון הרוכש או מפתח מערכות AI הנוגעות להחלטות בעלות היבטים רגולטוריים.

מדוע זה חשוב לעסק שלכם

החשיפה הפיננסית והמשפטית הנובעת מטענות AI לא מאומתות אינה עוד תיאורטית. הסדר הפשרה של Pieces Technologies יצר התחייבות ציות לחמש שנים מול מדינת טקסס. משמעות הדבר היא חמש שנים של חובות גילוי, ניטור מתמשך ואפשרות לביקורות עצמאיות של צד שלישי. קחו בחשבון מה פיקוח הדוק שכזה היה מעולל לפעילות העסקית שלכם.

המספרים מציגים תמונה נוקבת לרוחב התעשייה:

• רק 5% מהחברות מפיקות ערך עסקי מדיד מ-AI בקנה מידה רחב. ה-95% הנותרות מוציאות כספים ללא החזר ברור על ההשקעה.
• 65% מהמפתחים מדווחים כי ה-AI "מאבד הקשר רלוונטי" במהלך משימות מורכבות, מה שמחדיר שגיאות עדינות או חוסר עקביות.
• לחברות הרוכשות כלי AI ייעודיים מספקים יש שיעור הצלחה של 67%, בעוד שאלו המפתחות כלים פנימיים מאפס מצליחות ב-33% מהמקרים בלבד.

ההסדר מחייב כעת את Pieces Technologies לחשוף את הנתונים והמודלים הספציפיים ששימשו לאימון מוצריה. הוא דורש גם שקיפות לגבי המתודולוגיה שעומדת מאחורי כל מדדי הביצועים. אם ספק ה-AI שלכם אינו יכול להראות לכם כיצד חישב את טענות הדיוק שלו, אתם חולקים בסיכון שלו.

עבור הדירקטוריון וצוות הציות שלכם, הלקח הוא ישיר וחד-משמעי. התקן הרגולטורי אינו "האם ה-AI עבד ברוב המקרים". התקן הוא: האם אתם יכולים להוכיח זאת, והאם אמרתם ללקוחותיכם את האמת לגבי האופן שבו מדדתם זאת? אם הארגון שלכם מטמיע AI בכל תפקיד מפוקח רגולטורית — קליני, פיננסי, משפטי — הסדר פשרה זה הוא קו הבסיס החדש שלכם לבדיקת נאותות (due diligence).

מה באמת קורה מתחת למכסה המנוע

כדי להבין מדוע טענה להזיות בשיעור של 0.001% היא כה חשודה, עליכם להבין כיצד מערכות AI אלו פועלות בפועל.

מודלי שפה גדולים — הטכנולוגיה העומדת מאחורי כלים כמו GPT-4 — הם מנועי חיזוי. הם מייצרים טקסט על ידי ניחוש המילה הבאה בעלת הסבירות הגבוהה ביותר, על בסיס דפוסים שנלמדו במהלך האימון. חשבו על זה כמו השלמה אוטומטית בטלפון שלכם, אך בהיקף מורחב לכתיבת פסקאות שלמות. המערכת אינה "מבינה" עובדות. היא חוזה מה שנשמע נכון.

הזיה מתרחשת כאשר ה-AI מייחס הסתברות גבוהה למילה או לביטוי שנשמעים נכונים אך שגויים מבחינה עובדתית. בסביבה קלינית, משמעות הדבר עשויה להיות יצירת שם של תרופה שמתאים למבנה המשפט אך אינו תואם לתיק הרפואי האמיתי של המטופל.

מדידת שגיאות אלו בדיוק של 0.001% תחייב מערך נתונים עצום ומתוייג בצורה מושלמת של סיכומים קליניים. מערך נתונים כזה אינו קיים. התיעוד הקליני מבוזר מדי וספציפי מדי למטופלים ולרופאים בודדים מכדי שיוכל לשמש כתקן זהב אוניברסלי כלשהו.

זוהי בעיית היסוד במה שהנייר הלבן מכנה מודל ה-"wrapper" (מעטפת). מעטפת שולחת את הנתונים שלכם ל-AI למטרות כלליות דרך API ומציגה כל מה שחוזר. היא מוסיפה בדיקות מינימליות ספציפיות לתחום. גישה זו מביאה מוצרים לשוק במהירות, אך היא נטולת מנגנוני ההגנה הטכניים הנדרשים ללכידת הזיות, למניעת דליפת נתונים או לעמידה בפני התקפות הזרקת פקודות (prompt injection). קריאת API פשוטה למודל לשימוש כללי אינה יכולה להביא בחשבון את ההיסטוריה הרפואית המלאה של המטופל או את סגנון התיעוד הייחודי של הרופא. מהירות היציאה לשוק אינה שוות ערך לבטיחות בפועל.

מה עובד (ומה לא)

ראשית, בואו ננקה מהשולחן את הגישות המעניקות תחושת ביטחון כוזבת:

• הסתמכות על מדדי דיוק המדווחים על ידי הספק בלבד. המקרה של טקסס הוכיח כי אמות מידה אלו עלולות לחסור את הקפדנות והעצמאות הנדרשות לאימות ברמה ארגונית. צוות הרכש שלכם זקוק להוכחה בלתי תלויה.
• מתן אמון במודל AI יחיד שיפקח על עצמו. מודל לשימוש כללי המחיל מנגנוני הגנה גנריים משל עצמו אינו מספיק עבור החלטות קליניות או פיננסיות בסיכון גבוה.
• הרחבת פיילוטים של AI ללא אסטרטגיית איכות נתונים. מחקרים מראים כי חברות מובילות פועלות לפי כלל ה-"70:20:10": 70% ממאמץ ההטמעה מוקדש לטרנספורמציה ארגונית, 20% לתשתית הטכנולוגית, ורק 10% לאלגוריתם. רוב החברות המשתרכות מאחור מרחיבות מודלים על גבי נתונים מבולגנים או מבודדים בסילואים.

הנה מה שכן עובד — גישה תלת-שלבית הבנויה סביב פלטים הניתנים לאימות:

1. עיגון כל מענה של ה-AI בנתונים האמיתיים שלכם. יצירה מועשרת באחזור (RAG) — שיטה שבה ה-AI שולף ומצטט את מסמכי המקור האמיתיים שלכם לפני יצירת תשובה — שומרת על פלטים הקשורים לעובדות שבשליטתכם. במקום לאפשר ל-AI לנחש מתוך נתוני האימון שלו, אתם מזינים אותו בתיק המטופל, בחוזה או במסמך המדיניות בפועל. גישה זו משפרת את שימור ההקשר באמצעות אחזור נתונים בזמן אמת ואחסון וקטורי לטווח ארוך.

2. הוספת שכבת זיהוי אדברסרית. המשמעות היא פריסת מערכת AI שנייה שתפקידה היחיד הוא לבדוק את עבודתה של המערכת הראשונה. בארכיטקטורה של Pieces Technologies, רכיב הזיהוי שלהם היה יעיל פי 7.5 בלכידת הזיות בעלות משמעות קלינית בהשוואה לדגימה אקראית. העיקרון קובע גם אם השיעור הכולל היה שנוי במחלוקת: בדיקה אוטומטית לוכדת שגיאות שבני אדם מחמיצים.

3. שמירה על גורם אנושי בתהליך עבור החלטות בסיכון גבוה. AI צריך לנסח טיוטות, לא להחליט. במקרה של Pieces, סיכומים שסומנו על ידי מערכת הזיהוי שלהם הועברו לבדיקה של רופאים מומחים. הזמן החציוני לתיקון שגיאה שסומנה היה 3.7 שעות. בסביבת טיפול נמרץ ואקוטי, עיכוב זה מקובל עבור רשומות מעקב רפואיות, אך עלול להיות מסוכן לתמיכה בהחלטות בזמן אמת. עליכם לדרג את מקרי השימוש ב-AI לפי רמת סיכון ומהירות תגובה נדרשת.

יתרון שובל הביקורת מחבר את כל אלה יחד עבור צוותי הציות והמשפט שלכם. מסגרות עבודה כמו FAIR-AI ממליצות על יצירת "תווית AI" (AI Label) לכל כלי מוטמע. תווית זו חושפת בפני משתמש הקצה את נתוני האימון, גרסת המודל ומצבי כשל ידועים. כאשר רגולטור או מבקר שואל כיצד ה-AI קיבל החלטה ספציפית, תוכלו להראות להם בדיוק באילו מסמכי מקור הוא עיין, אילו בדיקות הוא עבר ואיזה גורם אנושי אישר את הפלט הסופי. שקיפות זו היא מה שמבדיל בין הטמעה בעלת הגנה משפטית לבין חבות משפטית.

עבור ארגונים בתחומי הבריאות ומדעי החיים, סוג כזה של עיגון ואימות ציטוטים אינו בגדר רשות — הוא התקן המתגבש. ארכיטקטורת GraphRAG המחברת את ה-AI שלכם לגרפי ידע מובנים ולרשומות מקור מאומתות היא התשתית הטכנולוגית שמאפשרת זאת.

תוכלו לקרוא את הניתוח הטכני המלא או לחקור את הגרסה האינטראקטיבית כדי להעמיק בהנדסה המפורטת שמאחורי המלצות אלו.