האם אפשר לסמוך על בינה מלאכותית להכרעת אחריות משפטית?

הבעיה

חוקרים מסטנפורד מצאו שמודלי הבינה המלאכותית המובילים מפיקים הזיות — כלומר ממציאים עובדות או מצטטים פסיקה בדויה — ב-69% עד 88% מהשאילתות המשפטיות. כעת דמיינו את אותה טכנולוגיה מכריעה מי גרם לתאונת דרכים, מי משלם את התביעה, ומי עומד בפני תביעה משפטית. זה בדיוק מה שקורה כרגע בענפי הביטוח והמשפט.

חברות ממהרות לפרוס מודלי שפה גדולים (LLM) כשופטים אוטומטיים. המערכות האלה קוראות דוחות משטרה, עדויות עדי ראייה ורשימות שמאים. ואז הן מחלקות אשמה. ההנחה היא שאם בינה מלאכותית יודעת לכתוב כמו עורך דין, היא יודעת גם לחשוב כמוהו. ההנחה הזאת שגויה. מודלי שפה גדולים מנבאים את המילה הבאה במשפט. הם אינם מבינים פיזיקה, דיני תעבורה, או גורם ותוצאה. הם מייצרים טקסט שנשמע סמכותי, אך ההיגיון שמאחוריו עלול להיות בדייה טהורה.

הווייטפייפר של Veriprajna אומר זאת בצינו: לבקש מ-LLM להכריע בשאלת אחריות זה כמו לבקש ממשורר לעשות פיזיקה. תקבלו תשובה יפהפייה. סביר שהיא תהיה בדיונית. אם הארגון שלכם נוגע בתביעות, ברגולציה או בהחלטות משפטיות, הפער הזה בין שטף לשפה לבין דיוק הוא הבעיה שעליכם לפתור.

למה זה חשוב לעסק שלך

החשיפה הפיננסית והרגולטורית כאן אינה תאורטית. היא מדידה, והיא גדולה.

מודלי שפה גדולים מכניסים הטיות ספציפיות ומתועדות לכל החלטה שהם מקבלים. כשההחלטות האלה נוגעות בכסף, באחריות ובזכויות משפטיות, ההשלכות פוגעות ישירות בשורה התחתונה שלכם.

• שיעור הזיות של 69% עד 88% בשאילתות משפטיות. מחקר סטנפורד מראה שמודלי ה-AI המובילים מזייפים חקיקה, ממציאים פסיקה ומשגים בניסוח כללים משפטיים בשיעורים מדאיגים. אם המערכת האוטומטית שלכם מצטטת חוק שלא קיים, אתם מתמודדים עם תביעה בחוסר תום לב ועם סנקציות רגולטוריות.
• הטיית האריכות מעדיפה את הרטוריים, לא את האמיתיים. מחקרים על מערכות LLM-as-a-judge מראים שמודלים כמו GPT-4 נותנים בעקביות ציוני ביטחון גבוהים יותר לתשובות ארוכות ומפורטות יותר — גם כשהתשובה הקצרה חזקה יותר מבחינה עובדתית. בסכסוך תביעות, המשמעות היא שנרטיב בן 500 מילים עמוס בפרטים רגשיים יכול לנצח הצהרה מדויקת עובדתית בת 50 מילים. המערכת שלכם עלולה לפסוק נגד מבוטחים ישרים לטובת דורשים מליציים אך רשלניים.
• סיכון אי-עקביות של 100%. הזינו את אותו דוח משטרה ל-LLM עשר פעמים וייתכן שתקבלו עשר החלטות אחריות שונות. יצירת טקסט הסתברותית אינה יכולה להבטיח שעובדות זהות יניבו פסק דין זהה. אי-העקביות הזאת היא סיוט של ציות לרגולציה.
• דליפת תביעות מחלוקות אשם לא מדויקות. מערכת הסתברותית עלולה לבחור כברירת מחדל בחלוקת אחריות של 50/50 מפני שהנרטיבים מבולגנים. מערכת מבוססת חוקים עשויה לחשוף חלוקה חד-משמעית של 100/0 הנשענת על הפרה ספציפית של חוק התעבורה. כל חלוקה שגויה עולה לכם כסף.

עבור היועץ המשפטי שלכם, זהו סיכון משפטי (litigation risk). עבור ה-CFO שלכם, זו דליפת תביעות בלתי נשלטת. עבור מנהל הסיכונים שלכם, זו מערכת שאי אפשר לבקר או להסביר לרגולטור.

מה באמת קורה מתחת למכסה המנוע

כדי להבין מדוע בינה מלאכותית נכשלת בשיקול דעת משפטי, עליכם להבין מה היא באמת עושה. LLM אינו מהנד. הוא מנבא. בהינתן רצף מילים, הוא מחשב את המילה הבאה הסבירה ביותר סטטיסטית. זה הכול.

חשבו על זה כמו השלמה אוטומטית בטלפון שלכם — רק בקנה מידה של כתיבת פסקאות. הטלפון שלכם אינו מבין מה אתם מתכוונים לומר. הוא מנחש על בסיס דפוסים. מודלי שפה גדולים עושים בדיוק את אותו דבר, רק עם יותר נתונים ופלטים ארוכים יותר. כשהמשימה היא כתיבת מייל, זה עובד מצוין. כשהמשימה היא להכריע מי גרם לתאונת דרכים, הכול מתפרק.

הווייטפייפר מזהה ארבעה מצבי כשל ספציפיים:

הטיית אריכות פירושה שהמודל מתייחס לאורך כאל ראיה. נהג שכותב תיאור חי בן 500 מילים על מזג האוויר, על רגשותיו ועל "התוקפנות" של הנהג השני מקבל משקל רב יותר מנהג שפשוט כותב: "עצרתי. בדקתי. התקדמתי. הם פגעו בי." המודל מבלבל בין צפיפות טוקנים לבין צפיפות ראיות.

חנופה פירושה שהמודל מסכים עם מי ששואל את השאלה. אם שמאי מזין למערכת "נתחו את זה כדי לבדוק אם הדורש נהג במהירות מופרזת", המודל, סטטיסטית, סביר יותר שימצא ראיות לנהיגה במהירות מופרזת — גם אם אין כאלה. זו הטיית אישור המוגשת כשירות.

הזיה פירושה שהמודל ממציא עובדות ודין. ייתכן שהוא יקרא שלרכב היו "נזקים חמורים בחזית" ויצהיר כעובדה שהרכב נסע במהירות מופרזת — בלי שום נתוני סימני בלימה או טלמטריה. הוא ממלא פערים בנרטיב בבדייה שנשמעת סבירה.

כשל בהסקה אבדוקטיבית פירושו שהמודל אינו יכול לעבוד לאחור מהראיות אל ההסבר הטוב ביותר. הוא אינו יכול להריץ סימולציה מנטלית: "אילו הנהג הזה היה עוצר, האם ההתנגשות עדיין הייתה מתרחשת?" הוא פשוט מנבא את המשפט הבא בנרטיב של תאונה. זה לא צדק. זו השלמה אוטומטית עם השלכות.

מה עובד (ומה לא)

לפני שנסביר מה כן עובד, הנה מה שלא עובד:

"פשוט תשתמשו בפרומפט טוב יותר." הנדסת פרומפטים אינה פותרת הטיות מבניות. הטיית האריכות והחנופה טבועות באופן שבו המודלים מאומנים. פרומפט טוב יותר אינו יכול להפוך מערכת הסתברותית לדטרמיניסטית.

"הוסיפו גורם אנושי בלולאה." אם הבודק האנושי שלכם מעיין בפלט של בינה מלאכותית שכבר נראה סמכותי וכתוב היטב, סביר שהוא יאשר אותו. כל הבעיה היא שפלט של LLM נשמע משכנע גם כשהוא טועה.

"כווננו את המודל על נתונים משפטיים (fine-tuning)." כוונון עדין יכול לשפר את אוצר המילים של התחום. הוא אינו פותר הזיות ואינו מעניק למודל הבנה של פיזיקה, של סיבתיות או של היגיון חקיקתי. מודל מכוונן עדיין מנבא מילים, לא אמת.

מה שכן עובד הוא הפרדה בין המשימות שבינה מלאכותית טובה בהן לבין המשימות שהיא גרועה בהן. Veriprajna מכנה זאת גישה נוירו-סימבולית. כך פועלת הארכיטקטורה בשלושה שלבים:

שלב 1: חילוץ (הבינה המלאכותית עושה את מה שהיא טובה בו). ה-LLM קורא את דוחות המשטרה הלא-מובנים, עדויות העדים ורשימות השמאים שלכם. תפקידו היחיד הוא לחלץ עובדות מובנות: כלי רכב, נהגים, אמצעי בקרת תנועה, פעולות, תנאים. הוא ממפה אותן לסכימה מוגדרת מראש ונוקשה — אוצר מילים פורמלי של למעלה מ-110 סוגים של ישויות ויחסים. אם המודל מנסה לפלוט משהו שמפר את הסכימה (למשל מציב תמרור עצור במקום שבמפה אין בו כזה), המערכת מסמנת את הסתירה. הבינה המלאכותית היא פקיד, לא שופט.

שלב 2: שחזור (בניית תאום דיגיטלי של האירוע). העובדות שחולצו נטענות לגרף ידע (Knowledge Graph) — מפה מובנית של כל מה שקרה. כלי רכב הופכים לצמתים. פעולות הופכות לקשתות. חוקי התעבורה הופכים לכללי לוגיקה הניתנים להרצה, לא לטקסט לסיכום. המערכת משתמשת בלוגיקה דאונטית פורמלית כדי לקודד חובות, איסורים והיתרים ישירות מתוך חקיקה כמו California Vehicle Code § 21802. "האם הנהג עצר?" הופך לבדיקת כן-או-לא מול הגרף, לא לעניין של דעה.

שלב 3: הכרעה (הלוגיקה מכריעה באשמה, לא השפה). המערכת מריצה את כללי התעבורה המפורמלים מול גרף האירוע המשוחזר. היא בודקת את פעולות כל גורם מול החוקים שחלים על מיקומו הספציפי. היא מריצה סימולציות קונטרפקטואליות: "האם ההתנגשות הזאת הייתה מתרחשת אילו הנהג היה עוצר?" אם צומת ההתנגשות נעלם בתרחיש החלופי המדומה, ההפרה היא הגורם. הפלט הוא דוח אחריות מובנה שבו כל מסקנה ניתנת לעקיבה עד לעובדה ספציפית ולכלל ספציפי.

כאן צריך צוות הרגולציה שלכם לשים לב היטב. כל החלטה ניתנת לעקיבה עד לצומת ספציפי בגרף ולכלל ספציפי במנוע הלוגיקה. אתם יכולים להציג חזותית את שרשרת הנימוקים כולה. אתם יכולים להראות לרגולטור, לשופט או לחבר מושבעים בדיוק מדוע המערכת הגיעה למסקנתה. הריצו את אותן עובדות במערכת 100 פעמים ותקבלו את אותה תשובה 100 פעמים. זהו שובל הביקורת שבינה מלאכותית של קופסה שחורה אינה יכולה לספק.

עבור ארגונים ב תחום השירותים המשפטיים והמקצועיים, יכולת מעקב כזו אחר שרשרת ההסקה אינה רשות — היא ציפיית הבסיס. והגישה שביסוד — ארכיטקטורת פתרונות הנשענת על עקרונות נוירו-סימבוליים — תוכננה במיוחד כדי לעמוד ברף הזה. ואם הארגון שלכם נדרש גם להוכיח שהבינה המלאכותית שלו מתייחסת לכל הצדדים בהוגנות, ללא תלות באיכות כתיבתם, הרי ש-Veriprajna בתחום ביקורת ההוגנות והפחתת ההטיות מתמודדת ישירות עם הטיות האריכות והחנופה המתועדות במחקר הזה.

לפירוק הטכני המלא, תוכלו לקרוא את הניתוח הטכני המלא או לחקור את הגרסה האינטראקטיבית.