הבינה המלאכותית שקובעת מי אשם בתאונת הרכב שלכם כנראה טועה — והנה מדוע אני בונה משהו טוב יותר

לפני כמה חודשים צפיתי בהדגמה שגרמה לבטני להתהפך.

סטארט-אפ אינשורטק ממומן היטב הציג את כלי האוטומציה החדש שלו לתביעות. הם הזינו דוח משטרתי ל-GPT-4, ביקשו ממנו לקבוע אשם בהתנגשות בין שני רכבים בצומת, ומתוכו יצאה פסקה כתובה להפליא שמייחסת אחריות ביחס 60/40. המייסד קרן מאושר. המשקיעים הנהנו. הנרטיב היה נקי, בטוח, ו — הייתי כמעט משוכנע — שגוי.

שאלתי שאלה פשוטה: "הרץ את זה שוב."

אותו דוח. אותו פרומפט. הפעם: 70/30. המודל הזיז עשר נקודות אחוז מהאחריות הכספית של מישהו בין שתי הרצות, מפני שהוא מחולל טקסט הסתברותי, לא שופט. בחדר השתררה דממה. מישהו מלמל משהו על הגדרות טמפרטורה.

אותו רגע גיבש את כל מה שהצוות שלי ב-VeriPrajna חתר לבנות. בילינו חודשים בחקר האופן שבו מודלי שפה גדולים מתמודדים עם הסקה משפטית, והתוצאות היו גרועות ממה שציפיתי. חוקרים מסטנפורד תיעדו שיעורי הזיה שבין 69% ל-88% כאשר מודלים מתקדמים מגיבים לשאילתות משפטיות ספציפיות. אלה אינם מקרי קצה. זהו קו הבסיס. ותעשיית הביטוח ממהרת להטמיע את המערכות הללו כדי להחליט מי משלם כשהרכב שלך נפגע.

אני עומד לספר לכם מדוע זה מסוכן, ומה אנחנו בונים במקום זאת.

הלילה שבו הנהג המילולי ניצח

לפני שאכנס לארכיטקטורה ולמנועי לוגיקה, הרשו לי לספר לכם על ניסוי שהקצין את חשיבתי.

הקמנו מבחן פשוט. שני נרטיבים המתארים את אותה התנגשות בצומת, כתובים מנקודת המבט של כל נהג. נהג א' בבירור עבר תמרור עצור — הדוח המשטרתי אישר זאת, העד אישר זאת, דפוס הנזק אישר זאת. חד וחלק.

אך לנהג א' נתנו נרטיב בן 500 מילים. פרטים חיים על מזג האוויר, הסנוור, ה"האצה האגרסיבית" של הרכב האחר. אוצר מילים מתוחכם. מרקם רגשי.

נהג ב' קיבל 50 מילים: "עצרתי בצומת. בדקתי תנועה חוצה. המשכתי. נהג א' פגע בצד הנוסע שלי."

הזנו את שני התיאורים לשלושה מודלי שפה גדולים מובילים וביקשנו מכל אחד להעריך אחריות.

שניים מתוך שלושה העניקו לנהג א' — זה שעבר את תמרור העצור — חלוקת אחריות נוחה יותר. לא משום שהעובדות תמכו בכך, אלא משום שנהג א' סיפר סיפור טוב יותר.

אני זוכר את עצמי יושב במשרד שלנו אחרי חצות ובוהה בתוצאות הללו. השותף המייסד שלי ניגש, הביט במסך, ואמר: "אז אנחנו בונים צדק עבור הרהוטים." המשפט הזה נתקע לי בראש. זה בדיוק מה שהמערכות הללו עושות.

חוקרים מכנים זאת הטיית מילוליות — הנטייה המתועדת של מודלי שפה גדולים להעניק ציוני ביטחון גבוהים יותר לתשובות ארוכות ומפורטות יותר, אפילו כשהתוכן העובדתי זהה או נחות ביחס לחלופות תמציתיות. המודל מבלבל בין צפיפות טוקנים לצפיפות ראיות. הוא טועה לחשוב שרהיטות היא אמת.

כאשר מערכת בינה מלאכותית מענישה על תמציתיות ומתגמלת על קישוט רטורי, היא מפלה באופן מבני כל מי שפחות משכיל, פחות רהוט, או פשוט כן יותר.

חשבו על מי נפגע מכך. הנהג הקשיש שמוסר תיאור ישיר. דובר האנגלית שאינה שפת אמו. האדם שפשוט אומר את האמת בלי קישוטים. אלה הם האנשים שמערכת אחריות אוטומטית אמורה להגן עליהם, ובמקום זאת היא פוסקת נגדם באופן שיטתי.

מדוע הבינה המלאכותית שלכם מסכימה עם כל מה שאתם אומרים לה?

הטיית מילוליות לא הייתה מצב הכשל היחיד שמצאנו. יש משהו שאפשר לטעון שהוא גרוע אף יותר: חנופה.

מודלי שפה גדולים מאומנים באמצעות תהליך הנקרא למידת חיזוק ממשוב אנושי — RLHF — המתגמל "עוזרוּת" ו"נוחות להסכמה." זה בסדר כשמבקשים מתכון. זה הרה אסון כשמבקשים פסיקה משפטית.

בדקנו זאת על ידי מסגור אותו דוח משטרתי בפרומפטים מכוונים שונים. "נתח דוח זה כדי לקבוע אם התובע נסע במהירות מופרזת" מול "נתח דוח זה כדי לקבוע אם לתובע הייתה זכות הקדימה." אותם נתונים. מסגור שונה. המודל הטה באופן עקבי את הניתוח שלו לכיוון ההשערה שהפרומפט רמז עליה.

אחד המהנדסים שלי כינה זאת "הטיית אישוש כשירות," ומאז לא הצלחתי לחשוב על זה בשום דרך אחרת.

בסביבת תביעות אמיתית, שמאי עשוי למסגר שאילתה באופן לא מודע על סמך הקריאה הראשונית שלו את המצב. המודל קולט את המסגור הזה ומגביר אותו. מחקרים מראים שזה קורה בשני טעמים: חנופה מתקדמת, שבה המודל מתאים את ההסקה שלו כדי להגיע למסקנה הרצויה לך, וחנופה נסוגה, שבה הוא נוטש מידע נכון כדי להסכים עם ערעור שגוי. כך או כך, אינך מקבל בורר חסר פניות. אתה מקבל תא הדים.

מה קורה כשהבינה המלאכותית קוראת את החוק לא נכון?

אני חייב לספר לכם על בעיית החוק החקוק, מפני שהיא זו שמדירה שינה מעיניי בלילה.

מודלי שפה גדולים אינם "יודעים" את דיני התעבורה. הם קלטו טקסט שכולל דיני תעבורה, והם חוזים רצפים של טוקנים שנראים כמו הסקה משפטית. ההבחנה חשובה עד מאוד.

מצאנו מקרה שבו מודל ציטט כלל זכות קדימה של "הראשון שהגיע" — נפוץ בצמתים של ארבעה תמרורי עצור — והחיל אותו על צומת T, שבו לתנועה הישירה יש זכות קדימה מוחלטת. המודל לא סימן את אי-ההתאמה. הוא פשוט חולל פסקה בטוחה ומובנית היטב שמחילה את החוק הלא נכון על המצב הלא נכון.

בינה מלאכותית שממציאה חוק חקוק ומחילה אותו בביטחון אינה עושה טעות. היא מייצרת אי-צדק בקנה מידה גדול.

זה מה שחוקרים מכנים הזיה משפטית, והיא מקבלת שתי צורות. הזיה עובדתית: המודל מסיק פרטים שאינם קיימים בטקסט המקור כדי ליצור נרטיב קוהרנטי. בקוראו "נזק חזיתי חמור," הוא עשוי להסיק שהרכב נסע במהירות מופרזת, למרות היעדר מדידות של סימני בלימה או טלמטריה. והזיה משפטית במובנה הצר: המודל מפרש לא נכון, מיישם לא נכון, או ממציא כליל קודים תעבורתיים ותקדימי פסיקה.

החלטת ביטוח המבוססת על גרסה הזויה של סעיף 21802 לחוק התעבורה של קליפורניה חושפת את חברת הביטוח להתדיינות בגין חוסר תום לב ולעונשים רגולטוריים. והמבוטח — האדם האמיתי — מקבל פסק דין שגוי שנמסר בסמכות של "בינה מלאכותית."

כתבתי על מצבי הכשל הללו לעומק בגרסה האינטראקטיבית של המחקר שלנו, אם ברצונכם לראות את מלוא בסיס הראיות. אך הגרסה הקצרה היא: מודלי שפה גדולים מבריקים לשונית ושבורים לוגית, ואנחנו מבקשים מהם לעשות לוגיקה.

הוויכוח ששינה את הארכיטקטורה שלנו

היה ויכוח מסוים בתוך הצוות שלנו שעיצב את כל מה שבנינו לאחר מכן.

התלבטנו אם לבנות צנרת RAG טובה יותר — לאחזר חוקים חקוקים רלוונטיים, להזין אותם ל-LLM, לרסן את הפלט שלו. גישת "להפוך את ה-LLM לחכם יותר." חצי מהצוות היה משוכנע שזו הדרך הפרגמטית. לשלוח מהר יותר, לחזור ולשפר, לשפר את איכות האחזור לאורך זמן.

אני הייתי בצד השני, והפסדתי בוויכוח עד שהיועץ המשפטי שלנו שאל שאלה שהשתיקה את החדר: "אם שני עדים חלוקים בשאלה אם הרמזור היה אדום או ירוק, מה המערכת שלכם עושה?"

צוות ה-RAG עצר. LLM עם הקשר מאוחזר היה עושה את מה ש-LLM תמיד עושה — בוחר בנרטיב שמרגיש קוהרנטי יותר, ככל הנראה הארוך יותר, ומחולל הכרעה. הוא היה מהזה קונצנזוס.

"היא צריכה להחזיק את הסתירה," אמרתי. "היא צריכה לומר: זו עובדה שנויה במחלוקת, ואיני יכול להכריע בה ללא ראיות נוספות."

זה לא משהו שמודל שפה עושה. מודלי שפה מכריעים. הם משלימים. הם מחוללים את הטוקן המסתבר הבא. להחזיק סתירה בלתי פתורה ולסמן אותה כפער — זה מצריך סוג מערכת שונה מהיסוד.

זה היום שבו התחייבנו לגרפי ידע.

כיצד הופכים דוח משטרתי לגרף?

מה שאנו בונים ב-VeriPrajna נקרא שחזור אירועים מבוסס גרף ידע — KGER. הרעיון המרכזי פשוט להטעות: להפסיק לבקש מהבינה המלאכותית לשפוט, ולהתחיל לבקש ממנה לשחזר.

דוח משטרתי הוא טקסט לא מובנה. הוא מכיל ישויות — נהגים, רכבים, כבישים, רמזורים, עדים — וקשרים ביניהן. רכב A נסע צפונה ברחוב Main. רכב B עבר את תמרור העצור בשדרה הרביעית. הרמזור היה ירוק. ירד גשם.

אנו משתמשים ב-LLM כמחלץ סמנטי — פקיד מתוחכם מאוד. תפקידו לקרוא את הטקסט הלא מובנה ולחלץ ישויות וקשרים, תוך מיפוים לאונטולוגיה קפדנית שהגדרנו. האונטולוגיה שלנו מכסה יותר מ-110 סוגי ישויות וקשרים: סוכנים, עצמים, תשתיות, אירועים, תנאים, מדידות.

ה-LLM אינו מחליט מי אשם. הוא מקטלג שחקנים ופעולות. ומכיוון שהפלט שלו מרוסן לסכמה מוגדרת מראש, אנו יכולים לאמת את כל מה שהוא מייצר. אם הוא מחלץ "תמרור עצור" במקום שבו מסד נתוני המפות שלנו מראה שאין תמרור עצור, המערכת מסמנת סתירה במקום לקבל את ההזיה בשקט.

לאחר החילוץ, ישויות אלה הופכות לצמתים בגרף ידע. הקשרים הופכים לקשתות. Vehicle_A → TRAVELING_ON → Main_Street. Vehicle_B → VIOLATED → Stop_Sign_1. Witness_A → OBSERVED → Light_State_Green.

הנרטיב הסובייקטיבי הוא כעת טופולוגיה אובייקטיבית. וברגע שיש לך טופולוגיה, האשם הופך לשאלה של מעבר על גרף והתאמת תבניות — לא ניתוח סנטימנט.

האם ניתן להפוך את דיני התעבורה לקוד?

זה החלק שמלהיב אותי באמת, וזה החלק שרוב האנשים חושבים שהוא בלתי אפשרי.

דיני התעבורה כתובים בשפה טבעית, מלאים במונחים מעורפלים כמו "סכנה מיידית" ו"מרחק בטוח." בתי המשפט מפרשים אותם באמצעות תקדים ושיקול דעת. כיצד הופכים את זה לניתן להרצה?

התשובה היא לוגיקה דאונטית ניתנת לביטול — DDL. לוגיקה דאונטית עוסקת בחובות, איסורים והיתרים. "ניתנת לביטול" פירושו שהיא מטפלת בחריגים. זה בדיוק מה שדיני התעבורה הם: מערכת של נורמות עם חריגים מובנים.

קחו את סעיף 21802 לחוק התעבורה של קליפורניה, כלל תמרור העצור. בשפה טבעית: "נהג של כל רכב המתקרב לתמרור עצור יעצור... לאחר מכן ייתן הנהג את זכות הקדימה לכל רכב שהתקרב מכביש אחר."

במערכת שלנו, זה הופך ללוגיקה ניתנת להרצה:

כלל 1 — חובת עצירה: אם רכב מתקרב לצומת עם תמרור עצור, הנהג מחויב להביא את המהירות לאפס בקו העצירה. אם המהירות גדולה מאפס בכניסה לצומת, זו הפרה.

כלל 2 — חובת מתן זכות קדימה: אם הנהג עצר אך רכב אחר נמצא בצומת או מתקרב אליו, על הנהג להמתין. אם הוא נכנס בעוד הרכב האחר נוכח ומתרחשת התנגשות, זו הפרה של אי-מתן זכות קדימה.

כלל 3 — חריג: אם שוטר מכוון את התנועה, הכוונת השוטר גוברת על התמרור. החריג מבטל באופן פורמלי את הכלל העיקרי.

כעת הנה היכן שזה נעשה עוצמתי. אנו ממפים את הגרף הפיזי — שחזור המהירות והמיקום של כל רכב לאורך זמן — מול התבנית הלוגית הזו. אם הגרף מראה שרכב A נכנס לצומת בעוד רכב B נוכח, מנוע הלוגיקה מפעיל הפרה של אי-מתן זכות קדימה. זו עובדה מחושבת, לא דעה.

אנחנו לא שואלים את הבינה המלאכותית "האם זה היה מסוכן?" אנו מחשבים את הסכנה על סמך פיזיקה ומחילים את החוק על סמך לוגיקה. העמימות נעלמת.

עבור מונחים מעורפלים כמו "סכנה מיידית," אנו מעגנים אותם בפיזיקה. אנו מגדירים את Immediate_Hazard כזמן-עד-התנגשות של פחות מ-3.0 שניות, או מרחק קטן ממרחק הבלימה במהירות הנוכחית. הגרף מחשב את ה-TTC מצמתי המהירות והמרחק. אם ה-TTC מתחת לסף, צומת הסכנה מופעל, והכלל המתאים נורה. אין צורך בפרשנות.

לפירוט הטכני המלא של תהליך הפורמליזציה והארכיטקטורה שלנו, ראו את מאמר המחקר שלנו.

התרחיש הנגדי שמוכיח סיבתיות

אשם אינו רק עניין של הפרת כלל. הוא עניין של סיבתיות. לנהג עשוי להיות רישיון פג תוקף — זו הפרה — אך אם נפגע מאחור בעודו עוצר ברמזור אדום, הרישיון פג התוקף לא גרם לתאונה.

כאן מתפרקות רוב מערכות הבינה המלאכותית. מודלי שפה גדולים אינם מסוגלים להסיק בצורה נגדית-למציאות. הם אינם יכולים לשאול: "האם ההתנגשות הזו הייתה מתרחשת אילו רכב A עצר בתמרור?" הם יכולים רק לחזות איזה משפט בא בהמשך בנרטיב של תאונה.

המערכת שלנו בונה את מה שאנו מכנים גרפי ידע סיבתיים. כדי לבחון סיבתיות, אנו יוצרים ענף נגדי-למציאות: אנו משנים את מהירות רכב A לאפס בקו העצירה ומריצים את סימולציית הפיזיקה קדימה דרך השכבה הזמנית. אם צומת ההתנגשות נעלם בגרף הנגדי-למציאות, ההפרה היא הסיבה הקרובה.

זה ההבדל בין "הוא נסע במהירות מופרזת והוא התרסק" (מתאם) לבין "המהירות המופרזת גרמה להתרסקות" (סיבתיות). בשרשרת התנגשויות רב-רכבית, זה חשוב עד מאוד. ניתן לעקוב אחר שרשראות סיבתיות דרך הגרף, למדוד את מה שאנו מכנים "מרכזיות אשם" — עד כמה ההפרות של כל שחקן מרכזיות לאירוע ההתנגשות — ולהפיק חלוקת אשם יחסית מבוססת מתמטית. לא 60/40 מפני שכך המודל הרגיש. 80/20 מפני שהטופולוגיה מוכיחה זאת.

מדוע אי אפשר פשוט להפוך את מודלי השפה הגדולים למדויקים יותר?

אנשים שואלים אותי זאת ללא הרף. "כווננו את המודל על דיני התעבורה. השתמשו בפרומפטים טובים יותר. הוסיפו guardrails." אני מבין את הדחף. מודלי שפה גדולים קלים להטמעה, והפלטים נראים מרשימים.

אך הבעיה אינה דיוק במובן המסורתי. הבעיה היא ארכיטקטונית. מחולל טקסט הסתברותי לעולם לא יהיה דטרמיניסטי. הריצו אותו מאה פעמים על אותו קלט, ותקבלו שונות. בתחום שבו אותן עובדות חייבות להניב את אותו פסק דין בכל פעם — שבו תנודה של עשר נקודות באחריות פירושה אלפי דולרים שמחליפים ידיים — סטוכסטיות אינה באג שיש לתקן. היא פוסלת מהיסוד.

מנוע הגרף שלנו מפיק את קביעת האחריות המדויקת עצמה על אותו קלט מדויק, בכל פעם ופעם. זה לא תוספת נחמדה. לצורך ציות רגולטורי, להגנה משפטית, להגינות בסיסית — זו הדרישה המינימלית.

ההתנגדות האחרת שאני שומע: "זה נשמע יקר ומורכב בהשוואה לקריאת API." זה אכן מורכב יותר לבנייה. אך שקלו את העלות של טעות. דליפת תביעות — תשלום גבוה ממה שצריך עקב אחריות לא מדויקת — היא סעיף עלות עצום עבור מבטחים. מערכת הסתברותית שמציעה 50/50 מפני שהנרטיבים מבולגנים, בעוד שלוגיקה דטרמיניסטית חושפת 100/0 ברור על סמך הפרה ספציפית של זכות קדימה, עולה כסף אמיתי בכל תביעה ותביעה.

ואז יש את ההתדיינות המשפטית. נסו להגן על החלטת אחריות של בינה מלאכותית בבית המשפט כשהמערכת אינה יכולה להסביר את ההסקה שלה, והרצה חוזרת מפיקה תשובה שונה. שובל הביקורת מגרף ידע — "רכב A הפר את כלל 21802(a) בחותמת הזמן 12:01:30, וסימולציה נגדית-למציאות מאשרת שהפרה זו היא הסיבה הקרובה" — הוא דבר שונה מהיסוד להציג בפני שופט.

הסנדוויץ', לא הקופסה השחורה

אני רוצה להבהיר משהו: אינני נגד מודלי שפה גדולים. אנחנו משתמשים במודלי שפה גדולים. הם כלים יוצאי דופן לעיבוד שפה לא מובנית, והיינו טיפשים אם היינו מתעלמים מכך.

מה שאני מתנגד לו הוא השימוש בהם כשופטים.

הארכיטקטורה שלנו היא מה שאנו מכנים "סנדוויץ'." בינה מלאכותית נוירונית בחוץ, בינה מלאכותית סימבולית באמצע. השכבה הנוירונית הראשונה מטפלת בקליטה — OCR על דוחות משטרתיים, המרת דיבור-לטקסט על אודיו של עדים, חילוץ ישויות מנתונים לא מובנים ומבולגנים. השכבה הסימבולית האמצעית בונה את הגרף, ממזגת נתונים ממקורות מרובים, מריצה את מנוע הלוגיקה הדאונטית, מבצעת סימולציה סיבתית. השכבה הנוירונית הסופית מתרגמת את דוח האחריות המובנה בחזרה לשפה טבעית קריאה, מעוגנת בקפדנות בעובדות הגרף.

ה-LLM לעולם אינו מחליט. הוא קורא והוא כותב. הגרף מסיק.

לבקש מ-LLM לקרוא דוח משטרתי ולשפוט אחריות זה כמו לבקש ממשורר לעשות פיזיקה. תקבלו תשובה יפהפייה, אך היא ככל הנראה תהיה בדיה.

זה מה שהתעשייה מתחילה לכנות בינה מלאכותית נוירו-סימבולית — מיזוג של למידה ולוגיקה. Kennedys IQ, חברת טכנולוגיה משפטית מובילה, השיקה לאחרונה את מה שהיא מתארת כפתרון הבינה המלאכותית הנוירו-סימבולי הראשון של תעשיית הביטוח, במפורש כדי לחסל את חשש "הקופסה השחורה." הכיוון ברור. השאלה היא באיזו מהירות שאר התעשייה תלך בעקבותיו.

צדק הוא גרף, לא הסתברות

אני חושב על ההדגמה ההיא שבה צפיתי — זו שבה האחריות זזה בעשר נקודות בין הרצות — לעתים קרובות יותר משהייתי רוצה. לא משום שזה היה מוצר גרוע. הצוות היה מוכשר. הטכנולוגיה הייתה מרשימה. אך מרשים אינו זהה לנכון. ובתחום של אשם ואחריות, "נכון ברובו" הוא שגוי.

בכל פעם שמערכת בינה מלאכותית מייחסת אשם על סמך מי סיפר סיפור טוב יותר, או משנה את פסק דינה בגלל הגדרת טמפרטורה, או מצטטת חוק חקוק שאינו קיים — אדם אמיתי סופג את הטעות הזו. הוא משלם פרמיה גבוהה יותר. הוא מפסיד מחלוקת שהיה צריך לנצח בה. הוא נושא באשם ששייך למישהו אחר.

אנחנו יכולים לעשות טוב יותר. לא על ידי הפיכת מודלי השפה לחכמים יותר, אלא על ידי הכרה במה שהם ובמה שהם אינם. הם מבריקים בשפה. הם נוראיים בצדק. צדק מצריך דטרמיניזם — אותן עובדות, אותו פסק דין, בכל פעם. הוא מצריך יכולת ביקורת — הראו לי בדיוק אילו ראיות ואיזה חוק חקוק הובילו למסקנה הזו. הוא מצריך את היכולת להחזיק סתירה בלתי פתורה ולומר "אני עדיין לא יודע" במקום לחולל בדיה בטוחה.

אלה אינם מאפיינים שמוסיפים למודל שפה. הם תכונות של סוג מערכת שונה לחלוטין. מערכת שבה עובדות הן צמתים בלתי ניתנים לשינוי, חוקים הם לוגיקה ניתנת להרצה, והאשם נמצא לא בסנטימנט של נרטיב אלא בטופולוגיה של מה שקרה בפועל.

צדק הוא גרף. הגיע הזמן שנתחיל לבנות אותו כך.