הבינה המלאכותית שהמציאה תיק בבית משפט — והארכיטקטורה שבנינו כדי שזה יהיה בלתי אפשרי

אני זוכר את הרגע המדויק שבו הפסקתי לתת אמון בדרך שבה רוב האנשים בונים בינה מלאכותית משפטית.

זה היה מאוחר ביום שלישי, וקראתי את פרוטוקול בית המשפט של Mata v. Avianca. לא תקציר. לא שרשור טוויטר. כתב הטענות עצמו. עורך דין הגיש סיכומים שציטטו את Varghese v. China Southern Airlines, Shaboon v. Egyptair, ו-Petersen v. Iran Air — כולל מספרי תיק, תאריכים והלכות מצוטטות. משכנעים מספיק כדי שהצד שכנגד ייאלץ לצאת ולחפש אותם. התיקים לא היו קיימים. ChatGPT המציא אותם. וכשעורך הדין חזר ל-ChatGPT כדי לבדוק שוב, המודל אישר בשמחה את הבדיות שלו עצמו: "כן, תיקים אלה אכן קיימים וניתן למצוא אותם במאגרי מידע משפטיים מוכרים."

הנחתי את הפרוטוקול וחשבתי: זו אינה בעיה של ניסוח הנחיות. זו בעיה של ארכיטקטורה. ורוב תעשיית הבינה המלאכותית המשפטית מעמידה פנים אחרת.

האירוע הזה — שהוביל לקנס של $5,000, לנזיפה שיפוטית ולמכתש מוניטין — הפך למקרה הבוחן המכונן של מה שהצוות שלי ב-Veriprajna בונה כיום: מערכות GraphRAG עם אכיפת ציטוטים לבינה מלאכותית משפטית. מערכות שבהן הבינה המלאכותית פיזית אינה יכולה להפיק ציטוט של תיק שאינו תואם רשומה מאומתת בגרף ידע. לא "כנראה לא תפיק." אינה יכולה.

אני רוצה להסביר מדוע ההבחנה הזו חשובה, מה נדרש כדי לבנות אותה, ומדוע אני מאמין שעידן ההדבקה של ממשק צ'אטבוט על מודל יסוד וקריאה לו "בינה מלאכותית משפטית" הסתיים.

מדוע ChatGPT המציא תיק בבית משפט?

זו השאלה שכולם שואלים, וכמעט אף אחד לא עונה עליה נכון.

ההסבר הרווח הוא "הזיה" — מילה שהפכה כה שחוקה עד שאיבדה את ערכה האבחנתי. מה שקרה בפועל ב-Mata v. Avianca הוא ספציפי ומרשיע יותר. המודל התבקש למצוא תקדימים בנוגע לאחריות חברות תעופה לפגיעות בנוסעים. הוא לא חיפש במאגר מידע. אין לו כזה. הוא חזה את רצף המילים הבא הסביר סטטיסטית.

"Varghese" הוא שם תובע סביר. "China Southern Airlines" הוא נתבע סביר. מספר תיק כמו "2017 WL 3245891" עוקב אחר התבנית התחבירית של ציטוטים אמיתיים. המודל הרכיב את הרסיסים הללו באותה דרך שבה הוא מרכיב שיר או מייל שיווקי — על ידי מזעור של משהו שנקרא פרפלקסיות (perplexity), שהוא בעצם מדד לכמה המודל "מופתע" מהפלט שלו עצמו. הפתעה נמוכה שווה לטקסט שוטף. טקסט שוטף אינו זהה לטקסט אמיתי.

המודל מאומן למזער פרפלקסיות — כמה הוא מופתע מהמילה הבאה. הוא אינו מאומן לבצע אופטימיזציה למקוריות ומקור — האם המילה הזו נובעת ממשהו אמיתי.

זהו המתח המרכזי. מודלי שפה גדולים מבצעים אופטימיזציה לקוהרנטיות. המשפט דורש מקוריות ומקור (provenance). אלה מטרות שונות מהותית, ושום כמות של הנדסת הנחיות אינה מגשרת על הפער. אתה יכול לומר ל-GPT-4 "אתה עורך דין זהיר, צטט רק תיקים אמיתיים." הוא ינהן ויציית — עד הרגע שבו נתוני האימון שלו אינם מכילים את התיק שאתה צריך, ואז הוא ימציא אחד שנשמע נכון, כי להישמע נכון זה פשוטו כמשמעו מה שהוא ממוטב לעשות.

חוקרי סטנפורד בדקו זאת בקפדנות. צ'אטבוטים לשימוש כללי, אפילו כאלה עם גישה לאינטרנט או יכולות אחזור בסיסיות, הזו בין 58% ל-82% מהמקרים בשאילתות משפטיות מורכבות. לא מקרי קצה. שאלות מחקר משפטי שגרתיות.

מלכודת ה-Wrapper

אחרי Mata, התחלתי לקטלג את כלי הבינה המלאכותית המשפטית שבשוק. רובם היו מה שהתעשייה מכנה בנימוס "עוטפים" (wrappers) — ממשקי משתמש דקים המונחים מעל ה-API של OpenAI או Anthropic. הנחיית מערכת שאומרת "אתה עוזר משפטי מועיל." אולי תכונת העלאת PDF. אולי גופן נחמד יותר.

היתה לי שיחה עם לקוחה פוטנציאלית — יועצת משפטית ראשית במשרד בינוני — שסיפרה לי שהם בחנו את אחד הכלים האלה. "זה מהיר," היא אמרה. "אבל בשבוע שעבר הוא ציטט דעת מיעוט כאילו היתה הלכת הרוב. עורך הדין המתמחה שלי כמעט הגיש את זה." היא עצרה. "החלק המפחיד הוא שהתיק היה אמיתי. ההלכה פשוט היתה... שגויה."

זה הדבר בהזיות משפטיות שמדיר שינה מעיניי. Mata היה דרמטי משום שהתיקים היו בדויים לחלוטין. אבל השגיאות העדינות יותר — תיק אמיתי, הלכה שגויה; חוק תקף שבוטל מאז; תקדים מחייב מתחום שיפוט שגוי — קשות יותר לתפיסה וטוענני יותר מסוכנות. תיק מזויף מסומן בדגל כבר בשלב האימות הראשון. תיק אמיתי המצוטט לתמיכה בטענה שאינו תומך בה? זה יכול לשרוד סבבי בדיקה מרובים.

גישת ה-wrapper אינה יכולה לפתור זאת משום שאין לה בעלות על שכבת הנתונים. היא אינה יודעת אילו תיקים קיימים. היא אינה יודעת אילו מהם בוטלו. היא אינה מבינה שהחלטה של הערכאה של המחוז השני אינה מחייבת בית משפט של המחוז התשיעי. זו תיבת טקסט מהודרת המחוברת למנוע הסתברות.

והכלכלה אכזרית. ניתוח שוק ה-wrapper מראה שבעוד שחלקם מגיעים לרווח במהירות, הרוב המכריע נכשלים משום שחסרה להם כל טכנולוגיה בת-הגנה. ככל שמודלי היסוד משתפרים, כל תכונה שהפכה את ה-wrapper לשימושי — סיכום, ניסוח, שאלות ותשובות — נבלעת לתוך מודל הבסיס. אתה בונה על אדמה שכורה, ובעל הבית הוא OpenAI.

מה קורה כשנותנים לבינה מלאכותית מפה של החוק?

כאן מתחילה האובססיה של הצוות שלי.

התיקון הסטנדרטי להזיה הוא Retrieval-Augmented Generation — RAG. במקום להסתמך על זיכרון המודל, אתה מאחזר מסמכים רלוונטיים ממאגר מידע ומזין אותם כהקשר. זהו שיפור אמיתי. אבל למשפט, זה לא מספיק, ואני רוצה להסביר מדוע בעזרת דוגמה ספציפית שהוציאה אותנו מדעתנו במשך שבועות.

בדקנו צנרת vector RAG סטנדרטית בשאלה האם תקנה סביבתית מסוימת משנת 1990 עדיין ניתנת לאכיפה אחרי החלטה של בית המשפט העליון משנת 2023. Vector RAG עשה מה שהוא עושה: הוא מצא מקטעי טקסט הדומים סמנטית לשאילתה. הוא החזיר את התקנה. הוא החזיר את חוות דעת בית המשפט העליון. הוא החזיר מאמר בכתב עת משפטי שדן בשניהם.

מודל השפה תפר אותם יחד לתשובה בטוחה וכתובה היטב שהיתה שגויה לחלוטין. הוא התייחס למאמר בכתב העת המשפטי — פרשנות אקדמית משכנעת אך לא מחייבת — כאילו נשא את אותו משקל כמו הלכת בית המשפט העליון. גרוע מכך, הוא פספס שהתקנה בוטלה למעשה, משום ששרשרת הסמכות המחברת בין התקנה להחלטת הביטול עברה דרך תיק ערעור ביניים שחיפוש הווקטורים לא אחזר. הקשר לא היה סמנטי. הוא היה מבני.

אני זוכר את מהנדס העל שלי, באמצע ניפוי הבאגים של זה, פונה אליי ואומר: "הבעיה אינה האחזור. הבעיה היא שווקטורים אינם מבינים קשרים."

היא צדקה. וזו התובנה שמאחורי GraphRAG — Graph-based Retrieval-Augmented Generation.

במקום לאחסן מסמכים משפטיים כנקודות מבודדות במרחב הווקטורים, אנחנו ממפים אותם לתוך גרף ידע: רשת שבה כל חוק, תיק, תקנה ודוקטרינה משפטית הם צומת, והקשרים ביניהם — מצטט, מבטל, מבחין, מפרש, מאשר — הם קשתות מפורשות ומתויגות. כתבתי על הארכיטקטורה המלאה בגרסה האינטראקטיבית של המחקר שלנו.

Vector RAG שואל: "מצא טקסט שנראה כמו השאילתה הזו." GraphRAG שואל: "מצא את החוק, חצה את קשת ה'מפרש' כדי למצוא פסיקה, ואז חצה את קשת ה'מבטל' כדי לוודא שהוא עדיין תקף."

זה לא הבדל עדין. זה ההבדל בין חיפוש בספרייה לפי תחושות לבין חיפוש בה לפי הקטלוג הכרטיסייתי, מדד הציטוטים ודו"ח שפרד בו-זמנית.

כיצד עוצרים בינה מלאכותית מלהמציא ציטוט?

זהו החלק שלקח לנו הכי הרבה זמן לעשות נכון, וזה החלק שאני הכי גאה בו.

החזקת גרף ידע היא הכרחית אך אינה מספקת. הגרף נותן לך מבנה. אבל מודל השפה עדיין מייצר טקסט טוקן אחר טוקן, ובכל נקודה הוא יכול לסטות מהגרף ולהתחיל להמציא. היינו זקוקים למנגנון שלא רק מעודד את המודל לצטט תיקים אמיתיים — הוא מונע פיזית ממנו לצטט מזויפים.

אנחנו קוראים לזה פענוח מוגבל-גרף (Graph-Constrained Decoding), והמנגנון המרכזי הוא משהו שנקרא KG-Trie.

הנה כיצד זה עובד בשפה פשוטה. אנחנו לוקחים כל ישות תקפה בגרף הידע שלנו — כל שם תיק, כל ציטוט מקומון פסיקה, כל מספר תיק — ובונים עץ תחיליות (Trie) מהמזהים הללו. כשמודל השפה מייצר טקסט ומגיע לנקודה שבה הוא עומד להפיק ציטוט, מנגנון האילוץ מופעל. הוא בודק: מהם הטוקנים הבאים התקפים לפי ה-Trie?

אם המודל ייצר "Mata v. A" — ה-Trie מתיר טוקנים שמשלימים שמות תיק תקפים המתחילים במחרוזת הזו. "Avianca" תקף. לכל השאר ההסתברות מוגדרת לאינסוף שלילי. חסום.

אם המודל מנסה לייצר "Varghese v. Chi" — ה-Trie אינו מוצא המשך תקף. הייצור נעצר. המודל נאלץ לסגת ולמצוא ציטוט אמיתי או להפיק משהו כמו "לא נמצא תקדים."

הבינה המלאכותית אינה יכולה להמציא תיק משום שהיא פיזית אינה יכולה להפיק את רצף הטוקנים לתיק שאינו במאגר המאומת.

זוהי ערובה מבנית, לא הסתברותית. אנחנו לא אומרים "המודל בסבירות נמוכה ב-95% להזות." אנחנו אומרים שנתיב הבדיה סגור. רצף הטוקנים לציטוט מזויף פשוט אינו יכול להיווצר.

עכשיו, אני רוצה להיות מדויק לגבי מה שזה עושה ומה שזה אינו עושה. זה מונע בדיה — המצאת תיק שאינו קיים. זה אינו מונע פרשנות שגויה — ציטוט תיק אמיתי אך הסקת מסקנה שגויה ממנו. זו שגיאת חשיבה, והיא עדיין דורשת בדיקה אנושית. אבל ביטול בדיה הוא עצום. הוא מוריד לחלוטין מהשולחן את מצב הכשל הקטסטרופלי ביותר — תרחיש Mata — לחלוטין.

היה לילה, בשלב מוקדם של הפיתוח, שבו הרצנו את הבדיקה מקצה-לקצה הראשונה שלנו. הזנו למערכת את השאילתה המדויקת שהפיקה את הציטוטים המזויפים ב-Mata. המערכת המוגבלת ניסתה לייצר "Varghese," נתקלה בקיר ה-Trie, נסוגה, והחזירה תיק אמיתי עם שרשרת ציטוטים תקפה. המהנדס שלי שלח צילום מסך לצ'אט הקבוצתי שלנו ב-1:47 לפנות בוקר. אף אחד לא ענה במילים. רק שורה של אימוג'י אש.

מדוע Wrappers אינם יכולים לעשות זאת?

אנשים שואלים אותי את זה כל הזמן, והתשובה היא ארכיטקטונית, לא מסחרית.

פענוח מוגבל-גרף דורש מניפולציה של הסתברויות הטוקנים של המודל — ה-logits שלו — בזמן אמת במהלך הייצור. אתה זקוק לגישה למנוע ההסקה ברמת הפענוח. ממשקי API מסחריים סטנדרטיים כמו GPT-4 אינם חושפים זאת. אתה יכול לשלוח הנחיה ולקבל תשובה. אתה אינך יכול ליירט את תהליך הייצור באמצע-טוקן ולהזריק אילוצים.

זו הסיבה שאנחנו בונים על מודלים בעלי משקולות פתוחות — Llama, Mistral — או פורסים דרך נקודות קצה ארגוניות המאפשרות לולאות פענוח מותאמות אישית. אנחנו מארחים את המודל. אנחנו שולטים בצנרת ההסקה. אנחנו מזריקים את אילוצי ה-KG-Trie ישירות לתוך התפלגות ההסתברות של כל טוקן בזמן שהוא נוצר.

wrapper, בהגדרה, אינו יכול לעשות זאת. הוא קורא ל-API של מישהו אחר. הוא נוסע, לא הטייס.

החלק הקשה ביותר שאף אחד לא מדבר עליו

בניית מנגנון האילוץ היתה מספקת אינטלקטואלית. בניית גרף הידע שמתחתיו היתה עמל מפרך.

טקסט משפטי מבולגן בדרכים שהיו גורמות למהנדס נתונים לבכות. תיק בודד עשוי להיות מוזכר כ-"Mata v. Avianca," "Mata," "678 F. Supp. 3d 443," "תיק Avianca," או פשוט "Id." — קיצור בן שתי אותיות שמשמעותו "התיק שהזכרתי זה עתה." כל אלה חייבים להתפרש לצומת קנוני יחיד בגרף. תפספס אחד, וקיבלת פער ברשת הציטוטים.

בילינו חודשים בבניית צנרת פתרון-ישויות (Entity Resolution) שמטפלת בהסרת כפילויות ("Smith v. Jones, 123 F.3d 456" ו-"Smith, 123 F.3d at 456" הם אותו תיק), בפירוק דו-משמעות ("Smith v. Jones (1995)" מול "Smith v. Jones (2002)" — תיקים שונים, אותו שם), ובגיהינום המסוים של פתרון הפניות "Id." באמצעות ניתוח הקשר בחלון-הזזה.

ואז יש את הטיפול השלילי — מערכת ה"דגל האדום". גרף ידע משפטי שמתייחס לתיקים שבוטלו כסמכות תקפה גרוע מחסר-תועלת. אנחנו קולטים אותות ציטוט — שפה כמו "בוטל," "נגרע," "הוחלף" — ומקודדים אותם כקשתות חוסמות בגרף. כשהמערכת חוצה נתיב ונתקלת בקשת OVERRULES, אותו נתיב נפסל לסמכות מחייבת. אם מישהו שואל על Roe v. Wade בנוגע לזכויות רבייה, הגרף מיד מעלה את קשת ה-OVERRULES מ-Dobbs v. Jackson. חיפוש וקטורים עשוי עדיין לצטט בהתלהבות את Roe משום שהנפח העצום של הטקסט ההיסטורי התומך בו שולט בציוני הדמיון.

לפירוט הטכני המלא של סכמת הגרף, צנרת פתרון הישויות וארכיטקטורת האילוץ, ראו את מאמר המחקר שלנו.

מה זה באמת אומר למשרד עורכי דין?

ניהלתי שיחה עם שותף מנהל שאמר זאת בבוטות: "לא אכפת לי מגרפי ידע. אכפת לי אם עורכי הדין המתמחים שלי יביכו אותי מול שופט."

הוגן. אז תנו לי לתרגם.

העלות של Mata v. Avianca לא היתה $5,000. היא היתה ההשפלה הפומבית, דרישת ההודעה ללקוח, החשיפה לרשלנות מקצועית, והמסר לכל לקוח פוטנציאלי שהמשרד הזה אינו מאמת את עבודתו. עבור משרד גדול, הגשה מהוזה אחת היא אירוע מוניטין קיומי.

GraphRAG עם אכיפת ציטוטים מתפקד כפוליסת ביטוח מפני בדיה. גישת ה-wrapper מציעה עלות התחלתית נמוכה ואחריות בלתי מוגבלת. הגישה שלנו דורשת השקעה אמיתית בשכבת הנתונים ובארכיטקטורת האילוץ, אך היא מפחיתה את הסיכון לבדיית ציטוטים לאפס.

יש גם טיעון יעילות שפחות ברור. כרגע, אם משרד משתמש בבינה מלאכותית למחקר, עורך דין מתמחה חייב לאמת כל ציטוט וציטוט. שלב האימות הזה לוקח לעתים קרובות זמן רב יותר מהמחקר עצמו, מה שמסכל את המטרה. מדדי GraphRAG מראים שיפור של 30-35% על פני RAG סטנדרטי במשימות חשיבה רב-שלביות — סוג המחקר המורכב של חיבור-הנקודות שבאמת חשוב בהתדיינות. חשוב מכך, משום שהציטוטים מובטחים מבנית להיות תקפים, התפקיד האנושי עובר מ"בודק עובדות" ל"בוחן אסטרטגיה." אתה לא מבלה שלוש שעות באישור שתיקים קיימים. אתה מבלה את הזמן הזה בשאלה האם הטיעון משכנע.

כשכל ציטוט מאומת מבנית, עבודת עורך הדין עוברת מבדיקת עובדות של הבינה המלאכותית לחשיבה על אסטרטגיה. שם נמצא המנוף האמיתי.

ויש ממד שקיפות שחשוב לציות. wrapper אינו יכול להסביר מדוע בחר בתיק. מערכת GraphRAG יכולה להראות את נתיב המעבר המדויק: "בחרתי בתיק א' משום שהוא מפרש את חוק ב' ואושר על ידי בית משפט ג', שהוא מחייב בתחום השיפוט שלך." שביל הביקורת הזה אינו רק נחמד שיהיה — הוא הופך לציפייה רגולטורית.

לאן זה הולך הלאה?

התעשייה עוברת מצ'אטבוטים לסוכנים — מערכות בינה מלאכותית שלא רק עונות על שאלות אלא מתכננות ומבצעות משימות רב-שלביות. סוכן משפטי שמתבקש לנסח בקשה לדחייה על הסף צריך לחקור את התקן הישים, למצוא פסיקה תומכת, לאמת שהתיקים הם חוק טוב, לבדוק דרישות פרוצדורליות, ולהרכיב את הטיעון.

סוכן הרץ על חיפוש וקטורים אין לו מפה. יש לו ערמת מסמכים וניחוש טוב. סוכן הרץ על גרף ידע יש לו מבנה מפורש שהוא יכול לחצות: חוק ← תיקים מפרשים ← כללים פרוצדורליים ← דרישות ספציפיות לתחום שיפוט. הגרף הוא שכבת התכנון של הסוכן.

זו הסיבה שאני מאמין שההשקעה בתשתית גרף כעת משתלמת בתשואות מצטברות בהמשך. Wrappers משאירים אחריהם יומני צ'אט. גרפי ידע משאירים אחריהם מפה מובנית, גדלה ובעלת ערך הולך וגובר של סמכות משפטית שנעשית שימושית יותר עם כל תיק שנוסף, כל קשר שמקודד, כל אות טיפול שלילי שנקלט.

ההתנגדות הכנה

אנשים משיבים מלחמה בשתי חזיתות, ואני רוצה להתייחס לשתיהן ישירות.

ראשית: "האם זה לא פשוט Westlaw עם צעדים נוספים?" לא. Westlaw הוא מנוע חיפוש לבני אדם. הוא מחזיר מסמכים שעורך דין קורא ומפרש. מה שאנחנו בונים הוא ארכיטקטורת אילוץ לבינה מלאכותית — מערכת ששולטת במה שהבינה המלאכותית יכולה ואינה יכולה לומר. Westlaw עוזר לעורכי דין למצוא חוק. GraphRAG מונע מהבינה המלאכותית להמציא אותו. הם משלימים, לא מתחרים.

שנית: "האם אי אפשר פשוט לכוונן (fine-tune) את המודל כדי שיפסיק להזות?" ניסינו. בשלב מוקדם בעבודתנו, התנסינו בכוונון על מערכי נתונים משפטיים מאומתים. זה הפחית את שיעורי ההזיה. זה לא ביטל אותם. מודל מכוונן הוא עדיין מנוע הסתברות. הוא מנוע הסתברות טוב יותר, אבל "טוב יותר" בציטוט משפטי משמעו "שוגה לעתים רחוקות יותר," ו"שוגה לעתים רחוקות יותר" אינו תקן שאיזשהו בית משפט יקבל. הדרך היחידה להבטיח אפס בדיה היא להפוך את הבדיה לבלתי אפשרית מבנית, מה שאומר להגביל את מרחב הפלט, לא רק לשפר את נתוני הקלט.

סוף עידן ה"מספיק טוב"

הנה מה שאני חוזר אליו שוב ושוב. מקצוע עריכת הדין בנוי על הנחת יסוד פשוטה: כשאתה מצטט סמכות, אותה סמכות חייבת להיות אמיתית. לא כנראה אמיתית. לא בדרך כלל אמיתית. אמיתית.

במשך שנתיים אחרי Mata, בתי משפט הולכים ומחריפים סנקציות, מוציאים צווים קבועים בנוגע לגילוי בינה מלאכותית, ומבהירים ש"הבינה המלאכותית עשתה את זה" אינו הגנה. המקצוע מותח קו: אם אתה משתמש בבינה מלאכותית, הפלט שלה חייב להיות מאומת. ואם אימות הפלט לוקח זמן רב יותר מביצוע העבודה ידנית, הבינה המלאכותית אינה כלי — היא נטל.

עידן ה-wrapper פתר את הבעיה הלא נכונה. הוא הפך את המחקר המשפטי למהיר יותר. הוא היה צריך להפוך את המחקר המשפטי לאמין. מהירות ללא אמון היא פשוט רשלנות מקצועית יעילה.

מה שאנחנו בונים ב-Veriprajna אינו צ'אטבוט שבמקרה יודע קצת חוק. זו מערכת חשיבה מוגבלת שבה כל ציטוט הוא מעבר מאומת דרך גרף ידע, כל קשר מפורש וניתן לביקורת, והמודל היצירתי מנוע פיזית מלחצות אל תוך הבדיה.

המקצוע שהמציא את מושג התקדים המחייב ראוי לבינה מלאכותית שבאמת מכבדת אותו.