הבעיה
ביוני 2023 הגיש עורך דין כתב טענות משפטי לבית משפט פדרלי בניו יורק. כתב הטענות ציטט מספר תיקים — Varghese v. China Southern Airlines, Shaboon v. Egyptair, Petersen v. Iran Air — כולל מספרי תיק, תאריכים וציטוטים. כל תיק ותיק היה מזויף. ChatGPT המציא את כולם.
השופט בתיק Mata v. Avianca, Inc. גילה שהאזכורים היו מזויפים. הוא כינה את סיכומי הדעות שנוצרו על ידי הבינה המלאכותית "ג'יבריש" בחלקם, למרות העיצוב המשפטי המשכנע שלהם. בית המשפט הטיל קנס של $5,000 וחייב את עורכי הדין לעדכן את לקוחם. אך העונש הכספי היה החלק הקטן ביותר בנזק. הנזק התדמיתי הגיע לכותרות בינלאומיות.
והנה מה שהופך את הסיפור הזה לגרוע עוד יותר. כאשר עורכי הדין של הצד שכנגד ערערו על קיום התיקים, חזר עורך הדין ל-ChatGPT ושאל אם הם אמיתיים. הבינה המלאכותית אישרה את השקרים של עצמה. היא אמרה שהתיקים "אכן קיימים" ושאפשר למצוא אותם ב"מאגרי מידע משפטיים מהימנים". כך נוצר מה שהספר הלבן מכנה "לולאת הזיה" — הכלי ששימש לאימות סבל מאותה תקלה בדיוק כמו הכלי ששימש ליצירה.
בית המשפט דחה את ההגנה שלפיה עורך הדין לא ידע שבינה מלאכותית יכולה לייצר מידע כוזב. שופטים קבעו כעת שעורכי הדין הם הערבים הסופיים לדיוק של הטכנולוגיה שלהם. אם המשרד שלכם משתמש בבינה מלאכותית לעבודה משפטית, האחריות המשפטית מוטלת עליכם — לא על ספק התוכנה.
מדוע זה חשוב לעסק שלכם
התיק Mata לא היה תקרית מבודדת. הוא חשף בעיה מבנית שמשפיעה על כל ארגון שמשתמש בבינה מלאכותית למחקר משפטי, לציות או לעבודה רגולטורית.
המספרים האלה צריכים להדאיג אתכם:
- 58% עד 82%: חוקרי סטנפורד מצאו שצ'אטבוטים כלליים של בינה מלאכותית חוו הזיות בשיעורים האלה בשאילתות משפטיות מורכבות — גם כלים עם גישה לאינטרנט או יכולות אחזור בסיסיות.
- $5,000: הקנס הישיר בתיק Mata v. Avianca. אך העלות האמיתית הייתה הרס תדמיתי וחשיפה פוטנציאלית לשלילת רישיון עבור עורכי הדין המעורבים.
- עד 30-35%: פער הביצועים בין מערכות אחזור מתקדמות מבוססות גרף לבין מערכות סטנדרטיות מבוססות וקטורים במשימות נימוק משפטי רב-שלבי.
הסיכונים האלה פוגעים בעסק שלכם בשלוש חזיתות:
- אחריות לרשלנות מקצועית. המשרד שלכם נושא באחריות המשפטית לכל אזכור שנוצר על ידי בינה מלאכותית בכתב טענות. פרמיית ביטוח הרשלנות המקצועית צפויה לעלות עבור משרדים שאינם מסוגלים להוכיח ממשל מחמיר של בינה מלאכותית.
- חשיפה רגולטורית. בתי משפט מוציאים הנחיות קבועות המחייבות גילוי חובה של שימוש בבינה מלאכותית. אם הכלים שלכם אינם יכולים להסביר את ההיגיון שלהם, אתם מתמודדים עם כשלי ציות עוד לפני שהגעתם למהות של התיק.
- אמון הלקוחות. הלקוחות שלכם ישאלו יותר ויותר, "באיזו בינה מלאכותית אתם משתמשים?" תשובה של "ChatGPT" — או של כל מעטפת דקה סביב מודל כללי — מאותתת שלא חשבתם ברצינות על דיוק. התשובה הזו הופכת לבלתי מקובלת בעבודה משפטית ארגונית.
השורה התחתונה עבור ה-P&L שלכם: אם עורך דין צריך לאמת ידנית כל אזכור שנוצר על ידי בינה מלאכותית, אתם מאבדים את יתרונות היעילות שהצדיקו מלכתחילה את ההשקעה בבינה מלאכותית.
מה באמת קורה מתחת למכסה המנוע
כדי להבין מדוע קרה התיק Mata, צריך להבין דבר אחד על אופן הפעולה של מודלים גדולים של שפה (LLMs). הם מנבאים את המילה הבאה ברצף. הם לא מחפשים בספרייה. הם לא בודקים מאגר מידע. הם מייצרים טקסט שנשמע נכון על בסיס דפוסים סטטיסטיים.
חשבו על זה כמו השלמה אוטומטית בטלפון שלכם — רק על פסקאות שלמות. הטלפון שלכם עשוי להציע "meeting" אחרי שהקלדתם "See you at the". מודל שפה גדול עושה את אותו הדבר בקנה מידה עצום. כששואלים אותו על תיק פגיעה של חברת תעופה, הוא לא מחפש תיקים אמיתיים. הוא מרכיב תשובה שעוקבת אחרי התבנית של מה שנראה כמו אזכור משפטי. "Varghese" היה שם תובע סטטיסטית סביר. "China Southern Airlines" היה נתבע סביר. אך הקשר ביניהם היה בדיה מתמטית, לא מציאות משפטית.
הפתרון הראשון של התעשייה נקרא Retrieval-Augmented Generation (RAG) — שיטה שבה מזינים לבינה המלאכותית מסמכי מקור אמיתיים לפני שהיא מייצרת תשובה. RAG סטנדרטי מאחסן מסמכים משפטיים כווקטורים מספריים ומאחזר קטעי טקסט דומים סמנטית לשאלה שלכם. זה עוזר, אך מציב בעיות חדשות.
חיפוש מבוסס וקטורים מתייחס לדעת מיעוט כמו לדעת רוב אם המילים נראות דומות. הוא אינו יכול לדעת אם תיק נפסל. הוא מאחזר מסמכים בנפרד, ולכן הוא מפספס את הקשרים בין חוק, לתקנה שמפרשת את החוק ולפסיקה שמיישמת את התקנה. מחקרים מראים שכאשר מודלים גדולים של שפה מקבלים רשימות ארוכות של טקסט שנאחז, הם מתמקדים במידע שבהתחלה ובסוף ומתעלמים מהחומר שבאמצע. בעבודה משפטית, החריג הקריטי קבור לעיתים קרובות במקטע ה-15 של הפסיקה שנאחזה.
מערכת שמאחזרת את התיק הנכון ב-80% מהמקרים היא סיכון לרשלנות מקצועית ב-20% הנותרים.
מה עובד (ומה לא)
שלוש גישות נפוצות נכשלות עבור בינה מלאכותית משפטית במשימות בסיכון גבוה:
- הנחיה טובה יותר. הנדסת פרומפטים יכולה לשנות את הסגנון או הפורמט של פלט הבינה המלאכותית. היא אינה יכולה להזריק ידע שאין למודל, והיא אינה יכולה לכפות על המודל לאמת עובדות מול מאגר מידע שאין לו גישה אליו.
- אפליקציות מעטפת. אלה ממשקים דקים המונחים מעל ממשקי API כמו OpenAI. הם עשויים להוסיף פרומפט מערכת שאומר "אתה עורך דין שמושיט עזרה", אך הדבר אינו מעניק גישה למאגרי פסיקה מאומתים ואינו מונע מהבינה המלאכותית להמציא אזכורים.
- RAG וקטורי סטנדרטי לבדו. הוא מצמצם המצאה גרידא אך אינו יכול לתפוס את ההיררכיה המשפטית. הוא אינו יודע שתיק אחד פוסל את משנהו. הוא אינו מבין סמכות שיפוט. הוא מתייחס לחוק שבוטל כמו לחוק בתוקף אם הטקסט תואם לשאילתה שלכם.
מה שכן עובד הוא שיטה שנקראת Citation-Enforced GraphRAG — מערכת שממפה סמכות משפטית אל תוך Knowledge Graph מאומת ומונעת פיזית מהבינה המלאכותית לייצר אזכורים מזויפים. כך זה עובד בשלושה שלבים:
קלט: בניית המפה. כל חוק, תקנה ותיק הופך לצומת מוגדר ב-Knowledge Graph — רשת מובנית של ישויות משפטיות והיחסים ביניהן. הקשתות בין הצמתים נושאות משמעות: "פוסל", "מפרש", "מאשר", "מבדיל". זו אינה ערימה של מסמכים. זו מפה מאומתת של האופן שבו המשפט מתחבר.
עיבוד: אילוץ הבינה המלאכותית. במהלך יצירת הטקסט, מנגנון אילוץ בודק כל אזכור שהבינה המלאכותית מנסה להפיק מול ה-Knowledge Graph. אם הבינה המלאכותית מנסה להפיק את "Varghese v. China Southern", המערכת בודקת את הגרף. מכיוון שאין תיק כזה, היא חוסמת את הפלט כליל. הבינה המלאכותית אינה יכולה פיזית להפיק רצף טוקנים עבור תיק שאינו נמצא במאגר המאומת. זה מעביר את המערכת שלכם מדיוק הסתברותי לאכיפה מבנית.
פלט: הראו את העבודה. כאשר המערכת כן מצטטת תיק, היא מספקת את נתיב המעבר המדויק — מאיזה חוק התחילה, אילו תיקים מפרשים אותו, והאם תיקים אלה עדיין בתוקף. אם תיק נפסל, הגרף מסמן אותו ב"דגל אדום" ומסיר אותו מההקשר של הבינה המלאכותית עוד לפני שהיצירה מתחילה.
כאן צריך צוות הציות שלכם לשים לב. כל אזכור מגיע עם שובל ביקורת. עורכי הדין שלכם יכולים לראות מדוע הבינה המלאכותית בחרה תיק, ולא רק שבחרה בו. המערכת יכולה להראות שבדקה טיפול שלילי — המקבילה הדיגיטלית ל-Shepardizing — ואישרה שהסמכות בתוקף. שכבת עיגון, אזכור ואימות הופכת כל פלט לניתן למעקב ולהתגוננות משפטית.
עבור ארגונים בענף השירותים המשפטיים והמקצועיים, הארכיטקטורה הזו מאפשרת גם מיפוי של מדיניות פנימית אל רגולציה חיצונית. הגרף יכול לקשר פסקה מסוימת במדריך הציות שלכם אל הסעיף המדויק בתקנה שאותו הוא מסדיר. זה יוצר מטריצות ציות אוטומטיות וניתנות לאימות שמחזיקות מעמד בביקורת.
הגישה ההיברידית — שילוב של חיפוש וקטורי למציאת טקסט רלוונטי עם אימות מבוסס גרף לאישור תקפות משפטית — נותנת לכם גם רוחב וגם דיוק. ארכיטקטורת הפתרונות שלכם מקבלת את שטף הביטוי של הבינה המלאכותית בלי הנטייה שלה להמציא.
ככל שבינה מלאכותית משפטית נעה לעבר סוכנים אוטונומיים שיכולים לתכנן ולהריץ משימות מחקר רבות-שלבים, המבנה מבוסס הגרף הופך לתשתית חיונית. סוכנים זקוקים למפה של העולם המשפטי כדי לנמק שאלות מורכבות. מאגר וקטורים נותן להם ערימת מסמכים. Knowledge Graph נותן להם את המפה.
לצלילה מעמיקה יותר לארכיטקטורה הטכנית, קראו את הניתוח הטכני המלא או גלו את הגרסה האינטראקטיבית.
נקודות מפתח
- חוקרי סטנפורד מצאו שצ'אטבוטים כלליים של בינה מלאכותית חוו הזיות 58% עד 82% מהזמן בשאילתות משפטיות מורכבות — גם עם יכולות אחזור בסיסיות.
- התיק Mata v. Avianca הוכיח שבתי משפט מחזיקים את עורכי הדין — לא את ספקי הבינה המלאכותית — אחראים לאזכורים מזויפים.
- חיפוש סטנדרטי מבוסס וקטורים אינו מסוגל להבחין בין תיקים פסולים לתקפים ואינו עוקב אחר היררכיית סמכות שיפוט.
- Citation-Enforced GraphRAG חוסם פיזית את הבינה המלאכותית מלייצר כל אזכור שאינו קיים בגרף ידע משפטי מאומת.
- כל אזכור שנוצר על ידי בינה מלאכותית צריך להגיע עם שובל ביקורת מלא שמציג את שרשרת הסמכות המשפטית — דרשו את זה לפני שאתם קונים.
שורה תחתונה
בינה מלאכותית משפטית המבוססת על מודלים כלליים או על מעטפות דקות יוצרת סיכון לרשלנות מקצועית שהמשרד שלכם לא יכול להרשות לעצמו. Citation-Enforced GraphRAG מונע באופן מבני אזכורים מזויפים על ידי הגבלת הבינה המלאכותית למפה מאומתת של סמכות משפטית. שאלו את ספק הבינה המלאכותית שלכם: אם המערכת שלכם תנסה לצטט תיק שנפסל בחודש שעבר, האם היא תחסום את האזכור אוטומטית — והאם תוכלו להראות לי את שובל הביקורת שמוכיח זאת?