המקרים היו אמיתיים. עדיין לא יכולתי לתת לבינה המלאכותית לערוב להם.
בפעם הראשונה שראיתי את הכלי שלי מסרב בעצמו לאשר שלושה פסקי דין אמיתיים של בית המשפט העליון, הייתי בטוח שהוא שבור.
הרצתי כתב טענות לדוגמה שסימנתי "תקדים שיושם שלא כהלכה". הוא ציטט את Erie Railroad v. Tompkins, 304 U.S. 64, לקיומו של גוף אחיד של משפט מקובל פדרלי, שזה כמעט ההפך ממה ש-Erie קבע בפועל. הוא נשען על Celotex Corp. v. Catrett, 477 U.S. 317, ועל Baker v. Carr, 369 U.S. 186, לטענות שפסקי הדין אינם עומדים מאחוריהן. כל אחד מהמקרים האלה אמיתי. ציפיתי שבדיקת התמיכה שלי תאיר אותם באדום, תטביע עליהם לא נתמך, ותסגור את העניין. במקום זאת שלושתם חזרו עם פסק דין שקט יותר: דורש בדיקה. האינסטינקט הראשון שלי היה שמודל השפה נכשל בחלק הקל.
לקח לי ערב ארוך ומביך להבין שהאינסטינקט היה הבאג, והוא היה בי, לא במערכת.
חותמת "לא נתמך" בטוחה על קריאה שגויה עדינה של Erie הייתה בלוף. חוות הדעת ארוכה, השימוש השגוי הוא עניין של שיפוט משפטי, והמודל אינו יכול לבסס את השלילה מקטע טקסט בביטחון שפסק דין אדום מרמז עליו. המהלך הכנה, זה שבניתי במקרה ואז כמעט קודדתי החוצה מתוך תסכול, היה לנתב אותו לבן אדם עם ההקשר הסותר מצורף. הימנעות לא הייתה הכשל. הימנעות הייתה כל הנקודה. אם תרצו לראות זאת מחליט בעצמכם, זה חי כאן: veriprajna.com/he/demos/legal-ai-citation-verification.
זהו חיבור על ההנחה שהתחלתי איתה, שכמעט כל מי שבונה כעת בינה מלאכותית משפטית חולק, והדרך האיטית והספציפית שבה בניית ההדגמה פירקה אותה. ההנחה היא שבעיית ההזיה נפתרת באמצעות מודל טוב יותר. אני כבר לא מאמין בכך, ולא מפני שאני מפקפק בכך שהמודלים ישתפרו.
השבוע שבו ניסיתי לגרום למודל אחד לפקח על מודל אחר
ביליתי בערך שבוע בניסיון לגרום למודל שפה להיות השופט האמין של מודל שפה אחר, ואני רוצה להיות כנה בכך שזה לא עבד.
המערך נראה סביר. מודל כלשהו מנסח כתב טענות, מ-Harvey או מ-Lexis Protégé או ממודל קוד פתוח, לא משנה איזה. אחר כך מודל שני קורא כל ציטוט מול פסק הדין שאליו הוא מצביע ופוסק האם חוות הדעת תומכת בטענה. שני מודלים, בדיקה מסודרת, סוג הארכיטקטורה ששורדת סקירת עיצוב. באמת ציפיתי ששלב הפסיקה יהיה החלק הקל. זה היה החלק שלא החזיק מעמד.
הכשל לא היה רועש, וזה מה שהפך אותו למסוכן. הייתי מריץ את אותו כתב טענות דרך בדיקת התמיכה שלוש פעמים ומקבל שני "דורש בדיקה" ואחד מאושר בביטחון, בלי שינוי בקלט. על הציטוט של Bell Atlantic Corp. v. Twombly, 550 U.S. 544, מקרה אמיתי, המודל לפעמים היה מחליט שחוות הדעת מבססת בבירור את הטענה המצוטטת ולפעמים מחליט שהיא לא ממש. שתי הקריאות היו ניתנות להגנה. זו הייתה בדיוק הבעיה. פסיקה שאי אפשר לשחזר אינה פסיקה. היא חוות דעת שנייה שלובשת גלימה.
ביקשתי ממערכת הסתברותית להיות השער הדטרמיניסטי על מערכת הסתברותית אחרת, וקראתי לתוצאה אימות.
זה אינו אימות. אלה שני מודלים שמסכימים, דבר חלש ומתחמק בהרבה. אם הסיבה שאתם צריכים בדיקה היא שלא ניתן לסמוך על פלט המודל הראשון כפשוטו, פלט המודל השני אינו יכול להיות הדבר שעליו אתם סומכים כדי לבדוק אותו. בניתי היכל מראות ועמדתי להדביק עליו מדבקת ציות. לבית המשפט בקצה השני לא אכפת כמה כל אחד מהמודלים היה בטוח. אכפת לו אם המקרה קיים ואם הוא אומר את מה שטענתם. אלה שתי שאלות, ואני התייחסתי אליהן כאחת.
מה מסוכן יותר, מקרה בדוי או מקרה אמיתי ששימש שלא כהלכה?
מה שהפתיע אותי בזמן שבניתי זאת היה ההבנה ששני הכשלים דורשים מנגנונים שונים לחלוטין, והתעשייה בעיקר משווקת רק אחד מהם.
ציטוט בדוי הוא, באופן מוזר, הכשל הידידותי. Halstead v. Ferngate Holdings, 823 U.S. 1199, מופיע באחד מכתבי הטענות לדוגמה, מצוטט בשטף מוחלט לטענה שנזקים עונשיים חסומים באופן קטגורי. הוא אינו קיים. ב-United States Reports אין כרך 823. אפשר להוכיח זאת בוודאות, לא על ידי שאילת מודל מה הוא חושב, אלא על ידי שאילת פסיקה אמיתית וקבלת חיפוש עם אפס תוצאות. זו אריתמטיקה מול סמכות, לא שיפוט. זה סוג הדבר שקוד צריך להחליט עליו, ולהחליט באותו אופן בכל פעם.
הכשל המסוכן הוא המקרה האמיתי שצוטט לדבר הלא נכון. Erie הוא ציטוט אמיתי, מפורסם ומעוצב נכון. כל מסנן בדויות בעולם מעביר אותו, בדיוק מפני שהוא אינו בדוי. הכרך קיים, העמוד קיים, חוות הדעת קיימת. מה ששגוי הוא היחס בין המקרה המצוטט למשפט שלפניו, ואותו יחס הוא שאלה של קריאה משפטית, לא של קיום. בדיקת התאמת מקור מתייחסת ל"מקרה זה אמיתי" ול"מקרה זה תומך בטענתי" כאותה עובדה. הן אפילו לא קרובות.
אז המספרים שאנשים מצטטים על בינה מלאכותית משפטית מתחילים להיות הגיוניים. גם כלים שנבנו במיוחד לכך מייצרים הזיות בשיעורים שאמורים לעצור אתכם במקום: Westlaw Precision ב-33 אחוז ו-Lexis+ ב-17 אחוז במחקר של Stanford RegLab שפורסם ב-Journal of Empirical Legal Studies, 2025. עד תחילת 2026 היו 1,222 מקרי בית משפט מתועדים שכללו ציטוטים שהופקו בהזיה של בינה מלאכותית, ובתי משפט החלו להטיל סנקציות, כולל קנס של 30,000 דולר מבית המשפט לערעורים של המחוז השישי במרץ 2026. הבדויות הן הכשלים שאפשר לפחות לדמיין לתפוס. הציטוט האמיתי-אך-שיושם-שלא-כהלכה הוא זה שנראה כמו בדיקה יסודית עד ששופט קורא את חוות הדעת שציטטתם ומוצא שהיא אומרת את ההפך.
מקרה בדוי הוא שקר שאפשר להפריך. מקרה אמיתי שצוטט להלכה הלא נכונה הוא שקר שעובר כל בדיקה שנבנתה לתפוס את הסוג הראשון.
מדוע פיצלתי את המנוע לשניים
הפסקתי לנסות לגרום למערכת אחת לעשות את שתי המשימות בערב שבו קיבלתי שהן משימות שונות.
בדיקת הקיום ותפיסת הבדויות הפכו ל-Python דטרמיניסטי שרץ מול פסיקה אמיתית. בלי פרומפט, בלי טמפרטורה, בלי "כמודל שפה של בינה מלאכותית." קחו את הציטוט, חפשו אותו בסמכות עצמאית, ואם המקרה באמת נעדר, הוא בדוי, בהוכחה, ולעולם לא יוכל לעבור את השער. הסעיף האחרון הוא הערבות היחידה שאני מוכן לומר בחדות, כי זה אינו תקווה אלא אינווריאנט שנבדק ביחידות: אפס ציטוטים בדויים יכולים לעבור את שער המדיניות. יש בדיקה שקרויה בדיוק על כך, והיא חלק מ-8 מתוך 8 שעוברות בהדגמה הבנויה.
בדיקת התמיכה נשארה שלב יחיד של מודל שפה, כי לשפוט אם חוות דעת אמיתית תומכת בטענה היא באמת משימת קריאה, והמודל הוא קורא טוב. אבל נתתי לו הרשאה מפורשת להימנע, והפסקתי להתייחס להימנעות כבאג. כשהוא אינו יכול לעגן את הטענה בטקסט חוות הדעת, הוא מנתב לבן אדם במקום לנחש. המודל מייעץ. השער הדטרמיניסטי ועורך הדין מחליטים. מצאתי את עצמי אומר שני דברים ללא הרף בזמן שבניתי זאת. האחד הוא סוכנים מייעצים, הקוד מחליט. השני הוא שאיני הולך לתת ל-LLM להיות השופט הסופי של LLM.
אני רוצה להיות מדויק לגבי הפיצול, כי הפיתוי הוא לטשטש אותו להבטחה גדולה יותר ממה שהוא. החלקים הדטרמיניסטיים — קיום, בדויות, מחוץ לכיסוי, והשער — הם מדויקים וניתנים לשחזור. בדיקת התמיכה אינה כזו. היא לא-דטרמיניסטית, ולפי העיצוב היא מאשרת ציטוט בירוק רק כאשר טקסט חוות הדעת מבסס בבירור את ההלכה, כפי ש-Miranda v. Arizona, 384 U.S. 436, עושה לגבי אזהרות חקירה תחת מעצר, ואחרת היא שולחת את הציטוט לבדיקה. אילו ציטוטים אמיתיים ספציפיים עוברים לירוק לעומת מנותבים לבן אדם יכולים להשתנות מריצה לריצה. זה אינו קצה גס שאני מסתיר. זו הצורה הכנה של הבעיה, ולהעמיד פנים אחרת הוא בדיוק המהלך שאני מנסה לבנות נגדו.
מה "8 מתוך 8" מותר באמת לומר
אני מחזיק את עצמי בכלל לגבי מספרים, כי החברה שאני בונה נקראת Veriprajna, שפירושה חוכמה אמיתית, ושם כזה הוא אתגר מתמשך להגזים.
יש מספרי הוכחה בהדגמה והם אומרים דברים צרים. 8 מתוך 8 בדיקות יחידה לא מקוונות עוברות, כולל זו שמוכיחה שציטוט בדוי אינו יכול לעבור את השער וזו שמוכיחה שסמכות בלתי נגישה מטופלת כלא מוכחת ולא כבדויה. יש 20 מקרים אמיתיים במטמון מ-CourtListener כאמת הקרקע המקומית. אלה מתארים את היקף ההדגמה הבנויה. הם אינם טענה על כתב הטענות שלכם או על העולם הפתוח. ערבות הבדויות סמכותית כי היא שואלת פסיקה חיה ומקרה חסר הוא עובדה. פסיקת בדיקת התמיכה מודגמת בקנה מידה קטן על מקרים אמיתיים, ואיני אנפח אותה לנתון דיוק אוניברסלי, כי היא אינה כזו.
הנה הקו שאני מסרב לקצר, גם אם גרסה קצרה יותר הייתה מוכרת טוב יותר. כתב טענות ללא ציטוטים בדויים אינו בטוח אוטומטית להגשה. כאשר אפילו ציטוט אמיתי אחד עדיין דורש בן אדם שיאשר שהוא משמש נכון, השער מחזיק את ההגשה במצב לא מוכן להגשה, וזה נכון לעשות כך. ראיתי אנשים רוצים את ההפך, רוצים שכתב טענות שנראה נקי יזכה באור ירוק בכוחות עצמו. זה בדיוק האינסטינקט שגורם לעורך דין לספוג סנקציה.
התעודה הזאת חשובה לי יותר מכל אחוז דיוק, וזו הסיבה שהחלקים הדטרמיניסטיים והלא-דטרמיניסטיים חייבים להישאר מופרדים. שחזוריות היא מה שהופך החלטה לניתנת לאישור בתעודה. אני יכול למסור לכם את הקבלה. ציטוט זה נבדק מול CourtListener, הכרך אינו קיים, פסק הדין בדוי, השער מחזיק. אפשר להריץ שוב ולקבל את התוצאה הזהה. שופט LLM, גם טוב, אינו יכול להבטיח לכם זאת, וחייתי את הערב של שלוש ריצות ושלוש תשובות שונות. איני בונה רשומת ציות על גבי הטלת מטבע.
אומר גם בבירור, כי הסטנדרט שאני מחזיק דורש זאת, שזו שכבת אימות ולא כלי מחקר. היא אינה מנסחת כתבי טענות ואינה מוצאת מקרים. היא אינה מתחרה ב-Harvey או ב-Westlaw או ב-Lexis. היא יושבת סביב מה שהם מייצרים ואומרת לעורך הדין מה בטוח להגיש ומה בדיוק דורש בן אדם. העיגון בטקסט מלא מעבר לקטע הציבורי של חוות הדעת דורש אסימון CourtListener חינמי, מחבר ניהול המסמכים בהדגמה הוא מדומה, וכמה תכונות כמו תעודת PDF נדחו. מה שאמיתי הוא המנגנון: הבדיקות, ההימנעות, השער הדטרמיניסטי, ומסלול הביקורת, כולם רצים מול פסיקה אמיתית.
האם הימנעות אינה רק המודל מתחמק מהקריאה הקשה?
אני מקבל גרסה כלשהי של השאלה הזאת כמעט בכל שיחה, בדרך כלל ממהנדס, והתשובה שלי נעשתה קצרה ובטוחה יותר עם הזמן.
לא. הימנעות היא הקריאה הקשה, שנעשית בכנות, והסירוב לעשות אותה הוא ההתחמקות האמיתית. החלופה המפתה היא מערכת שמחזירה תמיד פסק דין חד, ירוק או אדום, על כל ציטוט. היא נראית נהדר בהדגמה. היא גם משקרת, כי יש ציטוטים שבאמת אי אפשר לפסוק עליהם מתוך הטקסט הזמין בביטחון, ומערכת שלעולם לא אומרת זאת מייצרת ודאות שאין לה. הדבר היקר ביותר שבינה מלאכותית בסיכון גבוה יכולה לעשות הוא לומר לכם איפה נגמר השיפוט שלה עצמה. בתחום שבו להיות טועים בביטחון גורם ללקוח שלכם לספוג סנקציה, תשובה מכוילת של "איני בטוח, בן אדם צריך להסתכל על זה" שווה יותר מניחוש שוטף.
זו הסיבה שאני חושב שהעבודה שורדת את דור המודלים הנוכחי. התעשייה ממשיכה להבטיח שהזיה תיעלם עם המודל הבא. תנו את כל זה — הקשר גדול יותר, אימון נקי יותר, שיעור בדויות נמוך יותר. מודל מושלם שלעולם לא ממציא מקרה עדיין יצטט בשמחה מקרה אמיתי לטענה שאינו תומך בה, כי מתוך הטיוטה המשפט הזה נקרא כאמיתי וכדיוק מה שביקשתם. הפער בין "המקרה הזה קיים" לבין "המקרה הזה תומך בטענתי" אינו פער שקנה מידה סוגר. זו שאלת ממשל, וממשל הוא תכונה של המערכת שאתם בונים סביב המודל, לא יכולת שאתם מחכים שהמודל יגדל אליה.
לבית משפט לא אכפת כמה המודל שלכם היה בטוח. אכפת לו אם הציטוט קיים ואומר את מה שטענתם. זו אינה בעיית מודל גדול יותר. זו בעיית בניית השכבה הנכונה.
הרגולטורים כבר רואים זאת כך, ושווה לשבת עם זה. חוות הדעת הפורמלית 512 של ה-ABA ולמעלה מ-300 צווים קבועים שיפוטיים דורשים כעת מעורכי דין לאמת פלט בינה מלאכותית לפני הגשה, ופחות מ-20 אחוז מהמשרדים מחזיקים במדיניות שימוש בבינה מלאכותית כלשהי. החובה אינה "השתמשו בכלי חכם יותר." החובה היא "הוכיחו שבדקתם." הוכחה, מוצא, והימנעות כנה אינם דברים שניסח טוב יותר נותן לכם. הם דברים ששכבת אימות נותנת לכם, והם מחזיקים בכל איכות מודל, וזו בדיוק הסיבה שאני חושב שהם החלק העמיד.
השאלה שאני שומר לפני שאני מגיש
גיליתי שהדבר שבנייה זו שינתה בי היה קטן יותר מהתזה, והוא החזיק מעמד זמן רב יותר.
הפסקתי לשאול אם טענה שנכתבה בבינה מלאכותית אמיתית, כי לעיתים קרובות אני יכול לענות על כך ומתברר שזה לא מספיק. הציטוט של Erie היה, במובן צר, מצביע על מקרה אמיתי. השאלה הקשה יותר, זו שאני שואל כעת לפני שכל דבר שנוסח בבינה מלאכותית יוצא מידיי, היא האם אני יכול להוכיח, עכשיו, שמקור מדויק זה תומך בטענה מדויקת זו, והאם ההוכחה הזאת תשרוד מישהו שירצה שתיכשל מול שופט.
זו שאלת ממשל, לא שאלת מודל. היא אינה נעשית קלה יותר ככל שהמודל משתפר, כי הדבר שנשאל אינו "האם המודל יכול לכתוב משפט טוב יותר" אלא "האם אתם יכולים לעמוד מאחורי זה." והתשובה השימושית ביותר שהמערכת שלי עצמה נותנת לי אינה הסימון הירוק. זה הרגע שבו היא מחזיקה מקרה אמיתי ב-"דורש בדיקה" וגורמת לי, אדם, ללכת לקרוא את חוות הדעת. אם תרצו לראות איפה נחתתי, זה כאן שוב: veriprajna.com/he/demos/legal-ai-citation-verification.
ואם תעדיפו לראות זאת מאשר לקרוא אותי מתאר, הנה הכול רץ מקצה לקצה, בקולי.
אז השאלה שהייתי משאיר אתכם איתה היא זו שארגנה מחדש את כל הבנייה. כשהבינה המלאכותית מוסרת לכם משהו בטוח ונקי, האם יש לכם שכבה שמוכנה לומר "איני בטוח, בן אדם צריך להסתכל"? כי ביטחון זול, ובעבודה שבאמת נושאת סיכון, הימנעות ניתנת להוכחה היא המוצר.
