שכבת האימות סביב ה-AI המשפטי שלכם
כלי AI מנסחים כתבי טענות שמצטטים פסקי דין שאינם קיימים, או שקיימים אך אומרים את ההיפך ממה שהם מצוטטים עבורו. CiteGuard היא השכבה סביב ה-AI שלכם: היא מעגנת כל ציטוט מול פסיקה אמיתית ב-CourtListener, תופסת בדיות באופן דטרמיניסטי, מנתבת כל דבר שאינה יכולה לאמת לאדם, וחותמת תעודת ביקורת. היא אומרת לכם מה בטוח להגיש ומה בדיוק זקוק לאדם.
0
ציטוטים בדויים יכולים לעבור את השער
אינווריאנט אמון דטרמיניסטי, נבדק ביחידה
20
פסקי דין אמיתיים בקורפוס אמת-הייחוס
במטמון מ-CourtListener, מאגר הפסיקה הציבורי של ארה״ב
8/8
בדיקות הליבה של המאמת עוברות
לא-מקוון וניתן-לשחזור (python tests/test_core.py)
זו הדגמה ניתנת-להרצה. כתבי הטענות לדוגמה, הצדדים וכותרת התיק הם קטעים סינתטיים, ומחבר ניהול-המסמכים הוא מדומה. הקורפוס, בדיקות CourtListener החיות, השער הדטרמיניסטי והבדיקות הם אמיתיים.
בתי משפט כבר מטילים סנקציות על כך, וכלי הניסוח אינם בודקים את עבודתם עצמם.
אופן הכשל אינו דקדוק גרוע. הדקדוק מושלם, וזה מה שהופך אותו למסוכן. ה-AI מנסח כתב טענות שנקרא כאילו שותף כתב אותו ומצטט פסק דין שמעולם לא ניתן, או פסק דין אמיתי שאומר את ההיפך מהטענה שהוא מוצע עבורה. אפילו כלים משפטיים ייעודיים עושים זאת: Westlaw Precision הזהה ב-33% ו-Lexis+ ב-17% מהזמן במחקר מבוקר (Stanford RegLab, Journal of Empirical Legal Studies, 2025).
התוצאות כבר הגיעו. עד תחילת 2026 תועדו 1,222 תיקים בבתי משפט שכללו ציטוטי AI בדויים, ובתי משפט החלו להטיל סנקציות: בית המשפט הפדרלי לערעורים של המעגל השישי הטיל סנקציה של $30,000 במרץ 2026. כללי ממשל באו בעקבותיהם. ABA Formal Opinion 512 ויותר מ-300 צווים קבועים שיפוטיים דורשים כעת מעורך דין לאמת פלט AI לפני הגשה, ועם זאת פחות מ-20% מהמשרדים מחזיקים במדיניות שימוש ב-AI כלשהי.
המנסח הוא המקום הלא נכון לתקן זאת. מודל חזק יותר עדיין מנסח, ובית משפט אינו מתעניין עד כמה המודל היה בטוח בעצמו. הוא מתעניין אם הציטוט קיים ואומר את מה שטענתם. לכן התשובה העמידה אינה כותב חכם יותר אלא שכבה נפרדת שבודקת את העבודה מול רשות עצמאית, תופסת בדיה בוודאות, וכנה לגבי מה שאינה יכולה לאמת.
החלקים בדרגת-ערובה הם קוד דטרמיניסטי. שיקול הדעת הוא LLM שנמנע. השער, לא המודל, מחליט.
הדביקו כל כתב טענות שנוסח על ידי AI והצינור רץ בשידור חי: חילוץ כל ציטוט והטענה שלו, עיגון מול פסיקה אמיתית, הרצת בדיקת-קיום דטרמיניסטית ובדיקת-תמיכה של LLM, החלת שער מדיניות דטרמיניסטי, וייצוא תעודת ביקורת חתומה. לוח הבקרה מציג כל שלב שנדלק בקונסולת מערכת שמשדרת כל בקשת CourtListener אמיתית עם ה-URL, הסטטוס וההשהיה שלה, כך שאין קופסה שחורה.
בדיקת הקיום והבדיה ושער המדיניות הם Python טהור מול פסיקה אמיתית. ציטוט בדוי מוכח כחסר על ידי חיפוש חי ב-CourtListener עם אפס תוצאות, לא מנוחש, כי קונה זקוק לתפיסת-בדיה ניתנת-להוכחה ולשער ניתן-לביקורת, לא למילת-המודל.
בדיקת-התמיכה קוראת את פסק הדין האמיתי ושואלת האם הוא תומך בטענה P. היא ניתנת-להחלפת-ספק, והיא נמנעת, ומנתבת לסקירה אנושית, בכל פעם שהיא לא בטוחה או לא מעוגנת. היא מייעצת; היא לעולם אינה מקבלת את המילה האחרונה.
כל ציטוט מתיישב להכרעה אחת בדיוק. ההכרעות שמנתבות לאדם כנות לגבי הסיבה, וזו שמשמעותה ש-CourtListener לא היה זמין לעולם אינה מכווצת לבדיה.
| הכרעה | מה זה אומר | מוכרע על ידי |
|---|---|---|
| VERIFIED_SUPPORTED | פסק דין אמיתי, ופסק הדין תומך בטענה | בדיקת-קיום בתוספת בדיקת-תמיכה |
| VERIFIED_UNSUPPORTED (דורש סקירה) | פסק דין אמיתי, אך פסק הדין אינו תומך בטענה בבירור | מנותב לאדם עם ההקשר |
| FABRICATED | אין פסק דין כזה בפסיקה האמיתית | דטרמיניסטי, חיפוש חי עם אפס תוצאות |
| OUTSIDE_COVERAGE | פסק דין אמיתי שאינו בתת-הקבוצה שבמטמון, מסומן בכנות | דטרמיניסטי, לעולם לא מאומת שגוי |
| UNVERIFIED | CourtListener לא זמין, ולכן ההיעדר אינו מוכח | דטרמיניסטי, לעולם אינו מכווץ לבדוי |
השער דטרמיניסטי. הוא מחזיר FILING_READY רק אם יש אפס ציטוטים בדויים ואפס ציטוטים לא-מיושבים, ו-NOT_FILING_READY אחרת. משמעות הדבר שציטוט יחיד שלא נסקר מחזיק את כל ההגשה, לפי עיצוב, גם כשאין שום בדיה. לחיצה אחת מייצאת אז תעודת ביקורת JSON חתומה שמתעדת, לכל ציטוט, את ההכרעה, קטע הראיות, ה-URL האמיתי של CourtListener, המודל והגרסה (או דטרמיניסטי, או נמנע), גרסת המאמת, חותמת זמן UTC, ותוצאת השער.
ההדגמה מגיעה עם ארבעה כתבי טענות לדוגמה. אנחנו עוברים על שניים: כתב הטענות Mixed Motion, שנושא ציטוט אמיתי, ציטוט בדוי וציטוט מחוץ-לקורפוס יחד, וכתב הטענות Clean Motion, שבו כל ציטוט אמיתי. כל תמונה למטה היא צילום מסך של האפליקציה הפועלת. כותרת התיק היא להמחשה, לא תיק אמיתי.
משמאל בקשה לפסילת ראיות שנוסחה על ידי AI. מימין, קונסולת המערכת נדלקת שלב אחר שלב ומשדרת כל בקשת CourtListener אמיתית עם ה-URL, הסטטוס וההשהיה שלה, לצד נימוק בדיקת-התמיכה. זהו הציטוט הראשון, Miranda v. Arizona, 384 U.S. 436, המתיישב מול קורפוס אמת-הייחוס בזמן שבדיקת-התמיכה קוראת את טקסט פסק הדין.
כתב הטענות מצטט את Halstead v. Ferngate Holdings, 823 U.S. 1199. בדיקת-הקיום שולחת GET חי ל-CourtListener ומקבלת 200 עם 0 תוצאות, כי ב-U.S. Reports אין כרך 823. ההכרעה היא FABRICATED, מוכח כחסר ולא מנוחש. באותה ריצה Brown v. Board of Education, 347 U.S. 483 הוא פסק דין אמיתי שאינו בתת-הקבוצה שבמטמון, ולכן הוא מסומן בכנות OUTSIDE_COVERAGE במקום מאומת שגוי. השער קורא NOT_FILING_READY: 1 בדוי, 2 לא-מיושבים, 1 שאושר-אוטומטית.
זהו כתב הטענות Clean Motion, שבו כל ציטוט הוא פסק דין אמיתי ורלוונטי לעניין. כאשר טקסט פסק הדין מבסס את הטענה, בדיקת-התמיכה מאשרת זאת. Miranda v. Arizona, 384 U.S. 436 עובר כמאומת כי דעת הרוב עצמה קובעת שיש ליידע חשוד על הזכות לייצוג ועל הזכות לשתוק, עם קישור לפסק הדין האמיתי ב-CourtListener. אילו ציטוטים רלוונטיים ספציפיים עוברים בירוק לעומת מנותבים לסקירה יכול להשתנות מריצה לריצה, כי בדיקת-התמיכה היא השלב הלא-דטרמיניסטי היחיד, אך ציטוט רלוונטי לעניין כמו Miranda עובר באופן אמין.
בסקירת Mixed Motion, לוח הניקוד קורא 1 מאומת, 1 בדוי, ו-2 דורשים סקירה. Bell Atlantic Corp. v. Twombly, 550 U.S. 544 הוא פסק דין אמיתי, אך הקטע אינו מבסס בבירור את הטענה שהוא מוצע עבורה, ולכן בדיקת-התמיכה מסמנת אותו כדורש סקירה עם הנימוק שלה במקום לדרג אותו בביטחון. ההימנעות השמרנית הזו היא העיצוב: הכרעת Unsupported אדומה בטוחה היא נדירה במכוון, כי הצעד הכנה בפסק דין עמום הוא למסור אותו לאדם.
זו התעודה לאותו כתב טענות Clean Motion. Miranda עבר כמאומת, אך Terry v. Ohio ו-Strickland v. Washington נותבו לסקירה, ולכן השער מחזיק בלא-מוכן-להגשה והחותם קורא החזק לסקירה, אף שאין אף ציטוט בדוי. התעודה מפרטת כל ציטוט עם ההכרעה ותוצאת בדיקת-התמיכה ומאשרת שכל אחד נבדק לקיום מול CourtListener, שציטוטים בדויים מזוהים בוודאות, ושציטוטים הדורשים שיקול הקשרי מנותבים לאדם. היא מיוצאת כרשומת JSON חתומה שאתם מצרפים להגשה. כתב טענות שנראה נקי אינו זהה לכתב טענות מוכן-להגשה.
הקורפוס הוא 20 החלטות אמיתיות במטמון מ-CourtListener, מאגר הפסיקה הציבורי של ארה״ב, כולל Miranda, Twombly, Iqbal, Terry, Strickland, International Shoe, Erie, Baker v. Carr, Chevron, ו-Daubert. בדיקות קיום ובדיה גם שולחות שאילתות ל-CourtListener בשידור חי בזמן הבקשה, ולכן תפיסת-הבדיה היא סמכותית ולא מוגבלת לתת-הקבוצה. קורפוס 20 הפסקים הוא תת-קבוצה במטמון, כך ששיפוט התמיכה מודגם ב-N קטן על פסקי דין אמיתיים, וההיקף הזה מנוסח בגלוי במקום להיות מולבש כדיוק אוניברסלי.
CiteGuard אינו מנסח נוסף. זו השכבה שמחליטה מה בטוח להגיש.
| ממד | כתב טענות AI לא-מאומת | שכבת האימות של CiteGuard |
|---|---|---|
| זיהוי פסק דין בדוי | נקרא כסמכותי, לא נתפס | דטרמיניסטי, חיפוש חי עם אפס תוצאות |
| ציטוט אמיתי אך מיושם-שלא-כהלכה | יוצא כמות שהוא | מנותב לסקירה אנושית עם הקשר |
| בדיקת-תמיכה לא ודאית | המודל קובע הכרעה בכל זאת | נמנע, מוסר זאת לאדם |
| שרשרת מקור | אין | קישור CourtListener אמיתי לכל ציטוט |
| החלטת הגשה | הביטחון של המנסח | שער דטרמיניסטי, אפס בדויים ואפס לא-מיושבים |
| מסלול ביקורת ל-ABA Op. 512 | אין | תעודת JSON חתומה לכל כתב טענות |
לא. CiteGuard אינו מנסח ואינו מבצע מחקר משפטי, ולכן אינו מתחרה ב-Harvey, Westlaw Precision או Lexis Protege. זו שכבת האימות שיושבת סביב כל מה שכל אחד מהם הפיק. היא לוקחת את כתב הטענות שנוסח על ידי AI, אומרת לעורך הדין מה בטוח להגיש ומה בדיוק זקוק לאדם, ורצה במצב צל או ייעוץ לצד הכלי שאתם כבר משתמשים בו.
בדיקת-הקיום שולחת שאילתה ל-CourtListener, מאגר הפסיקה הציבורי של ארה״ב, עבור הציטוט המדויק. ציטוט בדוי כמו Halstead v. Ferngate Holdings, 823 U.S. 1199 מחזיר אפס תוצאות (ב-U.S. Reports אין כרך 823), ולכן הוא מסומן FABRICATED בוודאות, לא מנוחש. אם CourtListener לא זמין, הציטוט מסומן UNVERIFIED ולא כבדוי, כי היעדר הוכחה אינו הוכחת היעדר. ההבחנה הזו היא אינווריאנט דטרמיניסטי שנבדק ביחידה.
לא בעיניים עצומות, ולכן בדיקת-התמיכה נמנעת. זהו שלב LLM אחד שקורא את פסק הדין האמיתי ומאשר ציטוט בירוק רק כאשר טקסט פסק הדין מבסס את הקביעה, כפי שהוא עושה עבור Miranda v. Arizona. כאשר פסק הדין אינו תומך בבירור בטענה הנאמרת, היא מנתבת את הציטוט לסקירה אנושית במקום לבדות הכרעה. המודל מייעץ; השער הדטרמיניסטי ועורך הדין מחליטים.
לא, כי מוכן-להגשה הוא תכונת ממשל, לא תכונת מודל. בית משפט אינו מתעניין עד כמה המודל היה בטוח בעצמו; הוא מתעניין אם הציטוט קיים ואומר את מה שטענתם. לכן הצורך העמיד הוא שכבה עצמאית שמעגנת כל טענה בפסיקה אמיתית, תופסת בדיה בוודאות, וכנה לגבי מה שאינה יכולה לאמת. הדרישה הזו מתקיימת בכל רמת איכות של מודל.
לחיצה אחת מייצאת תעודת JSON חתומה שמתעדת, לכל ציטוט, את ההכרעה, קטע הראיות, ה-URL האמיתי של CourtListener, המודל והגרסה (או דטרמיניסטי או נמנע), גרסת המאמת, חותמת זמן UTC, ותוצאת השער. זהו הפריט שמראה שעורך דין אימת פלט AI לפני הגשה, וזה מה ש-ABA Formal Opinion 512 ויותר מ-300 צווים קבועים שיפוטיים דורשים כעת. בהדגמה התעודה היא JSON; ייצוא PDF נדחה.
זו הדגמה ניתנת-להרצה שמוכיחה את המנגנון, לא צינור פרוס. ארבעת כתבי הטענות לדוגמה, הצדדים וכותרת התיק מסומנים כקטעים סינתטיים, ומחבר ניהול-המסמכים הוא מדומה. מה אמיתי: קורפוס 20 הפסקים במטמון מ-CourtListener, בדיקות הקיום והבדיה פונות ל-CourtListener בשידור חי בזמן הבקשה, השער הדטרמיניסטי ו-8 מתוך 8 בדיקות היחידה רצות בדיוק כפי שמוצג, והציטוטים הבדויים אכן חסרים בפסיקה האמיתית.
המחקר מאחורי ההדגמה הזו — הארכיטקטורה, עיצוב האימות, ותכנית האב הארגונית.
שכבת האימות היא החלק הקשה. אנחנו בונים אותה.
אם המשרד שלכם עובד על איך לאפשר לעורכי דין להשתמש ב-AI בלי לסכן ציטוט בדוי בהגשה, נשמח באמת לשמוע איך אתם חושבים על זה. הבעיה היא כלל-תעשייתית וגם התשובות יהיו.