כל מערכות ה-AI טעו באותה שאלת מס — ואף אחד לא שם לב עד שבדקנו את החוק

זה היה יום שלישי בערב, ובהיתי בשלוש לשוניות דפדפן — ChatGPT, Claude, Gemini — שכולן אמרו לי את אותו הדבר בדיוק. שלושת המודלים טעו.

השאלה הייתה פשוטה למדי: לפי חוק ה-Omnibus Budget Reconciliation Act החדש, האם נישום יכול לנכות ריבית על הלוואת רכב פרטי? כל מודל השיב בחיוב. כל מודל הסביר את ההוראה בצורה נכונה — התאריכים, דרישות הרכב, ואפילו תקרות ההכנסה. וכל מודל מיקם את הניכוי בסעיף הלא נכון של קוד המס, מה שאומר שהייעוץ הפיננסי במורד הזרם היה חסר ערך לחלוטין.

לא סטייה קלה. לא "ובכן, זה תלוי בפרשנות". פשוט טעות. סוג הטעות שאם רואה חשבון מוסמך (CPA) היה פועל לפיה, היא הייתה גוררת ביקורת של ה-IRS. סוג הטעות שעלולה לעלות לגמלאי אלפי דולרים בהיטלי פרמיית Medicare בלתי צפויים. והחלק המפחיד? אם לא ידעת מראש את התשובה, לעולם לא היית מגלה זאת. ה-AI נשמע מושלם.

הרגע הזה שינה את האופן שבו אני חושב על AI בתחום הציות. לא מפני שהופתעתי שמודל שפה הוזה — כולנו יודעים שהם עושים זאת. מה שזעזע אותי היה שכל השלושה הזו בדיוק באותו אופן, ומאותה סיבה בדיוק. הם למדו את התשובה השגויה מהאינטרנט, והאינטרנט היה שגוי באופן כה אחיד עד שלא נותר שום אות שיאפשר למודלים לתקן את עצמם.

התחלנו לכנות את התופעה הזו שגיאת קונצנזוס. וברגע שהבנו אותה, כבר לא יכולנו להתעלם ממנה.

מהי שגיאת קונצנזוס, ולמה צריך להיות אכפת לך ממנה?

רוב האנשים שעובדים עם AI מכירים הזיות — רגעים שבהם מודל ממציא ציטוט, בודה נתון סטטיסטי, או מצהיר בביטחון על משהו שאינו נכון. אלה מקרים מפחידים, אך הם גם אקראיים במידת מה. לעיתים קרובות ניתן לתפוס אותם מכיוון שהם מרגישים לא תקינים, או כי חיפוש מהיר ב-Google חושף את הבדיה.

שגיאת קונצנזוס היא שונה. זה מה שקורה כאשר AI נותן לך תשובה שגויה לא בגלל חוסר בנתונים, אלא בגלל שהנתונים שעליהם הוא אומן הם שגויים באופן מוחץ ובטוח בעצמו. המודל אינו מנחש באפלה. הוא משקף לך בחזרה את דעת הרוב באינטרנט — ודעת הרוב במקרה שקרית מבחינה חוקית.

כאשר האינטרנט עצמו טועה, כל AI שאומן עליו יורש את אותו המצג השווא. שגיאת קונצנזוס אינה תקלה טכנית מקרית — היא תכונה מובנית של האופן שבו מודלי שפה לומדים.

חשבו לרגע על החישוב המתמטי. אם 90% מהמאמרים ברשת על הוראת מס מסוימת מתארים אותה באופן שגוי — באמצעות שפה מפושטת, בלבול בין שני סעיפים שונים בחוק, או סתם העתקת שגיאות זה מזה — אזי המשקלים הפנימיים של המודל מתכנסים לתשובה השגויה בביטחון גבוה. אפילו אם החוק בפועל קיים בנתוני האימון, הוא מופיע פעם או פעמיים בשפה משפטית דחוסה, בעוד שהפרשנות השגויה מופיעה אלפי פעמים בטקסט נגיש ומותאם ל-SEO.

המודל עושה את מה שתוכנן לעשות: לחזות את הטוקן הבא הסביר ביותר. והטוקן הסביר ביותר הוא הטוקן השגוי.

ניכוי הלוואת הרכב ששבר שלושה מודלי AI

הרשו לי להוביל אתכם במקרה הספציפי, כי הפרטים חשובים.

חוק OBBBA יצר קטגוריה חדשה בשם "ריבית על הלוואת רכב נוסעים כשיר" — ניכוי זמני עבור ריבית ששולמה על הלוואות לרכבי נוסעים חדשים שהורכבו בארה"ב, הזמין לשנות המס 2025 עד 2028. עד כאן הכל תקין. כל AI דייק בחלק הזה.

כאן בדיוק הכל קורס. הניכוי נוסף ל-IRC Section 63, המסדיר הכנסה חייבת במס. הוא לא נוסף ל-IRC Section 62, המסדיר הכנסה ברוטו מותאמת (AGI). בדיני מס, ההבחנה הזו היא הכל.

ניכוי לפי Section 62 — "מעל הקו" — מקטין את ה-AGI שלך. ה-AGI שלך קובע זכאות לעשרות הטבות אחרות: תוכניות החזר הלוואות סטודנטים, רצפות ניכוי הוצאות רפואיות, מיסוי קצבאות ביטוח לאומי (Social Security), והיטלי פרמיית Medicare. הקטנת ה-AGI שלך פותחת שרשרת של חיסכון במורד הזרם.

ניכוי לפי Section 63 — "מתחת לקו" — מקטין את ההכנסה החייבת במס שלך. הוא עדיין חוסך לך כסף בחשבון המס הפדרלי שלך, אך הוא אינו עושה דבר ל-AGI שלך. אף אחת מאותן הטבות במורד הזרם אינה מושפעת.

כל מודל שפה גדול מוביל אמר למשתמשים שהניכוי הזה יקטין את ה-AGI שלהם. כל אחד ואחד. כי זה מה שאמרה מערכת התוכן הפיננסי. מאמרי הסבר פופולריים ומאמרים מותאמים ל-SEO פרסמו כותרות כמו "ריבית על הלוואות רכב ניתנת כעת לניכוי!" מבלי לציין היכן בחישוב המס זה חל. ההבחנה בין Section 62 ל-Section 63 כנראה משעממת מדי עבור יוצרי תוכן שמבצעים אופטימיזציה לקליקים.

אך עבור הנישום שפועל לפי עצה זו? ההשלכות הן ממשיות.

פנסיונר שמדווח בטעות על AGI נמוך יותר עלול לעמוד בפני היטלי פרמיית Medicare IRMAA בלתי צפויים. לווה במסלול החזר הלוואת סטודנטים מבוסס הכנסה עלול לאבד זכאות לתשלומים נמוכים יותר. ונישום במדינה כמו אריזונה, שמצמידה את מס ההכנסה שלה ל-AGI הפדרלי, עלול לעמוד בפני ביקורת מס מדינתית. כתבתי על רצף ההשלכות הפיננסיות המלא בהגרסה האינטראקטיבית של המחקר שלנו — השפעות השרשרת גרועות בהרבה ממה שרוב האנשים מניחים.

מדוע RAG לא פתר את זה?

אני כבר יכול לשמוע את ההתנגדות: "פשוט תשתמשו ב-RAG. שלפו את החוק בפועל. הבעיה נפתרה."

ניסינו. זה לא פתר את זה.

יצירה מועשרת בשליפה (Retrieval-Augmented Generation) — הטכניקה שבה מזינים מסמכים רלוונטיים לחלון ההקשר של המודל לצד שאלת המשתמש — היא התשובה הנוכחית של התעשייה להזיות. ובמקרים רבים, זה עוזר. אך עבור היסק משפטי, יש לה שלוש נקודות תורפה מבניות שהופיעו מיד בבדיקות שלנו.

ראשית, חקיקת מס אינה נקראת כמו סיפור עלילתי. חוק OBBBA אינו אומר "זהו ניכוי מתחת לקו". הוא אומר "סעיף 163(h) מתוקן על ידי הוספת הפסקה החדשה הבאה לאחר פסקה (3)...". המודל צריך לשחזר את המצב הלוגי של קוד המס מתוך סדרת תיקונים. כאשר המקטע שנשלף אומר "ניכוי מותר" אך אינו מציין במפורש את מיקומו ברצף החישוב, המודל ממלא את הפער בהטיית האימון שלו — פוסטי הבלוגים.

שנית, חיפוש וקטורי מוצא את מה שדומה, ולא את מה שרלוונטי מעצם ההשמטה. שאילתה על ניכויי הלוואות רכב שולפת פסקאות על ניכויי הלוואות רכב. היא אינה שולפת את הפסקה ב-Section 62 המגדירה AGI — מכיוון שאותה פסקה אינה מזכירה הלוואות רכב. היא פשוט מחריגה אותן על ידי אי-הכללתן ברשימה. במשפטים, היעדרו של דבר מרשימה הוא בעל משמעות משפטית. בחיפוש דמיון וקטורי, היעדר הוא בלתי נראה.

שלישית — וזה הדבר שלא נותן לי לישון בלילה — RAG פותר שליפה, לא היסק. אפשר להציג את החוק הנכון ישירות מול המודל, והוא עדיין יפרש אותו בצורה שגויה אם המשקלים הפנימיים שלו מוטים על ידי מיליוני דוגמאות אימון שגויות. הוא הופך לקורא מוטה, שרואה את מה שהוא מצפה לראות במקום את מה שהטקסט אומר בפועל.

RAG מציב את המסמך הנכון מול ה-AI. אך קורא מוטה עם הספר הנכון עדיין מגיע למסקנה השגויה.

לאחר שבועות של בדיקת אסטרטגיות שליפה שונות, גדלי מקטעים ותצורות הנחיה מגוונות, לצוות שלי היה ויכוח שהבהיר הכל. אחד המהנדסים שלנו רצה להמשיך ללטש את צינור ה-RAG — שיבוצים טובים יותר, חלוקה מדויקת יותר למקטעים, הנחיות מפורשות "להשתמש רק בטקסט שנשלף". היועצת המשפטית שלנו הביטה בו ואמרה: "אתה מנסה לייצר משקפיים טובים יותר עבור מישהו שלא יודע לעשות חשבון". היא צדקה. הבעיה לא הייתה מה שהמודל יכול לראות. הבעיה הייתה מה שהמודל יכול להסיק לגביו.

מה קורה כאשר AI קורא את החוק בצורה שגויה?

מקרה OBBBA כולל גם כללי ביטול הדרגתי (phase-out) שמחריפים את הבעיה. הניכוי מוגבל לתקרה של 10,000 דולר בשנה ומופחת ב-200 דולר על כל 1,000 דולר שבהם הכנסת הנישום עולה על 100,000 דולר (למגישים יחידים) או 200,000 דולר (למגישים במשותף). ב-150,000 דולר או 250,000 דולר בהתאמה, הניכוי נעלם כליל.

כאשר בדקנו זאת עם נישום היפותטי המשתכר 125,000 דולר, המודלים התקשו. חלקם התעלמו לחלוטין מביטול ההטבה ההדרגתי. אחרים החילו עקומת הפחתה שהושאלה מזיכוי מס לילדים (Child Tax Credit) — הוראה שונה לחלוטין עם מתמטיקה אחרת. המודלים ביצעו התאמת תבניות למבנים מוכרים במקום לחשב את הכלל בפועל.

זוהי בעיית "הזיית החישוב" (Arithmetic Hallucination) המונחת על גבי שגיאת קונצנזוס. המודל לא רק טועה במסגרת המשפטית — הוא טועה גם בחשבון. וכאשר דוחסים את המודלים הללו לפריסה יעילה באמצעות כימות (quantization), יכולות ההיסק מתדרדרות מהר יותר מהיכולות הלשוניות. המודל נשמע יותר בטוח בעצמו בעודו הופך פחות מדויק. זהו שילוב מסוכן בכל תחום. בציות לחוקי המס, זוהי חבות משפטית.

ישנו ממד נוסף שרוב האנשים מפספסים לחלוטין. חוק OBBBA יצר גם את Section 6050AA, המטיל דרישות דיווח חדשות על מלווים. כל עסק שמקבל 600 דולר או יותר בריבית על הלוואת רכב כשירה חייב להגיש דוח מידע ל-IRS. כששאלנו את המודלים מה בנקים ואיגודי אשראי צריכים לעשות בנוגע לחוק החדש, הם התמקדו כמעט אך ורק בניכוי של הלווה — כי זה מה שמערכת התוכן כתבה עליו. חובת הציות של המלווה כמעט שלא נרשמה. עבור חברת פינטק המשתמשת ב-AI לסיכום שינויים רגולטוריים, השמטה זו עלולה להוביל לאי-ציות שיטתי ולקנסות לפי IRC Sections 6721 and 6722.

הארכיטקטורה שבאמת עובדת

לאחר כישלון הלוואת הרכב, ביליתי חודש כשאני משוכנע שהגישה כולה של שימוש במודלי שפה עבור ציות שבורה מיסודה. ואז בנינו משהו ששינה את דעתי — לא לגבי LLMs עצמם, אלא לגבי האופן שבו יש להשתמש בהם.

התובנה הייתה פשוטה ברגע שראינו אותה: הפסיקו לבקש מ-AI להסיק מסקנות לגבי החוק. תנו לו לעשות את מה שהוא טוב בו — הבנת שפה — והעבירו את ההיסק למשהו שבאמת יודע לעשות לוגיקה.

זהו הרעיון המרכזי מאחורי AI נוירו-סימבולי (Neuro-Symbolic AI): ארכיטקטורה היברידית המשלבת את השטף הלשוני של רשתות עצביות עם הקפדנות הדטרמיניסטית של מערכות לוגיקה סימבולית. בנינו את מה שאנו מכנים מנוע מס דטרמיניסטי (Deterministic Tax Engine), והוא פועל בשלושה שלבים.

השלב הראשון הוא מפענח הכוונות. כאן חי מודל השפה הגדול, ועושה את מה ש-LLMs עושים הכי טוב. משתמש מעלה חשבונית, מקליד שאלה או מחבר הזנת נתונים בנקאית. השכבה העצבית מחלצת ישויות מובנות: סוג הרכב, תאריך הרכישה, סכום ההלוואה, מיקום ההרכבה, הכנסת הנישום. היא אינה מחליטה דבר לגבי הטיפול במס. היא רק מתרגמת מציאות אנושית מבולגנת לנתונים נקיים.

השלב השני הוא עוגן האמת. כאן השכבה הסימבולית לוקחת פיקוד. אנו מקודדים את קוד המס — לא כטקסט שיש "לקרוא", אלא כלוגיקה בת-ביצוע באמצעות שפות ייעודיות כמו Catala (שפותחה על ידי INRIA עבור רשות המסים של ממשלת צרפת) ו-PROLEG (מערכת היסק משפטי מבוססת Prolog). החוק הופך לתוכנה. עוגן האמת שואל גרף ידע (Knowledge Graph), מחיל את הכללים המקודדים, בודק עובדות חסרות ומחשב את התוצאה הדטרמיניסטית. אם הרכב הורכב במקסיקו, הניכוי נדחה. אם ההכנסה עולה על סף ביטול ההטבה בהדרגה, ההפחתה מחושבת עד לרמת הסנט. ללא הסתברות. ללא ניחושים.

השלב השלישי הוא מחולל התגובות. שכבה עצבית נוספת, אך מוגבלת. היא מקבלת את פלט פותר הלוגיקה — "ניכוי: נדחה. סיבה: חריגה מביטול ההטבה בהדרגה ברמת הכנסה של 135,000 דולר" — ומתרגמת אותו לשפה ברורה וקריאה לבני אדם. ה-LLM הופך את התשובה לקריאה. יש לו אפס חופש להפוך את התשובה לשונה.

איננו מבקשים מ-AI לנחש את החוק. אנו מלמדים אותו לחשב את החוק. השכבה העצבית מטפלת בשפה. השכבה הסימבולית מטפלת באמת. אף אחת מהן אינה מנסה לעשות את העבודה של האחרת.

הפרדה זו היא מה שמחסל את שגיאת הקונצנזוס. השכבה העצבית עשויה "לדעת" מהאימון שלה שאתרי כספים פופולריים אומרים שריבית על הלוואות רכב מקטינה AGI. אבל לעולם לא מבקשים ממנה לקבל החלטה כזו. מבקשים ממנה רק לחלץ את פרטי הרכב. ההחלטה חיה בשכבה הסימבולית, שאין לה גישה ל-Reddit — אלא רק לחוק המקודד.

עבור הארכיטקטורה הטכנית המלאה והניתוח הפורמלי, כולל האופן שבו Catala מתמודדת עם לוגיקת ברירת מחדל-חריג וכיצד Answer Set Programming בודק עקביות בכל דוח מס שלם, פרסמנו מאמר מחקר מפורט.

מדוע זה חשוב מעבר לניכוי מס בודד?

אני אהיה כן לגבי משהו. כשרק התחלתי להסביר לאנשים על שגיאת קונצנזוס, התגובה הנפוצה ביותר הייתה: "אוקיי, אבל זה מקרה קצה אחד. ברוב הזמן, ה-AI מדייק."

תגובה זו אינה מבינה נכון את מהות הבעיה. ניכוי הלוואת הרכב של OBBBA אינו מקרה חריג. הוא אופייני. בכל פעם שהקונגרס מעביר סעיף חדש, מערכת התוכן מייצרת אלפי פרשנויות מפושטות, לעיתים שגויות, עוד לפני שה-IRS מוציא הנחיות. בכל פעם שמדינה מנתקת את הטיפול במס שלה מהטיפול הפדרלי, האינטרנט מפגר מאחור. בכל פעם שפסיקת בית משפט משנה את הפרשנות של חוק קיים, הפרשנות הישנה ממשיכה להתקיים בנתוני האימון במשך שנים.

שגיאת קונצנזוס אינה מקרה קצה. זהו מצב ברירת המחדל עבור כל תחום משפטי מורכב, כזה שהשתנה לאחרונה, או כזה שאינו מובן כהלכה לכותבים כלליים. כלומר: רוב דיני המס.

ההשלכה הרחבה יותר נוגעת למה שאנו מצפים מ-AI בתחומים בעלי סיכון גבוה. הפרדיגמה הנוכחית — לתת ל-LLM יותר הקשר, הנחיות טובות יותר, חלונות גדולים יותר — היא שיפור הדרגתי על ארכיטקטורה שאינה תואמת מהיסוד. אתם מבקשים ממנוע התאמת תבניות לבצע היסק פורמלי. לפעמים יש לו מזל. בציות לדיני מס, "לפעמים" זה פשוט לא מספיק טוב.

מקופסה שחורה לקופסת זכוכית

יש עוד דבר אחד שחשוב ביותר לכל מי שישב אי פעם מול מבקר מס: יכולת מעקב ואימות.

כאשר LLM סטנדרטי אומר לנישום "כן, אתה יכול לנכות את זה", וה-IRS חולק על כך מאוחר יותר, מהו נתיב הביקורת? המודל חזה ש-"כן" היה הטוקן הבא הסביר ביותר בהינתן ההקשר. זו אינה תשובה שניתן להציג לפקיד שומה.

במנוע הנוירו-סימבולי שלנו, כל קביעה מייצרת נתיב בגרף:

Deduction_Allowed = True מכיוון ש-Loan_Date נמצא בטווח השנים 2025–2028 (מאומת), Vehicle_Type הוא Passenger (מאומת), Assembly_Location הוא US (מאומת), ההכנסה נמוכה מסף ביטול ההטבה ההדרגתי (מאומת), ו-Rule_Reference הוא IRC § 163(h)(4).

כל צומת בשרשרת זו ניתן לביקורת. כל עובדה ניתנת למעקב עד למסמך מקור. כל כלל ניתן למעקב עד לסעיף ספציפי בחוק. אם משהו משתנה — פסיקה חדשה של ה-IRS, סעיף מתוקן — מעדכנים את גרף הידע ואת פותר הלוגיקה, וכל קביעה מושפעת מסומנת אוטומטית לבדיקה.

זה הופך את ה-AI ממשהו שצריך לסמוך עליו מתוך אמונה עיוורת למשהו שניתן לאמת לפי דרישה. אנשים תמיד שואלים אותי אם הגישה הזו איטית יותר או יקרה יותר מאשר פשוט להשתמש ב-LLM. התשובה הכנה: הקידוד הראשוני של החוק דורש עבודה ממשית. אך ברגע שהוא מקודד, הפעלת קביעה היא כמעט מיידית, ועלות הבדיקה של 100% מהעסקאות מתקרבת לעלות של בדיקת 1%. זה אינו שיפור שולי על פני ביקורות מסורתיות מבוססות מדגם. זוהי קטגוריה שונה לחלוטין של הבטחת איכות וציות.

השאלה שאף אחד עדיין לא שואל

הנה מה שהכי מפריע לי. תעשיית השירותים הפיננסיים דוהרת לפרוס עוזרי AI, מכיני דוחות מס ב-AI, ומפקחי ציות ב-AI. השיווק מכריז "מופעל על ידי AI". האותיות הקטנות אומרות "אינו מהווה ייעוץ מס". ובתווך, מיליוני אנשים מקבלים תשובות שנשמעות מוסמכות, מצטטות חקיקה אמיתית, מפנות לתאריכים ולסכומי דולרים בפועל — וממקמות את הניכוי בסעיף הלא נכון של קוד המס.

איננו חיים בעולם שבו AI טועה באופן ברור שבני אדם יכולים לזהות בקלות. אנו חיים בעולם שבו AI טועה באופן מתוחכם ובדרכים הדורשות מומחיות תחום מעמיקה כדי לזהותן. זה מסוכן יותר מכישלון ברור, מכיוון שזה שוחק את האינסטינקט לבדוק שוב.

השאלה אינה האם יש להשתמש ב-AI בציות לדיני מס. בהחלט יש להשתמש בו — מורכבות החוק עלתה על היכולת האנושית ליישם אותו באופן עקבי. השאלה היא האם אנו מוכנים לבנות מערכות AI שמכבדות את אופי התחום שבו הן פועלות. דיני מס הם דטרמיניסטיים. יש להם תשובות נכונות ותשובות שגויות, המוגדרות בחוק, לא על ידי דעת הקהל. ארכיטקטורה שמתייחסת לאמת משפטית כאל התפלגות הסתברותית תמיד תהיה פגיעה לשגיאת קונצנזוס, לא משנה כמה גדול המודל או כמה מתוחכמת ההנחיה.

בדיני מס, פופולריות אינה מהווה מדד לאמת. תשובה שחוזרת על עצמה עשרת אלפים פעמים באינטרנט אינה נכונה יותר מהחוק שסותר אותה פעם אחת.

בנינו את Veriprajna כי אני מאמין שעידן ה-"סמוך, אך אמת" כבר הסתיים עבור AI בתחום הציות. המערכות שיזכו באמון הארגונים יהיו אלו שמאמתות תחילה ומדברות לאחר מכן — אלו שבהן הלוגיקה ניתנת לביקורת, המתמטיקה דטרמיניסטית, וביטחון ה-AI מגובה במשהו עמיד בהרבה מהסתברות טוקנים.

לחוק לא אכפת מה האינטרנט חושב. וגם ל-AI שלך לא צריך להיות אכפת.