נתתי לצ'אטבוט ממשלתי את החוק המדויק. הוא עדיין אמר לבעלי דירות להפר אותו.

במרץ 2024, כתב ב-The Markup שאל את הצ'אטבוט הרשמי של העיר ניו יורק שאלה פשוטה: האם בעל דירה יכול לסרב לשוכר עם שובר Section 8?

הבוט — MyCity, פעיל בדומיין .gov, מאומן על יותר מ-2,000 דפי אינטרנט עירוניים, פועל על Azure AI של מיקרוסופט — אמר כן. בעלי דירות אינם חייבים לקבל את השוברים, הוא הסביר, בשירותיות.

התשובה הזו בלתי חוקית. חוק זכויות האדם של ניו יורק אוסר על אפליה על בסיס מקור הכנסה מאז 2008, עם קנסות שמגיעים ל-$250,000. הצ'אטבוט לא סייג, לא התנער, לא אמר "התייעץ עם עורך דין". הוא נתן תשובה בטוחה, רהוטה ושגויה, ועשה זאת כשהוא נושא את חותם העיר ניו יורק.

באותו אביב ביליתי שבת שלמה בקריאת החקירה של The Markup כשהקוד המנהלי האמיתי של ניו יורק פתוח בלשונית אחרת, משווה בין מה שהבוט אמר לבין מה שהחוק אמר, שורה אחר שורה. שם הרעיון שמאחורי בינה מלאכותית ממשלתית שמצטטת את החוק במקום להמציא אותו התחיל אצלי — לא במצגת אסטרטגיה, אלא בפער שבין צילום מסך לבין חוק. הבוט לא היה מבולבל. הוא פעל בדיוק כפי שתוכנן. והתכנון היה הבעיה.

הצ'אטבוט שאמר לתושבי ניו יורק להפר ארבעה חוקים שונים

MyCity לא טעה בדבר אחד. The Markup תיעד דפוס לאורך המנגנון הבסיסי של חיי העיר.

הוא אמר לבעלי עסקים שהם יכולים לקחת חלק מהטיפים של העובדים שלהם — בלתי חוקי לפי חוק תקני העבודה ההוגנים (Fair Labor Standards Act) וחוק העבודה של ניו יורק, מהסוג שמסתיים בתביעות גניבת שכר ובפיצויים מוסכמים. הוא אמר לחנויות שהן יכולות לעבור להיות ללא מזומן ולסרב לקבל כסף מזומן, מה שסעיף § 20-840 בקוד המנהלי של ניו יורק אוסר במפורש כדי להגן על תושבים ללא חשבון בנק. הוא אמר לבעלי דירות שהם יכולים לנעול שוכרים בחוץ, שזו עבירה פלילית לאחר שלושים ימי מגורים.

כל תשובה הייתה בלתי חוקית. כל תשובה נשאה את אישור הרשות של העיר.

תגובת העיר הייתה להוסיף כתבי ויתור. אבל הבוט עדיין עקף אותם בעליזות בטקסט שלו עצמו — בשלב מסוים אמר למשתמש, "כן, אתה יכול להשתמש בבוט הזה לייעוץ עסקי מקצועי". ראש העיר הנכנס זוהראן ממדאני כינה מאוחר יותר את הכלי "בלתי שמיש מבחינה תפקודית" ופעל לסגור אותו. עד אז התוכנית עלתה לעיר כ-$500,000, סעיף תקציבי שנראה קודר במיוחד על רקע פער תקציבי של $12 מיליארד.

הנה החלק ששמר אותי ער. איש לא התכוון לבנות מכונה מפרת חוק. צוות מוכשר אימן מודל סביר על נתונים עירוניים אמיתיים ושילח אותו. הכשל היה טבוע בארכיטקטורה שהם בחרו, וכמעט כל ממשלה שמפעילה צ'אטבוט כיום בוחרת באותה אחת.

מדוע מודל שפה כברירת מחדל מפר את החוק?

צריך להבין למה מודל שפה גדול באמת ממטב. זהו מנוע הסתברות. שאלו אותו שאלה והוא מפיק את ההמשך הסביר ביותר סטטיסטית — התשובה שנשמעת כמו סוג התשובה שבדרך כלל עוקבת אחרי סוג כזה של שאלה.

עכשיו חשבו על מה שיש בנתוני האימון שלו. כשבעל דירה שואל "האם אני יכול לסרב לשוכר הזה?", הדפוס הדומיננטי ברחבי כל האינטרנט הוא דיני חוזים כלליים: בעלי נכסים רשאים לבחור למי הם משכירים. זה נכון כמעט בכל מקום. ההוראה הספציפית של ניו יורק שאוסרת אפליה על בסיס מקור הכנסה היא חריג מקומי צר, אות קלוש שנטבע בתוך האות הרחב. המודל אוחז בדפוס שראה עשרת אלפים פעמים, ולא בחוק שחל על הבלוק המסוים הזה.

אחר כך למידת חיזוק מחמירה את המצב. צ'אטבוטים מודרניים מכוונים להיות מועילים, מה שבפועל אומר מסכימים — הם נוטים לתת למשתמש את מה שנראה שהוא רוצה. בעל דירה ששואל כיצד לסרב לשוכר נקרא, עבור המודל, כ"עזור לי לסרב לשוכר הזה". אז הוא עוזר. הוא אומר כן.

צ'אטבוט ממשלתי חייב להיות מוכן להיות לא מועיל למה שאתה רוצה כדי להיות כן לגבי מה שהחוק אומר. האינסטינקט הזה הוא ההפך הגמור ממה שמודלים אלה מאומנים להחזיק.

זו המלכודת. התכונות שהופכות צ'אטבוט צרכני למענג — רהיטות, נעימות, הביטחון תמיד להחזיק תשובה — הן התכונות שהופכות צ'אטבוט משפטי ממשלתי למסוכן.

מדוע RAG לא תיקן את זה?

במשך כשבוע, הייתי בטוח שאני יודע את התשובה, וטעיתי באופן שלימד אותי את כל הבעיה.

התיקון המתבקש הוא retrieval-augmented generation — RAG. במקום לתת למודל לענות מהזיכרון, מאחזרים תחילה את המסמכים הרלוונטיים האמיתיים ומוסרים אותם למודל כהקשר. תנו לו את החוק האמיתי, כך ההנחה, והוא יפסיק להמציא דברים. בנינו פיילוט כדי להוכיח זאת.

הוא אחזר להפליא. הייתי שואל את שאלת Section 8 וצופה במערכת מושכת את הוראת מקור-ההכנסה המדויקת לתוך ההקשר — החוק הנכון, יושב בדיוק שם בהנחיה. ואז המודל היה קורא אותו ועדיין עונה "כן, אתה יכול לסרב לשובר". אני זוכר שבהיתי בזה, כי זה היה גרוע ממה שציפיתי. האחזור עבד. החשיבה לא. המודל החזיק את החוק הנכון מולו ובכל זאת בחר את מה שלמד באימון מראש, או קרא שגוי את ההוראה, או תפר יחד תשובה סבירה מהצירוף השגוי של קטעים שאוחזרו.

זה לא באג שאנחנו הכנסנו. זהו מצב הידע העדכני המתועד. חוקרים מסטנפורד בדקו את כלי הבינה המלאכותית המשפטיים המסחריים שנבנו בדיוק לשם כך — מבוססי אחזור, מהונדסים מקצועית — והטוב שבהם, Lexis+ AI של LexisNexis, עדיין הזה ב-17% מהמקרים. מחקר בסיוע בינה מלאכותית של Westlaw הגיע ל-33%. אלה כלים שנמכרים לעורכי דין במאות דולרים לחודש, ואחת מכל חמש עד אחת מכל שלוש תשובות מפוברקת.

האחזור מכניס את המסמך הנכון לחדר. הוא אינו עושה דבר כדי למנוע מהמודל להתעלם ממנו.

אז נאלצתי לזרוק את ההנחה שממנה התחלתי. RAG אינו הארכיטקטורה. RAG הוא רכיב אחד, ובפני עצמו הוא מעביר את הכשל מ"המודל אינו יודע את החוק" ל"המודל יודע את החוק וסותר אותו" — מה שבדומיין ממשלתי הוא ניתן לטעון שהוא הכשל המסוכן יותר, כי כעת יש ציטוט בדיוק ליד התשובה השגויה שגורם לה להיראות סמכותית.

האחריות המשפטית שאיש אינו קורא את האותיות הקטנות עליה

צ'אטבוט צרכני שטועה ב-17% מהמקרים מרגיז אנשים. צ'אטבוט ממשלתי צובר חשיפה משפטית עם כל תשובה.

קיימת דוקטרינה שרוב אנשי הטכנולוגיה מעולם לא שמעו עליה, והיא חשובה כאן עד מאוד. ממשלות בדרך כלל מוגנות מפני תביעות בגין תפקידים "שיקוליים" — הכרעות שיקול הדעת של הממשל. אך כאשר ממשלה מספקת ייעוץ ספציפי ובר-ביצוע לאזרח, בתי המשפט מתייחסים לכך כאל תפקיד קנייני, בדיוק כמו שיועץ פרטי היה מבצע. תפקידים קנייניים אינם זוכים לחסינות ריבונית. אז כאשר MyCity אמר לבעל עסק שהוא יכול לכייס את הטיפים של עובדיו, העיר, במובן המשפטי, פעלה כיועץ ללא רישיון שנותן עצה רעה ברמת רשלנות מקצועית — ללא החסינות שהייתה לה עבור החלטה ממשלתית ממשית.

והחוק ממהר להפוך זאת למפורש. הצעת חוק S7263 של הסנאט של ניו יורק, שהגיעה למליאת הסנאט ב-26 בפברואר 2026, תאסור על צ'אטבוטים לתת ייעוץ מקצועי מהותי ותיצור זכות תביעה פרטית — כלומר אזרח שנפגע מעצת צ'אטבוט יכול לתבוע פיצויים ממשיים בתוספת שכר טרחת עורך דין. ברחבי המדינה, עוקבי חקיקה ספרו 78 הצעות חוק לבטיחות צ'אטבוטים ב-27 מדינות בדרך אל 2026. עבור כל ממשלה המשרתת תושבים באירופה, ה-EU AI Act מסווג בינה מלאכותית של שירות ציבורי הפונה לאזרח כבסיכון גבוה, עם קנסות שמגיעים ל-€15 מיליון או 3% מהמחזור העולמי כשהחובות נכנסות לתוקף באוגוסט 2026.

כשיועץ אמר לי בשלב מוקדם פשוט לכוונן את GPT ולשלח אותו לפיילוט ממשלתי, זו השיחה שקיימנו. "נכון בדרך כלל" הוא סטנדרט סביר עבור מנוע המלצות סרטים. בדומיין .gov, בסביבה הרגולטורית הזו, מערכת שטועה בביטחון שישית מהזמן אינה מאפיין מוצר לשפר עליו באיטרציה. היא זכות תביעה פרטית שמחכה לתובע.

החלק שכולם מזלזלים בו: הקוד עצמו הוא בלגן

עוד לפני שכל שאלות המודל בכלל משנות, קיימת בעיה שאינה מופיעה בהדגמות ומטביעה בשקט פריסות אמיתיות: החוק אינו נמצא במסד נתונים.

למדתי זאת באופן מוחשי בפעם הראשונה שישבתי עם קוד עירוני אמיתי — קובץ PDF עם תיקוני פרקים ממוספרים ידנית בשוליים, כי הגרסה המוסמכת של תקנון עירוני היא מסמך שפקיד עורך אותו במשך עשרות שנים. קודים עירוניים חיים בעשרות פורמטים בלתי תואמים ברחבי המדינה — קובצי PDF, HTML מיושן, מערכות פרסום קנייניות — ובתוך עיר אחת הם מתוחזקים באופן אסינכרוני על ידי מחלקות שאינן מתאמות ביניהן. עדכוני ייעוד קרקע בלוח זמנים אחד, קוד הבריאות באחר. "מקור האמת היחיד" הוא בדיה.

אי אפשר לבנות בינה מלאכותית ממשלתית מהימנה על גבי קורפוס משפטי שלא שחזרת תחילה למשהו שמכונה יכולה להסיק עליו באופן אמין. "קליטת הקוד" היא רבע של ארכיאולוגיית נתונים עוד לפני שהמודל בכלל רואה טוקן.

זו גם הסיבה שהשוק הקיים אינו מתאים. Microsoft Azure Government, AWS GovCloud, וענן המגזר הציבורי של גוגל מספקים לך תשתית מורשית ומודל למטרות כלליות — אבל Azure הוא מה שהפעיל את MyCity. בעיית ההזיות חיה מעל שכבת הפלטפורמה; הענן אינו נוגע בה. כלי הבינה המלאכותית המשפטיים החזקים, CoCounsel של Thomson Reuters ו-Lexis+ AI, נבנו עבור עורכי דין במחירי משרד עורכי דין, לא עבור תושב ששואל שאלה ב-11 בלילה. האינטגרטורים הגדולים — Deloitte, עם מיליארדים שהתחייבו לבינה מלאכותית יוצרת, ו-Accenture Federal, עם מיליארדים בהזמנות בינה מלאכותית — מיישמים את פלטפורמות הספקים האלה; הם אינם בונים ארכיטקטורות פענוח מוגבל מותאמות אישית. וסטארט-אפים המבטיחים של בינה מלאכותית לקוד עירוני הם בדיוק זה: מבטיחים, לא מוכחים בקנה מידה, ללא רקורד של רכש ממשלתי. יש פער באמצע, והפער הוא היכן שאזרחים נפגעים.

מה שלבסוף עבד: לגרום למערכת להרוויח את הזכות לדבר

המסגור מחדש ששינה הכול היה ההחלטה שמצב ברירת המחדל של המערכת הוא שתיקה, לא תשובה.

במקום לבקש מהמודל להיות מדויק יותר, בנינו אותו כך שהוא פיזית אינו יכול לפלוט טענה משפטית אלא אם כן הטענה קשורה להוראה חוקית ספציפית שאוחזרה. שלב היצירה מוגבל: כאשר המערכת מפיקה משפט על מה שהחוק מתיר, המשפט הזה חייב לשאת ציטוט ניתן למעקב לסעיף הקוד המדויק שממנו הגיע, מאומת מול המקור לאחר היצירה. אם המודל רוצה לומר "אתה רשאי לסרב לשובר" ואין הוראה שתומכת בכך — או גרוע מכך, הוראה שסותרת אותה — הטענה אינה עוברת. המערכת אומרת שהיא אינה יכולה לענות על כך ומנתבת את האדם לבן אנוש.

זו כל הפילוסופיה של מה שבנינו ב-Veriprajna, ואפשר לראות את הארכיטקטורה המלאה ב-veriprajna.com/solutions/government-municipal-ai: כל תגובה מתחקה לחוק ספציפי, או שהמערכת נשארת שקטה. אנחנו מעדיפים שהיא תענה על פחות שאלות ותהיה בלתי מסוגלת להפר את החוק מאשר שתענה על הכול ומדי פעם תחייב את העיר בקנס אפליה של רבע מיליון דולר.

סדר הפעולות משנה. ראשית, לשחזר את הקורפוס העירוני המבולגן למאגר ידע מובנה והיררכי שיודע אילו הוראות גוברות על אילו — בעיה לא טריוויאלית דווקא משום שההוראות האלה מתוקנות בלוחות זמנים מחלקתיים בלתי מתואמים, כך שגרף העדיפויות עצמו ממשיך לנדוד. אז לאחזר מולו. אז — וזה השלב שכולם מדלגים עליו — להגביל את היצירה כך שהפלט יהיה קשור מכנית למה שאוחזר, עם מעבר אימות שדוחה כל טענה שאינה מתקיימת. אז לשמור מסלול ביקורת, כך שכאשר רגולטור או עורך דין של תובע שואל מדוע המערכת אמרה את מה שאמרה, יש רשומה שמצביעה על חוק ולא משיכת כתפיים לגבי משקלי המודל.

תופעת לוואי שימושית: מערכת שיכולה להראות את הציטוט שלה לכל תשובה היא מערכת שאתה באמת יכול להגן עליה. מסלול הביקורת אינו תיאטרון ציות. זה ההבדל בין "הבינה המלאכותית אמרה את זה" לבין "הנה ה-§ שממנו הגיעה התשובה".

"אבל האם זה לא הופך אותה לפחות שימושית?"

אנשים שואלים אותי זאת ללא הרף, וזו השאלה הנכונה. כן — מערכת שאוכפת ציטוט עונה על פחות שאלות מכפי ש-MyCity ענה. היא לפעמים תאמר "אינני יכול לייעץ על כך" במקום שבו בוט פטפטני יותר היה בשמחה ממציא משהו. זה מרגיש כמו הורדה עד שנזכרים שכל אחת מהתשובות הנוספות של MyCity הייתה אחריות משפטית, לא שירות.

הדבר הנוסף שאני שומע נוגע לשעון הרכש, וזהו הסיכון המוערך בחסר ביותר בכל התחום. בינה מלאכותית ממשלתית אינה חיה או מתה על איכות המודל; היא חיה או מתה על מעבר האישור. תהליכי אישור-להפעלה של FedRAMP ו-StateRAMP נמשכים 12 עד 18 חודשים, ורוב הסטארט-אפים של בינה מלאכותית אינם שורדים את קלסר ה-ATO מספיק זמן כדי לפרוס. בנייה עבור ממשלה משמעה תכנון עבור המציאות הזו מהיום הראשון — בקרות הגישה, ערבויות הפרדת הנתונים, תשתית הביקורת — לא הרכבתן לאחר פיילוט. מודל שמבריק בהדגמה ואינו יכול לעבור אישור לעולם אינו משרת ולו אזרח אחד.

ואז יש את השאלה אם זה בכלל שווה את זה בהתחשב בכך שהממשל הפדרלי סימן שהוא עשוי לגבור על טלאי חוקי הבינה המלאכותית המדינתיים. אולי כן. אבל עיר אינה יכולה להמר על הכנסת הטיפים ועל זכויות הדיור של תושביה על מה שצו נשיאותי עתידי יעשה. העצה ש-MyCity נתן הייתה בלתי חוקית לפי חוקים שאין להם שום קשר לרגולציית בינה מלאכותית — דיני עבודה, דיני דיור, דיני הגנת הצרכן שקדמו ל-ChatGPT בעשרות שנים. שום עקיפה חקיקתית אינה מתקנת זאת.

הדבר שאני חוזר אליו שוב ושוב הוא צילום המסך ההוא מ-The Markup: ה"כן" הבטוח של הצ'אטבוט לצד החוק שאומר לא. פקיד אנושי שלא ידע תשובה היה אומר "תן לי לבדוק" או "כדאי שתשאל עורך דין". בנינו מכונות שלעולם אינן אומרות זאת, ואז שמנו אותן באתרים ממשלתיים והעמדנו פנים מופתעים כשהן ייעצו לאנשים אל תוך תביעות.

תפקידה של ממשלה, כאשר תושב שואל מה החוק מתיר, הוא להיות צודקת או להיות כנה לגבי אי-ידיעה. אלה שני הפלטים הקבילים היחידים. מערכת שמייצרת אפשרות שלישית רהוטה וסמכותית — שגויה בביטחון — אין לה מקום לשאת את חותם העיר. התיקון מעולם לא היה מודל שנשמע טוב יותר. זה היה בניית מודל שיודע מתי לשמור על פיו סגור — שזו כל הנחת היסוד של מה שבנינו עבור בינה מלאכותית ממשלתית ועירונית.