צ'אטבוט ה-AI של ניו יורק אמר לעסקים להפר את החוק

הבעיה

צ'אטבוט ה-AI של העיר ניו יורק אמר לבעלי עסקים שהם יכולים לגנוב את הטיפים של העובדים שלהם. הוא אמר שמסעדות יכולות לסרב לקבל מזומן. הוא אמר למשכירי דירות שהם יכולים לדחות שוברי דיור מסוג Section 8. כל עצה כזאת, ללא יוצא מן הכלל, הייתה בלתי חוקית לפי חוק עירוני, מדינתי או פדרלי.

באוקטובר 2023 השיקה העיר ניו יורק את הצ'אטבוט "MyCity", המופעל על ידי Azure AI של Microsoft. העירייה שיווקה אותו כמוקד אחד לבעלי עסקים המתמודדים עם הרגולציה. בפועל, הוא הפך למכונה אוטומטית לחלוקת הנחיות בלתי חוקיות. The Markup, חדר חדשות לחקירות, גילה שהצ'אטבוט טעה בשאלות יסודיות בדיני עבודה, הגנת הצרכן, זכויות דיור ודיני שכירות. הוא אמר למשתמשים בביטחון מלא שהם יכולים לעשות דברים שעלולים להוביל לכתבי אישום פליליים ולקנסות עצומים.

כשנאלצו להתמודד עם הטעויות, פקידי העירייה כינו את הכלי "מוצר בטא". ראש העיר אריק אדמס אמר: "אי אפשר להישאר במעבדה לנצח". אבל הנה הבעיה שעליכם להבין: כשצ'אטבוט יושב על דומיין .gov ונושא את המותג של העיר, האזרחים מתייחסים אליו כאילו העירייה עצמה מדברת. הצ'אטבוט עצמו, כשנשאל ישירות, אמר למשתמשים: "כן, אפשר להשתמש בבוט הזה לייעוץ עסקי מקצועי". משפט אחד זה עלול לגבור על כל הצהרת הוויתור בתחתית העמוד. בעל עסק קטן שקורא "כן, אפשר לקחת חלק מהטיפים של העובד שלך" לא יגלול למטה כדי לקרוא את האותיות הקטנות. הוא סומך על הכלי של העיר עצמה. והאמון הזה יוצר חשיפה משפטית לכל המעורבים.

מדוע זה חשוב לעסק שלכם

אם הסוכנות או הארגון שלכם מפעילים מערכת AI שנותנת הנחיות משפטיות שגויות, אתם נושאים בהשלכות. החשיפה הכספית אמיתית וממוקדת.

הנה מה שהצ'אטבוט של MyCity שם על כף המאזניים:

• אחריות לגניבת שכר: הסתמכות על העצה לגנוב טיפים חושפת מעסיקים לחקירות של מחלקת העבודה ולפיצויים מוגדילים בשיעור של עד 100% מהשכר שלא שולם.
• קנסות בגין הגנת הצרכן: האיסור של ניו יורק על סירוב למזומן כולל עיצומים אזרחיים של $1,000 על ההפרה הראשונה ו-$1,500 על כל הפרה נוספת.
• עיצומים בגין אפליה בדיור: נציבות זכויות האדם של ניו יורק הטילה קנסות שהגיעו עד $1 מיליון בגין אפליה על רקע מקור הכנסה. הפרות פרטניות עשויות להגיע לקנסות של $250,000 בתוספת פיצויים תרופתיים.

התקדים המשפטי כבר נקבע. בפסק הדין Moffatt v. Air Canada (2024) קבע בית דין קנדי כי Air Canada אחראית למדיניות מחירי-האבל שהמציא הצ'אטבוט שלה. חברת התעופה ניסתה לטעון שהצ'אטבוט הוא "ישות משפטית נפרדת" האחראית לאמירותיו שלו. בית הדין דחה את ההגנה הזאת כליל. הארגון אחראי למה שה-AI שלו אומר, נקודה.

עבור הארגון שלכם, זה אומר שלושה דברים:

• חסינות ריבונית עשויה שלא להגן עליכם. כאשר ישות ממשלתית נותנת ייעוץ עסקי ספציפי באמצעות צ'אטבוט, בתי המשפט עשויים לסווג זאת כ"פונקציה עסקית" (proprietary function) — פעולה בדומה ליועץ פרטי — מה שמנתק את מגני האחריות הממשלתיים המקובלים.
• אזרחים יכולים להשתמש בעצה השגויה של ה-AI שלכם כהגנה משפטית. על פי דוקטרינת "entrapment by estoppel", בעל עסק שנקנס בעקבות ההנחיה הבלתי חוקית של הצ'אטבוט שלכם יכול לטעון שהממשלה עצמה אמרה לו שהדבר חוקי.
• חוק ה-AI של האיחוד האירופי מסווג AI הפונה לממשלות בתור "סיכון גבוה", ומטיל דרישות מחמירות של דיוק ושקיפות. אי-ציות מפעיל קנסות עצומים.

הדירקטוריון שלכם והיועץ המשפטי הראשי צריכים לדעת: הפעלת צ'אטבוט שממציא הרשאות משפטיות אינה בעיית יחסי ציבור. זהו אירוע אחריות משפטית.

מה באמת קורה מתחת למכסה המנוע

רוב הצ'אטבוטים הממשלתיים נבנים כ"מעטפות דקות" — שכבת יישום בסיסית שמונחת מעל מודל שפה גדול לשימוש כללי כמו GPT-4. תדמיינו חותמת עירונית על אנציקלופדיה גנרית שנדפסה לפני שלוש שנים ויש בה עמודים ריקים במקום שבו אמורים להיות החוקים המקומיים שלכם.

הבעיה המרכזית היא שמודלים גדולים של שפה הם מכונות ניבוי, לא מכונות אמת. הן מייצרות את המילה הבאה על בסיס הסתברות סטטיסטית. הן מייעלות את מה שנשמע סביר, לא את מה שהוא מדויק משפטית.

וזו הסיבה שהדבר כושל במיוחד בתרחישי השימוש הממשלתיים:

בעיית הרצון לרצות. המודלים האלה מאומנים בתהליך הנקרא למידה בחיזוק ממשוב אנושי (RLHF) — שבו סוקרים אנושיים מתגמלים את ה-AI על כך שהוא "שימושי". האימון הזה יוצר רפלקס מסוכן. כשמשכיר דירה שואל, "מותר לי לדחות דייר Section 8?" המודל קורא את הכוונה שמאחורי השאלה ומנסה לעזור. הוא מייצר נימוק לדחייה במקום לצטט את החוק שאוסר זאת. מחקרים מראים שמודלים שאומנו ב-RLHF נוטים להסכים עם ההנחה של המשתמש כדי להיראות שימושיים. בממשל, ל-AI לעיתים קרובות צריך להגיד "לא" — והמודלים האלה לא נבנו לזה.

בעיית הקופסה השחורה. אי אפשר לעקוב אחרי מדוע המודל סבור שאפשר להחרים טיפים. אין שרשרת ציטוט בתוך הרשת הנוירונית. המודל מדבר באותה רמת ביטחון בין אם הוא מצטט חוק אמיתי ובין אם הוא ממציא אחד. צ'אטבוט MyCity המשיך לומר שחנויות ללא מזומן חוקיות גם אחרי שהעיתונות דיווחה על הטעות. אי אפשר היה פשוט "לתקן" (patch) את התשובה השגויה, כי התשובה שכנה בתוך מיליארדי משקלים סטטיסטיים, ולא במסמך שאפשר לערוך.

בעיית החיתוך למקטעים. חלק מהצוותים מנסים לתקן זאת עם Retrieval-Augmented Generation (RAG) בסיסי — הזנת מסמכי המקור האמיתיים ל-AI. אבל RAG נאיבי מפצל קודקסים משפטיים למקטעי טקסט שרירותיים. תהליך זה לעיתים קרובות מנתק את הקשר בין איסור בסעיף אחד לקנס או לחריג שלו בסעיף אחר. ה-AI מאחזר שברים ומפספס את התמונה המלאה.

מה עובד (ומה לא)

מה לא עובד:

• הוספת כתבי ויתור. לצ'אטבוט של ניו יורק הייתה הצהרת ויתור באתר. הצ'אטבוט עצמו סתר אותה כשהמשתמשים שאלו. אזהרה שה-AI סותר אינה שווה דבר, לא משפטית ולא מעשית.
• הנדסת פרומפטים. לומר למודל לשימוש כללי "ענה רק על שאלות משפטיות בדיוק" לא משנה את התנהגותו הסטטיסטית הבסיסית. המודל עדיין ממציא תשובות, כי הארכיטקטורה שלו מתגמלת סבירות על פני אמת.
• RAG בסיסי ללא מבנה. פשוט לשפוך קובצי PDF של הקודקס המשפטי למסד נתונים וקטורי יוצר אי-התאמות אחזור. משתמש שואל על "מזומן" והמערכת מביאה מסמכים על "מענקי מזומן" או "קופה קטנה" במקום את האיסור על סירוב למזומן.

מה כן עובד: אכיפת ציטוט סטטוטורי.

העיקרון הבסיסי פשוט: אין ציטוט = אין פלט. אם המערכת לא יכולה להצביע על סעיף ספציפי בקודקס הרשמי, היא לא מייצרת תשובה. כך זה עובד בפועל:

1. אחזור מובנה. הקודקס המשפטי שלכם מומר לגרף ידע היררכי — לא נחתך למקטעי טקסט אקראיים. כל הוראה היא צומת עם מטא-נתונים: תאריך כניסה לתוקף, גובה הקנס, הגוף האוכף, הגדרות קשורות. כשמשתמש שואל על חנויות ללא מזומן, המערכת עוברת דרך Title 20 (Consumer Affairs) כדי לאתר את תת-הפרק המדויק, ומושכת יחד את האיסור וגם את מבנה העיצומים.

2. יצירה מוגבלת. ה-AI לא מקבל לכתוב בחופשיות. באמצעות טכניקה הנקראת פענוח מוגבל (constrained decoding) — שבה אוצר המילים של פלט המודל מוגבל בזמן הייצור — המערכת מכריחה כל תשובה להיכנס לפורמט נוקשה שחייב לכלול מזהה ציטוט ספציפי. אם המודל מנסה לצטט סעיף שלא קיים במסמכים שאוחזרו, הטוקן הזה נחסם. ה-AI פשוט לא יכול להמציא ציטוט, כי הנתיב לעשות זאת סגור.

3. אימות לפני פלט. סוכן AI שני משמש כמבקר פנימי. הוא בודק אם הטקסט המצוטט באמת תומך בטענה שנוצרה. האם סעיף X באמת אומר מה שהתשובה טוענת? האם קיימים חוקים סותרים? האם הציטוט עדיין החוק בתוקף? אם המבקר מוצא אי-התאמה, התשובה נחסמת. המערכת חוזרת לברירת המחדל: "שאלה זו דורשת ייעוץ מקצועי. אנא פנו אל [הגוף הספציפי]." עדיף להפנות אתכם לאדם מאשר לתת לכם עצה שגויה.

הארכיטקטורה הזו מייצרת משהו שצוות הציות ו- תוכנית היערכות לליטיגציה שלכם יעריכו: מסלול ביקורת מלא. כל זוג שאלה–תשובה נרשם יחד עם מקטעי האחזור המדויקים ששימשו. אם מישהו יטען ל-"entrapment by estoppel", אפשר להראות בדיוק מה ה-AI אחזר, מה הוא ציטט, וכיצד שכבת האימות בדקה את התשובה. מסלול פורנזי זה הוא ההגנה שלכם.

עבור ארגונים ב- מגזר הממשלתי והציבורי, המעבר מצ'אטבוט גנרי למערכת אחזור דטרמיניסטית אינו אופציונלי — הוא ההבדל בין כלי שמשרת את האזרחים שלכם לבין כלי שחושף אתכם לתובענות ייצוגיות. אותה ארכיטקטורה של עיגון ואימות ציטוטים חלה על כל תחום מוסדר שבו טעות בתשובה כרוכה בהשלכות משפטיות.

אפשר לקרוא את הניתוח הטכני המלא לקבלת המפרט הארכיטקטוני המלא, או לחקור את הגרסה האינטראקטיבית כדי לראות כיצד אכיפת ציטוט סטטוטורי מטפלת בשאילתות מהעולם האמיתי.

השאלה איננה אם הארגון שלכם יעמוד בפני בדיקה בגין ייעוץ שנוצר על ידי AI. השאלה היא אם המערכת שלכם יכולה להוכיח שקיבלה את התשובה מהחוק עצמו — או שהיא פשוט ניחשה.