צ'אטבוט ה-AI שלכם בדיוק הפך לעובד מחייב משפטית. רוב החברות לא שמו לב.
כמה חודשים לאחר פסיקת Moffatt v. Air Canada ניתנה, הייתי בשיחה עם לקוח פוטנציאלי — חברת פינטק בינונית, אולי 200 עובדים, שצומחת במהירות. הם בנו צ'אטבוט הפונה ללקוחות באמצעות עטיפת GPT פופולרית. ממשק נקי. טון ידידותי. הלקוחות אהבו אותו.
שאלתי שאלה אחת: "מה קורה כשהבוט שלכם מצטט את שיעור הריבית הלא נכון?"
שקט מוחלט. ואז ה-CTO שלהם אמר: "זה לא יקרה. יש לנו פרומפטים טובים."
פתחתי את פסק הדין על המסך שלי והקראתי להם את השורה שבה בית הדין קבע ש-Air Canada "אינה יכולה להפריד את עצמה מצ'אטבוט ה-AI." שהחברה אחראית לכל מילה שהבוט הפיק, בדיוק כאילו עובד אנושי אמר אותה. שההגנה של חברת התעופה — הטענה שהצ'אטבוט הוא למעשה "ישות משפטית נפרדת" האחראית לטעויות שלו — נדחתה במשהו הקרוב לבוז שיפוטי.
הבעת הפנים של ה-CTO השתנתה. כי הנה מה שפסק הדין הזה באמת אומר: אם צ'אטבוט ה-AI שלכם מבטיח ללקוח שיעור של 2% בסביבה של 5%, או ממציא מדיניות החזרים שאינה קיימת, או הוזה תנאי אחריות — ברכותיי, החברה שלכם בדיוק חתמה על חוזה. לא במובן מטפורי. משפטית.
והחלק המפחיד ביותר? כמעט אף אחד מבוני ה-AI הארגוני לא הפנים זאת.
פסק הדין שכתב מחדש את פרופיל הסיכון של כל צ'אטבוט AI
תנו לי לספר לכם מה באמת קרה בפרשת Moffatt, כי הפרטים חשובים יותר ממה שהכותרות רמזו.
סבתו של ג'ייק מופאט נפטרה. הוא נכנס לאתר של Air Canada, מצא את הצ'אטבוט, ושאל על תעריפי אבל. הצ'אטבוט — בביטחון, בשטף, באותו טון מועיל שהמערכות הללו ממוטבות אליו — אמר לו לקנות כרטיס במחיר מלא עכשיו ולהגיש בקשה להנחת אבל בתוך 90 יום לצורך החזר חלקי.
המדיניות הזו לא הייתה קיימת. הכללים האמיתיים של חברת התעופה, קבורים במסמכי התעריפים ובעמודים הסטטיים, אמרו את ההפך: אין החזרים רטרואקטיביים לאחר שטסת. הצ'אטבוט יצר בהזיה מדיניות שנשמעה נכונה כי, סטטיסטית, דפוסי הביטויים סביב "אבל" ו"החזר" ו"90 יום" מופיעים יחד לעיתים קרובות במסמכי מדיניות של חברות תעופה בכל התעשייה.
כאשר מופאט ביקש את ההחזר שלו ו-Air Canada סירבה, הוא הביא אותם לבית הדין. עורכי הדין של Air Canada העלו טענה שאני עדיין מוצא מדהימה: הם טענו שיש להתייחס לצ'אטבוט כאל ישות משפטית נפרדת, האחראית להצהרות שלה עצמה. שהמידע הנכון היה זמין במקום אחר באתר, כך שהחברה מילאה את חובתה.
בית הדין לא רק דחה זאת. חבר בית הדין כריסטופר ריברס אמר במהות: אין הבחנה משמעותית בין נציג אנושי, עמוד אינטרנט סטטי, ובוט אינטראקטיבי. כולם הם החברה המדברת אל הלקוח.
אם ה-AI שלכם אומר זאת, החברה שלכם חתמה על כך. בית הדין קבע שהזיות אינן באגים בתוכנה — הן מצג שווא רשלני.
שלושה תקדימים יצאו מפסק הדין הזה, שאמורים להדיר שינה מעיניו של כל CTO. אחריות מאוחדת: לא משנה אם המידע מגיע מטקסט HTML או מרשת נוירונית — הכול מצג של החברה. חובת זהירות: הפעלת מודל הסתברותי לא מאומת להפצת מדיניות היא רשלנות. וזה שמוציא את הקרביים מרוב הארכיטקטורות הנוכחיות: הגנת "הקופסה השחורה" מתה. המורכבות הפנימית של מערכת ה-AI שלכם מציעה אפס הגנה משפטית.
הפיצויים היו $800. התקדים שווה מיליארדים בחשיפה לאחריות עתידית.
מדוע "פרומפטים טובים" לא יצילו אתכם
אני צריך להיות בוטה לגבי משהו שהרבה חברות ייעוץ AI לא רוצות לשמוע: יצירה מועשרת-אחזור (RAG) אינה פתרון ציות.
כשהתחלתי לראשונה לחפור בפרטי פרשת Moffatt, ציפיתי לגלות שלצ'אטבוט לא הייתה גישה למדיניות הנכונה. זה היה כשל אחזור פשוט — בר-תיקון, מובן. במקום זאת, מצאתי משהו גרוע יותר. הצ'אטבוט למעשה סיפק קישור לעמוד מדיניות האבל הנכון. היה לו המסמך הנכון. הוא פשוט סיכם אותו לא נכון.
זהו מצב הכשל ששובר את הנרטיב של "פשוט תוסיפו RAG". הצ'אטבוט אחזר את ההקשר הנכון ובכל זאת הזה את התשובה.
הנה מדוע. מודלי שפה גדולים הם מנועים הסתברותיים. הם חוזים את הטוקן הבא הסביר על סמך דפוסים סטטיסטיים בנתוני האימון. כאשר LLM אומר "החזרים זמינים בתוך 90 יום", הוא אינו מתשאל מסד נתונים של כללים. הוא משלים דפוס משפט שהוא סטטיסטית סביר על סמך מיליוני מסמכים שקלט במהלך האימון — מסמכים שכללו אינספור מדיניות החזרים שונות מאינספור חברות שונות.
מתן המסמך הנכון למודל עוזר. אך אם הטקסט המאוחזר מורכב, אם השפה המשפטית צפופה, אם יש שלילה עדינה קבורה בפסוקית משועבדת — המודל יכול להתעלם מההקשר המאוחזר לטובת ההטיות שלמד מראש. זה אינו מקרה קצה נדיר. זהו מצב כשל ידוע הנקרא דומיננטיות של זיכרון פרמטרי, והוא מתרחש לעיתים קרובות יותר בדיוק עם סוג שפת המדיניות המורכבת החשובה ביותר לציות.
ראיתי זאת במו עיניי. בדקנו אב-טיפוס עבור לקוח בתחום הבריאות, ולמערכת היו נתוני האינטראקציה בין תרופות הנכונים בחלון ההקשר שלה — פשוטו כמשמעו ממש שם בפרומפט. המודל בכל זאת יצר תגובה שריככה אזהרת "אינטראקציה חמורה" ל"זהירות קלה". כי בנתוני האימון, רוב הטקסט על שתי התרופות הללו יחד הופיע בהקשרים שמזערו את הסיכון. האחזור היה מושלם. היצירה הייתה מסוכנת.
RAG מספק ידע, אך אינו מבטיח היצמדות. אי אפשר לפתור בעיית לוגיקה נוקשה באמצעות מנוע הסתברות בלבד.
המספרים תומכים בזה. הפסדים גלובליים המיוחסים להזיות AI הגיעו ל$67.4 מיליארד ב-2024. אפילו מודלי החזית הטובים ביותר — GPT-4o, Gemini 2.0 — שומרים על שיעורי הזיה בסיסיים שבין 0.7% ל-3% בהתאם למורכבות המשימה. זה נשמע קטן עד שעושים את החשבון: עוזר AI של בנק המטפל במיליון שאילתות בחודש בשיעור הזיה של 0.7% מייצר 7,000 הפרות רגולטוריות פוטנציאליות. בכל חודש.
וארגונים כבר משלמים מס נסתר על חוסר האמינות הזה. Forrester מעריכה שהפחתת ההזיות עולה בערך $14,200 לעובד בשנה בפריון אבוד — בני אדם הבודקים שוב את עבודת ה-AI שלא ניתן לסמוך עליה שתעמוד בפני עצמה. השוק לכלי זיהוי הזיות צמח ב-318% בין 2023 ל-2025. זה אינו סימן לבעיה שנפתרת. זהו סימן לתעשייה שמטליאה בטירוף גישה פגומה מיסודה.
איך נראה צ'אטבוט שאינו יכול לשקר?
היה רגע — אני זוכר אותו בבירור כי הוא קרה במהלך פגישת ארכיטקטורה בשעת לילה מאוחרת עם הצוות שלי — שבו הרעיון המרכזי התבהר. התווכחנו על איך להפוך LLM ל"מדויק יותר" עבור מקרה שימוש של ציות. פרומפטים טובים יותר. אחזור טוב יותר. כוונון עדין על נתוני תחום. ואחד המהנדסים שלי אמר משהו שעצר את השיחה: "למה אנחנו מבקשים מהמודל להיות מדויק? הוא לא תוכנן לדיוק. הוא תוכנן לשטף."
היא צדקה. והמסגור מחדש הזה שינה הכול לגבי איך אנחנו בונים.
התשובה אינה להפוך את המודל ההסתברותי לפחות הסתברותי. התשובה היא לא לתת לו לקבל החלטות כלל כאשר ההימור גבוה.
אנחנו קוראים לזה שכבת פעולה דטרמיניסטית — רכיב תווך שיושב בין המשתמש ל-LLM, ומתפקד כבקר תעבורה. כאשר לקוח שואל על מזג האוויר או רוצה עזרה בניסוח אימייל, ה-LLM עושה את מה שהוא מצטיין בו: יצירת טקסט שוטף, מועיל ויצירתי. אך ברגע שהשיחה נוגעת בהחזרים, תמחור, תנאים משפטיים, אחריות, מדיניות פרטיות — כל דבר שבו תשובה שגויה יוצרת אחריות — המערכת מחליפה מצבים לחלוטין.
במקום לתת ל-LLM לייצר תשובה מהמשקלים שלו, שכבת הפעולה הדטרמיניסטית מפעילה לוגיקה מקודדת קשיח. שאילתת מסד נתונים. עץ החלטה. תבנית תגובה כתובה מראש ומאושרת משפטית. תפקידו של ה-LLM מצטמצם מ"מחבר" ל"מתרגם" — הוא עשוי לנסח מחדש את התוצאה למשפט מנומס, אך אינו יכול להוסיף, להסיר, או לפרש מחדש את המידע.
חשבו על זה כך. אילו לצ'אטבוט של Moffatt הייתה הארכיטקטורה הזו, הנה מה שהיה קורה: הנתב הסמנטי מזהה את הכוונה — bereavement_refund. במקום לתת למודל לאלתר על מה שלדעתו מדיניות החזרי אבל אומרת בדרך כלל, הוא מריץ פונקציה דטרמיניסטית: if ticket_status == 'flown' return NO_REFUND. התגובה חוזרת: "המדיניות שלנו אוסרת בהחלט על החזרים לאחר הנסיעה. אסמכתא: כלל תעריף 45." משעמם. אטום משפטית. בדיוק מה שנדרש.
כתבתי על הארכיטקטורה הזו לעומק בגרסה האינטראקטיבית של המחקר שלנו, אך התובנה המרכזית פשוטה: הפרידו את השיחה מהציות. תנו לרשת הנוירונית לטפל בשונות המבולגנת והיפה של השפה האנושית. תנו לקוד דטרמיניסטי לטפל בחלקים שבהם טעות עולה כסף.
פרוטוקול השתיקה
יש דפוס עיצוב מסוים שאנחנו משתמשים בו שלדעתי לוכד את הפילוסופיה טוב יותר מכל תרשים ארכיטקטורה. אנחנו קוראים לו פרוטוקול השתיקה.
כאשר משתמש שואל על נושא שסיווגנו כ"קריטי לציות", היכולות היצירתיות של ה-AI הגנרטיבי מושתקות למעשה. המערכת עוברת ממצב "מחבר" למצב "קורא". היא מאחזרת את הטקסט המדויק ממסד הנתונים ומגישה אותו מילה במילה, או ממלאת תבנית נוקשה במשתנים ממקור מהימן.
והנה החלק שגורם לחלק ממנהלי המוצר אי-נוחות: אם המשתמש שואל שאלה שנופלת לפער מדיניות — שבו לא קיים כלל דטרמיניסטי — המערכת אינה מאלתרת. היא אומרת: "אינני יכולה לענות על השאלה הזו ישירות. הרשו לי לחבר אתכם עם מומחה אנושי."
לקוח פוטנציאלי התנגד לזה בחריפות. "משתמשים רוצים תשובות מיידיות," הוא אמר. "צ'אטבוט שאומר 'אני לא יודע' מרגיש מקולקל."
שאלתי אותו מה מרגיש יותר מקולקל: צ'אטבוט שאומר "תנו לי להשיג לכם אדם," או צ'אטבוט שממציא מדיניות החזרים, החברה חייבת לכבד אותה, והצוות המשפטי מבלה שישה חודשים בבקרת נזקים?
במונחים משפטיים, יצירתיות בנוגע לתנאי חוזה היא שם נרדף לזיוף. התכונה החשובה ביותר של AI ארגוני אינה מה שהוא יכול לומר — אלא מה שהוא מנוע מלומר.
אנחנו משביתים יצירתיות בנושאי ציות כי בעולם שאחרי Moffatt, AI ש"מתוך רצון לעזור" מאלתר מדיניות הוא AI שמשכתב את החוזים שלכם בזמן אמת ללא הרשאה.
כיצד המערכת יודעת מה מסוכן?
זוהי השאלה שאני מקבל לרוב, והיא הנכונה. הארכיטקטורה עובדת רק אם שכבת הניתוב — בקר התעבורה — יכולה להבחין באופן אמין בין "ספרו לי על ההיסטוריה של החברה שלכם" (בטוח ליצירת LLM) לבין "האם אני יכול לקבל החזר על זה?" (חייב להיות מטופל דטרמיניסטית).
אנחנו משתמשים בניתוב סמנטי, השונה מהותית מהתאמת מילות המפתח השברירית של מערכות צ'אטבוט ישנות יותר. מערכת מילות מפתח המחפשת "החזר" תפספס "אני רוצה את הכסף שלי בחזרה" או "אתם יכולים לזכות אותי." ניתוב סמנטי ממיר את שאילתת המשתמש להטמעת וקטור רב-ממדית ומשווה אותה מול דוגמאות קנוניות מוגדרות מראש לנושאים מוגבלים.
הפרט המרכזי: שכבת הניתוב הזו יושבת מחוץ לחלון ההקשר של ה-LLM. זה חשוב מאוד לאבטחה. התקפות הזרקת פרומפט — שבהן משתמשים מעצבים קלטים שנועדו להערים על המודל להתעלם מהוראותיו — הן איום אמיתי וגובר. אך אם החלטת הניתוב מתרחשת לפני שהשאילתה מגיעה בכלל למודל, ההתקפות הללו הופכות לבלתי רלוונטיות ללוגיקת הציות. אי אפשר לפרוץ מערכת שמעולם לא נותנת למודל את המפתחות מלכתחילה.
ברגע שכוונה רגישה מזוהה, אנחנו משתמשים בקריאת פונקציות — יכולת ב-LLM מודרניים שבה המודל מפיק נתונים מובנים (אובייקט JSON הקורא לפונקציה מסוימת) במקום טקסט חופשי. ה-LLM מחלץ פרמטרים מהשיחה — מזהה כרטיס, תאריך רכישה, תאריך נסיעה — ומעביר אותם לבלוק קוד דטרמיניסטי. Python. SQL. מה שמריץ את לוגיקת העסק בפועל. המודל לעולם אינו מחשב את ההחזר. הוא לעולם אינו מחליט על זכאות. הוא מתרגם שפה טבעית לקריאת API, ומתרגם את תגובת ה-API בחזרה לשפה טבעית. ההחלטה נעשית על ידי קוד, לא על ידי הסתברות.
לפירוט הטכני המלא של ארכיטקטורת הניתוב, דפוסי קריאת הפונקציות, וצינור האימות שלנו, ראו הצלילה הטכנית העמוקה שלנו.
חומות הרגולציה נסגרות
אם תקדים Moffatt לא היה מוטיבציה מספקת, הנוף הרגולטורי עומד להפוך מעקות בטיחות דטרמיניסטיים לבלתי-אופציונליים.
ה-EU AI Act מסווג מערכות AI רבות הפונות ללקוחות — במיוחד בתחבורה, בנקאות, ושירותים חיוניים — כבעלות סיכון גבוה. סעיף 14 מחייב פיקוח אנושי: מערכות חייבות להיות מתוכננות כך שבני אדם יוכלו לפרש פלטים, להתערב, וללחוץ על כפתור העצירה. עטיפת LLM מסוג קופסה שחורה אינה עומדת בזה. שכבת פעולה דטרמיניסטית — שבה קצין הציות כותב את הכללים שהמערכת מריצה — כן.
סעיף 22 של GDPR מעניק ליחידים את הזכות שלא להיות כפופים להחלטות המבוססות אך ורק על עיבוד אוטומטי כאשר להחלטות אלו יש השפעות משפטיות או משמעותיות. סירוב להחזר הוא השפעה משמעותית. דחיית בקשת הלוואה היא השפעה משמעותית. כאשר לקוח שואל "מדוע נדחיתי?", רשת נוירונית אינה יכולה להסביר את הנמקתה כי אין לה הנמקה — יש לה משקלים סטטיסטיים. עץ לוגיקה דטרמיניסטי יכול להצביע על הצומת המדויק: "ציון אשראי מתחת לסף" או "סטטוס כרטיס: טס."
ו-ISO 42001 — התקן הגלובלי הראשון לממשל AI — מחייב ארגונים למפות היכן נעשה שימוש בלוגיקה הסתברותית לעומת דטרמיניסטית, למדוד שיעורי הזיה, ולשמור על נתיבי ביקורת מלאים. תכננו את הארכיטקטורה שלנו במיוחד כך שתהיה מוכנה לביקורת עבור תקן זה. כל אינטראקציה, כל החלטת ניתוב, כל הרצת מדיניות מתועדת עם נתיב לוגי בר-מעקב.
זה אינו ציות תיאורטי. ישבתי בחדרים עם צוותים משפטיים ארגוניים ששוקלים מחדש באופן פעיל את פריסות ה-AI שלהם בגלל המסגרות הללו. החברות שבונות את מעקות הבטיחות עכשיו יפרסו AI מהר יותר ורחב יותר מאלו שנאבקות להתאים ציות בדיעבד.
"אבל האם זה לא יקר?"
אנשים תמיד שואלים אותי את זה, ואני מבין את האינסטינקט. בניית ניתוב סמנטי, שכבות לוגיקה דטרמיניסטיות, גרפי ידע, צינורות אימות — זה ללא ספק מורכב יותר מעטיפת קריאת API בממשק נחמד.
אך תנו לי למסגר מחדש את השאלה. מהי העלות של אי-בנייתו?
הפיצויים של Air Canada היו $800. אך שכר הטרחה המשפטי הגמד את זה. הנזק התדמיתי — "חברת תעופה טוענת שהצ'אטבוט שלה עצמה הוא ישות משפטית נפרדת" הפך לבדיחה גלובלית — אינו ניתן לכימות. וזו הייתה אינטראקציה בודדת על תעריף אבל בודד.
עכשיו דמיינו צ'אטבוט של שירותים פיננסיים שהוזה אישור הלוואה. בוט בריאות שמרכך אזהרת אינטראקציה בין תרופות. בוט ביטוח שממציא תנאי כיסוי. אנחנו כבר לא מדברים על $800. אנחנו מדברים על טריטוריה של תביעה ייצוגית.
ה-$14,200 לעובד בשנה שארגונים מוציאים כיום על הפחתת הזיות — בני אדם המאמתים ידנית פלטי AI כי אף אחד לא סומך עליהם — זו העלות האמיתית של AI "זול". העטיפה זולה לבנייה ויקרה לתפעול. הארכיטקטורה הדטרמיניסטית יקרה לבנייה וזולה לבטוח בה.
זה עוסק במה שבא אחר כך
אני רוצה לסיים במשהו שחורג מעבר לשיחת הצ'אטבוטים הנוכחית, כי אני חושב שפסק הדין של Moffatt הוא הצצה מקדימה לשינוי גדול בהרבה.
אנחנו עוברים מעידן של צ'אטבוטי AI לעידן של סוכני AI — מערכות שלא רק עונות על שאלות אלא נוקטות פעולות. הזמנת טיסות. העברת כסף. אישור תביעות. חתימה על הסכמים. הפיקציה המשפטית ש"המשתמש צריך לאמת את המידע" הייתה כבר חלשה כשהוחלה על צ'אטבוטים. היא בלתי ניתנת להגנה לחלוטין כשהיא מוחלת על סוכנים המבצעים עסקאות באופן אוטונומי.
כל חברה שפורסת AI הנוגע בכסף, חוזים, או החלטות מפוקחות מקבלת בחירה ממש עכשיו, בין אם היא מודעת לכך ובין אם לא. או שהן בונות מערכות שבהן היצירתיות של ה-AI מוגבלת על ידי לוגיקה דטרמיניסטית — שבהן המכונה יכולה להיות שוטפת ומועילה בתוך מעקות בטיחות הנאכפים בקפדנות — או שהן פורסות סוכנים רהוטים, בלתי מפוקחים, בעלי הסמכות המשפטית לשכתב מדיניות תאגידית הזיה אחת בכל פעם.
אני יודע באיזה צד של הקו הזה אני רוצה להיות. אני יודע איזה צד החוק עומד לדרוש.
הצ'אטבוט שלכם הוא עובד מחייב משפטית. הוא זקוק לאותה הכשרה, לאותו פיקוח, ולאותם גבולות נוקשים כמו עובד אנושי המטפל בכספי התאגיד. לא הייתם נותנים לעובד חדש להמציא מדיניות החזרים על סמך תחושות בטן. אל תיתנו גם ל-AI שלכם לעשות זאת.
הגנת הקופסה השחורה מתה. עידן העטיפות מסתיים. והחברות שיבינו ראשונות שכבות פעולה דטרמיניסטיות לא רק יימנעו מאחריות — הן יהיו אלו שבאמת יגדילו את ה-AI לחלקים בעסק שלהן שבהם זה חשוב ביותר, כי הן יהיו אלו שהמערכות שלהן ניתנות לאמון.
השאלה אינה האם ה-AI שלכם חכם מספיק. אלא האם הוא יודע מתי לשתוק.