ה-AI של חדר החדשות שלי המציא ציטוט שראש העיר מעולם לא אמר. לתפוס אותו לפני הקוראים — זה כל המוצר.
בפעם הראשונה שראיתי את מנוע המענה שלי עצמו שם מילים בפי ראש עיר, חשתי את הקור הספציפי שמגיע עם ההבנה שבנית את הדבר שממנו פחדת.
שאלתי אותו שאלה פשוטה של קורא: מה הבטיח ראש העיר רייס ליזמים לגבי המגרש על גדות הנהר? הארכיון שהוא קרא, ריצה סינתטית בת 13 שנה של עיתון בדיוני שאני קורא לו The Riverbend Ledger, אינו מתעד שום הבטחה כזו. כתבה אחת אף מציינת שהמגרש "לא היה על סדר היום." דבר מזה לא עצר את מודל השפה. הוא החזיר משפט שוטף ובטוח בעצמו עם מירכאות בתוכו: "אנחנו מחויבים לקדם את המגרש על גדות הנהר עבור היזמים." ראש העיר אלנה רייס, אדם שאינו קיים, בדיוק הוכרחה להתחייב למשהו שמעולם לא אמרה, בפרוזה נקייה מספיק לפרסום תחת כותרת עיתון. אני רוצה לראות את זה, להחליט, ולהחזיק את מה שנכשל ב-veriprajna.com/he/demos/conversational-ai-for-publishers.
זה חיבור על ההנחה שבה התחלתי, שרוב האנשים שבונים כיום AI לחדרי חדשות עדיין חולקים, ועל הדרך האיטית שבה בניית ההדגמה הזו פירקה אותה. ההנחה היא שבעיית הבדיה נפתרת על ידי מודל טוב יותר. אני כבר לא מאמין בזה, ולא כי אני מטיל ספק בכך שהמודלים ימשיכו להשתפר.
היה לי כישלון אמיתי מולי לפני שהתחלתי, והוא לא היה סינתטי. בסוף 2025, ה-Washington Post השיק את "Ask The Post AI" ששיגר פודקאסט שנוצר על ידי AI שהמציא ציטוטים, ייחס מקורות באופן שגוי, והכניס פרשנות כעמדת המערכת של העיתון. זה עלה על פני השטח כפי שדברים כאלה עולים, כשדלף ה-Slack של עורך התקנים (Semafor, 11 בדצמבר 2025). הכשל הטכני מתחת למבוכה היה קטן וספציפי: שלב חסר של אימות ציטוט. לא רציתי לבנות מנחה פודקאסט חכם יותר. רציתי לבנות את השלב שהיה חסר.
השבוע שבו ניסיתי לגרום למודל להפסיק לשקר
ביליתי בערך שבוע בניסיון להפוך את מנוע המענה עצמו לאמין, ואני רוצה להיות כן שזה היה השבוע הלא נכון.
ההיגיון הרגיש אטום באותה עת. אם המודל בודה ציטוט, הדקו את המודל. פרומפטים טובים יותר לעיגון, טמפרטורה נמוכה יותר, הוראות נוקשות יותר להשתמש רק בקטעים שאוחזרו, מעבר בדיקה עצמית שבו המודל קורא מחדש את תשובתו עצמו ומדרג אם כל משפט נתמך. בניתי את כל זה. זה עזר בשוליים ונכשל במרכז, כי הכישלון שאכפת לי ממנו לא היה שהמודל היה רשלן. זה היה שהמודל היה בטוח בעצמו ושוטף בטעות בדיוק ברגיסטר ששולחן ההגהה סומך עליו. ציטוט רייס לא נקרא כמו הזיה. הוא נקרא כמו דיווח.
מעבר הבדיקה העצמית היה הרגע שבו הגישה מתה עבורי. ביקשתי מאותו מודל שכתב את הציטוט הבדוי לומר לי אם הציטוט הבדוי אמיתי, וחלק משמעותי מהזמן הוא אמר כן, זה עומד בבדיקה. כמובן שעשה. לא הייתה לו גישה עצמאית לטקסט הארכיון באותו רגע. הייתה לו הביטחון העצמי שלו, שהוא הדבר היחיד שאינכם יכולים להשתמש בו כדי לפקח על עצמו.
ביקשתי ממערכת הסתברותית לאשר את הפלט של מערכת הסתברותית, וקראתי לתוצאה אימות. זה אינו אימות. אלה שני ניחושים שמסכימים.
והסיכונים אינם אקדמיים, כי מוציא לאור אינו מקבל את פתח המילוט הרגיל של האינטרנט. אין מגן Section 230 עבור תוכן שהמערכת שלכם עצמה מייצרת מהארכיון שלכם עצמכם. ברגע שאתם עונים לשאלת קורא בשמכם, אתם בעלים של התשובה, ציטוט וכל השאר. תובע בגין לשון הרע לא ישאל עד כמה המודל שלכם היה בטוח בעצמו. הוא ישאל אם הציטוט היה אמיתי ואם הארכיון באמת אמר את זה. אלה שתי שאלות, ואני התייחסתי אליהן כאל בעיה אחת שהמודל צריך לפתור.
הסיבה שכל זה חשוב מסחרית היא שמוציאים לאור נדחפים לזה בין אם הם רוצים ובין אם לא. סקירות AI מופיעות כעת ב-48% מחיפושי גוגל (theStacc / Search Engine Land, מרץ 2026). תנועת החיפוש של מוציאים לאור ירדה ב-33% משנה לשנה עד נובמבר 2025, עם ירידה נוספת של כ-43% הצפויה עד 2029 (Reuters Institute Trends 2026). כאשר סקירת AI הופיעה מעל הקישור, ה-Daily Mail ראה ירידה של 89% בשיעור ההקלקה בדסקטופ. התנועה שבאה מכך שקוראים מצאו את הארכיון שלכם הולכת ונעלמת, כך שהלחץ לאפשר לקוראים לשאול את הארכיון שלכם ישירות הוא עצום. המלכודת היא שהדבר הכנה הראשון שקורה כשעושים זאת הוא ציטוט רייס.
התשובה שווידג'ט פשוט אינו יכול לכתוב
אני רוצה להיות הוגן כלפי השאיפה קודם, כי הסיבה שחדר חדשות רוצה את זה בכלל היא אמיתית ותיבת חיפוש אינה יכולה לעשות זאת.
שאלו את The Standards Desk את הגרסה הקשה, האורכית של שאלת קורא, כיצד השתנתה עמדת ראש העיר רייס לגבי תקנת הצפיפות במרכז העיר מ-2014 עד 2025?, ומתכנן טמפורלי תחילה מפרק את העשור לחלונות (2014-2017, 2018-2021, 2022-2025), מאחזר בכל אחד, ומרכיב נרטיב כרונולוגי. הוא הולך מ-2014, "לא אמיר את אופיו של Riverbend במגדלים," עד 2025, "הייתי עושה את זה שוב," עם סמן [S#] מוטמע על כל משפט שמרחף אל קטע הארכיון האמיתי מאחוריו. זו התשובה שווידג'ט vector-RAG רגיל אינו יכול לייצר, כי זו אינה אחזור אחד. זו סינתזה מתוכננת על פני זמן, מעוגנת משפט אחר משפט.
הבאנר הירוק הזה הוא החלק המפתה, ושם כמעט איבדתי את העלילה פעם שנייה. כשהצינור עובד, הוא עובד יפהפייה, והדגמה יפה גורמת לכם לרצות לסמוך על המנוע שייצר אותה. אבל הבאנר הירוק אינו המוצר. הדבר שמחליט אם באנר מורשה להיות ירוק הוא המוצר. התשובה האורכית עוברת כי כל טענה עוגנה וכל ציטוט נבדק מילה במילה. תשובת גדות הנהר, שנכתבה על ידי אותו מנוע דקות קודם, לא עברה. ההבדל ביניהן אינו איכות המודל. זה שער.
הציטוט שראש העיר רייס מעולם לא נתן
אני ממשיך לחזור לתשובת גדות הנהר כי היא זו שלימדה אותי מה בעצם בניתי.
הנה מה שהשער עושה איתה, ואף אחד מזה אינו המודל שמדרג את עצמו. התשובה מפורקת לטענות אטומיות. כל טענה מעוגנת מול קטע ספציפי שאוחזר. כל מחרוזת מצוטטת נבדקת, תו אחר תו, מול טקסט המקור שהיא מצטטת. בתשובת גדות הנהר הכיסוי חזר ב-50%, אחת משתי טענות נתמכה, והקטע המצוטט, השורה על המחויבות לקדם את המגרש, לא נמצא מילה במילה באף מקור שצוטט. שער מדיניות דטרמיניסטי קרא את העובדות הללו וניתב את כל התשובה אל מוחזק לבדיקת שולחן התקנים. היא מעולם לא הוצגה לקורא.
שפת הבאנר חשובה לי יותר ממה שכנראה צריך. היא לא אומרת "ביטחון נמוך" או "נא לבדוק." היא אומרת מוחזק, ולא מוצג לקוראים, והיא מתכוונת לזה, כי ווידג'ט הקורא פשוט לעולם אינו מקבל את הטיוטה המוחזקת. זה כל ההבדל בין בדיית רייס לבין זו של Ask The Post AI. המנוע של ה-Post ייצר ציטוט שקרי וקורא שמע אותו. שלי ייצר ציטוט שקרי באותה מידה וקורא לעולם לא ישמע אותו, כי הבדיה והפרסום הם שני אירועים נפרדים ושמתי קיר ביניהם.
מנוע המענה בדה בדיוק כמו שווידג'ט בלתי מוגן היה עושה. הדבר היחיד ששינה את התוצאה היה בדיקה שאינה סומכת על מנוע המענה.
הפסקתי לנסות לעצור את המודל מבדיה בערך אז. הוא יכול, הוא עשה, הוא יעשה. הערך מעולם לא היה מודל שלעולם אינו משקר. זה היה לתפוס את השקר לפני שקורא רואה אותו. זו טענה קטנה יותר וכנה יותר מ"ה-AI שלנו לא מייצר הזיות," והיא היחידה שאני מוכן לעמוד מאחוריה, כי צפיתי במודל נכשל וצפיתי בשער מחזיק באותו מפגש.
מדוע בטיחות-פרסום אינה יכולה לחיות בתוך המודל
קיבלתי החלטה ארכיטקטונית אחת מוקדם והיא זו שהייתי מגן עליה הכי חזק: החלק שמחליט מה בטוח לפרסם חי מחוץ למודלי השפה לחלוטין.
יש שלושה סוכנים בצינור, והם באמת שימושיים. מתכנן טמפורלי, מנוע מענה, בקר מקוריות, הניתנים להחלפת ספק וברירת המחדל היא claude-opus-4-8. הם מייעצים. אבל כלל הציטוט מילה במילה, התאמת מחרוזת מדויקת של כל קטע מצוטט מול המקור שצוטט, ושער המדיניות שקורא כיסוי ומנתב את התשובה, הם Python רגיל. אין פרומפט, אין טמפרטורה, אין דיווח עצמי של מודל. אני אומר לעצמי את זה כל הזמן בזמן הבנייה: סוכנים מייעצים, קוד מחליט. אם הסיבה שאתם זקוקים לבדיקה היא שפלט המודל אינו ניתן לאמון כערכו הנקוב, הבדיקה אינה יכולה להיות עוד דבר שהמודל אומר על עצמו.
זו הסיבה שכלל מילה במילה הוא דטרמיניסטי בכוונה. "האם מחרוזת הציטוט המדויקת הזו הופיעה בקטע שהיא מצטטת" אינו שיקול דעת. זה חשבון מול טקסט המקור, והוא מחזיר את אותו פסק דין בכל פעם שמריצים אותו. אותה שחזוריות היא מה שהופך את קבלת הביקורת לשווה משהו. לחיצה אחת מייצאת קבלת JSON לכל תשובה: השאילתה, תת-השאלות המפורקות, המקורות שאוחזרו עם תאריכים ומזהים, התשובה שפורסמה, פסק דין לכל טענה עם קטע הראיות, תוצאת מילה במילה לכל ציטוט, החלטת השער וסיבתה, המנוע והמודל, וחותמת זמן UTC. אפשר להריץ מחדש ולקבל את אותה קבלה זהה. שופט מבוסס-מודל, טוב ככל שיהיה, אינו יכול להבטיח לכם את זה, וחייתי דרך הגרסה שבה אותה קלט נתנה לי שלוש תשובות שונות.
אני רוצה להיות מדויק לגבי מה אמיתי כאן ומה מבוים, כי הכנות היא המותג. הכל רץ במצב לא מקוון דרך stub דטרמיניסטי או גשר Claude מקומי ללא מפתח, כך שההדגמה ניתנת לשחזור. כמה חלקים קשים נדחים במכוון ולא אעמיד פנים אחרת: פתרון ישויות לייצור הוא fixture שנפתר מראש, גרף הידע הטמפורלי מודגם דרך תגי תאריך וישות בתוספת המתכנן ולא דרך Neo4j חי, סנכרון ה-CMS הוא fixture של Arc XP, ומתג החירום מגבה דגל מקומי. מה שאמיתי הוא המנגנון: העיגון, בדיקת מילה במילה, השער הדטרמיניסטי, והקבלה.
מה מותר ל"10 מתוך 10" לומר
אני מחזיק את עצמי לכלל לגבי מספרים, כי קראתי לחברה Veriprajna, חוכמה אמיתית, ושם כזה הוא אתגר מתמשך להגזים בטענות.
אז הנה בדיוק מה שהבנצ'מרק אומר ובדיוק מה שהוא לא אומר. על סט הערכה מתויג של 10 שאילתות, כל שאילתה נוחתת בדלי השער הצפוי שלה, 10 מתוך 10. שש מתוך העשר פורסמו ללא מגע אנושי: שלוש אושרו אוטומטית באופן נקי, שלוש פורסמו אחרי שמשפט לא נתמך נגזם והשאר אושר. שתיים נותבו לבדיקת שולחן התקנים, שני מקרי מלכודת-הציטוט, שסתום הבטיחות עובד בגלוי. שתיים היו הימנעויות כנות של "מחוץ לכיסוי," שבהן האחזור לא פינה דבר מעל רצפת הציון והמערכת סירבה לנחש במקום לבדות מספר. שלוש עשרה בדיקות יחידה עוברות. הקורפוס הוא 200 כתבות סינתטיות מ-2014 עד 2025.
אלה מספרי ההדגמה הבנויה על עשרה מקרים קשים באמת שנשתלו על פני ארבעה דליים. הם אינם ערבות דיוק לעולם פתוח, ולא אנפח אותם לאחת כזו. הפיצול 60/20/20 הוא תוצאת סט ההערכה הזה, לא הבטחה לגבי הארכיון שלכם. הטענה האחת שאקבע בפשטות היא הדטרמיניסטית, כי זו אינווריאנטה שנבדקת ביחידה ולא תקווה: אף תשובה עם ציטוט שאינו ניתן לאימות או טענה לא נתמכת אינה מאושרת אוטומטית לעולם. מול בסיס vector-RAG רגיל בלתי מוגן, סוג ווידג'ט הצ'אט SaaS שמוציא לאור באמת היה קונה, היו חמש תשובות שהוא היה מפרסם עם קטע בדוי או טענה לא נתמכת ששער זה החזיק. חמש הוא מספר קטן. חמישה ציטוטים שגויים תחת הכותרת שלכם אינם.
תשובה בטוחה בעצמה היא זולה. תשובה ניתנת להוכחה, עם קבלה שאפשר להריץ מחדש ולהגיש לעורך דין, היא כל הדבר שעבורו אתם בעצם משלמים.
האם החזקה היא רק המכונה מתחמקת מההחלטה הקשה?
אני מקבל איזושהי גרסה של השאלה הזו כמעט בכל שיחה, והתשובה שלי נעשתה קצרה יותר וודאית יותר.
לא. החזקת התשובה היא ההחלטה הקשה, שנעשתה בכנות, ושילוח ניחוש בטוח בעצמו הוא ההתחמקות. החלופה המפתה היא ווידג'ט שתמיד מחזיר תשובה חדה וניתנת לפרסום לכל קורא, כי זה מדגים יפהפייה ולעולם אינו מקשה על יומו של עורך תקנים. זו גם הארכיטקטורה של Ask The Post AI, והיא נכשלת בדיוק בדרך שבה זו נכשלה. מערכת שאינה יכולה לומר "איני יכול לאמת את זה, החזק" היא מערכת שמייצרת ודאות שאין לה. וחדר חדשות, מכל המוסדות, יודע שהנכונות לא להריץ משהו היא כל העבודה של שולחן תקנים.
זו הסיבה שאני חושב שהעבודה הזו תשרוד את דור המודלים הנוכחי. תנו הכל למה שהאופטימיסטים מבטיחים: מודל גדול יותר, אימון נקי יותר, שיעור בדיה נמוך יותר. מודל מושלם שלעולם אינו ממציא ציטוט עדיין ייחס בשמחה ציטוט אמיתי לאדם הלא נכון או לשנה הלא נכונה, כי מתוך הטיוטה המשפט הזה נקרא כאמיתי וכדיוק מה שנשאל. "בטוח לפרסם תחת הכותרת שלכם" אינו יכולת שמחכים שהמודל יגדל אליה. זו תכונת ממשל של המערכת שאתם בונים סביבו, ואין מגן Section 230 שמחזיר לכם את היום שבו פרסמתם את ציטוט רייס. המסקנה הנלווית הלא נוחה שאני ממשיך לנחות עליה היא שה-AI היקר ביותר שחדר חדשות יכול להריץ הוא החלק שמוכן לומר איני יכול לאמת את זה, החזק לבדיקת שולחן התקנים. אם אתם רוצים לצפות בו מחליט, מחזיק את הבדיה, ומייצא את הקבלה, זה כאן: veriprajna.com/he/demos/conversational-ai-for-publishers.
ואם אתם מעדיפים לצפות בו מאשר לקרוא אותי מתאר אותו, הנה הכל רץ מקצה לקצה.
אז השאלה שהייתי משאיר למוציא לאור היא זו שארגנה מחדש את כל הבנייה שלי. כשהארכיון שלכם עונה לקורא בשמכם, והתשובה שוטפת ונקייה ומצטטת מישהו, האם יש לכם שכבה שמוכנה להוכיח שהציטוט היה אמיתי לפני שהקורא בכלל רואה אותו? כי המודל תמיד יישמע בטוח בעצמו. הקבלה היא הדבר היחיד שהוא.
