קיר של עשורים של שערי עיתונים המזינים חלונית צ'אט המשיבה בקישורים מצוטטים.
Artificial IntelligenceMediaTechnology

ארכיון החדשות שלכם הוא הנכס. הפסיקו לתת לגוגל לשכור אותו בחינם.

Ashutosh SinghalAshutosh Singhal9 במאי 202614 min

עיתון יומי אזורי שישבתי איתו בחורף שעבר היה בעל ארבעה מיליון קוראים חודשיים וארכיון בן שלושים ושתיים שנים, וחבילת המצגות של הדירקטוריון לפברואר הייתה המסמך הגרוע ביותר שמישהו בחדר קרא בעשור. ההפניות מחיפוש אורגני ירדו ב-41% משנה לשנה. תעריפי הפרסום הפרוגרמטי ירדו ב-18% נוספים. הכנסות השותפים ששמרו בשקט על האורות דולקים ב-2023 קרסו לשליש משיאן. סמנכ״לית הכספים העלתה את השקופית, הביטה בי, ושאלה את השאלה היחידה שחשובה: מה בדיוק גוגל חייבת לנו, ואיך אנחנו גורמים לה לשלם?

הייתי צריך לומר לה את האמת: גוגל אינה חייבת להם דבר מבחינה חוזית. העסקה הבלתי כתובה שבנתה את הרשת — אתם מרשים לנו לסרוק אתכם, אנחנו שולחים לכם תנועה — נכתבה מחדש ברגע שסקירות ה-AI החלו להופיע ב-48% מכלל החיפושים בגוגל נכון למרץ 2026 (theStacc / Search Engine Land). כאשר סיכום AI יושב מעל הקישור האורגני, הקורא בקושי גולל; שיעור ההקלקה בדסקטופ של ה-Daily Mail על השאילתות הללו צנח ב-89%, מ-25.23% ל-2.79%. התוכן עדיין נקרא. פשוט כבר לא משלמים למוציא לאור עבורו. הדרך חזרה, אני משוכנע, היא AI שיחתי הבנוי על הארכיון של המוציא לאור עצמו.

אותה שיחה היא הסיבה שהצוות שלי ב-Veriprajna בונה כעת AI שיחתי למוציאים לאור — מנועי יצירה מועשרת-אחזור (RAG) הרצים על גבי ארכיון החדשות של המוציא לאור עצמו, עם אכיפת הציטוט ואסטרטגיית הרישוי שהופכות אותם לבטוחים להצבה תחת כותרת עיתון. יצירה מועשרת-אחזור, או RAG, פשוט אומרת שה-AI עונה רק מתוך המסמכים שלכם ולא מתוך כל מה שספג מהאינטרנט הפתוח. ההבחנה הזו מתבררת בסופו של דבר כמשחק כולו. אבל אני רוצה לעבור על איך הגענו לשם, כי טעינו קשות בגרסה הראשונה, והדרך שבה טעינו היא בדיוק הדרך שבה רוב המוציאים לאור עומדים לטעות.

כלכלת ההפניות הסתיימה. כלכלת הרישוי עדיין לא נבנתה.

נתחיל בכמה חמור הדימום, כי היקף הבעיה הוא הטיעון. תנועת החיפוש מגוגל אל מוציאים לאור ירדה בערך 33% ברחבי העולם בשנה שהסתיימה בנובמבר 2025, ומנהלי החדשות שמכון רויטרס סקר צופים עוד ירידה של 43% במהלך שלוש השנים הקרובות — חמישית מהם נערכים להפסדים של מעל 75% (Reuters Institute Journalism Trends 2026). המקרים הפרטניים חמורים יותר, ואחד מהם הפך לתביעה: Penske Media, שהכנסות השותפים שלה ירדו ביותר משליש משיאן, תבעה את גוגל בספטמבר 2025 — התיק המשמעותי הראשון בתחום ההגבלים העסקיים הטוען כי החברה מכריחה מוציאים לאור לאמן AI.

מנוע החיפוש שבנה את ההפצה שלכם הוא כעת המתחרה הגדול ביותר שלכם, והוא לא ביקש רשות להחליף צד.

לכן האינסטינקט בכל חדר דירקטוריון זהה: אם גוגל לא תשלח לנו קוראים, נבנה AI משלנו ונשמור אותם באתר שלנו. אינסטינקט נכון. הביצוע הוא המקום שבו אנשים נפגעים.

בנינו קודם את הדבר המובן מאליו. הוא הזה עובדות על חבר מועצה.

אהיה כן לגבי רקמת הצלקות שלנו, כי הרווחתי אותה. המנוע הראשון שהקמנו היה הגרסה שכל ספק SaaS יתמחר לכם ב-$60K עד $120K ויפרוס תוך שבועות ספורים: קחו את הארכיון, חתכו כל כתבה למקטעים, הפכו את המקטעים לוקטורי הטמעה, ותנו לצ'אטבוט לאחזר את ההתאמות הקרובות ביותר. זה מדגים בצורה יפהפייה. אתם שואלים אותו על כתבה עדכנית, הוא מושך את הכתבה הנכונה, זה נשמע מצוין.

אז, במפגש פיילוט, עורכת שאלה אותו את סוג השאלה שכל קורא היה שואל: מה ההיסטוריה בין חבר מועצת העיר הזה לבין היזם שמאחורי פרויקט מרכז העיר? זו שאלה רב-שלבית — משמעה חיבור של אדם אחד על פני תריסר כתבות המשתרעות על פני שנים, שבהן הוא מופיע לסירוגין כשם המלא עם התואר, אחר כך רק כשם משפחה, ופעם אחת, בכיתוב תמונה ישן, רק כ"נציג הרובע", עוד לפני שכלל החזיק במושב. חיפוש הוקטורים אחזר כמה מקטעים שהיו דומים טקסטואלית, תפר אותם לפסקה שוטפת, וקבע קיומו של קשר שהארכיון בפועל לא תמך בו. הוא המציא את רקמת החיבור.

צפיתי בפניה של העורכת כשתפסה את זה. אותו מבט — עיתונאית שמבינה שהמכונה בדיוק בדתה עובדה תחת שם העיתון שלה — הוא הדבר שאני כעת בונה הכל כדי למנוע. שיגרנו שקרן בטוח בעצמו.

אותו כישלון הוא כל הסיבה שאני כבר לא מאמין שווידג'ט צ'אט הוא מוצר. אין לו מושג שאותם שמות מפוזרים הם אדם אחד. אין לו מודל של זמן — שהאיש היה אזרח פרטי במשך שנים לפני שאי פעם זכה במושב. ואין לו מנגנון לבדוק אם המשפט שהוא בדיוק יצר אכן מעוגן במקור. בשאילתות שלא חשובות, זה בסדר. בשאילתות שלקוראים באמת אכפת מהן, האורכיות, אלה שעל אנשים וכסף לאורך זמן, הוא נשבר בדיוק היכן שהוא הכי צריך להחזיק מעמד.

מדוע RAG לא פשוט תיקן את זה?

מפני ש"RAG" מתאר קטגוריה, לא יכולת, ו-60% הקשים של העבודה הם החלק שאף אחד לא מוכר.

הדבר הראשון שהערכתי בחסר — קשות — היה קליטת הנתונים. נכנסתי בהנחה שארכיון בן שלושים שנה הוא קורפוס נקי הממתין להטמעה. הוא לא היה. הוא היה שני עשורים של HTML מעוות משלוש הגירות CMS, קישורים פנימיים מתים שאינם מובילים לשום מקום, ושכבה שקדמה ל-2005 שהתקיימה רק כמיקרופילם סרוק. כשהרצנו OCR רגיל על אותן סריקות, כותרות, עמודות גוף וכיתובי תמונות חזרו מאוחדים לגוש אחד של שטויות, כי ה-OCR לא יכול היה לראות את פריסת העמוד. היינו צריכים להביא זיהוי תווים אופטי מודע-פריסה — מהסוג שמזהה עמודות ומפריד כותרת מכיתוב מהטקסט הרץ — באמצעות כלים כמו Amazon Textract ו-Azure Document Intelligence. זו העבודה הלא-זוהרת שקובעת אם כל העניין מתפקד, וזה הסעיף שכל ספק צ'אטבוט משמיט מהצעת המחיר.

הדבר השני היה בעיית חבר המועצה, שיש לה שם: פתרון ישויות (entity resolution). כדי שה-AI ינמק על אדם, כל אזכור של אותו אדם — כל וריאציה של שם הכותב, כל תואר כבוד, כל התייחסות עקיפה — חייב להתמזג לצומת יחיד. פתרנו את זה כפי שהמשרדים הרציניים עושים, עם גרף ידע: GraphRAG בקוד פתוח של Microsoft בשכבה מעל Neo4j, כשספריית מדעי נתוני הגרף מבצעת את הפרדת המשמעויות כך ש"Mr. Musk", "Elon Musk" ו"מנכ״ל Tesla" הופכים לישות אחת, לא לשלוש. מימוש אחד בתחום הזה הגיע ל-12 מיליון צמתים. מהקופסה, GraphRAG אינו יודע דבר על הזירה הפוליטית המקומית שלכם או על חמישים המקורות החוזרים שלכם. ללמד אותו את האנשים הספציפיים של הארכיון שלכם היא עבודה מותאמת אישית, וזו העבודה שהופכת "מקטעים דומים טקסטואלית" ל"ההיסטוריה האמיתית של אדם".

חיפוש וקטורים מוצא קטעים שנשמעים דומים. גרף ידע יודע ששני קטעים עוסקים באותו בן אנוש. קוראים שואלים על בני אדם.

השלישי היה זמן. חדשות הן טמפורליות מטבען — אותה משרה מוחזקת על ידי אנשים שונים, אותה הצעת חוק מתוקנת לאורך מושבים, אותה חברה לפני מיזוג ואחריו. אנחנו נותנים לקשתות הגרף חותמות זמן של תחילת-תוקף וסוף-תוקף ומפרקים שאלה כמו "מי עמד בראש הוועדה כשהחוק עבר" לתת-שאילתות טמפורליות, בהתבסס על מחקר ה-RAG-הטמפורלי שצמח בשנה האחרונה (קווי העבודה של T-GRAG ו-VersionRAG). בלעדיו, המנוע משטח את ההיסטוריה להווה מבולבל יחיד, וזו בדיוק הדרך שבה קובעים שאזרח פרטי החזיק במשרה שנים לפני שאי פעם נבחר.

השורה שצריכה להיות בכל מכרז של מוציא לאור: מי אחראי לציטוט הבדוי?

הנה הרגע שגרם לי להקריא בקול דליפת Slack לצוות שלי כסיפור אזהרה.

בנובמבר 2024 ה-Washington Post השיקו את Ask The Post AI. עד סוף 2025 הם הרחיבו אותו לפודקאסט שנוצר על ידי AI, ובדצמבר דלפו ההודעות הפנימיות של עורך התקנים: הדבר המציא ציטוטים, ייחס מקורות באופן שגוי, והכניס פרשנות כאילו הייתה עמדת המערכת של העיתון עצמו. "זה מדהים באמת שזה בכלל הורשה להתקדם", כתב אחד העורכים (Semafor, 11 בדצמבר 2025). הפגם הטכני היה קטן וספציפי — שלב חסר של אימות ציטוט. הנזק התדמיתי היה גלובלי, וזה קרה לאחד מחדרי החדשות המתוקצבים ביותר בעולם.

אני שומר את ההודעה שדלפה קרוב אליי כי זה השיעור הזול ביותר הזמין בכל התחום הזה. ל-Post היו המהנדסים. מה שלא היה להם, באותו תהליך עבודה, היה שכבת אכיפה שמסרבת לפלוט משפט אלא אם כל טענה בו מתחקה אל מקור שאוחזר, בתוספת סף ביטחון שמנתב תשובות רעועות אל תור בדיקה אנושי לפני שהן עולות לאוויר, בתוספת תשובה ברורה לשאלה ברמת הדירקטוריון: כשהמכונה בודה ציטוט, מי אחראי? הממשל הזה אינו תוכנה ארוזה מראש. זה ההבדל בין כלי שאתם יכולים להציב תחת הכותרת שלכם לבין מבוכה גלובלית.

השוו זאת ל-Ask FT, ש-Financial Times בנו על Claude של Anthropic, מעוגן קפדנית בעיתונאות של FT עם ציטוטים חובה המקשרים בחזרה לכתבות המקור. באופן בולט, הוא הניב שיפור בשימור, לא את קניבליזציית המנויים שכולם חששו ממנה. ההבדל בין שתי התוצאות אינו איכות המודל. הוא בשאלה אם אכיפת הציטוט טופלה כמוצר או כתכונה שיש להוסיף מאוחר יותר.

למה לא פשוט לקנות את זה, או לבנות את זה כמו ש-FT עשו?

אנשים שואלים אותי את זה כל הזמן, אז תנו לי לפרוש את הנוף בכנות, כי ראיתי מוציאים לאור מאבדים את מסלול ההמראה שלהם לכל אחת מהתשובות השגויות.

הספקיות של צ'אטבוטים מסוג SaaS מציבות ווידג'ט באתר שלכם תמורת $60K-$120K. אמרתי לכם מה זה קונה: וקטורי הטמעה, ללא פתרון ישויות, ללא נימוק טמפורלי, ללא אימות ציטוט, והארכיון שלכם חי בענן של מישהו אחר. הוא הוזה בדיוק בשאילתות שחשובות.

הבנייה הפנימית של חמשת הגדולים — ה-FT, ה-Times, Bloomberg, ה-Post, ה-Guardian — הן אמיתיות ומרשימות, והן נבנו על ידי צוותי ML של שישה עד עשרים מהנדסים לאורך שנים-עשר עד עשרים וארבעה חודשים, בעלות של שבע ספרות. עיתון יומי אזורי עם צוות הנדסה של אדם אחד עד שלושה אינו יכול לשכפל את מצבת כוח האדם הזו. נקודה. לומר למוציא לאור מדרג הביניים "לבנות את זה כמו ה-FT" זה לומר לו להצמיח איבר שאין לו.

החברות הגדולות לייעוץ — Accenture, Deloitte, IBM — בהחלט יבנו את זה, עם התקשרויות שנעות בין $1.5M ל-$5M ומעלה ושלב אפיון שמאריך ימים ממסלול ההמראה שלכם. הן מושיטות יד לאותה מחסנית של Microsoft GraphRAG ו-Neo4j שאנחנו משתמשים בה, ואז גובות תעריפים ברמת שותף מעל לזה, והן לא בנו חמישה ארכיוני מוציאים לאור בזה אחר זה כדי לדעת היכן קבורות הגופות.

אותו פער — בין הווידג'ט שלא עובד לבין הצוות בעל שבע הספרות שאינכם יכולים לאייש — הוא כל הסיבה שמוציאים לאור מדרג הביניים זקוקים לשותף בנייה שכבר ביצע את עבודת קליטת הנתונים, פתרון הישויות ואכיפת הציטוט הלא-סקסית. לא מנוי SaaS, ולא מצגת אפיון. זה הדבר הספציפי שבנינו את מערך המוציאים לאור שלנו להיות, וזה מפורט במלואו בעמוד הפתרון שלנו ל-AI שיחתי על גבי ארכיוני חדשות.

החלק שרוב חברות הייעוץ טועות בו: אתם זקוקים לשני מהלכי הכנסה, לא לאחד.

שלושה מהלכי הכנסה של מוציאים לאור — מנוע שימור, לכידת סריקה, שכבת מודיעין בתשלום — המזינים מודל הכנסה אחד.

הנה הטעות האסטרטגית שאני רואה אפילו מוציאים לאור חכמים עושים. הם מתייחסים ל"לבנות AI משלנו" ול"לרשות את התוכן שלנו לחברות ה-AI" כאל אחד או השני. זה שניהם, והם לוכדים כסף שונה.

מנוע השיחה שלכם עצמכם הוא מהלך השימור — הוא משאיר את הקוראים באתר שלכם, שואלים את הארכיון שלכם שאלות במקום לברוח אל Perplexity. אבל הוא לא עושה דבר לגבי הדליפה שמתרחשת ממש עכשיו, שבה סורקי AI קולטים את התוכן שלכם בחינם. לשם כך אתם זקוקים למהלך הלכידה, והתשתית עבורו רק זה עתה נבנתה.

Cloudflare השיקה את Pay Per Crawl בינואר 2026, וחוסמת כברירת מחדל סורקי AI על פני כ-20% מכלל תנועת האינטרנט ומאפשרת למוציאים לאור לקבוע Allow, Charge או Block לכל סורק במחיר לכל בקשה — מס הבוטים הראשון ברמת התשתית. Tollbit עושה משהו דומה בוט אחר בוט; ה-Boston Globe, Vox ו-Future הריצו אותו כפיילוט. ובמרץ 2026 חתמה ה-News/Media Alliance על עסקה עם ProRata המאפשרת ל-2,200 מוציאים לאור קטנים ובינוניים להצטרף למאגר רישוי קולקטיבי עם חלוקת הכנסות של 50/50 על תשובות AI במעקב-ייחוס, עם עסקת Bria מקבילה לשימוש RAG ארגוני. ה-NMA מטפלת בניירת שעיתון יומי אזורי לעולם לא יכול היה לאייש לבדו.

אגרות סורקים לוכדות הכנסות מסריקה. הן לא עושות דבר להכנסות משאילתות. התשובה הכנה היא להריץ גם אגרה וגם מנוע שימור — כל מי שאומר לכם לבחור אחד מהם מוכר לכם את החצי שבמקרה הוא בונה.

הסתייגות שאני תמיד נותן: אף אחד מכלי הלכידה לא עוצר את סקירות ה-AI מלסכם אתכם, כי אלה מאחזרות בזמן השאילתה, לא בזמן הסריקה. הדליפה והסיכום הן בעיות נפרדות. אבל מוציא לאור שמריץ Tollbit או Cloudflare בצד הסריקה, מצטרף ל-ProRata בצד הרישוי, ומריץ מנוע משלו בצד השימור, סוף סוף בנה מחדש מודל עסקי מתוך שלוש תשובות חלקיות. זו כל האסטרטגיה, ותפירת ארבע המערכות הללו — ProRata, Bria, Tollbit, Cloudflare — לתוכנית הכנסה קוהרנטית אחת לצד המנוע היא רוב מה שאנחנו בפועל עושים.

ויש מהלך שלישי שאני דוחף הכי חזק אצל מוציאים לאור מקצועיים בתחומי סחר ו-B2B, כי הוא זה בעל הפוטנציאל הגדול ביותר: המנוע אינו רק חפיר שימור, הוא מוצר שאתם יכולים לגבות עליו תשלום. ממשק שאילתה מעוגן-ציטוט על גבי ארכיון ורטיקלי עמוק — שלושים שנה של כתבי בית משפט, אישורי תרופות, או נתוני עסקאות בזירה הספציפית שלכם, סוג הקורפוס שמנהל ציות או אנליסט יוציא הוצאה על מושב כדי לתשאל — הוא שכבת מודיעין בתשלום, ובסופו של דבר API, שמתחרה פשוט אינו יכול לייצר כי אינו הבעלים של הקורפוס שלכם. זה המהלך ש-FT עשו בקצה העליון עם שכבת המקצוענים שלהם שמעל אלף דולר, ו-Bloomberg עם מערכת שהופכת אנגלית פשוטה לשפת השאילתות שלה על פני שיחות רווחים ומחקר. עיתונות הסחר יושבת על אותו פתח על גבי ארכיון צר יותר, עמוק יותר, ורובה עדיין לא שמה לב.

איך זה נראה כשזה עובד

צינור RAG של מוציא לאור בן שישה שלבים: OCR, פתרון ישויות, נימוק טמפורלי, אחזור היברידי, דירוג-מחדש, אכיפת ציטוט.

המנוע ששרד את אסון חבר המועצה שלנו אינו דומה כלל לראשון. הוא קולט את הארכיון עם OCR מודע-פריסה שמכבד את העמוד. הוא פותר ישויות לתוך גרף ידע כך שאדם הוא צומת אחד, לא תריסר אזכורים מפוזרים. הוא מנמק לאורך זמן כך שההיסטוריה אינה משוטחת אל ההווה. הוא מריץ אחזור היברידי — התאמת מילות מפתח דלילה (BM25) לצד חיפוש סמנטי צפוף, כי שאילתה על "Bill 402" צריכה התאמה מדויקת ששום הטמעה לא תציף באופן אמין — והוא מדרג מחדש את המועמדים לפני שהם מגיעים למודל, כשמדרג-מחדש של Cohere או BGE קונה 15-30% באיכות האחזור תמורת 50-200 מילישניות של השהיה, עסקה שאני אקח בכל פעם על שאילתה שחשובה. והוא מסרב, מבנית, לפלוט טענה שאינו יכול לצטט, ומנתב את המעורפלות אל עורך במקום אל קורא.

הוא גם מתחבר לכל CMS שהמוציא לאור כבר מריץ, ואותה אינטגרציה לעולם אינה גנרית. Arc XP חושף API של תוכן אך ללא ווים להטמעה, אז אתם בונים לצדו. WordPress VIP מאפשר לכם לרשום נקודות קצה מותאמות. Brightspot גמיש יותר. ל-Atypon, שבו משתמשים מוציאים לאור אקדמיים, יש חיפוש משלו שאתם חייבים לשבת לצדו. בונה שראה את כל החמישה יודע היכן כל אחד מהם נאבק בכם.

חדרי החדשות שעוברים הכי מהר כבר חשים את הכיוון — חותכים חדשות כלליות מסחריות, שירדו ב-38% בתפוקה שלהם, ומשקיעים מאמץ בתחקירים מקוריים, עלייה של 91%, ובניתוח הקשרי, עלייה של 82% (Reuters Institute). הארכיון שלהם של אותה עבודה ייחודית הוא הנכס האחד שחברת AI לא יכולה לייצר ומתחרה לא יכול לשכפל. הטעות היא להשאיר אותו יושב על שרת, מאונדקס בחינם, בעוד המסכמים מרוויחים ממנו.

סמנכ״לית הכספים של אותו עיתון יומי אזורי שאלה מה גוגל חייבת לה. השאלה הטובה יותר, זו שהלוואי ויותר מוציאים לאור היו שואלים תחילה, היא כמה שווה הארכיון שלהם עצמם כאשר הם שולטים במנוע שקורא אותו. שלושים ושתיים שנות דיווח הן קורפוס קנייני ששום מודל בעולם לא אומן עליו — והאנשים היחידים שיכולים להפוך אותו לשיחה שקורא ישלם כדי להמשיך לקיים הם האנשים שהם הבעלים שלו. אתם יכולים למצוא איך אנחנו בונים את זה, מקצה לקצה, כאן. הארכיון תמיד היה הנכס. מה שהשתנה הוא שסוף סוף אתם חייבים להפסיק לתת אותו בחינם.

מחקר קשור

פורסם גם ב

בנו את ה-AI שלכם בביטחון.

שותפו עם צוות בעל ניסיון עמוק בבניית הדור הבא של AI ארגוני. אנו נסייע לכם לתכנן, לבנות ולהטמיע אסטרטגיית AI שתוכלו לסמוך עליה.

Veriprajna ייעוץ דיפ-טק מתמחה בבניית מערכות AI קריטיות לבטיחות עבור תחומי הבריאות, הפיננסים והרגולציה. הארכיטקטורות שלנו מאומתות מול פרוטוקולים מבוססים ומלוות בתיעוד ציות מקיף.