ל-Sports Illustrated לא הייתה בעיית בינה מלאכותית. הייתה לה בעיית ארכיטקטורת אמת.

אני זוכר את הרגע המדויק שבו הפסקתי לקרוא והתחלתי להתהלך הלוך ושוב.

היה זה סוף נובמבר 2023, ו-Futurism זה עתה פרסמה את תחקירה על Sports Illustrated. הפרטים היו כמעט אבסורדיים מכדי להיות אמיתיים: מוסד תקשורת בן 70 שנה פרסם ביקורות מוצרים שנכתבו בידי אנשים שלא היו קיימים. "Drew Ortiz", בחור שתואר כאוהב טבע, קיבל תמונת פנים שנרכשה משוק שמוכר פרצופים שנוצרו בבינה מלאכותית. "Sora Tanaka", מומחית כושר לכאורה, קיבלה סיפור רקע בדוי על אהבתה לאוכל ולמשקאות. התוכן שיוחס לרפאים הללו כלל פנינים כמו "כדורעף הוא אחד מענפי הספורט הפופולריים ביותר בעולם, ומסיבה טובה" — משפט כה ריק עד שהוא כמעט מהדהד.

לא התהלכתי הלוך ושוב כי הייתי בהלם. התהלכתי הלוך ושוב כי במשך חודשים הזהרתי לקוחות ארגוניים מפני בדיוק אופן הכשל הזה. לא מפני שבינה מלאכותית מסוכנת במובן מופשט כלשהו בסגנון "טרמינטור" — אלא מפני קריסה ארכיטקטונית מאוד ספציפית ומאוד צפויה. Sports Illustrated לא נתפסה משתמשת בבינה מלאכותית. היא נתפסה משתמשת בבינה מלאכותית ללא מערכת אמת שמתחתיה. וההבחנה הזו חשובה יותר משרוב האנשים מבינים.

התוצאות היו מהירות ואכזריות. מניית The Arena Group צנחה ב-27% ביום אחד. Authentic Brands Group ביטלה את רישיון הפרסום של SI. איגוד העובדים של SI דיווח שייתכן שכל הצוות פוטר. חדר חדשות שסיקר את מוחמד עלי, את "הנס על הקרח" ועשורים של ספורט אמריקאי רוקן מתוכן — לא משום שהבינה המלאכותית החליפה את העיתונאים, אלא משום שההנהלה בחרה בארכיטקטורת הבינה המלאכותית הזולה ביותר האפשרית וקראה לזה אסטרטגיה.

לארכיטקטורה הזו יש שם. אנחנו קוראים לה "LLM Wrapper". ולאחר שנים של בניית החלופה, אני משוכנע שזהו האיום הגדול ביותר על האמון הארגוני כיום.

מהו בדיוק "LLM Wrapper" — ומדוע הוא נשבר?

כשאני מסביר זאת למנהלים לא-טכניים, אני משתמש באנלוגיה. דמיינו שהעסקתם את הנואם הרהוט ביותר בעולם — מישהו שיכול לדבר על כל דבר, בכל סגנון, לכל קהל. מרשים, נכון? עכשיו דמיינו שלנואם הזה אין זיכרון, אין מחלקת בדיקת עובדות, ויש לו חוסר יכולת פתולוגי לומר "אני לא יודע". במקום זאת, כשהוא נתקל בפער בידע שלו, הוא פשוט... ממציא משהו. בביטחון. ברהיטות. בפרוזה מושלמת.

זהו מודל שפה גדול ללא עיגון. זהו מנוע היסק הסתברותי — הוא חוזה את המילה הבאה הסבירה ביותר על סמך דפוסים בנתוני האימון שלו. הוא לא "יודע" ש-Drew Ortiz אינו קיים. הוא יודע שהדפוס של ביקורת מוצר כולל בדרך כלל שם מחבר וביוגרפיה, ולכן הוא ממלא את התבנית בפרטים סבירים סטטיסטית. עבור המודל, "Drew Ortiz" אינו שקר. זוהי השלמת דפוס מוצלחת.

LLM Wrapper הוא מה שמקבלים כשחברה לוקחת את הנואם הרהוט והמבלבל הזה ומעלה אותו לבמה עם לא יותר ממיקרופון ורשימת מילות מפתח. בלי הערות. בלי עורך מאחורי הקלעים. בלי שאיש בודק אם הדברים שיוצאים מפיו אמיתיים. שכבת התוכנה סביב המודל דקה — היא מעבירה פרומפט, מקבלת בחזרה טקסט, ומפרסמת אותו. זהו זה.

AdVon Commerce, ספק הצד השלישי שמאחורי התוכן המזויף של SI, פעלה בדיוק כך. היה להם כלי פנימי בשם "MEL" — למעשה wrapper שקלט מילות מפתח של מוצרים, הריץ אותן דרך מודל יסוד, ופלט ביקורות מובנות. "הכותבים האנושיים" קיבלו תשלום זעום כדי להעתיק-להדביק את הפלט אל תוך מערכות ניהול תוכן. הם לא ערכו. הם לא בדקו עובדות. הם היו middleware אנושי.

כשהבינה המלאכותית היא המנוע והאדם הוא רק חומר הסיכה, קריסת האיכות אינה סיכון — היא לוח זמנים.

הלילה שבו הבנתי שבינה מלאכותית "טובה מספיק" לא הייתה טובה מספיק

היה לילה — אני חושב שזה היה בתחילת 2024, כמה שבועות לאחר שסיפור SI התפוצץ — שבו הצוות שלי ואני ביצענו בדיקות עומס על צינור ייצור תוכן עבור לקוח. הקמנו מערכת סטנדרטית של Retrieval-Augmented Generation (RAG), מהסוג שאמור להיות הדרך ה"אחראית" להטמיע מודלי שפה גדולים. שולפים מסמכים רלוונטיים, מזריקים אותם לחלון ההקשר של המודל, ואומרים לו להשתמש רק במקורות הללו.

הרצנו אצווה של 500 תיאורי מוצרים. התוצאות נראו נקיות. רהוטות. מקצועיות. המהנדס הראשי שלי היה מוכן לסיים את היום.

אמרתי, "הרץ את בדיקת ההזיות עוד פעם אחת."

הוא נאנח. אבל הוא הריץ אותה.

שמונה עשר מתוך 500 התיאורים הכילו טענות שלא הופיעו באף מסמך מקור. זהו שיעור שגיאה של 3.6% — בדיוק בטווח שהמחקר מראה עבור המודלים המתקדמים ביותר, שמהזים בין 1.5% ל-6.4% בהתאם לתחום. בתחומים מתמחים כמו משפטים, המצב גרוע אף יותר.

שמונה עשר לא נשמע הרבה. אבל תכפילו את זה בקנה מידה. אם אתם מוציא לאור שדוחף 10,000 מאמרים בשנה — וחוות תוכן בהחלט פועלות בנפח כזה — שיעור הזיות של 4% פירושו 400 מאמרים המכילים טענות מפוברקות. ארבע מאות תביעות משפטיות פוטנציאליות, משברי מוניטין, או רגעים הורסי-אמון. כבר ראינו עורכי דין שהוטלו עליהם סנקציות על ציטוט תיקי בית משפט שאינם קיימים ש-ChatGPT המציא. המתמטיקה אינה לצדכם.

באותו לילה אמרתי לצוות שלי: "אנחנו לא משחררים שום דבר שעובד על הסתברות בלבד. אנחנו צריכים מערכת שמתייחסת לטענות לא מאומתות כמו שמסד נתונים מתייחס לערכי null — כהיעדר ידע, לא כהזמנה לאלתר."

מדוע אי אפשר פשוט לתקן הזיות עם פרומפטים טובים יותר?

אנשים שואלים אותי זאת כל הזמן. "אי אפשר פשוט להגיד למודל להיות זהיר יותר? להוסיף פרומפט מערכת שאומר 'אל תמציא דברים'?"

לא. והנה מדוע השאלה הזו חושפת אי-הבנה מהותית של הטכנולוגיה.

הזיה אינה באג שאפשר לתקן עם הוראות. זוהי תכונה מבנית של אופן הפעולה של המודלים הללו. מודל שפה גדול מאחסן קשרים סטטיסטיים בין אסימונים (tokens) — מילים ותת-מילים — שנגזרים מנתוני האימון. אין לו מסד נתונים פנימי של עובדות. אין לו מושג של "אמת" מול "שקר". יש לו מושג של "סביר" מול "לא סביר". כשההשלמה הסבירה של דפוס דורשת עובדה שאין למודל, הוא מייצר אחת שמתאימה לדפוס. לומר לו "אל תהזה" זה כמו לומר למים "אל תהיו רטובים".

יש גם את בעיית חלון ההקשר. אפילו מודלים מודרניים עם חלונות הקשר עצומים נתקלים בקיר לבנים כשמנסים להזין אותם עם מאגר ידע ארגוני שלם. אי אפשר להדביק את הנחיות העריכה המלאות של החברה שלך, את מסד נתוני המוצרים, את מרשם המחברים ואת מדיניות המותג לתוך כל פרומפט. הידע הפנימי של המודל — סטטי, מיושן, בלתי נשלט — ממלא את הפערים.

ואז יש את ממד האבטחה שכמעט אף אחד בקהל ה"פשוט תשתמשו ב-GPT" לא מדבר עליו. התקפות הזרקת פרומפט (prompt injection) יכולות לתמרן קלטים כדי לעקוף מסנני בטיחות. הרעלת נתונים יכולה לזהם את מקורות האינטרנט שמערכות RAG שולפות מהם. איום חדש בשם "slopsquatting" מנצל את העובדה שמודלי שפה גדולים מהזים שמות של חבילות תוכנה — תוקפים רושמים את השמות המזויפים הללו ומספקים תוכנה זדונית למפתחים שמעתיקים-מדביקים הצעות קוד. משטח התקיפה של wrapper דק הוא עצום.

כתבתי על אופני הכשל הארכיטקטוניים הללו לעומק בגרסה האינטראקטיבית של המחקר שלנו, אבל הנקודה המרכזית פשוטה: אי אפשר להגיע לאמת באמצעות הנדסת פרומפטים. אתם זקוקים לארכיטקטורה שונה לחלוטין.

הוויכוח ששינה את האופן שבו אנחנו בונים

היה לנו ויכוח אמיתי על כך בתוך Veriprajna. לא אי-הסכמה מנומסת — ויכוח של ממש, מהסוג שבו אנשים מרימים את קולם ומישהו בסופו של דבר אומר "אפשר פשוט לעצור לרגע?"

מחנה אחד בצוות שלי — אנשים חכמים, מהנדסים מנוסים — טען שעלינו להתמקד בשיפור RAG. שליפה מתוחכמת יותר. אסטרטגיות חלוקה לנתחים (chunking) טובות יותר. מודלי הטמעה מכווננים. הגישה ההדרגתית. "RAG עובד מספיק טוב עבור 96% מהמקרים", הם אמרו. "בואו נמטב את ה-4% האחרונים."

המחנה השני — ואני הייתי בו בתקיפות — טען ש"מספיק טוב" הוא גזר דין מוות עבור האמון הארגוני. ש-4% אלה אינם מפוזרים באקראי על פני שגיאות הקלדה לא מזיקות. הם מתקבצים סביב בדיוק הטענות החשובות ביותר: שמות, מספרים, תאריכים, קשרים סיבתיים. הדברים שכאשר הם שגויים, הורסים אמינות.

נקודת המפנה הגיעה כשמישהו בצוות העלה את ציר הזמן של SI על לוח מחיק. נובמבר 2023: Futurism מפרסמת את התחקיר. מניית The Arena Group צונחת ב-27%. פרופילים מזויפים נמחקים בשקט — מהלך שפרופסורים לאתיקה עיתונאית כינו "צורה של שקר". "הגנת הצד השלישי" קורסת כשעובדי AdVon לשעבר מאשרים ש"MEL" ייצר את התוכן. Authentic Brands Group מבטלת את הרישיון. הצוות מפוטר. מוסד בן 70 שנה מרוקן מתוכן.

"זה", אמרתי, מצביע על הלוח המחיק, "זה איך שנראים 4% בקנה מידה גדול."

הפסקנו להתווכח על שיפורים הדרגתיים ב-RAG באותו יום. התחלנו לבנות משהו שונה מהיסוד.

איך באמת נראית מערכת שאינה יכולה לשקר?

התשובה היא מה שקהילת מחקר הבינה המלאכותית מכנה בינה מלאכותית נוירו-סימבולית — ארכיטקטורה היברידית שממזגת שני סוגים שונים מאוד של אינטליגנציה.

חשבו על כך כשתי מערכות מוח שעובדות יחד. הרכיב הנוירוני — ה-LLM — מטפל בשפה. הוא מבריק בניתוח טקסט מבולגן, בהבנת ניואנסים, בייצור פרוזה רהוטה. הוא מנוע האינטואיציה שלכם. אבל אין לו שום קשר לאמת.

הרכיב הסימבולי — גרף ידע — מטפל בעובדות. הוא מאחסן את המציאות כקשרים מובנים: ישויות המחוברות באמצעות פרדיקטים. Wilson AVP → is_certified_by → FIVB. Jane Smith → is_author_of → Article_4521. אלה אינם הסתברויות. אלה קביעות דטרמיניסטיות. כשאתם שואלים גרף ידע והתשובה אינה שם, אתם מקבלים null. לא אלתור יצירתי. שתיקה.

במקרה של SI, מערכת נוירו-סימבולית הייתה משתמשת ב-LLM כדי לכתוב את הביקורת — הוא באמת טוב בזה — אבל מסתמכת על גרף הידע כדי לאמת את המחבר. אם הגרף לא הכיל ישות מאומתת עבור "Drew Ortiz", המערכת חוסמת את שורת הקרדיט. נקודה. האונטולוגיה — הכללים המבניים שמנהלים את הגרף — הייתה אוכפת שביקורת מוצר חייבת להיות מחוברת למחבר מאומת. מה שהופך את שערוריית הקרדיט המזויף לבלתי אפשרית ארכיטקטונית.

גרף ידע אינו "ממציא" מחבר כדי למלא את השתיקה. הוא מתייחס להיעדר ידע כהיעדר ידע. תכונה יחידה זו היא חומת אש נגד הזיות.

הבדל הביצועים ניתן למדידה. המחקר מראה ששילוב גרפי ידע בצינור הייצור מפחית הזיות ב-6% ומקצץ בשימוש באסימונים ב-80% בהשוואה ל-RAG רגיל. בתחום הרפואי, מערכות נוירו-סימבוליות השיגו דיוק של 100% בחילוץ נתונים קליניים, בהשוואה ל-63–95% עבור GPT-4 עצמאי. המודל אינו צריך לחפור במסמכים רועשים — הוא צורך משולשים (triples) מדויקים ומאומתים.

בניית חדר החדשות המלאכותי

כאן זה נעשה מעניין — וכאן סיפור Sports Illustrated הופך לא רק לסיפור אזהרה אלא למפרט עיצובי.

מה שחסר ל-SI לא היה יכולת בינה מלאכותית. זו הייתה ארכיטקטורה עריכתית. לחדר חדשות אמיתי יש חוקרים שאוספים עובדות, כותבים שיוצרים נרטיבים, עורכים שמאמתים טענות, ועורך אחראי שמפקח על זרימת העבודה. כלי ה"MEL" של AdVon כיווץ את כל התפקידים הללו לפרומפט יחיד. מודל אחד שעושה הכל. בלי בקרות. בלי איזונים. בלי אחריותיות.

בנינו מחדש את כל שרשרת העריכה הזו כמערכת מרובת-סוכנים. לא בינה מלאכותית אחת שעושה הכל, אלא סוכנים ייעודיים עם תפקידים נפרדים ו — וזה קריטי — נפרדות הרשאות.

לסוכן החוקר יש גישה לגרף הידע ולממשקי API חיצוניים מהימנים. תפקידו היחיד הוא איסוף עובדות מאומתות. הוא מייצר נתונים מובנים, לא פרוזה. סוכן הכותב לוקח את העובדות הללו ומנסח את הנרטיב. באופן מכריע, הוא חסר גישה לכלים חיצוניים או לרשת. הוא לא יכול להזות "עובדות" חדשות משום שאינו יכול להגיע מעבר למה שסיפק החוקר. סוכן המבקר בוחן את הטיוטה באופן יריב — בודק כל טענה מול גרף הידע, מסמן קביעות בלתי נתמכות, מעריך טון והיגיון.

ואז יש את לולאת הרפלקציה. רוב ארכיטקטורות ה-wrapper מקבלות את הטיוטה הראשונה שהבינה המלאכותית מייצרת. אנחנו לא. המבקר שלנו מנחה את הכותב: "בחן את התשובה הקודמת שלך. האם ציטטת מקורות? האם יש פערים לוגיים? האם המצאת משהו?" הכותב מייצר ביקורת עצמית, ואז משתמש בביקורת הזו כדי לייצר טיוטה טובה יותר. המחקר מאשש שגישת "Self-Refine" זו משפרת ביצועים במשימות מורכבות ביותר מ-20% ומפחיתה משמעותית הזיות.

התוצאה היא מערכת שבה כל משפט בפלט הסופי ניתן לעקיבה בחזרה עד צומת בגרף הידע או מסמך מקור ספציפי. לחצו על טענה, ראו את מקור הנתונים. זו אינה תכונה — זו כל הנקודה.

לפירוט הטכני המלא של ארכיטקטורה זו, כולל צינור ה-GraphRAG ומודל האימות Critic-Actor, ראו את מאמר המחקר המפורט שלנו.

"אבל האם זה לא פשוט מאט את הבינה המלאכותית?"

אני מקבל את ההתנגדות הזו ממשקיעים וממנהיגים ארגוניים שנמכר להם נרטיב המהירות. הבינה המלאכותית אמורה להיות מהירה. אימות נשמע כמו חיכוך.

התשובה שלי: מניית The Arena Group איבדה 80% מערכה במהלך השנה שבה השערורייה התפתחה. עובדים פוטרו. רישיון המותג בוטל. ספרו לי שוב איך "מהירות" חסכה להם כסף.

מהירות ללא אימות אינה יעילות. זו קטסטרופה נדחית. השאלה אינה אם אתם יכולים להרשות לעצמכם את התקורה של ארכיטקטורת אמת. השאלה היא אם אתם יכולים להרשות לעצמכם את החבות של היעדרה.

יש מושג בכלכלת המידע שנקרא "שוק הלימונים" — כשקונים אינם יכולים להבחין בין איכות לזבל, הם מניחים שהכל זבל ומפסיקים לשלם מחירי פרימיום. זה מה שקורה לתוכן הדיגיטלי כרגע. כשמותג מהימן כמו Sports Illustrated נתפס בפברוק אנשים, זה מאשש את ההנחה הצינית שכל תוכן מקוון עלול להיות מזויף. כל המערכת האקולוגית מאבדת ערך. עיתונאות איכותית הופכת לבלתי ניתנת להבחנה מזבל של חוות תוכן.

אם אתם בונים על LLM Wrappers, אתם בונים על חול. המהירות שאתם מרוויחים היום היא האמון שאתם מאבדים מחר.

הארגונים שישרדו את זה אינם אלה שמייצרים תוכן במהירות הגבוהה ביותר. הם אלה שהתוכן שלהם נושא שרשרת משמורת ניתנת לאימות — מנתוני המקור אל גרף הידע אל הטקסט המיוצר אל אישור אנושי. השרשרת הזו היא החפיר התחרותי החדש.

מה שקריסת SI באמת הוכיחה

אני חושב הרבה על העיתונאים של SI. אלה שכפי שאיגוד העובדים שלהם ניסח זאת, "נלחמו יחד כדי לשמור על הסטנדרט של הפרסום הנודע הזה". הם לא הוחלפו בבינה מלאכותית. הם הוקרבו בגלל החלטה ארכיטקטונית — הנהלה שבחרה ביישום הזול ביותר האפשרי של טכנולוגיה שאילו הוטמעה כראוי, הייתה יכולה להגביר את עבודתם במקום למחוק את משרותיהם.

זו הטרגדיה שאנשים מפספסים כשהם ממסגרים את זה כ"בינה מלאכותית מול בני אדם". זה מעולם לא היה בינה מלאכותית מול בני אדם. זה היה ארכיטקטורת בינה מלאכותית עצלה מול אמון מוסדי. הבינה המלאכותית לא נכשלה. הארכיטקטורה נכשלה. הממשל נכשל. ההחלטה להתייחס לאימות כאופציונלי נכשלה.

שערוריית Sports Illustrated הוכיחה משהו שחשדתי בו אבל לא יכולתי לנסח בבהירות עד שצפיתי בו מתרחש: ערכו של ארגון בעידן הבינה המלאכותית עומד ביחס ישר ליכולתו לאמת את מה שמערכותיו מייצרות. לא הנפח. לא המהירות. יכולת האימות.

כל מנהיג ארגוני שקורא זאת מטמיע בינה מלאכותית ממש עכשיו, או מתכנן לעשות זאת. השאלה אינה אם להשתמש בה — הרכבת הזו כבר יצאה מהתחנה. השאלה היא אם הארכיטקטורה שלכם מתייחסת לאמת כאילוץ מבני או כמחשבה שלאחר מעשה. אם המערכת שלכם יכולה להסביר מדוע ייצרה את מה שייצרה. אם, כשמישהו שואל "מי כתב את זה והאם זה נכון?", יש לכם תשובה שאינה "טוב, המודל אמר כך."

Drew Ortiz לא היה קיים. אבל הנזק שהוא גרם היה אמיתי מאוד. ה-Drew Ortiz הבא מיוצר ממש עכשיו, אי-שם, על ידי ארכיטקטורת wrapper שאין לה שום מנגנון לעצור אותו. השאלה היחידה היא אם הוא מיוצר בפלטפורמה שלכם.