הקנס בסך $400,000 שצריך להפחיד כל חברת AI — ומה אני בונה במקום זה

הייתי בשיחה עם לקוח בנקאי פוטנציאלי כשה-SEC פרסמה את צעדי האכיפה נגד Delphia ו-Global Predictions. 18 במרץ 2024. קצינת הציות של הלקוח ממש קטעה את השיחה שלנו כדי להקריא בקול את הודעת העיתונות. כשסיימה, השתררה דממה ארוכה. ואז היא אמרה: "אז בעצם, ה-SEC בדיוק אמרה לנו שכל מה שספק ה-AI הנוכחי שלנו הבטיח לנו הוא תביעה משפטית שמחכה לקרות."

היא לא טעתה. ה-SEC בדיוק הטילה על שתי חברות ייעוץ השקעות קנסות בסך כולל של $400,000 בגין מה שהרגולטורים כינו רשמית AI-וושינג — העלאת טענות שקריות ומטעות בנוגע לשימוש שלהן בבינה מלאכותית. חברה אחת, Delphia, סיפרה ללקוחות מאז 2019 שהיא משתמשת בלמידת מכונה כדי לנתח את דפוסי ההוצאות שלהם ואת פעילותם ברשתות החברתיות כדי "לחזות אילו חברות ומגמות עומדות לפרוץ בגדול." המציאות? הם מעולם לא שילבו בפועל אף אחד מהנתונים האלה בתהליך ההשקעה שלהם. אף לא פעם אחת. הם שיווקו יכולת שפשוט לא הייתה קיימת.

שיחת הטלפון ההיא שינתה את מסלול החברה שלי. לא משום שצעדי האכיפה הפתיעו אותי — עקבתי אחרי ההתנגשות הזו בין ההייפ של ה-AI לבין המציאות הרגולטורית כבר חודשים. מה שהשתנה היה הדחיפות. פתאום, כל בנק, כל מערכת בריאות, כל משרד עורכי דין שדיברתי איתו כבר לא שאל "איך אנחנו מאמצים AI?" הם שאלו "איך אנחנו מוכיחים שה-AI שלנו באמת עושה את מה שאנחנו אומרים שהוא עושה?"

השאלה הזו — איך מהנדסים אמת ניתנת להוכחה לתוך מערכת AI — היא מה שביליתי את הזמן מאז בניסיון אובססיבי לענות עליה.

מהו בדיוק AI-וושינג, ולמה זה צריך לעניין אתכם?

חשבו על גרינוושינג, אבל עבור אלגוריתמים. חברה מדביקה "מונע על ידי AI" על חומרי השיווק שלה, צופה במחיר המניה מטפס או בצינור הלקוחות מתמלא, ואף אחד לא שואל האם הטכנולוגיה שמתחת באמת עובדת כפי שפורסם. ה-SEC שאלה את המונח במכוון — מנגנוני ההטעיה זהים.

Delphia טענה שהיא משתמשת ב"מודל אלגוריתמי חיזויי" המונע בלמידת מכונה. ה-SEC בדקה אותה, אמרה לה להפסיק לשקר ב-2021, והיא המשיכה לעשות זאת במשך שנתיים נוספות. זה הקנה לה קנס של $225,000 ונזיפה רשמית. Global Predictions, בינתיים, כינתה את עצמה "היועץ הפיננסי המבוסס-AI המפוקח הראשון" והבטיחה "תחזיות מומחה מונעות-AI." כשהרגולטורים ביקשו את התיעוד הטכני שיגבה את הטענות האלה, החברה לא הצליחה להציג אותו. עוד $175,000 ירדו לטמיון.

ה-SEC לא נזקקה לחקיקה חדשה ייעודית ל-AI כדי להעמיד לדין את המקרים האלה. היא השתמשה באותם חוקי מניעת הונאה שקיימים כבר עשרות שנים. אם אתם משקרים לגבי מה שהטכנולוגיה שלכם עושה, אתם מבצעים הונאה. החלק של ה"AI" אינו רלוונטי.

הנה מה שהופך את זה לשונה ממכה קלה רגולטורית טיפוסית על פרק היד: יו"ר ה-SEC גארי גנסלר הבהיר שזו רק ההתחלה, ולא אירוע חד-פעמי. וה-SEC אינה לבדה. ה-FTC השיקה את "Operation AI Comply" ויצאה נגד DoNotPay — החברה ששיווקה את עצמה כ"עורך הדין הרובוטי הראשון בעולם" — משום שלא הצליחה לבסס את טענותיה שה-AI שלה יכול להחליף עורך דין אנושי. משרד המשפטים הודיע שיעריך ניהול סיכוני AI כחלק מהערכות ציות תאגידיות ויבקש עונשים חמורים יותר על עבירות שבוצעו בסיוע שימוש לרעה ב-AI.

שלוש סוכנויות פדרליות, כולן מתכנסות לאותו מסר: תוכיחו או שלמו.

הלילה שבו הבנתי שרוב ה-AI הארגוני בנוי על חול

אני זוכר ערב מסוים — אני והצוות שלי ביצענו בדיקת ביצועים ל"כלי מחקר משפטי מונע-AI" של מתחרה שלקוח שקל לרכוש. הזנו לו שאלה פשוטה על פסיקה עדכנית של בית משפט לערעורים. הכלי החזיר תשובה מעוצבת להפליא עם שלושה ציטוטי פסיקה. טון בטוח. שפה מקצועית. בעיה אחת: אחד הציטוטים היה מפוברק לחלוטין. פסק הדין לא היה קיים. שני האחרים היו קיימים אבל אמרו את ההפך ממה שהכלי טען.

השותף שלי להקמת החברה הביט בי ואמר: "הדבר הזה כותב כמו עורך דין וחושב כמו תוכי."

זו הבעיה הטכנית המרכזית, וזה לא באג — זו הארכיטקטורה. רוב מודלי השפה הגדולים פועלים באמצעות חיזוי הטוקן הבא. הם מחשבים את ההסתברות לאיזו מילה אמורה לבוא אחר כך בהינתן כל מה שקדם. המתמטיקה אלגנטית: פונקציית softmax על ציוני הפלט של המודל, הבוחרת את ההמשך הסביר ביותר. אבל "הסביר ביותר" ו"נכון" הם דברים שונים מהותית. למודל אין מושג פנימי של אמת. הוא מעולם לא קרא חוק והבין אותו. הוא עיבד מיליארדי טוקנים ולמד אילו מילים נוטות להופיע ליד מילים אחרות.

עבור יצירת תוכן שיווקי או סיכום פרוטוקולים של פגישות, זה בסדר גמור. עבור אמירה לבנק האם עסקה עומדת בתקנות איסור הלבנת הון, או אמירה לרופא האם אינטראקציה בין תרופות מסוכנת, "סביר סטטיסטית" זהה מבחינה משפטית ל"שגוי."

בסביבות מפוקחות, "נכון ברובו" אינו דרג איכות — זו קטגוריית אחריות משפטית.

ובכל זאת, הרוב המכריע של "פתרונות ה-AI" שנמכרים כיום לארגונים הם מה שהתעשייה מכנה בלשון נקייה "מעטפות" (wrappers). הם לוקחים API ציבורי מ-OpenAI או מ-Anthropic, מוסיפים קצת הנדסת פרומפטים וממשק משתמש נחמד, ומשגרים. למעטפת אין שום דרך לאמת את ההיגיון של עצמה. היא לא יכולה להוכיח מהיכן הגיעו התשובות שלה. היא פשוט מעבירה הלאה כל מה שמודל הבסיס מייצר, כולל ההזיות.

כתבתי על הבעיה הזו לעומק בגרסה האינטראקטיבית של המחקר שלנו — הפער בין מה שהמערכות האלה טוענות לבין מה שהן יכולות לעשות מבחינה ארכיטקטונית הוא עצום.

מדוע RAG נכשל בהחלטות בעלות סיכון גבוה?

כשאני מסביר את הבעיה הזו לקהלים טכניים, תמיד מישהו אומר: "אבל מה עם RAG?" Retrieval-Augmented Generation — הגישה שבה נותנים למודל גישה למסד נתונים של מסמכים כדי שיוכל לחפש דברים במקום להמציא אותם. זהו הפלסטר האהוב על התעשייה.

הנה הבעיה. Vector RAG סטנדרטי עובד על ידי המרת השאלה שלכם והמסמכים שלכם לייצוגים מתמטיים (וקטורים), ואז איתור המסמכים ה"קרובים" ביותר לשאלה שלכם במרחב המופשט הזה. זהו חיפוש דמיון סמנטי. ועבור יישומים רבים, זה עובד סביר למדי.

אבל "סביר למדי" קורס בתחומים שבהם הקשרים בין פיסות המידע חשובים לא פחות מהמידע עצמו. קחו למשל מחקר משפטי. פסק דין לא רק קיים — הוא מצטט פסקי דין אחרים, הופך חלקם, מאשר אחרים, ופועל בתוך היררכיה שיפוטית מסוימת. כשאתם שואלים AI משפטי "האם התקדים הזה עדיין תקף?", חיפוש וקטורי עשוי להעלות את פסק הדין כי המילים תואמות. אבל אין לו שום דרך לומר לכם שפסק הדין נהפך על ידי ערכאה גבוהה יותר חצי שנה מאוחר יותר. הוא לא מסוגל להבחין בין ציטוט לבין דחייה מוחלטת.

הצוות שלי התווכח על זה במשך שבועות. מהנדס אחד רצה להמשיך לשפר את האחזור הווקטורי שלנו — embeddings טובים יותר, אסטרטגיות chunking טובות יותר, reranking מתוחכם יותר. מהנדסת אחרת התעקשה שהבעיה אינה איכות האחזור, אלא ארכיטקטורת האחזור. שכל הפרדיגמה של "למצוא את המסמך הקרוב ביותר" שגויה עבור תחומים שבהם היחסים בין המסמכים הם אלה שנושאים את המשמעות.

היא צדקה. והוויכוח הזה הוא מה שדחף אותנו לעבר GraphRAG.

מה קורה כשבונים AI שיכול להוכיח את ההיגיון שלו?

GraphRAG — ובפרט מה שאנחנו מכנים Citation-Enforced GraphRAG — מחליף את החיפוש הסמנטי המעורפל בגרף ידע מובנה. במקום וקטורים המרחפים במרחב מופשט, בונים מפה מפורשת של האופן שבו המידע מתחבר. בגרף ידע משפטי, פסק דין הוא צומת (node). היחס שלו לפסקי דין אחרים הוא קשת (edge) — CITES, OVERRULES, AFFIRMS, INTERPRETS. חוקים מתחברים לפסקי הדין שמפרשים אותם. היררכיות שיפוטיות מקודדות ישירות.

כשה-AI מייצר תשובה, הוא לא רק מוצא טקסט "דומה". הוא חוצה נתיבים מאומתים בגרף. אם הוא טוען שפסק דין A תומך בטענה B, חייב להתקיים קישור ממשי ובר-ביקורת בגרף שמחבר ביניהם. אנחנו משתמשים ב-graph-constrained decoding כדי למנוע פיזית מהמודל להפיק ציטוט שהוא אינו יכול לאמת. המודל פשוט לא מסוגל להזות ציטוט, משום שהארכיטקטורה לא מרשה לו.

לזה אני מתכוון כשאני אומר AI דטרמיניסטי. לא "כנראה נכון." אלא מעוגן באופן שניתן להוכחה.

ההבדל בין Vector RAG ל-GraphRAG אינו שיפור מדורג — זהו ההבדל בין לנחש איזה ספר רלוונטי לבין לקרוא באמת את הערות השוליים.

אנחנו משלבים את זה עם תזמור רב-סוכני (multi-agent orchestration). במקום מודל אחד שעושה הכול — מחקר, אימות, כתיבה — אנחנו משתמשים בסוכנים מתמחים. סוכן מחקר מאחזר את המידע הגולמי. סוכן אימות מצליב אותו מול גרף הידע. סוכן כתיבה מפיק את הפלט תוך שימוש בעובדות מאומתות בלבד. הסוכנים האלה פועלים דרך מה שאנחנו מכנים Cyclic Reflection Pattern, ובוחנים טיוטות שוב ושוב לאיתור הזיות עוד לפני שאדם כלשהו רואה את התוצאה.

זה איטי יותר ממעטפת. זה עולה יותר לבנייה. וזו הארכיטקטורה היחידה שהייתי סומך עליה בהחלטה שעלולה להגיע לשולחנו של רגולטור.

בעיית ריבונות הנתונים שאף אחד לא רוצה לדבר עליה

יש לזה עוד ממד שהשיח על AI-וושינג מתעלם ממנו ברובו: היכן הנתונים שוכנים.

לקוח מתחום הבריאות שאל אותי פעם ישירות: "אם נשתמש במערכת שלכם, לאן הולכים נתוני המטופלים שלנו?" כשאמרתי להם שהם לעולם לא עוזבים את התשתית שלהם, הם נראו מוקלים. אז הם סיפרו לי שהספק הקודם שלהם — חברת AI ידועה — לא הצליח לענות על השאלה הזו בבירור. הנתונים עברו לענן של הספק, עובדו על תשתית משותפת, ותנאי השימוש של הספק אפשרו טכנית להשתמש בהם כדי לשפר את המודלים שלו.

עבור חברה שמטפלת בנתונים הכפופים ל-HIPAA, ל-GDPR או ל-CCPA, זה לא אזור אפור. זו הפרה.

אנחנו פורסים על תשתית ריבונית — מאוחסנת עצמאית לחלוטין במתקני הלקוח, או בתוך הענן הפרטי שלו (VPC), שבו מופעי ה-AI מבודדים מהאינטרנט הציבורי. זה דורש השקעה ראשונית גדולה יותר. הלקוח זקוק ל-GPUs ולתשתית ייעודית. אבל הוא מקבל משהו ששום API ציבורי לא יכול להציע: אפס דליפת נתונים ויכולת ביקורת מלאה. כל שאילתה, כל תשובה, כל גרסת מודל — הכול בתוך מסגרת הממשל שלו.

לארכיטקטורה הטכנית המלאה של האופן שבו אנחנו בונים את זה — כולל סכמת גרף הידע, מסגרת התזמור הרב-סוכני והגישה שלנו לפריסה ריבונית — ראו את הצלילה הטכנית לעומק שלנו.

איך באמת מנהלים ממשל AI בלי לטבוע בציות?

ישבתי בחדרי דירקטוריון שבהם מנהלים מתייחסים לממשל AI כאל תרגיל של סימון תיבות. בוחרים מסגרת, ממלאים את הטפסים, ממשיכים הלאה. הגישה הזו תוביל אתכם לקנס.

שתי מסגרות התגבשו כסטנדרטים של התעשייה, והן משרתות מטרות שונות. מסגרת ניהול סיכוני ה-AI של NIST היא מדריך טקטי וולונטרי — היא עוזרת לכם לזהות סיכונים, למדוד אותם ולבנות תהליכים פנימיים. היא מהירה ליישום ומצוינת לבניית מה שאני מכנה "שרירי סיכון AI" בתוך הארגון שלכם. אבל היא מבוססת על הצהרה עצמית. אף אחד לא מאמת שבאמת עשיתם את מה שאמרתם.

ISO/IEC 42001 הוא התקן הבינלאומי בר-ההסמכה. מבקר צד שלישי בוחן את מערכת ניהול ה-AI שלכם ומעניק לכם הסמכה או לא. ההסמכה הזו חשובה כשרגולטור, לקוח או רוכש פוטנציאלי אומר "תוכיחו שממשל ה-AI שלכם אמיתי."

המהלך החכם הוא לשלב את שתיהן ברצף: להשתמש ב-NIST כדי לבנות במהירות בקרות פנימיות זריזות, ואז למפות את הבקרות האלה לדרישות של ISO 42001 לצורך הסמכה רשמית. האחת נותנת לכם מהירות, השנייה נותנת לכם הוכחה.

ומתחת לשתי המסגרות האלה, יש דרישה מתהווה שרוב החברות עדיין לא שמעו עליה בכלל: AI Bill of Materials (AIBOM). חשבו על זה כמו תווית ערך תזונתי למערכת ה-AI שלכם. זהו תיעוד קריא-מכונה של כל מה שנכנס לבנייתה — מערכי נתוני אימון, מודלי בסיס, ספריות צד שלישי, תלויות תשתית. כשמבקר שואל "אילו נתונים אימנו את המודל הזה?" או "איזו גרסה של PyTorch רצה כשההחלטה הזו התקבלה?", ה-AIBOM עונה מיד.

אנחנו מייצרים AIBOMs אוטומטית כחלק מצינור הפריסה שלנו. כל גרסת מודל ניתנת לאיתור בחזרה לגרסאות מדויקות של קוד ושל מערכי נתונים. זו לא עבודה זוהרת. אבל זה ההבדל בין לעבור ביקורת לבין להתרוצץ בניסיון לשחזר תיעוד שהיה אמור להתקיים מהיום הראשון.

המשקיע שאמר לי "פשוט תשתמש ב-GPT"

אני חייב לספר את הסיפור הזה כי הוא לוכד בדיוק את הלך הרוח שאכיפת ה-AI-וושינג נועדה להעניש.

בימיה הראשונים של VeriPrajna, הצגתי מצגת למשקיע. הסברתי את הארכיטקטורה שלנו — גרפי הידע, האימות הרב-סוכני, מודל הפריסה הריבוני. הוא הקשיב בנימוס, ואז אמר: "למה שלא פשוט תעטוף את GPT-4, תגבה פחות, ותצמח מהר יותר? אף אחד לא הולך לבקר את הבקאנד."

אמרתי לו שה-SEC בדיוק קנסה שתי חברות על ההיגיון הזה בדיוק. הוא משך בכתפיו.

חצי שנה מאוחר יותר, אחת מחברות הפורטפוליו שלו — פינטק "מונע-AI" — קיבלה פנייה רגולטורית בנוגע לטענות השיווקיות שלה. הם לא הצליחו להציג תיעוד שמראה שה-AI שלהם באמת עושה את מה שמצגת המשקיעים שלהם טענה. לפי מה ששמעתי לאחרונה, הם התרוצצו לגייס יועצי ציות בתעריפי חירום.

אנשים תמיד שואלים אותי האם סביבת האכיפה תתרכך — האם ממשל חדש או שינוי בסדרי העדיפויות עשויים להפוך את ה-AI-וושינג למסוכן פחות. התשובה הכנה שלי: זה לא משנה. ה-SEC השתמשה בדיני מניעת הונאה קיימים. ה-FTC השתמשה בסעיף 5 של חוק ה-FTC, שנמצא בספר החוקים מאז 1914. לתובעים הכלליים של המדינות יש חוקי הגנת צרכן משלהם. גם אם סדרי העדיפויות של האכיפה הפדרלית ישתנו, התשתית המשפטית להעמדה לדין על הטעיית AI היא קבועה ורב-שכבתית.

AI-וושינג אינו אופנה רגולטורית חולפת. זו הונאה עטויה חלוק מעבדה, ולכל דרג בממשל יש כעת גם את הכלים וגם את התיאבון להעמיד עליה לדין.

השאלה החשובה יותר היא מה קורה לשוק. כשחברות מצליחות על בסיס יכולות AI מפוברקות, הן מעוותות את התחרות ושוחקות את האמון שחברות AI לגיטימיות זקוקות לו כדי לפעול. כל מעטפת שנמכרת כ"AI מתקדם" מקשה על חברות שעושות הנדסה אמיתית להסביר מדוע הפתרונות שלהן עולים יותר ולוקח יותר זמן לבנות אותם.

איך באמת נראית מערכת AI ראויה לאמון?

אם מפשיטים את המסגרות ואת ראשי התיבות, בניית AI שיכול לשרוד בחינה רגולטורית מסתכמת בארבעה דברים.

הנדסו דטרמיניזם. התקדמו מעבר לפלטים הסתברותיים אל ארכיטקטורות — מערכות נוירו-סימבוליות, גרפי ידע, graph-constrained decoding — שיכולות להוכיח את ההיגיון שלהן. אם ה-AI שלכם לא יכול להראות את דרך העבודה שלו, הוא לא מוכן לסביבות מפוקחות.

תכננו ריבונות. פרסו בתוך תשתית שאתם שולטים בה. אם הנתונים הרגישים של הלקוח שלכם נוגעים בתשתית ציבורית משותפת, יצרתם חבות ציות ששום כמות של הנדסת פרומפטים לא תתקן.

תקננו את הממשל. אמצו מסגרות ברות-הסמכה. תחזקו AI Bills of Materials. הפכו את התיעוד לתהליך רציף ואוטומטי, ולא לבהלה שנתית.

אמתו באופן מתמשך. הפעילו red-teaming יריב, עקבו אחר שיעורי הזיות ושיעורי עיגון כמדדי KPI, והשאירו בני אדם בלולאה בהחלטות בעלות סיכון גבוה. המודל שהיה מדויק בעת הפריסה יסחף. נטרו אותו כפי שהייתם מנטרים אלגוריתם מסחר — כי השלכות הכישלון דומות.

הקנסות של ה-SEC בסך $400,000 היו טעות עיגול עבור התעשייה הפיננסית. המסר שמאחורי הקנסות האלה לא היה. יצאנו מהעידן שבו יכולתם לשווק יכולות AI שלא היו ברשותכם, לפרוס קופסאות שחורות לתוך תהליכי עבודה מפוקחים, ולהניח שאף אחד לא יבדוק. כל מערכת AI ארגונית פועלת כעת תחת נטל הוכחה מובלע: האם אתם יכולים להוכיח שזה עושה את מה שאתם טוענים?

בניתי את VeriPrajna — השם משלב את "Veri" (אמת) ו"Prajna" (חוכמה) — כי אני מאמין שמשבר האמינות של תעשיית ה-AI הוא ביסודו משבר ארכיטקטורה. אי אפשר לפתור בעיה של אמת באמצעות מערכת שמעולם לא תוכננה לייחס חשיבות לאמת. צריך להנדס אותה פנימה, מגרף הידע ומעלה, דרך כל סוכן, כל לולאת אימות, כל החלטת פריסה.

החברות שיבינו את זה יבנו AI שבאמת עובד. אלה שלא, ימשיכו לעטוף APIs, לכתוב מצגות משקיעים מרשימות, ולקוות שאף אחד לא יסתכל מתחת למכסה המנוע. הרגולטורים מסתכלים עכשיו. והם לא מתכוונים להפסיק.