האלגוריתם שבלע עיר: מה לימדה אותי קריסת השיטור החזוי על בניית בינה מלאכותית שראויה לאמון
ישבתי בחדר ישיבות בסוף 2023, וצפיתי בלקוח פוטנציאלי מדגים את כלי הבינה המלאכותית הפנימי שלו — צ'אטבוט שהם חיברו כדי לעזור לצוות הציות שלהם לסמן סיכונים במסמכים פיננסיים. הממשק היה מלוטש. התגובות היו מהירות. וכל תשובה רביעית בערך הייתה שגויה בביטחון מלא, בצורה מסוכנת.
כשהצבעתי על הזיה — המודל המציא אזכור רגולטורי שלא היה קיים — סמנכ״ל ההנדסה משך בכתפיו. “כן, אנחנו יודעים על כך. אנחנו מקווים שעדכון המודל הבא יתקן את זה.”
הרגע הזה גיבש משהו שחשבתי עליו במשך חודשים. עולם הארגונים הלך כסהרורי היישר אל אותה מלכודת בדיוק שכבר הרסה את אמון הציבור בשיטור מבוסס בינה מלאכותית ברחבי אמריקה. לא משום שהטכנולוגיה הייתה רעה מיסודה, אלא משום שהאנשים שהטמיעו אותה בלבלו בין החזקה של מערכת בינה מלאכותית לבין ניהול שלה.
ב-Veriprajna אנחנו בונים פתרונות בינה מלאכותית עמוקים לסביבות ארגוניות בעלות סיכון גבוה. אבל כדי להסביר מדוע אנחנו בונים אותם כפי שאנחנו בונים — עם ממשל שמוטבע מהיום הראשון, עם יכולת הסבר כתנאי שאינו נתון למשא ומתן, עם אילוצי הוגנות מתמטיים השזורים בתהליך האימון — אני צריך קודם לקחת אתכם למקום לא נוח. אני צריך לקחת אתכם לשיקגו.
56% מהגברים השחורים הצעירים בעיר, סומנו על ידי מכונה
רשימת הנושאים האסטרטגית של שיקגו — שכונתה בפנים “רשימת החום” — הייתה אמורה להיות עתיד השיטור החכם. במקום להציף שכונות בשוטרים, האלגוריתם היה מזהה יחידים ספציפיים בעלי הסיכוי הגבוה ביותר להיות מעורבים באלימות בנשק חם, בין כמבצעים ובין כקורבנות. דיוק על פני כוח גס. נתונים על פני אינטואיציה.
הרשימה תפחה ליותר מ-400,000 אנשים.
תנו למספר הזה לשקוע לרגע. בעיר של 2.7 מיליון תושבים, האלגוריתם החליט ש-400,000 יחידים ראויים לסימון. והנתונים הדמוגרפיים היו מדהימים: 56% מהגברים השחורים בשיקגו בגילאי 20 עד 29 הגיעו בסופו של דבר לרשימה הזו. בווסט גארפילד פארק, 73% מהגברים השחורים בגילאי 10 עד 29 סומנו. תשעים ושישה אחוזים מהיחידים שהמערכת סיווגה כ“חברי כנופיות חשודים” היו שחורים או לטינים.
הנה מה ששבר לי את המוח כשחפרתי לראשונה בנתוני הביקורת: 57% מיעדי העדיפות של האלגוריתם מעולם לא נעצרו בגין פשע אלים. המערכת אספה עבירות קלות ברמה נמוכה — דברים כמו החזקת סמים בכמות קטנה או התנהגות פרועה — והתייחסה אליהן כאל אותות ניבוי לאלימות בנשק חם בעתיד. היא השתמשה במנגנון של שיטור-יתר כראיה כדי להצדיק שיטור נוסף.
כאשר אלגוריתם מתייחס לתוצאות של הטיה כהוכחה לכך שההטיה מוצדקת, אין לכם מנוע ניבוי. יש לכם מכונת אפליה שפועלת על טייס אוטומטי.
משרד המפקח הכללי של שיקגו תיעד בסופו של דבר את מה שארגונים קהילתיים רבים זעקו עליו במשך שנים: ה-SSL היה מוטה לאורך קווים גזעיים ולא יעיל במידה רבה בהפחתת שיעורי הרצח. הוא הוצא משימוש בסוף 2019, אך לא לפני ששלח שוטרים לביקורי פתע אצל אלפי אנשים שה“פשע” היחיד שלהם היה מגורים בשכונה שהאלגוריתם החליט שהיא מסוכנת.
מדוע מודל רעידות האדמה נכשל בניבוי פשיעה?
שלושת אלפים מייל מערבה, ה-LAPD ניהל ניסוי משלו. Geolitica — לשעבר PredPol — השתמשה במודל שתוכנן במקור לניבוי רעידות משנה של רעידות אדמה. ההיגיון היה מפתה: בדיוק כפי שרעידות מתקבצות במרחב ובזמן, סוגים מסוימים של פשיעה עוקבים אחר דפוסים מרחביים-זמניים צפויים. הזינו את האלגוריתם בנתוני אירועים היסטוריים — מיקום, זמן, סוג הפשע — והוא יצר “תיבות מוקד” בגודל 500 על 500 רגל מרובע שאמרו לשוטרים היכן לסייר.
אני זוכר שקראתי את התיעוד הטכני וחשבתי, זה אלגנטי. המתמטיקה הייתה נקייה. הממשק היה אינטואיטיבי. והתוצאות היו קטסטרופליות.
ביקורת מ-2019 שערך המפקח הכללי של ה-LAPD מצאה “חוסר עקביות משמעותי” בהזנת הנתונים. שוטרים רשמו את זמן הסיור במתקני משטרה במקום בשטח, וכך זיהמו את נתוני המוקדים. המערכת לא הצליחה לבודד את ההשפעה שלה עצמה ממגמות שיטור רחבות יותר. ובתחומי שיפוט דומים כמו פליינפילד, ניו ג'רזי, שיעור הצלחת הניבוי תועד כנמוך מ-1%.
פחות מאחוז אחד. הטלת מטבע הייתה מועילה יותר.
אבל הבעיה העמוקה יותר לא הייתה הדיוק — אלא לולאת המשוב. כאשר האלגוריתם סימן שכונה שרובה שחורה או לטינית כמוקד, יותר שוטרים הגיעו לשם. יותר שוטרים משמעם יותר עצירות. יותר עצירות משמען יותר מעצרים בגין עבירות קלות שלא היו נאכפות באזורים אמידים ולבנים יותר. המעצרים החדשים האלה זרמו בחזרה אל נתוני האימון כ“ראיה” לפשיעה גבוהה, והאלגוריתם הגביר בצייתנות את התחזיות שלו לאותה שכונה עצמה.
נתוני חוק הפרופיילינג הגזעי והזהותי של קליפורניה (RIPA) חשפו זאת במספרים שקשה להתווכח איתם: אנשים שחורים נעצרו בתדירות גבוהה ב-126% מהצפוי על בסיס חלקם באוכלוסייה. שוטרים ביצעו 4.7 מיליון עצירות של כלי רכב והולכי רגל ב-2023. והנה הפאנץ' — כאשר שוטרים חיפשו על גופם של אנשים שחורים ולטינים בשיעורים גבוהים יותר, באופן עקבי היו סיכוייהם למצוא אצלם חומרים אסורים נמוכים יותר בהשוואה לחיפושים על אנשים לבנים.
הנתונים אמרו לנו, בשפה סטטיסטית פשוטה, שהמערכת שגתה. והמערכת המשיכה לפעול בכל זאת.
ה-LAPD סיים לבסוף את הקשר שלו עם Geolitica בתחילת 2024. כתבתי על ההשלכות הרחבות יותר של הכשלים האלה — ומה משמעותם עבור ארכיטקטורת בינה מלאכותית ארגונית — בגרסה האינטראקטיבית של המחקר שלנו.
מה קורה כשאף אחד לא יכול לפתוח את הקופסה השחורה?
יש מונח בפילוסופיה של המדע שחזר ועלה במחקר שלי: אטימות אפיסטמית. המשמעות היא שהמערכת כה מורכבת עד שאפילו האנשים שמפעילים אותה אינם יכולים להבין באופן מלא כיצד היא מגיעה למסקנותיה.
רוב מערכות השיטור החזוי היו קופסאות שחורות קנייניות. נתוני הקלט הספציפיים, הגורמים ששוקללו, ההיגיון של התחזיות — כולם הוסתרו כסודות מסחריים. מחלקות המשטרה שהשתמשו בכלים האלה לרוב לא יכלו להסביר מדוע סומנו אדם או שכונה מסוימים, אפילו כאשר ארגונים לזכויות אזרח דרשו תשובות.
זו אינה רק בעיה של שיטור. זו נקודת התורפה המהותית של האופן שבו רוב הארגונים מטמיעים בינה מלאכותית כרגע.
אני חושב על אותו צ'אטבוט ציות שראיתי מודגם. סמנכ״ל ההנדסה לא יכול היה לומר לי אילו מסמכים המודל אכן אחזר כדי לייצר את התשובה שלו. הוא לא יכול היה להסביר מדוע הוא הזה אזכור רגולטורי. הוא לא יכול היה לומר לי אם המערכת תיתן תשובה שונה מחר אם תישאל אותה שאלה. והתוכנית שלו הייתה לחכות ש-OpenAI תשחרר מודל טוב יותר.
זו אינה אסטרטגיית בינה מלאכותית. זו תפילה.
לולאת המשוב המשתוללת אינה רק בעיה של שיטור
כאן אני צריך לעשות את החיבור שלדעתי רוב האנשים בתחום הבינה המלאכותית הארגונית מפספסים.
לולאת המשוב שהרסה את השיטור החזוי — שבה פלטים מוטים מייצרים נתוני אימון מוטים, שמייצרים פלטים מוטים עוד יותר — אינה ייחודית לאכיפת החוק. זו תכונה מבנית של כל מערכת בינה מלאכותית הלומדת מסביבת ההפעלה שלה עצמה ללא אימות עצמאי.
חשבו על כלי גיוס מבוסס בינה מלאכותית שסורק קורות חיים. אם הוא מאומן על נתוני גיוס היסטוריים מחברה שגייסה בעיקר גברים לתפקידי הנדסה, הוא ילמד לשייך שפה בעלת קידוד גברי ל“מועמדים טובים”. הוא ידרג נשים נמוך יותר. החברה תגייס פחות נשים. נתוני הגיוס האלה יוזנו בחזרה אל מחזור האימון הבא, וההטיה תעמיק.
או שקלו מודל חיתום פיננסי המאומן על אישורי הלוואות היסטוריים. אם פקידי הלוואות בעבר נטו יותר לאשר בקשות ממיקודים מסוימים — מיקודים שבמקרה מתואמים עם גזע בשל עשרות שנים של רדליינינג — המודל ילמד את הדפוסים האלה. הוא ידחה הלוואות למבקשים כשירים מאותם אזורים. הדחיות האלה יהפכו לנתוני אימון. המעגל נמשך.
מערכות הבינה המלאכותית המסוכנות ביותר אינן אלה שמקולקלות באופן גלוי. הן אלה שעובדות מספיק טוב כדי להתחמק מבחינה מדוקדקת, ובה בעת מקודדות בשקט את ההטיות של נתוני האימון שלהן אל תוך החלטות אוטומטיות בקנה מידה גדול.
זו הסיבה שאני מתוסכל כשאני שומע מנהיגים ארגוניים מדברים על ממשל בינה מלאכותית כעל “דבר נחמד שכדאי שיהיה” או יוזמה ל“שלב שני”. ממשל אינו תכונה שמבריגים אחרי ההשקה. הוא הארכיטקטורה עצמה.
מדוע עטיפות LLM נכשלות בסביבות בעלות סיכון גבוה?
הרשו לי להיות ישיר לגבי משהו: עידן עטיפות ה-LLM הפשוטות מגיע לקיצו, ורוב הארגונים עדיין לא הבינו זאת.
עטיפת LLM — שכבה דקה של הנדסת פרומפטים וממשק משתמש נחמד על גבי מודל יסוד כמו GPT-4 או Claude — עובדת מצוין לניסוח מיילים וסיכום פרוטוקולי פגישות. היא אינה עובדת לבדיקה משפטית, לציות פיננסי, למיון רפואי, או לכל תחום שבו תשובה שגויה נושאת השלכות מהותיות.
בדקנו זאת בקפדנות ב-Veriprajna. במיון פגיעויות אבטחה — תחום שבו צריך להבחין בין באג מינורי לבין ניצול קריטי — עטיפת LLM נאיבית השיגה כ-51% דיוק. זה בקושי טוב יותר מאקראי. למודל חסרו הכלים הייעודיים והידע התחומי כדי לבצע הבחנות משמעותיות. ולמודל הייתה בעיה נוספת שהתחלתי לכנות תופעת “הישיבה על הגדר”: יישורי הבטיחות המובנים במודלי היסוד גרמו להם להסס לנקוט עמדות נחרצות במקרים מעורפלים. בהקשר של מיון, העמימות היא כל העבודה. בינה מלאכותית שמגדרת את עצמה בכל מקרה קצה אינה מעצימה את הצוות שלכם — היא יוצרת עוד עבודה.
הארכיטקטורה הרב-סוכנית שלנו, לעומת זאת — עם סוכנים ניתנים להרכבה, זרימות עבודה מובנות, ומאגרי ידע ייעודיים לתחום — הגיעה ל-89% דיוק על אותם מבחני ביצועים. לא משום שהשתמשנו במודל “טוב יותר”, אלא משום שבנינו מערכת ולא עטיפה.
ההבדל הזה — 51% מול 89% — הוא ההבדל בין בינה מלאכותית שמייצרת טקסט מתקבל על הדעת לבין בינה מלאכותית שבאמת מנתחת ומסיקה לגבי תחום.
כיצד באמת נראית הוגנות מתמטית?
אחד הדברים שלמדתי בבניית Veriprajna הוא ש“הוגנות” בבינה מלאכותית לא יכולה להיות תחושה. היא חייבת להיות מספר.
כשאנחנו בונים מערכות לסביבות בעלות סיכון גבוה, אנחנו מגדירים הוגנות באופן מתמטי ומנטרים אותה ברציפות. שני מדדים חשובים ביותר:
שוויון דמוגרפי (Demographic Parity) שואל: האם ההסתברות לתוצאה חיובית בלתי תלויה במאפיין מוגן כמו גזע או מגדר? אם הבינה המלאכותית לגיוס שלכם מאשרת 60% מהמועמדים הגברים ו-35% מהמועמדות הנשים, נכשלתם במבחן הזה.
סיכויים מאוזנים (Equalized Odds) מעמיק יותר: האם שיעורי החיוב האמיתי ושיעורי החיוב הכוזב שווים בין הקבוצות? זה חשוב משום שמערכת יכולה להשיג שוויון דמוגרפי על ידי אישור אקראי של יותר בקשות מקבוצות בתת-ייצוג — מבלי שתשתפר בפועל בזיהוי מועמדים כשירים.
יש לנטר את שני המדדים בו-זמנית, ואף אחד מהם אינו מספיק לבדו. לכן אסטרטגיית הפחתת ההטיה שלנו פועלת לאורך כל מחזור החיים של הבינה המלאכותית: שקלול מחדש של נתוני האימון עוד לפני שהמודל רואה אותם, שילוב אילוצי הוגנות ישירות בתהליך האימון באמצעות טכניקות כמו הפחתת הטיה יריבותית (adversarial debiasing), וכיול ספי החלטה לאחר האימון כדי להבטיח תוצאות שוויוניות בין הקבוצות הדמוגרפיות.
אני יודע שזה נשמע טכני. אבל הנה הגרסה בשפה פשוטה: אם אינכם יכולים לבטא את קריטריוני ההוגנות שלכם כמשוואה מתמטית, אין לכם קריטריוני הוגנות. יש לכם הודעה לעיתונות.
גל הרגולציה שרוב החברות אינן מוכנות אליו
בזמן שהארגונים היו עסוקים בהתנסות בצ'אטבוטים, הרגולטורים היו עסוקים בכתיבת חוקים.
יותר מ-40 ערים בארה״ב נעו לאסור או להגביל בחומרה שיטור חזוי וטכנולוגיות בינה מלאכותית קשורות כמו זיהוי פנים. סן פרנסיסקו הייתה הראשונה ב-2019. בוסטון, פורטלנד, וסנטה קרוז הצטרפו. במרץ 2024, הבית הלבן פרסם מדיניות פורצת דרך המחייבת סוכנויות פדרליות לבצע בדיקות עצמאיות והערכות השפעה מנדטוריות עבור כל מערכת בינה מלאכותית המשפיעה על זכויות.
זו אינה רק בעיה ממשלתית. ה-EU AI Act, מסגרת ניהול סיכוני הבינה המלאכותית של NIST, ISO 42001 — המסגרות האלה מתכנסות למסר אחד: אם אתם מטמיעים בינה מלאכותית בהחלטות בעלות סיכון גבוה, תידרשו להוכיח שהיא הוגנת, להסביר כיצד היא פועלת, ולהדגים שאתם מנטרים אותה ברציפות.
הארגונים שיש להם תשתית ממשל במקומה יסתגלו. אלה שבנו עטיפות LLM וקראו לזה “אסטרטגיית בינה מלאכותית” ייאלצו להיאבק בבהילות.
ראיתי את הדפוס הזה בעבר, באבטחת סייבר. חברות שהתייחסו לאבטחה כמחשבה שלאחר מעשה בילו שנים בניסיון להדביק את הפער כשהרגולציה הגיעה. אלה שבנו את האבטחה לתוך הארכיטקטורה שלהן מההתחלה בקושי הרגישו בכך. ממשל בינה מלאכותית הולך באותו מסלול, רק מהר יותר.
לפירוט הטכני המלא של האופן שבו אנחנו מיישרים את מסגרת הממשל שלנו עם NIST, ISO 42001, וה-EU AI Act, ראו את מאמר המחקר שלנו.
“פשוט תשתמשו ב-GPT” וטעויות יקרות אחרות
אנשים שואלים אותי כל הזמן מדוע ארגונים לא צריכים פשוט להשתמש במודל יסוד עם קצת הנדסת פרומפטים ולסיים עם זה. התשובה היא אותה סיבה שבגללה ה-LAPD לא היה צריך להשתמש במודל רעידות אדמה כדי לנבא פשיעה.
הכלי אינו הבעיה. ההנחה היא הבעיה.
ההנחה היא שמערכת לשימוש כללי — בין אם זה אלגוריתם סיסמולוגי ובין אם זה מודל שפה גדול שאומן על האינטרנט — יכולה להיות מושלכת אל תוך תחום מתמחה בעל סיכון גבוה ללא שינויים ארכיטקטוניים מהותיים. ללא שכבות ניתוח והסקה ייעודיות לתחום. ללא יכולת הסבר. ללא ניטור הטיה רציף. ללא ממשל.
ההנחה הזו נבחנה. בשיטור, היא הרסה את אמון הציבור, פגעה במאות אלפי אנשים, והציתה תגובת נגד רגולטורית ברחבי המדינה. בבינה מלאכותית ארגונית, ההשלכות מתרחשות בשקט רב יותר — באזכורים משפטיים מוזים, בהחלטות גיוס מוטות, בכשלי ציות שלא יצופו עד שביקורת או תביעה משפטית יכריחו אותם אל האור.
השאלה אינה אם הבינה המלאכותית שלכם תעשה טעות. השאלה היא אם תדעו מתי היא עושה זאת — ואם בניתם את הארכיטקטורה כדי לתפוס אותה לפני שהיא מצטברת ומחמירה.
ב-Veriprajna אנחנו לא מתחילים ממודל. אנחנו מתחילים מהנתונים. אנחנו מבקרים אותם לאיכות, נגישות, והטיה היסטורית לפני שמאמנים ולו פרמטר יחיד. אנחנו בונים ארכיטקטורות רב-סוכניות שבהן שכבות ניתוח והסקה ייעודיות יכולות לבצע מחקר עמוק במקום להסתמך על קריאות zero-shot למודל לשימוש כללי. אנחנו מיישמים אימות בינה מלאכותית ניתנת להסבר כך שכל החלטה ניתנת למעקב, לתחקור, ולהגנה. ואנחנו מנטרים ברציפות — לא רק לדיוק, אלא לסחף בהוגנות, משום שמה שהיה שוויוני לפני שישה חודשים עשוי שלא להיות שוויוני היום אם התפלגות הנתונים הבסיסית השתנתה.
זה אינו יקר יותר מגישת העטיפה. זה זול יותר — משום שהעלות של הטמעת מערכת בינה מלאכותית ללא ממשל בסביבה בעלת סיכון גבוה אינה נמדדת בשעות הנדסה. היא נמדדת בתביעות משפטיות, בקנסות רגולטוריים, בנזק תדמיתי, ובעלות האנושית של החלטות אוטומטיות שאיש אינו יכול להסביר או להגן עליהן.
החדר שבו זה קורה
אני רוצה לסיים ברגע שנשאר איתי.
היינו עמוק בתוך בניית שכבת ניתוח והסקה חדשה עבור לקוח בתחום השירותים הפיננסיים. הצוות התווכח במשך יומיים על השאלה אם לתעדף דיוק או יכולת הסבר במודול מסוים — אחד מאותם ויכוחים שבהם כולם צודקים מבחינה טכנית והשאלה האמיתית נוגעת לערכים, לא להנדסה.
מהנדס הצוות הראשי שלי אמר לבסוף משהו שהשתיק את החדר: “אם אנחנו לא יכולים להסביר מדוע המודל הזה דחה למישהו הלוואה, אז לא בנינו מערכת בינה מלאכותית. בנינו גרסה יעילה יותר של הבעיה שנשכרנו לפתור.”
היא צדקה. והמשפט הזה הפך למשהו קרוב לעקרון עיצוב עבור כל מה שאנחנו בונים.
כשלי השיטור החזוי — 400,000 האנשים ברשימת החום של שיקגו, הדיוק הנמוך-מ-1% בפליינפילד, לולאות המשוב שהפכו גזענות היסטורית לוודאות מתמטית — אינם סיפורי אזהרה מתעשייה אחרת. הם התצוגה המקדימה הברורה ביותר האפשרית של מה שקורה כשמטמיעים בינה מלאכותית ללא הארכיטקטורה שתזכה באמון.
הדרך קדימה אינה לנטוש את הבינה המלאכותית. היא להפסיק להתייחס לממשל כתקורה ולהתחיל להתייחס אליו כאל המוצר. הארגונים שיבינו זאת יבנו מערכות ששורדות בחינה מדוקדקת. אלה שלא, ילמדו את הלקח שה-LAPD למד, שמשטרת שיקגו למדה, ושאותו צ'אטבוט ציות ילמד בסופו של דבר: מערכת בינה מלאכותית ללא יושרה אינה כלי. היא נטל עם ממשק נחמד.
