הטיה בבינה מלאכותית בממשל: כאשר אלגוריתמים מפלים

הבעיה

אלגוריתם השיטור המנבא של שיקגו הכניס 56% מהגברים השחורים בני 20–29 לרשימת מעקב משטרתית. בשכונה אחת, ווסט גרפילד פארק (West Garfield Park), 73% מהגברים השחורים בגילאי 10–29 הופיעו ברשימה. ומה היה שיעור ההצלחה האמיתי של האלגוריתם בחיזוי אלימות בנשק חם? פחות מאחוז אחד.

לא היה מדובר בניסוי חריג ומבודד. "רשימת הנושאים האסטרטגיים" (Strategic Subject List) של משטרת שיקגו — המוכרת כ-"heat list" — פעלה במשך קרוב לעשור. היא דירגה מעל 400,000 בני אדם כאיומים פוטנציאליים בהתבסס על רישומי מעצרים ורשתות קשרים חברתיות. הבעיה: ל-57% מהאנשים שסומנו כיעדים בעדיפות עליונה לא היו כלל מעצרים על פשיעה אלימה. האלגוריתם התייחס לעבירות קלות, כמו חציית כביש שלא במעבר חצייה, בדיוק כמו לעבירות חמורות. הוא הפך מפגשים שגרתיים ומינוריים עם המשטרה לציוני חשד קבועים.

ברחבי המדינה, לוס אנג'לס הפעילה מערכת דומה בשם Geolitica (לשעבר PredPol). ביקורת משנת 2019 של המפקח הכללי של משטרת לוס אנג'לס (LAPD Inspector General) מצאה "אי-עקביות משמעותית" בהזנת הנתונים וכישלון מוחלט במדידה האם התוכנית בכלל עבדה. בפליינפילד, ניו ג'רזי, אותה טכנולוגיה הציגה שיעור הצלחה של פחות מ-0.5%. שתי הסוכנויות נטשו בסופו של דבר את הכלים הללו.

אם הארגון שלכם מטמיע מערכות בינה מלאכותית הנוגעות בחיי אדם — בין אם בגיוס עובדים, במתן אשראי, בניהול קצבאות והטבות רווחה או בביטחון הציבור — כשלים אלה הם יריית האזהרה שלכם. הבינה המלאכותית לא סבלה מתקלה. היא פעלה בדיוק כפי שתוכננה. התכנון עצמו היה הבעיה.

מדוע זה חשוב לעסק שלכם

הסביבה הרגולטורית השתנתה באופן דרמטי. מעל 40 ערים פעלו לאסור או להגביל שיטור מנבא וכלים נלווים של בינה מלאכותית כמו זיהוי פנים. במרץ 2024, הבית הלבן ומשרד הניהול והתקציב (OMB) פרסמו מדיניות ציון דרך המחייבת סוכנויות פדרליות לבצע בדיקות עצמאיות והערכות השפעה מחייבות עבור כל מערכת בינה מלאכותית המשפיעה על זכויות אזרח.

חוק הפרופיילינג הגזעי והזהותי של קליפורניה (RIPA) מחייב כעת איסוף נתונים חובה על כל עצירה משטרתית. חוקי מדינה חדשים מ-2025 מוסיפים דרישות שקיפות לבינה מלאכותית. חוק ה-AI האירופי (EU AI Act) יוצר חובות נוספות לכל ארגון הפועל בזירה הבינלאומית.

הנה המשמעות של הדבר עבור השורה התחתונה שלכם:

• עלויות הציות מזנקות. אם מערכות הבינה המלאכותית שלכם אינן יכולות להוכיח הוגנות ושקיפות, אתם צפויים לביקורות חובה, להערכות השפעה ולצעדי אכיפה פוטנציאליים תחת התקנות הפדרליות והמדינתיות החדשות.
• החשיפה לתביעות משפטיות היא ממשית. האלגוריתם של שיקגו סימן 96% מחברי הכנופיות החשודים כשחורים או לטינים. פער דמוגרפי מסוג זה מזמין תביעות בגין פגיעה בזכויות האזרח. מערכות הבינה המלאכותית שלכם יעמדו בפני אותה ביקורת קפדנית אם יניבו תוצאות בלתי שוויוניות.
• הסיכון התדמיתי מצטבר ומעמיק. משטרת לוס אנג'לס בילתה עשור בהגנה על מערכת שרק "תיקפה דפוסים קיימים" במקום לייצר תובנות חדשות. כל שנת עיכוב בטיפול בהטיות בינה מלאכותית מגדילה את החשיפה שלכם.
• האחריותיות ברמת הדירקטוריון כבר כאן. מסגרת ניהול סיכוני ה-AI של NIST (ה-NIST AI Risk Management Framework) מגדירה כעת את ציפיית הבסיס לממשל בינה מלאכותית. הדירקטוריון שלכם יישאל כיצד אתם מנהלים סיכונים אלגוריתמיים.

מתקפות סייבר מונעות בינה מלאכותית עלו ב-300% בין השנים 2020 ל-2023. שלבו את סיכון האבטחה הזה עם חבות משפטית בגין הטיה, ותקבלו אתגר ממשלתי ותאגידי שחייב להיות על סדר יומו של כל מנהל סיכונים ראשי.

מה שקורה בפועל מתחת למכסה המנוע

לכשל המרכזי במערכות אלו יש שם: לולאת משוב בלתי נשלטת (runaway feedback loop). הנה כיצד היא פועלת בשפה פשוטה.

תארו לעצמכם שאתם בודקים ליקויי תברואה רק במסעדה אחת. אתם מוצאים שם ליקויים בכל פעם מחדש. לעולם אינכם בודקים את המסעדה מעבר לרחוב. הנתונים שלכם "מוכיחים" כעת שהמסעדה הראשונה היא היחידה שאינה בטוחה. אך לא למדתם שום דבר אמיתי — בסך הכל איששתם את דפוס הפיקוח של עצמכם.

זה בדיוק מה שקרה עם השיטור המנבא. האלגוריתם שלח יותר שוטרים לשכונות עם מספר גבוה היסטורית של מעצרים. יותר שוטרים הובילו ליותר עצירות ובדיקות. יותר עצירות הובילו ליותר מעצרים על עבירות קלות. מעצרים חדשים אלה הוזנו בחזרה למערכת כ-"ראיות" טריות לכך שהשכונה מסוכנת. המעגל חזר על עצמו שוב ושוב.

בקליפורניה, הנתונים מספרים את הסיפור בבירור. אנשים שחורים נעצרו לבדיקה ב-126% יותר מאשר חלקם היחסי באוכלוסייה. ילידים אמריקאים ואנשים שחורים נערכו עליהם חיפושים בשיעורים של 22% ו-19%, בהשוואה ל-12% בקרב אנשים לבנים. עם זאת, השוטרים מצאו פריטים אסורים או בלתי חוקיים (contraband) בתדירות נמוכה יותר במהלך חיפושים אלה מאשר בחיפושים שנערכו על אנשים לבנים.

הבינה המלאכותית לא יצרה הטיה יש מאין. היא ירשה נתונים מוטים — מה שחוקרים מכנים "נתונים מלוכלכים" ("dirty data") — והעצימה אותם. האלגוריתם הפך החלטות אנושיות סובייקטיביות למה שנראה כמו מתמטיקה אובייקטיבית. ארגוני זכויות תיעדו כיצד "הלבנה טכנולוגית" זו (tech-washing) מקשה על זיהוי האפליה ועל ערעור עליה, במיוחד במערכות "קופסה שחורה" שבהן ההיגיון האלגוריתמי מוסתר כסודות מסחריים קנייניים.

מרבית מערכות הבינה המלאכותית המסחריות פועלות באופן זה. לעיתים אפילו המחלקה המשתמשת בהן אינה מבינה כיצד המודלים מגיעים למסקנותיהם. מצב זה יוצר את מה שמסמך העמדה מכנה ואקום של אחריותיות (accountability vacuum) — שגיאות נמשכות לאורך שנים בטרם מישהו עולה עליהן.

מה עובד (ומה לא)

נתחיל במה שנכשל.

מעטפות LLM פשוטות. מדובר באינטגרציות בסיסיות המציבות ממשק משתמש על גבי מודל בינה מלאכותית לשימוש כללי, כמו GPT-4 או Claude. הן יורשות את אותן הבעיות שחרצו את גורלו של השיטור המנבא: היעדר ידע ספציפי לתחום, חוסר שקיפות ונטייה לשקף את הטיות נתוני האימון. במבחני אבטחה, סוכן מעטפת נאיבי השיג דיוק של 51% בלבד במשימות מותאמות לתחום.

ביקורות חד-פעמיות. רשימת ה-heat list של שיקגו פעלה כמעט עשור בטרם ביקורות רשמיות תיעדו את כשליה. ביקורת יחידה אינה מהווה אסטרטגיה. מערכות הבינה המלאכותית שלכם משתנות ככל שהנתונים משתנים. מה שעבר בדיקות הוגנות לפני שישה חודשים עלול שלא לעבור אותן כיום.

יישור בטיחות (Safety alignment) בלבד. מודלי בינה מלאכותית סטנדרטיים כוללים לעיתים קרובות מנגנוני הגנה (guardrails) מובנים המונעים מהם לנקוט עמדה נחרצת בשאלות מורכבות — נטייה המתוארת כ-"ישיבה על הגדר". בהחלטות בעלות השלכות כבדות משקל, כגון סקירה משפטית או חיתום פיננסי, בינה מלאכותית שאינה מסוגלת לספק תשובה חד-משמעית ומבוססת ראיות היא נטל ולא נכס.

הנה מה שבאמת עובד — גישה תלת-שלבית שתוכלו להעריך:

1. קלט נקי. לפני שאתם בונים או מטמיעים מודל בינה מלאכותית כלשהו, בצעו ביקורת על הנתונים שלכם לגבי איכות, גישה והטיה היסטורית. זהו האם נתוני האימון שלכם מייצגים יתר על המידה קבוצות או תוצאות מסוימות. אם השיטור המנבא לימד אותנו משהו, הרי זה שקלטים מוטים מבטיחים פלטים מוטים. עליכם לאתר גם "Shadow AI" — כלי בינה מלאכותית בלתי מורשים שעובדיכם כבר משתמשים בהם. מיקרוסופט מצאה זאת בקרב 78% ממשתמשי הבינה המלאכותית בשנת 2024.

2. הסקה מובנית. החליפו ניחושים של מודל יחיד במערכות רב-שכבתיות. מערכות אלו משתמשות בסוכנים מודולריים להרכבה (composable agents) — רכיבי בינה מלאכותית ייעודיים המטפלים בחלקים שונים של הבעיה — לצד תהליכי עבודה מובנים ומאגרי ידע ספציפיים לתחום. במקום לבקש ממודל כללי יחיד לעשות הכל, אתם בונים מערכת שבה כל שכבה מבקרת ומאמתת את האחרות. במבחני ביצועים (benchmarks), גישה זו הגיעה ל-89% דיוק סיווג לעומת 51% בלבד במעטפות פשוטות.

3. ניטור רציף ושובלי ביקורת. פרסו מידול צל (shadow modeling) כדי להשוות פלטים של מודלים חדשים מול קווי בסיס מבוססים בזמן אמת. בצעו תרגילי Red Teaming המדמים את התרחישים הגרועים ביותר. עקבו אחר סחף מודלים (model drift) — הירידה ההדרגתית בביצועי ה-AI ככל שתנאי העולם האמיתי משתנים. כל החלטה שהבינה המלאכותית שלכם מקבלת צריכה לייצר שובל מתועד שצוות הציות שלכם יוכל לבחון והרגולטורים שלכם יוכלו לבדוק.

שובל הביקורת הוא מה שמשנה הכל עבור צוותי הציות והמשפט שלכם. כאשר רגולטור שואל כיצד הבינה המלאכותית שלכם הגיעה להחלטה מסוימת, עליכם להראות באילו נתונים היא השתמשה, אילו גורמים שקלה, ומדוע בחרה בתוצאה אחת על פני אחרת. בינה מלאכותית בת-הסבר (Explainable AI) — שבה תוכלו לראות אילו מאפיינים, כגון הכנסה, מיקום גאוגרפי או דפוסים היסטוריים, הובילו לחיזוי — מעניקה לכם ראיות אלו. ללא שובל זה, אתם מפעילים את אותו סוג של קופסה שחורה ששיקגו ולוס אנג'לס נאלצו בסופו של דבר להשבית.

ביקורות הוגנות והפחתת הטיה חייבות להיות מוטמעות במחזור החיים של הבינה המלאכותית שלכם מהיום הראשון, ולא להתווסף כטלאי בדיעבד. ועבור ארגונים ב ממשל ובמגזר הציבורי, הסיכונים אינם יכולים להיות גבוהים יותר — ביקורת חוקתית חלה על כל החלטה אלגוריתמית המשפיעה על זכויות אדם.

אסטרטגיית ה-AI שלכם צריכה לכלול גם ניטור רציף ושובלי ביקורת מתועדים כדי שתוכלו להוכיח ציות בכל נקודת זמן, ולא רק בעת ההשקה.

לקבלת הניתוח הטכני המלא שמאחורי המלצות אלו, קראו את הניתוח הטכני המלא או חקרו את הגרסה האינטראקטיבית.