הבעיה
הארווי מרפי (Harvey Murphy), סב בן 61, ריצה 10 ימים בכלא על שוד שלא ביצע. הוא היה במרחק של 1,500 מייל משם כשזה קרה. מערכת זיהוי פנים ב-Macy's התאימה את פניו לצילומי אבטחה מגורענים משוד בחנות Sunglass Hut ביוסטון. מרפי היה בסקרמנטו, קליפורניה. הבינה המלאכותית טענה אחרת, והמשטרה האמינה למכונה.
במהלך אותם 10 ימים בכלא, מרפי הותקף מינית והוכה. הוא סובל מפציעות לכל החיים. מאז הוא הגיש תביעה בסך 10 מיליון דולר נגד Macy's וחברת האם של Sunglass Hut, תאגיד EssilorLuxottica. המערכת שסימנה אותו הסתמכה על סרטון אבטחה ברזולוציה נמוכה. היא ככל הנראה השוותה את הצילומים הללו לתמונת מעצר (booking photo) מעבירות לא-אלימות שבוצעו עשרות שנים קודם לכן. מחקרים מראים שהתאמת תמונות עדכניות לתמונות שצולמו בהפרש של שנים או עשרות שנים עלולה להניב שיעורי תוצאה חיובית שגויה (false-positive) של עד 90%.
זו לא הייתה תאונה חריגה ומבודדת. רק שבועות ספורים קודם לכן, ה-FTC אסרה על Rite Aid להשתמש בזיהוי פנים למשך חמש שנים. בין 2012 ל-2020, המערכת של Rite Aid הפיקה אלפי התאמות חיוביות שגויות במאות חנויות. נשים ובני מיעוטים סומנו באופן בלתי פרופורציונלי. עובדים עקבו, ערכו חיפושים והאשימו בפומבי לקוחות חפים מפשע על סמך התראות אוטומטיות.
אם הארגון שלכם משתמש בבינה מלאכותית לכל החלטה המשפיעה על חירותו של אדם, על כספיו או על המוניטין שלו, מקרים אלה הם יריית האזהרה שלכם.
מדוע זה חשוב לעסק שלכם
החשיפה הפיננסית כאן אינה היפותטית. היא כבר פוגעת במאזנים ובאולמות בתי המשפט.
- תביעה בסך 10 מיליון דולר: תביעתו של הארווי מרפי נגד Macy's ו-EssilorLuxottica בגין מעצר שווא ופגיעה גופנית שנגרמו עקב זיהוי לקוי של בינה מלאכותית.
- איסור שימוש בטכנולוגיה לחמש שנים: ה-FTC אסרה על Rite Aid להשתמש בזיהוי פנים לחלוטין. כמו כן, על Rite Aid למחוק את כל הנתונים הביומטריים ולהשמיד כל מודל בינה מלאכותית שנבנה מנתונים אלה.
- חילוט מודלים (Model disgorgement): ה-FTC חייבה את Rite Aid לגרום לבינה המלאכותית שלה "לבטל למידה" ("unlearn") — השמדת אלגוריתמים שנגזרו ממידע שנאסף שלא כדין. זהו כלי רגולטורי חדש, והוא מוחק שנים של השקעה בן לילה.
הסביבה הרגולטורית מתהדקת במהירות. חוק ה-AI האירופי (EU AI Act) מסווג כעת זיהוי ביומטרי במרחבים ציבוריים כבעל "סיכון גבוה". ספקים חייבים לבצע הערכות תאימות, לנהל תיעוד טכני מפורט ולהבטיח פיקוח אנושי אפקטיבי. גם אם החברה שלכם פועלת רק בארצות הברית, מסגרת ניהול סיכוני ה-AI של NIST מקדמת את אותם עקרונות. ה-FTC השתמשה בהיגיון דומה — שקיפות, אחריותיות וניהול סיכונים — כדי להצדיק את האיסור שהטילה על Rite Aid.
הדירקטוריון שלכם צריך להבין: העלות של מערכת בינה מלאכותית בעלת ממשל לקוי אינה בעיה טכנולוגית. זוהי בעיית התדיינות משפטית, בעיה רגולטורית ובעיה של כותרות ראשיות בעיתונים. אם ספק הבינה המלאכותית שלכם אינו יכול להסביר כיצד המערכת שלו מונעת כשלים אלה, החברה שלכם היא שנושאת בסיכון — לא הוא.
מה שקורה בפועל מתחת למכסה המנוע
הנה הסיבה לכך שמערכות אלו נכשלות, במונחים פשוטים.
רוב כלי זיהוי הפנים המסחריים בנויים עבור מה שמהנדסים מכנים בעיות "קבוצה סגורה" (closed-set). פירוש הדבר שהמערכת מניחה שהאדם שהיא סורקת נמצא בוודאות במסד הנתונים. חשבו על פתיחת נעילת הטלפון שלכם באמצעות הפנים. הטלפון יודע שאתם זה אתם. הוא רק צריך לאמת זאת.
אבטחה בקמעונאות היא ההפך הגמור. זוהי בעיית "קבוצה פתוחה" (open-set). הרוב המכריע של האנשים שנכנסים לחנות שלכם אינם מופיעים באף מסד נתונים פלילי. אך מערכת של קבוצה סגורה אינה יודעת לומר "אינני מזהה אדם זה". במקום זאת, היא מוצאת את ההתאמה הקרובה ביותר שהיא יכולה, גם אם אותה התאמה שגויה. כך יצרה Rite Aid אלפי תוצאות חיוביות שגויות במאות חנויות.
חשבו על כך כמו על מבחן רב-ברירה (אמריקאי) ללא האפשרות "אף אחת מהתשובות אינה נכונה". המערכת חייבת לבחור תשובה, גם כאשר התשובה הנכונה אינה מופיעה ברשימה. כל פנים שנכנסות דרך הדלת מותאמות למישהו במסד הנתונים, בין אם הן שייכות לשם ובין אם לא.
הכשל השני הוא התייחסות לפלט של הבינה המלאכותית כאל תשובה פשוטה של כן-או-לא. במציאות, כל פלט של בינה מלאכותית הוא הסתברות — ניחוש בעל רמת ביטחון. המערכת של Macy's הפיקה ציון התאמה עבור הארווי מרפי. אך איש לא שאל עד כמה הציון הזה היה אמין בפועל. ציון התאמה של 0.85 נשמע גבוה. אך אם תמונת המקור מטושטשת ותמונת ההשוואה היא בת עשרות שנים, אותו 0.85 חסר כל משמעות סטטיסטית. ללא שכבה שמודדת אי-ודאות — עד כמה המערכת בטוחה בעצמה בפועל — אתם מקבלים החלטות בעלות סיכון גבוה על סמך הטלת מטבע המחופשת למדע.
מה עובד (ומה לא)
נתחיל במה שנכשל.
מודלי מדף ללא בדיקה. חברת Rite Aid רכשה מערכות זיהוי פנים משני ספקים שהחוזים שלהם החריגו במפורש כל אחריות לדיוק. החברה מעולם לא בדקה את מהימנות התוכנה. אינכם יכולים להוציא אחריותיות למיקור חוץ באמצעות חוזה ספק.
קלטים באיכות נמוכה שטופלו כטובים דיים. הן Rite Aid והן Macy's הזינו תמונות סטילס מגורענות ממצלמות במעגל סגור (CCTV) ותמונות מעצר ישנות למערכות שלהן. בהנדסה ביומטרית, קלט גרוע אינו רק מפחית את הדיוק — הוא מגדיל את השגיאות באופן מעריכי.
היעדר סקירה אנושית לפני נקיטת פעולה. עובדי Rite Aid התעמתו עם לקוחות על סמך התראות אוטומטיות בלבד. איש לא הטיל ספק במכונה. כתב התביעה נגד Macy's טוען שהחברה הציגה למשטרה התאמה אוטומטית כעובדה מאומתת, והמשטרה הפסיקה לחקור.
הנה מה שבאמת עובד.
אימות קלט. עוד לפני שהמערכת שלכם מנסה לבצע התאמה, סוכן ייעודי לבקרת איכות מעריך את התמונה. האם הרזולוציה מספקת? האם התאורה הולמת? האם תמונת ההשוואה עדכנית מספיק? אם הקלט נכשל בבדיקות אלו, המערכת דוחה את ההשוואה על הסף. אי-ניחוש עדיף על ניחוש גרוע.
מדידת אי-ודאות. במקום להפיק ציון ביטחון יחיד, המערכת מייצרת התפלגות הסתברותית — טווח המציג עד כמה הפלט אמין בפועל. טכניקות כמו חיזוי קונפורמי (conformal prediction) מבטיחות שהתוצאה האמיתית תיפול בתוך הגבולות החזויים ברמת ביטחון שאתם קובעים. אתם מחליטים על שיעור השגיאה המקובל עליכם. המערכת אוכפת זאת באופן מתמטי.
שערי החלטה עם אדם בלולאה (Human-in-the-loop). המערכת מנתבת כל תוצאה דרך ספי ביטחון. מתחת ל-70% ביטחון, ההתאמה נפסלת אוטומטית. בין 70% ל-95%, בודק אנושי מיומן רואה את תמונת האבטחה המקורית לצד תמונת מסד הנתונים ומקבל את ההחלטה. רק מעל 95% — ורק עבור פעולות בעלות השלכות נמוכות — המערכת פועלת באופן עצמאי.
זוהי גישת תזמור מרובת-סוכנים שבה סוכנים ייעודיים מטפלים בכל שלב: אחד מאמת את איכות הקלט, אחר מריץ את ההתאמה, שלישי מודד אי-ודאות, ורביעי מסמן מקרים עמומים לבחינה אנושית. אף מודל יחיד אינו מקבל את ההחלטה הסופית לבדו.
יתרון הציות הוא שובל הביקורת (audit trail). כל שלב — כל בדיקת איכות תמונה, כל ציון ביטחון, כל החלטה אנושית — נרשם ביומן באופן אוטומטי. כאשר הרגולטור או עורך הדין של התובע שואלים כיצד המערכת שלכם הגיעה להחלטה, אתם יכולים להראות להם בדיוק מה קרה. מבחן ספקי זיהוי הפנים של NIST (ה-Face Recognition Vendor Test) מספק את מדדי ההשוואה שעל הספקים שלכם לעמוד בהם. הוא מודד שיעורי התאמות שווא בספים מחמירים של עד 1 ל-1,000,000. הוא גם מפרט את הביצועים לפי מגדר, גיל וקבוצה דמוגרפית — בדיוק סוג נתוני ההטיה שה-FTC דרשה מ-Rite Aid.
עבור ארגונים בתחום אבטחה וחוסן של בינה מלאכותית, השאלה אינה האם הבינה המלאכותית שלכם מדויקת בממוצע. השאלה היא האם הבינה המלאכותית שלכם יכולה להוכיח שהיא הייתה מדויקת במקרה ספציפי זה, עבור אדם ספציפי זה, תחת תנאים ספציפיים אלה. זהו הסטנדרט שעל תהליכי עבודה וכלים דטרמיניסטיים לעמוד בו.
אתם יכולים לקרוא את הניתוח הטכני המלא לפרטים ההנדסיים, או לחקור את הגרסה האינטראקטיבית לסיור מודרך בארכיטקטורה.
נקודות מפתח
- הארווי מרפי ריצה 10 ימים בכלא מכיוון שבינה מלאכותית התאימה את פניו לשודד במרחק 1,500 מייל — כעת תלויה ועומדת מטעמו תביעה בסך 10 מיליון דולר נגד Macy's.
- ה-FTC אסרה על Rite Aid להשתמש בזיהוי פנים למשך חמש שנים וחייבה את החברה להשמיד את כל מודלי ה-AI שנבנו על נתונים ביומטריים שנאספו שלא כדין.
- רוב מערכות זיהוי הפנים המסחריות אינן מסוגלות לומר 'אינני יודע' — הן תמיד בוחרות בהתאמה הקרובה ביותר, גם כשהתשובה הנכונה אינה קיימת במסד הנתונים.
- כל פלט של בינה מלאכותית הוא הסתברות ולא עובדה — ללא מדידת אי-ודאות, ציון ביטחון של 0.85 על תמונה מטושטשת חסר כל משמעות סטטיסטית.
- מערכת מרובת-סוכנים עם שערי סקירה אנושית ושובלי ביקורת מלאים היא הארכיטקטורה היחידה שיכולה לעמוד הן בביקורת רגולטורית והן בהליך גילוי מסמכים של תובע.
שורה תחתונה
זיהוי פנים בבינה מלאכותית כבר עלה לחברה אחת באיסור טכנולוגי לחמש שנים ולאחרת בתביעה של 10 מיליון דולר. הפתרון אינו בינה מלאכותית טובה יותר — אלא בינה מלאכותית שיודעת מתי היא אינה יודעת, כאשר בני אדם מקבלים את ההחלטה הסופית ושובל ביקורת מוכיח כל שלב. שאלו את ספק הבינה המלאכותית שלכם: כאשר המערכת שלך מפיקה התאמה על גבי צילומים באיכות נמוכה, האם תוכל להציג בפניי את התפלגות אי-הוודאות ואת יומן הסקירה האנושית עבור אותה החלטה ספציפית?