משבר השלמות האלגוריתמית: תכנון מערכות AI עמידות בעידן האחריות הביומטרית

המוסדיות המהירה של בינה מלאכותית במסחר הגלובלי עברה משלב של ניסוי חדשני לשלב של תלות משימתית־קריטית. עם זאת, ככל שארגונים משלבים יותר ויותר מערכות קבלת החלטות אוטונומיות בליבת התפעול שלהם, התרחב "פער אמינות" בין היכולות התיאורטיות של AI לבין ביצועיו בעולם האמיתי. נייר עמדה זה, שנכתב על ידי צוותי ההנדסה וייעוץ הסיכונים המתמחים של Veriprajna, בוחן את הכשלים המערכתיים של ארכיטקטורות AI "שבירות" דרך עדשת שני אירועים מכוננים: האיסור לחמש שנים של רשות הסחר הפדרלית (FTC) על מערכות זיהוי הפנים של Rite Aid, והזיהוי השגוי הקטסטרופלי של Harvey Murphy. מקרים אלה מדגישים מציאות דחופה: מודל ה"עוטף" השכיח לפריסת AI — המאופיין בשכבת ממשק דקה מעל ממשקי API של צד שלישי — אינו מספק ביסודו לסביבות ארגוניות בעלות סיכון גבוה. חוסן תפעולי אמיתי דורש פתרונות Deep AI המאופיינים בכימות אי־ודאות, ממשל רב־סוכנים והנדסה ביומטרית קפדנית.

אנטומיה של רשלנות מוסדית: האיסור המינהלי על Rite Aid

בדצמבר 2023 נקטה רשות הסחר הפדרלית (FTC) בצעד חסר תקדים ואסרה על תאגיד Rite Aid להשתמש בטכנולוגיית זיהוי פנים (FRT) לצורכי אבטחה ומעקב למשך חמש שנים.¹ פעולת האכיפה לא הייתה רק תגובה לשגיאות טכניות נקודתיות, אלא ביקורת מערכתית על כשל בן עשור ליישם אמצעי הגנה סבירים בפריסת מערכות ביומטריות אוטומטיות. בין 2012 ל־2020 פרסה Rite Aid מעקב מבוסס בינה מלאכותית במאות סניפי קמעונאות במטרה להרתיע גניבות ולזהות "אנשי עניין".² הכשל שהתקבל משמש אזהרה קטגורית לארגונים המתייחסים ל־AI כשירות "הכנס־והפעל" ולא כדיסציפלינת הנדסה מורכבת.

מלכודת הרכש ותלות בספקים

השגיאה הבסיסית בפריסת Rite Aid נעוצה באסטרטגיית הרכש והאינטגרציה. התאגיד רכש את יכולות זיהוי הפנים משני ספקי צד שלישי, שחוזיהם כללו במפורש הצהרת ויתור על כל אחריות לגבי דיוק או אמינות התוצאות.³ זהו סימן ההיכר של מודל תלות ה"עוטף": הארגון המיישם נוטל על עצמו את מלוא האחריות לתוצרי מערכת שהוא אינו מבין ואינו שולט בה.⁴

Rite Aid לא ביצעה בדיקות בטיחות מוצר קפדניות ולא בדקה עד כמה בחנו הספקים את הטכנולוגיה שלהם לדיוק.² העדר אימות פנימי יצר סביבת "קופסה שחורה" שבה הקמעונאי היה עיוור להטיות ולשיעורי השגיאה הגלומים בתוכנה שפרס. יתר על כן, החברה לא יישמה בקרות איכות תמונה, ואפשרה שימוש בצילומי סטילס באיכות נמוכה ממצלמות CCTV ואף בתמונות מטלפונים ניידים כתמונות הרשמה.³ בהנדסה ביומטרית, הקשר בין איכות הקלט לאמינות הפלט אינו ליניארי; שימוש בתמונות מדולדלות מגדיל באופן אקספוננציאלי את ההסתברות להתאמות חיוביות כוזבות.⁶

נקודות כשל מערכתיות של Rite Aid	תוצאה תפעולית
הצהרות ויתור על אחריות של ספקים	העבירו את כל הסיכון הטכני והמשפטי לקמעונאי.3
העדר בדיקות דיוק	פריסת מודלים לא מכוילים בסביבות בעלות תנועה גבוהה.2
איכות קלט מדולדלת	שיעורי זיהוי חיובי כוזב (FPIR) גבוהים מצילומי סטילס של CCTV.3
העדר ניטור	שימוש מתמשך במודלים מוטים ללא התערבות.2
פער פיקוח הנהלתי	הפרה של צו אבטחת מידע מ־2010.1

פער דמוגרפי והטיה אלגוריתמית

התוצאות הסטטיסטיות של המערכת הלא־מנוטרת של Rite Aid חשפו עיוות דמוגרפי עמוק. תלונת ה־FTC טענה כי הטכנולוגיה הפיקה אלפי התאמות חיוביות כוזבות, עם השפעה לא־פרופורציונלית על נשים ועל אנשים צבעוניים.² באופן ספציפי, ה־FRT הייתה נוטה משמעותית יותר להפעיל התראות כוזבות בחנויות הממוקמות בקהילות בעלות רוב שחור ואסיאתי בהשוואה לקהילות בעלות רוב לבן.²

הטיה זו לא הייתה חריגה אלא תוצאה ישירה של שימוש במודלים מוכנים מהמדף שאומנו על מערכי נתונים שאינם מייצגים.⁸ ללא הסרת הטיות אדוורסריאלית מותאמת או היתוך תכונות רב־קנה־מידה — טכניקות ש־Veriprajna ממליצה עליהן לפריסות בעלות סיכון גבוה — המודלים חזרו להטיות הגלומות במשקלי האימון שלהם.⁸ התוצאה בעולם האמיתי הייתה סדרת הפרות זכויות אדם: עובדי חנות, שפעלו על סמך התראות אוטומטיות בביטחון נמוך, עקבו אחר לקוחות חפים מפשע, חיפשו אותם והאשימו אותם בפומבי בגניבה.² במקרים מסוימים התאימה המערכת אנשים ל"אנשי עניין" שנרשמו על סמך פעילות שהתרחשה באלפי קילומטרים משם, או סימנה את אותו אדם בעשרות חנויות שונות ברחבי המדינה במקביל.²

דוקטרינת שלילת המודל (Model Disgorgement)

הסדר ה־FTC מציג כלי רגולטורי חדש וקריטי: שלילת מודל. Rite Aid נדרשת לא רק להפסיק את השימוש בטכנולוגיה אלא גם למחוק את כל הנתונים הביומטריים ש"הושגו שלא כדין" ולהשמיד כל מודל AI או אלגוריתם שנגזרו ממידע זה.³ המנדט ל"שכוח" מודלים מייצג אובדן תפעולי עצום ומדגיש את הסכנה בבניית יכולות ארגוניות על בסיס נתונים שאינם תואמים לדרישות.¹¹ כל ארגון הפורס AI כיום חייב להבטיח שארכיטקטורתו מאפשרת הסרה כירורגית של השפעת נתונים ספציפיים — יכולת שחסרה לרוב העוטפים הפשוטים.¹²

אחריות הזיהוי השגוי: המקרה של Harvey Murphy

בעוד שמקרה Rite Aid ממחיש כשל רגולטורי מערכתי, התביעה מינואר 2024 המערבת את Harvey Eugene Murphy Jr. מדגימה את האחריות האזרחית והאישית הקטסטרופלית של שגיאה אלגוריתמית. Murphy, סב בן 61, נעצר שלא כדין ונכלא לעשרה ימים בשל שוד שלא ביצע, על סמך התאמת זיהוי פנים שגויה בלבד ממערכת של Macy's ו־Sunglass Hut.¹³

כשל שיתוף הפעולה ב־AI בין ארגונים

האירוע החל בשוד בינואר 2022 בסניף Sunglass Hut באזור יוסטון. EssilorLuxottica, חברת האם של Sunglass Hut, שיתפה פעולה עם שותפתה הקמעונאית Macy's כדי להשתמש בכלי זיהוי הפנים של Macy's על צילומי מעקב באיכות נמוכה של הפשע.¹⁵ המערכת זיהתה את Murphy כמבצע, וזיהוי זה ה"חיובי" הועבר למשטרה כראיה מוחלטת.¹³

הכשל הטכני כאן היה רב־ממדי. ראשית, התוכנה שימשה על דימויים שאינם מתאימים ביסודם להתאמה ביומטרית.¹⁴ שנית, המערכת ככל הנראה התאימה את צילומי המעקב מול מסד נתונים שהכיל את תמונת המעצר של Murphy מעבירות לא־אלימות מעשרות שנים קודם לכן.¹³ כאן עלתה בעיית "פער הגיל": מחקרים הראו שהתאמת תמונות עדכניות לתמונות שצולמו שנים או עשרות שנים קודם לכן יכולה להניב שיעורי חיובי כוזב גבוהים עד 90%.¹⁴

פרמטרי האירוע: מקרה Harvey Murphy	פרטים
תביעה עיקרית	$10 מיליון בנזקים בגין מעצר שווא ופגיעה אישית.13
כשל טכני מרכזי	זיהוי שגוי באמצעות תוכנת זיהוי פנים מועדת לשגיאות.14
איכות הקלט	צילומי מעקב ברזולוציה נמוכה ומגורענים.15
אליבי	הוכחת מגורים בקליפורניה בזמן השוד בטקסס.13
תוצאה אנושית	תקיפה מינית אכזרית ופגיעה גופנית במהלך מעצר שווא.13

אמון רפלקסיבי וכשל ה"קופסה השחורה"

מקרה Murphy מדגיש את הסכנה של "אמון רפלקסיבי" ב־AI. התביעה טוענת כי Sunglass Hut ו־Macy's הטעו את רשויות אכיפת החוק בהציגן התאמה אוטומטית כעובדה מאומתת.¹⁵ דבר זה גרם למשטרה להפסיק את החקירה ולהסתמך על הליך זיהוי פגום.¹⁶ תופעה זו — שבה פלט מכונה מטופל בסמכות גבוהה יותר מאליבי אנושי — היא נושא חוזר בהפרות זכויות אזרח שמקורן ב־AI.¹⁶ Murphy זוכה לבסוף רק לאחר שמשרד התובע המחוזי אישר שהיה בסקרמנטו, קליפורניה, ביום השוד ביוסטון.¹³ עם זאת, עד שהטעות תוקנה, Murphy הותקף מינית והוכה בכלא, והותיר אותו עם פציעות לכל החיים.¹³

עבור ארגונים, מקרה Murphy הוא תזכורת חדה לכך שאחריות כשל ב־AI משתרעת הרבה מעבר לתחום הדיגיטלי. "שימוש רשלני" בתוכנת זיהוי פנים עלול להוביל לתביעות של מיליוני דולרים ולנזק מוניטין קבוע.¹⁴ חובתם של יועץ ה־AI ושל הארגון המיישם להבטיח שכל אות אוטומטי כפוף לאימות קפדני של אדם־בלולאה (HITL), במיוחד כאשר חירות אישית מוטלת על הכף.¹⁸

הפער הארכיטקטוני: Deep AI מול עוטף ה־API

הכשלים שתוארו לעיל הם סימפטום של מגמה רחבה יותר בענף ה־AI: התפשטות "עוטפי AI". עוטף הוא למעשה לוח מחוונים ממותג היושב מעל מודל צד שלישי (כמו אלה שמספקים OpenAI, Anthropic או ספקים ביומטריים מתמחים), שולח נתוני משתמש דרך API ומחזיר את הפלט הגולמי.⁴ Veriprajna ממקמת את עצמה כספקית פתרונות "Deep AI" בדיוק משום שמודל העוטף שביר מדי ביסודו ליישומים ברמה ארגונית.

השבריריות של מודל העוטף

עוטפים סובלים ממודל עסקי וטכני אסימטרי. הם מנצלים שימוש והפצה אך אין להם שליטה על התשתית הבסיסית.⁴ דבר זה מוביל למספר סיכונים קריטיים:

1.​ נעילת ספק והפסקות שירות: פלטפורמת עוטף תלויה לחלוטין בזמינות ובתמחור של הספק במעלה הזרם. אם ספק כמו VAPI או Retell חווה הפסקה, כל סוכנות המשתמשת באותו עוטף קורסת בו־זמנית.⁵

2.​ פערי יכולת ביקורת: כאשר ארגון מסתמך על מודל "קופסה שחורה" של צד שלישי, הוא אינו יכול להסביר או לבקר כיצד נוצרו התוצאות. זו אחריות משמעותית במהלך ביקורות ציות או סכסוכים משפטיים.¹²

3.​ גירעון ממשל: עוטפים פשוטים חסרים את המבנה לאכיפת סדר פעולות או הרשאות. הם מסתמכים לעיתים קרובות על "מגה־פרומפטים" — דחיסת כל הכללים והמסמכים לפרומפט יחיד — בתקווה שהמודל יבצע כראוי.²⁰

4.​ אבטחה ודליפת נתונים: עוטפים עלולים להזרים בשוגג נתוני לקוחות רגישים לצינורות האימון של מודלי צד שלישי, תוך הפרת סודיות והפרת חוקים כמו GDPR או HIPAA.¹²

Deep AI: פילוסופיית מערכות רב־סוכנים (MAS)

בניגוד לגישת העוטף של "רכיב אחד עושה הכול", פתרון Deep AI משתמש במערכות רב־סוכנים (MAS). ארכיטקטורה זו מתייחסת ל־LLM או למודל הביומטרי כרכיב יחיד בתוך צוות של סוכנים מתמחים עם אחריות מוגדרת.²⁰

סוג סוכן	תפקיד אסטרטגי
סוכן תכנון	מחליט על זרימת העבודה ומבטיח שכל שלבי הציות מבוצעים.20
סוכן זרימת עבודה	אוכף את רצף הפעולות הנכון (למשל, הסכמה → אימות → פעולה).20
סוכן ציות	מנטר פלטים מבחינת טון, סחיפת מדיניות וחשיפה ל־jailbreak.20
סוכן תגובה	מקיים אינטראקציה עם המשתמש, תוך משיכה מצינורות RAG מאומתים.20
סוכן אי־ודאות	מכמת את רמת הביטחון של פלט המודל לפני הביצוע.21

ארכיטקטורת MAS מספקת את מעקות הבטיחות הדטרמיניסטיים הנדרשים לסביבות בעלות סיכון גבוה. במקום לבקש ממודל אחד "לזהות את הגנב ולהודיע לאבטחה", המערכת משתמשת בשרשרת מומחים: סוכן אחד מאמת איכות תמונה, אחר מבצע את ההתאמה 1:N, שלישי מעריך את אי־הוודאות של אותה התאמה, ורביעי מסמן את המקרה לבדיקה אנושית אם הספים אינם מתקיימים.²⁰

מדע האי־ודאות: מהערכות נקודה לסיכון הסתברותי

כשל מרכזי הן במקרה Rite Aid והן במקרה Macy's היה התייחסות לפלט AI כאמת בינארית. במציאות, כל פלט AI הוא הערכה הסתברותית. פתרונות Deep AI חורגים מציוני דיוק פשוטים ומיישמים כימות אי־ודאות (UQ) חזק.²¹

אי־ודאות אלאוטורית מול אפיסטמית

אי־ודאות במערכות AI מסווגת באופן רחב לשני סוגים, ששניהם חייבים להיות מטופלים כדי שמערכת תיחשב "בטוחה":

1.​ אי־ודאות אלאוטורית: נובעת מהאקראיות או הרעש הגלומים בנתונים (למשל, שגיאות חיישן, טשטוש תנועה, תאורה לקויה בחנות קמעונאית). סוג זה של אי־ודאות הוא בדרך כלל בלתי ניתן לצמצום — שום כמות אימון לא תתקן תמונה שחסרים בה נתונים.²⁴

2.​ אי־ודאות אפיסטמית: נובעת ממגבלות המודל או מחוסר ידע לגבי תרחיש ספציפי (למשל, קבוצה דמוגרפית שלא נראתה קודם, או פנים שהזדקנו). ניתן לצמצמה באמצעות נתוני אימון מייצגים יותר.²⁴

מערכות שבירות אינן מבחינות בין השניים. ציון ביטחון גבוה במערכת שבירה עשוי פשוט לומר שהמודל "בטוח מדי" בניחוש. מערכת Deep AI משתמשת בטכניקות כמו רשתות עצביות בייסיאניות או Monte Carlo Dropout כדי להפיק התפלגות הסתברות במקום הערכת נקודה בודדת.²⁵

המסגרת המתמטית לאמינות

Veriprajna ממליצה על שימוש בחיזוי קונפורמלי (Conformal Prediction), שלב כיול המבטיח שאי־הוודאות בחיזויי AI נופלת בתוך גבולות מובטחים ברמת מובהקות שנקבעת על ידי המשתמש.²¹ דבר זה מאפשר למקבלי החלטות להבין את אמינות החיזוי לפני נקיטת פעולה. לדוגמה, אם מערכת מזהה אדם עם ציון התאמה של 0.85, שכבת ה־UQ עשויה לחשוף ש"התפלגות האי־ודאות" רחבה, כלומר ש־0.85 אינו אמין סטטיסטית בשל איכות תמונה נמוכה.²¹

נוסחה זו מייצגת את ההבטחה שהתוצאה האמיתית תיכלל בתוך קבוצת החיזוי בהסתברות של לפחות , כאשר הוא שיעור השגיאה שהוגדר על ידי המשתמש. יישום רמת הקפדה המתמטית הזו הוא מה שמפריד בין פתרונות ברמה ארגונית לבין עוטפי API פשוטים.²¹

פרדיגמות טכניות: זיהוי בקבוצה פתוחה מול קבוצה סגורה

הבחנה קריטית נוספת בהנדסה ביומטרית היא ההבדל בין זיהוי בקבוצה סגורה לזיהוי בקבוצה פתוחה. רוב המערכות המסחריות "מהמדף" מותאמות לבעיות קבוצה סגורה — מצבים שבהם מניחים שהאדם הנסרק נמצא בוודאות במסד הנתונים (למשל, פתיחת טלפון).²⁷

אתגר "רשימת המעקב" בקמעונאות

באבטחת קמעונאות, הבעיה היא כמעט תמיד "קבוצה פתוחה". רובם המכריע של האנשים הנכנסים לחנות הם נבדקים "לא־מצומדים" — הם אינם במסד הנתונים של עבריינים.²⁷ מודל קבוצה סגורה ינסה בהכרח למצוא את "ההתאמה הטובה ביותר" לכל אדם ואדם, דבר שמוביל לאלפי החיוביים הכוזבים שנראו ב־Rite Aid.²⁷

פתרונות Deep AI משתמשים בפונקציות הפסד מתמחות, כגון הפסד זיהוי־גילוי, כדי למטב לביצועי קבוצה פתוחה. מודלים אלה מאומנים לא רק לזהות התאמה אלא גם ל"דחות" במדויק אנשים שאינם בגלריה.²⁷

פרוטוקול זיהוי	הנחה	מדד עיקרי
קבוצה סגורה	כל נבדק בדיקה נמצא בגלריה.27	דיוק Rank-1.30
קבוצה פתוחה	רוב נבדקי הבדיקה אינם ידועים/לא־מצומדים.27	FNIR ב־FPIR ספציפי.27

השימוש בהסתברויות Extreme Value Machine (EVM), שהן קבוצה פתוחה מטבען, מאפשר דחייה טובה יותר של "לא־ידועים לא־ידועים" — אנשים שהמערכת מעולם לא ראתה ושלא אמורים לעולם להפעיל התראה.²⁹

מדידת ייחוס לאמון: תפקיד NIST ו־FRVT

כדי למנוע את ה"אמון הרפלקסיבי" שהוביל למעצרו של Harvey Murphy, ארגונים חייבים להסתמך על מדדי ייחוס סטנדרטיים. מבחן ספקי זיהוי הפנים (FRVT) של המכון הלאומי לתקנים וטכנולוגיה (NIST) הוא תקן הזהב העולמי להערכת ביצועים, דיוק והטיה של אלגוריתמי זיהוי פנים.⁷

פענוח מדדי NIST

הערכות NIST FRVT מספקות "כרטיסי דיווח" מפורטים לספקים, ומודדות ביצועים על פני מערכי נתונים שונים:

●​ אימות 1:1: התאמת תמונת בדיקה לתמונת גלריה בודדת (למשל, ביקורת גבולות).⁷

●​ זיהוי 1:N: חיפוש תמונת בדיקה מול מסד נתונים גדול (למשל, רשימות מעקב קמעונאיות).³¹

●​ מערכי נתונים של תמונות מעצר וגבולות: הערכת ביצועים על תמונות ברמות איכות ובקרה משתנות.⁷

NIST מודד ספציפית את שיעור אי־ההתאמה הכוזבת (FNMR) בשיעור התאמה כוזבת (FMR) קבוע. ליישומי אבטחה גבוהה, ה־FMR נקבע לעיתים קרובות בסף נמוך מאוד (למשל, ), כלומר המערכת מכריזה על התאמה רק אם ההסתברות לטעות קטנה מ־1 ל־1,000,000.⁷ ניתן לראות את כשל Rite Aid ככישלון להגדיר ולנטר ספים אלה לפי מדדי ייחוס סטנדרטיים של NIST.²

מדדי ביצועים דמוגרפיים

חשוב מכך, NIST FRVT כולל מדדים לביצועים דמוגרפיים, המראים עד כמה אלגוריתם מתפקד על פני מגדרים, גילאים וארצות מוצא שונים.⁷ נתונים אלה חיוניים לזיהוי סוג ההטיה הגזעית שהובילה לאיסור ה־FTC על Rite Aid. כל ארגון הפורס FRT חייב לדרוש מספקיו לספק כרטיסי דיווח מאומתים של NIST המראים ביצועים שוויוניים על פני הדמוגרפיות המיוצגות בחנויותיהם.⁷

סופר־מחזור הרגולציה: NIST AI RMF וחוק ה־AI של האיחוד האירופי

עידן ה־AI הבלתי מוסדר מסתיים. ארגונים חייבים כעת לנווט ב"סופר־מחזור רגולטורי" המחייב שקיפות, אחריותיות וניהול סיכונים.

מסגרת ניהול סיכוני AI של NIST (AI RMF)

NIST AI RMF הוא מדריך וולונטרי אך בעל השפעה, שנועד לשפר את החוסן והאמינות של מערכות AI.³³ הוא סובב סביב ארבע פונקציות ליבה:

1.​ ממשל (Govern): טיפוח תרבות מודעת־סיכון ומבני ממשל ברורים.³⁴

2.​ מיפוי (Map): מיקום מערכת ה־AI בהקשריה התפעוליים והאתיים.³⁴

3.​ מדידה (Measure): כימות סיכונים בגישות איכותיות וכמותיות (למשל, זיהוי הטיות ומדדי ביצועים).³⁴

4.​ ניהול (Manage): תעדוף וטיפול בסיכונים שזוהו באמצעות בקרות טכניות ואמצעי הגנה פרוצדורליים.³⁴

פעולת ה־FTC נגד Rite Aid הייתה למעשה אכיפה של עקרונות אלה. בכך שנכשלה "למדוד" או "לנהל" את סיכוני ה־FRT שלה, Rite Aid הפרה את סעיף ה"אי־הוגנות" בסעיף 5 לחוק ה־FTC.¹¹

חוק ה־AI של האיחוד האירופי: מנדט מחייב

בעוד שמסגרת NIST היא וולונטרית בארה״ב, חוק ה־AI של האיחוד האירופי הוא רגולציה מחייבת המסווגת מערכות AI לפי רמת סיכון.³³

●​ מערכות בסיכון גבוה: מערכות זיהוי ביומטרי במרחבים ציבוריים מסווגות אוטומטית כבעלות סיכון גבוה.³⁷

●​ חובות מחייבות: ספקי מערכות בסיכון גבוה חייבים לבצע "הערכות התאמה", לשמור על "תיעוד טכני מפורט" ולהבטיח "פיקוח אנושי אפקטיבי".³³

●​ AI אסור: פרקטיקות מסוימות, כגון גרידת תמונות פנים מהאינטרנט או שימוש בזיהוי ביומטרי בזמן אמת לאכיפת חוק כללית (עם חריגים מוגבלים), אסורות לחלוטין.⁴⁰

עמוד ציות לחוק ה־AI של האיחוד האירופי	דרישה טכנית
ממשל נתונים	מערכי נתוני אימון ובדיקה חייבים להיות מייצגים ונקיים משגיאות.36
שקיפות	על פורסים להיות מיודעים כאשר הם מקיימים אינטראקציה עם AI.33
פיקוח אנושי	מערכות חייבות לאפשר דריסות ידניות והתערבות.33
שמירת רשומות	רישום אירועים אוטומטי לזיהוי והפחתת סיכונים.36

ארגונים המשתמשים ב־NIST AI RMF כיום ממוקמים טוב יותר לציית לחוק ה־AI של האיחוד האירופי מחר, שכן הם חולקים את אותן מטרות יסוד של שקיפות ואחריותיות.³³

הפחתת הטיות: אסטרטגיות טכניות לתוצאות שוויוניות

ההטיה הגזעית והמגדרית שצוטטה במקרי Rite Aid ו־Murphy אינה תכונה גלומה של AI, אלא כשל הנדסי. פתרונות Deep AI מיישמים מספר טכניקות מתקדמות להפחתת נזקים אלה.

הסרת הטיות אדוורסריאלית ואילוצי הוגנות

הסרת הטיות אדוורסריאלית משתמשת בשתי רשתות מתחרות: אחת לחיזוי היעד (למשל, זהות) ו"יריב" שמנסה לחזות תכונה מוגנת (למשל, גזע או מגדר) מהייצוג הפנימי של הרשת הראשונה.¹⁰ אם היריב מצליח, הרשת הראשונה נענשת. הדבר כופה על המודל למצוא תכונות "עיוורות" לתכונות מוגנות תוך שמירה על דיוק למשימה.¹⁰

בנוסף, ניתן לשלב "אילוצי הוגנות" בפונקציית ההפסד כדי להבטיח שיעורי שגיאה שווים בין קבוצות שונות.¹⁹ לדוגמה, ניתן לכפות מתמטית על מערכת לשמור על אותו שיעור התאמה כוזבת לנשים שחורות כמו לגברים לבנים.¹⁹

היתוך תכונות רב־קנה־מידה ותשומת לב מרחבית

הטיה ביומטרית נובעת לעיתים קרובות מתאורה לקויה או ניגודיות נמוכה, הפוגעות באופן לא־פרופורציונלי בגווני עור כהים יותר.⁶ "היתוך תכונות רב־קנה־מידה" מחלץ תכונות ברזולוציות שונות כדי ללכוד יותר פירוט הקשרי, בעוד שמנגנוני "תשומת לב מרחבית" מסייעים למודל להתמקד בציוני דרך ביומטריים ספציפיים (כמו העיניים או האף) ולהתעלם מרעש רקע.⁸

זיהוי חיות והתחזות

מערכת ביומטרית חזקה חייבת גם להבחין בין אדם אמיתי לבין "מתקפת הצגה" (למשל, תמונה או מסכה).⁷ מבחן ה־PAD (Presentation Attack Detection) של NIST מודד יכולות אלה.⁷ ללא בדיקות אלה, מערכת אינה רק מוטה אלא גם לא מאובטחת, ופגיעה להתחזות פשוטה בשיטת "כוח גס".⁶

הפעלת בטיחות: מסגרת אדם־בלולאה (HITL)

אמצעי ההגנה האולטימטיבי מפני כשל של מערכות אוטונומיות הוא שילוב שיפוט אנושי. Veriprajna ממליצה על מסגרת "אדם־בלולאה" (HITL) המתייחסת ל־AI כעוזר, לא כפוסק.¹⁸

זיהוי נקודות סקירה אנושית קריטיות

מערכת HITL מעוצבת היטב משתמשת בספי ביטחון כדי לתעדף תשומת לב אנושית.²³

1.​ דחייה אוטומטית: אם הביטחון מתחת ל־70%, ההתאמה נזרקת מיד.

2.​ סקירה אנושית: אם הביטחון בין 70% ל־95%, המערכת מסמנת את המקרה לאימות ידני.²³

3.​ אישור אוטומטי: רק אם הביטחון מעל 95% (והמשימה בעלת השלכות נמוכות) המערכת פועלת באופן אוטונומי.⁴²

עיצוב ממשקי סקירה אנושית יעילים

בסביבת קמעונאות או אבטחה, הסוקר האנושי חייב לקבל גישה לנתוני המקור המקוריים. ממשק יעיל מציג את תמונת ה־CCTV המקורית לצד תמונת הגלריה שחולצה, ומאפשר לסוקר לזהות חריגות שה־AI עלול היה לפספס, כגון צורת אוזן שאינה תואמת או קעקוע ייחודי.²³

רכיב HITL	תועלת
ספי ביטחון	מונע "עייפות התראות" על ידי סימון מקרים עמומים בלבד.23
מסלולי ביקורת	מתעד כל החלטה אנושית ודריסה לצורך הגנה משפטית.18
משוב רציף	תיקונים אנושיים משמשים כתוויות לאימון מחדש ולשיפור המודל.42
מדריך חריגים	מסדיר כיצד בני אדם צריכים להגיב ל"מקרי קצה".23

כשל המערכת של Rite Aid נבע בחלקו מהעדר "סקירה אנושית משמעותית".² עובדים הונחו לעקוב אחר לקוחות ולהתעמת עמם על סמך התראות אוטומטיות מבלי שהוכשרו לאפשרות של חיוביים כוזבים.² מסגרת HITL מעצימה עובדים לפקפק ב־AI ומונעת את סוג ה"אמון הרפלקסיבי" שהוביל למעצרו של Harvey Murphy.¹⁶

סיכום מנהלים: בניית ארגון טכנולוגי מולד־AI

המעבר מ"ניסוי ב־AI" ל"תפעול AI" דורש פיקוח ברמת הדירקטוריון ושינוי יסודי באסטרטגיה הארגונית.⁴⁴ ככל שארגונים נעים לעבר "כוח עבודה סוכני", שבו מכונות חושבות ולומדות באופן אוטונומי, תפקידי מנהל הסיכונים הראשי (CRO) ומנהל המידע הראשי (CIO) הופכים מרכזיים.⁴⁶

מעבר לפורגטוריום הפיילוטים

ארגונים רבים נתקעים ב־AI משום שהצלחות מוקדמות בפיילוטים קטנים נתקלות במציאות של נתונים מקוטעים ומערכות מדור קודם.⁴⁴ הרחבת AI דורשת:

●​ בעלות ברורה: הקצאת אחריות לתוצאות AI, לא רק ליישום הטכני.⁴⁴

●​ אמינות נתונים: הבטחה שהנתונים חיים תחת כללים עקביים ונשמרים באיכות גבוהה.⁴⁴

●​ ארכיטקטורה מודולרית: אימוץ גישה מודולרית כדי להימנע מ"נעילת ספק", ולאפשר לארגון להחליף, לשדרג ולשלב מודלים עם פחות חיכוך.⁴⁷

ה־ROI של Deep AI

אף שבניית פתרון "Deep AI" מותאם דורשת יותר משאבים מרכישת עוטף מוכן מהמדף, ה־ROI לטווח הארוך גבוה משמעותית. ארגונים שבבעלותם ה־IP של ה־AI שלהם נמנעים מדמי רישוי חוזרים, שומרים על שליטה מלאה בנתונים, ובונים חפיר תחרותי באמצעות ביצועים מתמחים.⁴⁸

יתר על כן, עלות אי־בניית מערכת חזקה ברורה כעת. Rite Aid מתמודדת עם איסור לחמש שנים והשמדת נכסיה הביומטריים; Macy's ו־Sunglass Hut מתמודדות עם תביעה של $10 מיליון וסיוט יחסי ציבור.¹ בהקשר זה, Deep AI אינו בגדר מותרות — הוא הכרח אסטרטגי לארגון המודרני.

המלצות אסטרטגיות לדירקטוריון

1.​ בצעו "ביקורת עוטפים": זהו אילו יכולות AI בארגונכם בנויות על תלויות API דקות וחסרות ממשל פנימי או יכולת ביקורת.

2.​ יישמו כימות אי־ודאות: חייבו שכל פלטי AI בעלי סיכון גבוה יכללו ציון ביטחון מכומת והתפלגות אי־ודאות.

3.​ השוו מול NIST FRVT: דרשו מכל ספק ביומטרי לספק כרטיסי דיווח ביצועים מאומתים על ידי NIST, עם תשומת לב ספציפית להטיה דמוגרפית.

4.​ עגנו אדם־בלולאה: ודאו שאף החלטה מונעת־AI הפוגעת בחירות אישית או בעסקאות פיננסיות משמעותיות אינה מתרחשת ללא תהליך סקירה אנושית מתועד.

5.​ התכוננו לחוק ה־AI של האיחוד האירופי: גם לחברות מבוססות ארה״ב, יישור קו עם תקני האיחוד ל"AI בסיכון גבוה" הוא הדרך הטובה ביותר להתכונן מראש לרגולציות מקומיות עתידיות.

Veriprajna מתמחה בסיוע לארגונים לגשר על "פער האמינות", במעבר מעוטפים שבירים ומסוכנים למערכות AI חזקות ומתוכננות הנדסית. עתיד ה־AI הארגוני אינו רק על מה שמודל יכול לעשות, אלא על האופן שבו ניתן לבטוח בו. בעידן האחריות הביומטרית, אחריותיות היא היתרון התחרותי האולטימטיבי.

מקורות שצוטטו

1. Rite Aid Corporation, FTC v. | Federal Trade Commission, אוחזר ב-6 בפברואר 2026, https://www.ftc.gov/legal-library/browse/cases-proceedings/2023190-rite-aid-corporation-ftc-v

2. Rite Aid Banned from Using AI Facial Recognition After FTC Says ..., אוחזר ב-6 בפברואר 2026, https://www.ftc.gov/news-events/news/press-releases/2023/12/rite-aid-banned-using-ai-facial-recognition-after-ftc-says-retailer-deployed-technology-without

3. FTC Announces Groundbreaking Action Against Rite Aid for Unfair Use of AI - WilmerHale, אוחזר ב-6 בפברואר 2026, https://www.wilmerhale.com/en/insights/blogs/wilmerhale-privacy-and-cybersecurity-law/20240111-ftc-announces-groundbreaking-action-against-rite-aid-for-unfair-use-of-ai

4. Wrappers, deeptechs, and generative AI: a profitable but fragile house of cards, אוחזר ב-6 בפברואר 2026, https://www.duperrin.com/english/2025/05/20/wrappers-deeptechs-generative-ai/

5. The Hidden Costs of Voice AI Wrappers: Dependency, Pricing, and Support Risks - Trillet AI, אוחזר ב-6 בפברואר 2026, https://www.trillet.ai/blogs/voice-ai-wrapper-dependency-risks

6. Characteristics, limitations, and how to measure accuracy when ..., אוחזר ב-6 בפברואר 2026, https://learn.microsoft.com/en-us/azure/ai-foundry/responsible-ai/face/characteristics-and-limitations?view=foundry-classic

7. Introduction to NIST FRVT - Paravision, אוחזר ב-6 בפברואר 2026, https://www.paravision.ai/news/introduction-to-nist-frvt/

8. How To Mitigate Facial Recognition Bias in Identity Verification - HyperVerge, אוחזר ב-6 בפברואר 2026, https://hyperverge.co/blog/mitigating-facial-recognition-bias/

9. Countermeasures against bias and spoofing in modern facial recognition systems, אוחזר ב-6 בפברואר 2026, https://journalwjarr.com/index.php/content/countermeasures-against-bias-and-spoofing-modern-facial-recognition-systems

10. Adversarial Debiasing for Bias Mitigation in Healthcare AI Systems: A Literature Review, אוחזר ב-6 בפברואר 2026, https://www.scirp.org/journal/paperinformation?paperid=143081

11. Companies Deploying Facial Recognition Continue to be Watched; Rite Aid Banned from Using AI Facial Recognition - Kilpatrick Townsend, אוחזר ב-6 בפברואר 2026, https://ktslaw.com/Insights/Alert/2024/1/Companies-Deploying-Facial-Recognition-Continue-to-be-Watched

12. Risks of AI Wrapper Products and Features - Kader Law, אוחזר ב-6 בפברואר 2026, https://www.kaderlaw.com/blog/risks-of-ai-wrapper-products-and-features

13. Macy's Hit With $10M Lawsuit After Faulty AI Facial Recognition ..., אוחזר ב-6 בפברואר 2026, https://www.lawcommentary.com/articles/macys-hit-with-10m-lawsuit-after-faulty-ai-facial-recognition-software-leads-to-wrongful-arrest

14. Macy's faces $10 million lawsuit for using facial recognition to accuse man of robbery he did not commit | Technology, אוחזר ב-6 בפברואר 2026, https://english.elpais.com/technology/2024-01-24/macys-faces-10-million-lawsuit-for-using-facial-recognition-to-accuse-man-of-robbery-he-did-not-commit.html

15. Lawsuit: Facial recognition software leads to wrongful arrest of Texas man; he was in Sacramento at time of robbery - CBS News, אוחזר ב-6 בפברואר 2026, https://www.cbsnews.com/sacramento/news/texas-macys-sunglass-hut-facial-recognition-software-wrongful-arrest-sacramento-alibi/

16. Facial recognition used after Sunglass Hut robbery led to man's ..., אוחזר ב-6 בפברואר 2026, https://www.theguardian.com/technology/2024/jan/22/sunglass-hut-facial-recognition-wrongful-arrest-lawsuit

17. Texas man sues Macy's, Sunglass Hut for facial recognition wrongful arrest - YouTube, אוחזר ב-6 בפברואר 2026, https://www.youtube.com/watch?v=HWq7DNf4SLI

18. How to Keep Human In The Loop (HITL) During Gen AI Testing? - testRigor, אוחזר ב-6 בפברואר 2026, https://testrigor.com/blog/how-to-keep-human-in-the-loop-hitl-during-gen-ai-testing/

19. Addressing Gender Bias in Facial Recognition Technology: An Urgent Need for Fairness and Inclusion - Cogent Infotech, אוחזר ב-6 בפברואר 2026, https://www.cogentinfo.com/resources/addressing-gender-bias-in-facial-recognition-technology-an-urgent-need-for-fairness-and-inclusion

20. The great AI debate: Wrappers vs. Multi-Agent Systems in enterprise AI - Moveo.AI, אוחזר ב-6 בפברואר 2026, https://moveo.ai/blog/wrappers-vs-multi-agent-systems

21. Personalised Uncertainty Quantification in Artificial Intelligence - Research Communities, אוחזר ב-6 בפברואר 2026, https://communities.springernature.com/posts/personalised-uncertainty-quantification-in-artificial-intelligence

22. Operationalizing the R4VR-Framework: Safe Human-in-the-Loop Machine Learning for Image Recognition - MDPI, אוחזר ב-6 בפברואר 2026, https://www.mdpi.com/2227-9717/13/12/4086

23. Human-in-the-Loop AI in Document Workflows - Best Practices & Common Pitfalls - Parseur, אוחזר ב-6 בפברואר 2026, https://parseur.com/blog/hitl-best-practices

24. From Aleatoric to Epistemic: Exploring Uncertainty Quantification Techniques in Artificial Intelligence - arXiv, אוחזר ב-6 בפברואר 2026, https://arxiv.org/html/2501.03282v1

25. Evaluation of Uncertainty Quantification in Deep Learning - PMC, אוחזר ב-6 בפברואר 2026, https://pmc.ncbi.nlm.nih.gov/articles/PMC7274324/

26. Uncertainty Quantification | IBM, אוחזר ב-6 בפברואר 2026, https://www.ibm.com/think/topics/uncertainty-quantification

27. Open-Set Biometrics: Beyond Good Closed-Set Models - arXiv, אוחזר ב-6 בפברואר 2026, https://arxiv.org/html/2407.16133v1

28. What is difference between closed-set and open-set classification problem? - Stack Overflow, אוחזר ב-6 בפברואר 2026, https://stackoverflow.com/questions/62765276/what-is-difference-between-closed-set-and-open-set-classification-problem

29. Toward Open-Set Face Recognition, אוחזר ב-6 בפברואר 2026, https://openaccess.thecvf.com/content_cvpr_2017_workshops/w6/papers/Gunther_Toward_Open-Set_Face_CVPR_2017_paper.pdf

30. Comparison of open-set and closed-set face recognition. - ResearchGate, אוחזר ב-6 בפברואר 2026, https://www.researchgate.net/figure/Comparison-of-open-set-and-closed-set-face-recognition_fig1_316505674

31. The Best Globally Top Ranked Face Recognition Algorithm 2025 - KBY-AI, אוחזר ב-6 בפברואר 2026, https://kby-ai.com/top-ranked-face-recognition/

32. Face Recognition Technology Evaluation (FRTE) 1:1 Verification - NIST Pages, אוחזר ב-6 בפברואר 2026, https://pages.nist.gov/frvt/html/frvt11.html

33. NIST AI Risk Management Framework: A simple guide to smarter AI ..., אוחזר ב-6 בפברואר 2026, https://www.diligent.com/resources/blog/nist-ai-risk-management-framework

34. NIST AI Risk Management Framework (AI RMF) - Palo Alto Networks, אוחזר ב-6 בפברואר 2026, https://www.paloaltonetworks.com/cyberpedia/nist-ai-risk-management-framework

35. Safeguard the Future of AI: The Core Functions of the NIST AI RMF - AuditBoard, אוחזר ב-6 בפברואר 2026, https://auditboard.com/blog/nist-ai-rmf

36. High-level summary of the AI Act | EU Artificial Intelligence Act, אוחזר ב-6 בפברואר 2026, https://artificialintelligenceact.eu/high-level-summary/

37. Article 6: Classification Rules for High-Risk AI Systems | EU Artificial Intelligence Act, אוחזר ב-6 בפברואר 2026, https://artificialintelligenceact.eu/article/6/

38. Annex III: High-Risk AI Systems Referred to in Article 6(2) | EU Artificial Intelligence Act, אוחזר ב-6 בפברואר 2026, https://artificialintelligenceact.eu/annex/3/

39. Article 11: Technical Documentation | EU Artificial Intelligence Act, אוחזר ב-6 בפברואר 2026, https://artificialintelligenceact.eu/article/11/

40. Article 5: Prohibited AI Practices | EU Artificial Intelligence Act, אוחזר ב-6 בפברואר 2026, https://artificialintelligenceact.eu/article/5/

41. Human in the Loop AI: Benefits, Use Cases, and Best Practices - WitnessAI, אוחזר ב-6 בפברואר 2026, https://witness.ai/blog/human-in-the-loop-ai/

42. When Automation Breaks Trust: A Practical Guide to Human-in-the-Loop AI Workflows for SMBs | Artificial Intelligence | MyMobileLyfe | AI Consulting and Digital Marketing, אוחזר ב-6 בפברואר 2026, https://www.mymobilelyfe.com/artificial-intelligence/when-automation-breaks-trust-a-practical-guide-to-human-in-the-loop-ai-workflows-for-smbs/

43. Human-in-the-Loop AI (HITL) - Complete Guide to Benefits, Best Practices & Trends for 2026, אוחזר ב-6 בפברואר 2026, https://parseur.com/blog/human-in-the-loop-ai

44. Enterprise AI Consulting Framework for Business Leaders, אוחזר ב-6 בפברואר 2026, https://appinventiv.com/blog/enterprise-ai-consulting-framework-guide/

45. Tech Trends 2026 | Deloitte Insights, אוחזר ב-6 בפברואר 2026, https://www.deloitte.com/us/en/insights/topics/technology-management/tech-trends.html

46. Deploying agentic AI with safety and security: A playbook for technology leaders - McKinsey, אוחזר ב-6 בפברואר 2026, https://www.mckinsey.com/capabilities/risk-and-resilience/our-insights/deploying-agentic-ai-with-safety-and-security-a-playbook-for-technology-leaders

47. AI in the workplace: A report for 2025 - McKinsey, אוחזר ב-6 בפברואר 2026, https://www.mckinsey.com.br/capabilities/tech-and-ai/our-insights/superagency-in-the-workplace-empowering-people-to-unlock-ais-full-potential-at-work

48. Custom AI vs Off-the-Shelf AI : Which Is Right for Your Business?, אוחזר ב-6 בפברואר 2026, https://www.aalpha.net/blog/custom-ai-vs-off-the-shelf-ai/

49. Custom AI Software vs Off-the-shelf Artificial Intelligence Solution - Integrio Systems, אוחזר ב-6 בפברואר 2026, https://integrio.net/blog/custom-vs-of-the-shelf-artificial-intelligence