בית משפט הרגע אמר למיליוני מועמדים לעבודה שייתכן שהופלו לרעה על ידי תוכנה

ישבתי בלובי של מלון בבנגלור בשנה שעברה, מחכה לפגישה שאיחרה, גולל בטלפון שלי במסמכים משפטיים — כמו שאנשים נורמליים גוללים באינסטגרם — כשנתקלתי בפסקה שגרמה לי להניח את הקפה.

שופט פדרלי בקליפורניה זה עתה פסק ש-Workday, ענקית תוכנת משאבי האנוש בשווי 70 מיליארד דולר, עלולה לשאת באחריות בתור סוכן על פי חוק איסור האפליה הפדרלי. לא כלי. לא פלטפורמה ניטרלית. סוכן — אותה קטגוריה משפטית כמו מגייס אנושי שזורק קורות חיים על סמך הגיל או הגזע של מישהו.

התובע, דרק מובלי (Derek Mobley), אמריקאי ממוצא אפריקאי מעל גיל 40 עם מוגבלויות, נדחה מיותר מ-100 משרות. רבות מהדחיות הגיעו תוך דקות מרגע הגשת המועמדות, לרוב מחוץ לשעות העבודה. אף אדם לא הביט בקורות החיים שלו. התוכנה החליטה שהוא לא שווה התייחסות, ועשתה זאת שוב ושוב בעקביות אלגוריתמית.

אני בונה מערכות AI. החברה שלי, Veriprajna, מתכננת ארכיטקטורות קוגניטיביות לארגונים — סוג ה-AI העמוק והדטרמיניסטי שאמור להחליף את קיצורי הדרך הרשלניים וההסתברותיים שרוב התעשייה מוכרת. וכשקראתי את הפסיקה הזו, המחשבה הראשונה שלי לא הייתה "זה רע ל-Workday." היא הייתה: רוב תעשיית גיוס העובדים מבוססת-ה-AI בנויה על אותו יסוד רקוב, וכמעט אף אחד לא מדבר על כך.

1.1 מיליארד דחיות ושופט ששם לב

תנו לי לתת לכם את המספר שהשתיק את החדר כששיתפתי אותו עם צוות המהנדסים שלי.

במהלך התקופה הרלוונטית לתיק של Workday, כ-1.1 מיליארד בקשות עבודה נדחו באמצעות התוכנה של Workday. זו לא שגיאת הקלדה. מיליארד — לא מיליון. מיליארד.

במאי 2025, בית משפט פדרלי אישר באופן ראשוני תובענה ייצוגית ארצית בגין אפליה על רקע גיל על פי ה-ADEA — חוק איסור האפליה על רקע גיל בתעסוקה (Age Discrimination in Employment Act). משמעות הדבר היא שכל אדם מעל גיל 40 שנשללה ממנו המלצת העסקה דרך הפלטפורמה של Workday מאז ספטמבר 2020 יכול לקבל הודעה ולהצטרף לתיק. עד יולי 2025, בית המשפט הרחיב את ההיקף כך שיכלול מועמדים שעובדו דרך HiredScore, כלי גיוס מבוסס-AI ש-Workday רכשה.

כשתוכנה דוחה מיליארד בקשות ובית משפט אומר "התוכנה הזו היא מבחינה משפטית הסוכן שלך," לכל תעשיית טכנולוגיית משאבי האנוש יש בעיה מבנית, לא בעיה של יחסי-ציבור.

אני זוכר את הוויכוח הפנימי שהיה לנו על זה. אחד המהנדסים שלי — בחור חד, עם רקע עמוק ב-ML — אמר, "אבל Workday פשוט מריצה מנוע המלצות. זה כמו להאשים את Google בהצגת תוצאות חיפוש גרועות." ואני אמרתי, "לא. זה כמו להאשים חברת השמה ששכרת כדי לסנן מועמדים, וחברת ההשמה הזו זרקה כל קורות חיים של כל מי שסיים לימודים לפני 1995."

בית המשפט ערך בדיוק את ההבחנה הזו. השופטת ריטה לין (Rita Lin) הפרידה בין "כלים פשוטים" — גיליונות אלקטרוניים, דואר אלקטרוני — לבין מערכות שמדרגות, מסווגות וממליצות על מועמדים באופן פעיל. ה-AI של Workday לא ארגן נתונים כדי שאדם יסקור אותם. הוא ביצע את התפקיד המסורתי של המעסיק — להחליט מי מתקדם ומי לא. זו שליחות. זו אחריות משפטית.

כיצד אלגוריתם לומד להיות מפלה על רקע גיל?

זה החלק שמדיר שינה מעיניי, כי המנגנון כל כך בנאלי.

אף אחד ב-Workday — אני באמת מאמין בזה — לא ישב וכתב קוד שאומר if age > 40: reject(). זה היה בלתי חוקי בצורה קריקטורית וקל לזיהוי לחלוטין. הבעיה האמיתית עדינה יותר, ולמען האמת, קשה יותר לתיקון.

כשמאמנים מודל למידת מכונה על נתוני הגיוס ההיסטוריים של חברה — ה"עובדים המצליחים" שלה — מזינים לו כל הטיה שהייתה אי-פעם למנהלי הגיוס בעבר. אם החברה גייסה היסטורית עובדים צעירים יותר לתפקידי הנדסה, המודל לומד שאותות המתואמים עם צעירוּת מנבאים "הצלחה". לא גיל ישירות. פרוקסי.

הנה מה שמערכת סינון מבוססת-AI יכולה להסיק על הגיל שלכם מבלי לראות אי-פעם את תאריך הלידה שלכם:

דומיין הדוא"ל שלכם. כתובת @aol.com או @hotmail.com מתואמת עם דמוגרפיה של משתמשים מבוגרים יותר. אזכורי הטכנולוגיה שלכם — ציון מומחיות ב-Lotus Notes או COBOL קושר אתכם לתקופה מסוימת. סך שנות הניסיון, כאשר "15+ שנים" הופך לעוגן זמני. אפילו סמני התקדמות בקריירה: תואר "מתכנת זוטר" מתחילת שנות ה-90 מספר למודל בדיוק מתי נכנסתם לשוק העבודה.

בדקתי את זה עם הצוות שלי. בנינו מערך נתונים סינתטי — קורות חיים מזויפים עם משתנים מבוקרים — והרצנו אותם דרך צינור סינון סטנדרטי מבוסס-טרנספורמר. למודל מעולם לא נאמר דבר על גיל. אבל כשמדדנו את שיעורי הבחירה באמצעות כלל ארבע-החמישיות של ה-EEOC — שמסמן השפעה שלילית כאשר שיעור הבחירה של קבוצה מוגנת יורד מתחת ל-80% משיעור הקבוצה הגבוהה ביותר — התוצאות עבור מועמדים מעל גיל 40 היו הרסניות. שיעורי בחירה של מחצית מזה של מועמדים צעירים יותר. יחסי השפעה של סביב 0.50, הרבה מתחת לסף 0.80.

האלגוריתם לא צריך לדעת את הגיל שלכם. הוא צריך רק את ספק הדוא"ל שלכם, את אוצר המילים שלכם, ואת ציר הזמן של הקריירה שלכם. המתמטיקה עושה את השאר.

אף אחד לא תכנת אפליה. נתוני האימון הם האפליה, מגובשת למשקלים ולפרמטרים ומוגשת חזרה בקנה מידה נרחב.

מדוע "פשוט תשתמש ב-GPT" היא התשובה הלא נכונה

אני שומע את זה כל הזמן. ממשקיעים, מלקוחות פוטנציאליים, ממנהלי טכנולוגיה בעלי כוונות טובות שקראו שלושה פוסטים בבלוג על טרנספורמציית AI. "למה שלא פשוט תעטוף את GPT-4? זה מספיק טוב."

משקיע אמר לי את זה בפרצוף במהלך פיץ'. הוא נשען לאחור, שילב ידיים, ואמר: "אשוטוש, OpenAI השקיעה מיליארדים בזה. אתה אומר לי שהחברה שלך בת 40 האנשים תבנה משהו טוב יותר?"

אמרתי לו שהוא שואל את השאלה הלא נכונה. השאלה אינה האם GPT-4 "טוב יותר" בייצור טקסט. ברור שכן. השאלה היא האם מנוע ייצור טקסט הסתברותי צריך לקבל החלטות שקובעות אם מהנדסת תוכנה בת 52 תוכל לפרנס את משפחתה.

השוק מוצף במה שאני מכנה עוטפי LLM — שכבות אפליקציה דקות שאורזות מחדש את הפלטים של מודלי יסוד כמו GPT-4 או Claude ומוכרות אותם כ"פתרונות גיוס מבוססי-AI." הם נראים מרשימים בהדגמות. הם נכשלים באופן קטסטרופלי בסביבת ייצור, והנה הסיבה.

LLM מנבא את הטוקן הבא הסביר ביותר. זהו זה. זהו מנוע השלמה אוטומטית מתוחכם. הוא לא מנמק לגבי האם מועמד עומד בדרישת משרה. הוא מייצר טקסט שנראה כמו נימוק. ובגיוס עובדים, הפער בין "נראה כמו נימוק" ל"נימוק אמיתי" הוא הפער בין ציות לבין תביעה ייצוגית.

יש תופעה מתועדת היטב שנקראת תסמונת ה"אבודים באמצע": ארכיטקטורות טרנספורמר סטנדרטיות מציגות דיוק גבוה בעיבוד מידע בתחילת ובסוף חלון ההקשר שלהן, אך תשומת הלב יורדת משמעותית באמצע. בקורות חיים בני 10 עמודים, הסמכות קריטיות או הישגים אחרונים הקבורים בחלקים האמצעיים נוטים סטטיסטית יותר להיות מוחמצים. לא כי המודל החליט שהם לא חשובים — אלא כי הארכיטקטורה פשוט לא יכולה להקדיש תשומת לב שווה לכל דבר.

כתבתי על מגבלה ארכיטקטונית זו ועל הגישה שלנו לפתרונה בגרסה האינטראקטיבית של המחקר שלנו.

ואז יש את הבעיה הכלכלית. עוטפי LLM ניצבים בפני מה שאני מכנה "ספיגת חפיר" — ככל שספקי מודלי היסוד משחררים מודלי בסיס מסוגלים יותר, הם משלבים בהכרח את התכונות שהעוטפים מסתמכים עליהן כהצעת הערך שלהם. ניתוח קורות חיים, ניתוח סנטימנט, התאמה בסיסית — OpenAI ו-Google יציעו אותן בסופו של דבר באופן מובנה. חברה שרק עוטפת API מאמנת ומאבדת את היתרון התחרותי שלה עצמה בכל אינטראקציה עם לקוח.

הלילה שבו שברנו את המערכת שלנו עצמנו

אני רוצה לספר לכם על ליל חמישי אחד לפני כשמונה חודשים, כי הוא שינה את האופן שבו אני חושב על כל מה שאנחנו בונים.

בדקנו אב-טיפוס של מודול סינון הגיוס שלנו — הארכיטקטורה הנוירו-סימבולית שלנו, שאותה אסביר בעוד רגע — מול מערך נתוני מדד (benchmark). המערכת ביצעה יפהפה במדדי הדיוק. ה-Precision היה גבוה. ה-Recall היה מוצק. מהנדס ה-ML הראשי שלי, שעבד ימים בני 14 שעות על זה, ממש קרן.

ואז אנליסט הציות שלנו הריץ את ביקורת ההוגנות.

המערכת הציגה הפרות של שוויון דמוגרפי (demographic parity) ביחס לסטטוס מוגבלות. לא גדולות — יחס ההשפעה היה סביב 0.78, בקושי מתחת לסף 0.80. אבל זה היה שם. המערכת שלנו עצמה, זו שסיפרתי לכולם שהיא "עמידה בפני הטיה מעצם התכנון," ייצרה תוצאות מפלות.

החדר השתתק. הרגשתי חולה.

בילינו את שלושת הימים הבאים בפירוק הצינור. האשם התברר כתכונה בנתוני האימון שלנו שהנחנו שהיא ניטרלית: משך פער התעסוקה. למועמדים עם מוגבלויות סביר יותר סטטיסטית שיהיו פערי תעסוקה — עבור חופשת מחלה, עבור מעברי עבודה הקשורים לנגישות, עבור תקופות החלמה. המודל שלנו למד שפערים מנבאים "הצלחה" נמוכה יותר, והוא העניש מוגבלות דרך פרוקסי.

תפסנו את ההטיה כי חיפשנו אותה. רוב החברות שמשתמשות בכלי גיוס מבוססי-AI מהמדף אינן מחפשות. הן אפילו לא יודעות שהן צריכות.

תיקנו זאת באמצעות הפחתת-הטיה יריבותית (adversarial debiasing) — אימון מודל "יריב" משני לחזות מאפיינים מוגנים מתוך הפלט של החזאי שלנו, ואז ענישת החזאי בכל פעם שהיריב מצליח. זוהי טכניקת עיבוד-פנימי שמאלצת את המערכת לשכוח דפוסים מפלים במקום פשוט להסוות אותם בעיבוד-לאחר.

אבל הלקח לא היה טכני. הלקח היה: אם אנחנו, חברה אובססיבית להוגנות ולאימות, כמעט ושלחנו מערכת מוטה, מה כל השאר שולחים?

מה בעצם משמעות "AI עמוק" לגיוס עובדים?

כשאני אומר שאנחנו בונים "AI עמוק" במקום עוטפי LLM, אני לא מתכוון שאנחנו משתמשים ברשתות עצביות עמוקות יותר. אני מתכוון שאנחנו יורדים עמוק יותר לתוך הבעיה.

הארכיטקטורה שלנו היא נוירו-סימבולית — היא משלבת את היכולות הלשוניות של רשתות עצביות עם הקפדנות הלוגית של הסקה סימבולית. בפועל, משמעות הדבר היא שה-LLM במערכת שלנו אינו מקבל ההחלטות. הוא המתרגם.

הנה איך זה עובד, בלי הז'רגון:

כשקורות חיים נכנסים למערכת שלנו, מודל שפה ייעודי מחלץ עובדות מובנות — "לאדם הזה יש 5 שנות ניסיון ב-Python," "האדם הזה מחזיק בהסמכת PMP," "האדם הזה עבד בחברה X מ-2018 עד 2022." אלה אינן פרשנויות. אלה חילוצי ישויות, ממופים לגרף ידע שמגדיר את היחסים בין כישורים, תפקידים ודרישות ארגוניות.

ואז — וזה החלק הקריטי — מנוע כללים דטרמיניסטי מעריך את העובדות שחולצו מול דרישות המשרה. לא רשת עצבית. לא התפלגות הסתברות. לוגיקה ממשית: IF experience >= 5 AND skill == Python THEN eligible = TRUE. ה-LLM אינו יכול להזות את המדיניות משום שהמדיניות חיה בקוד, לא במשקלים.

כל המלצה מייצרת שובל לוגי בר-ביקורת. אפשר לעקוב בדיוק אחר איזה כלל הופעל, על ידי איזו נקודת נתונים, באיזה חלק מתיק המועמד. כשרגולטור או עורך דין של תובע שואל "מדוע אדם זה נדחה?" — יש לכם תשובה שאינה "המודל חשב כך."

אנחנו מאבטחים זאת באמצעות מה שאנחנו מכנים מעקות בטיחות חוקתיים — שלוש שכבות הגנה שרצות לפני, במהלך, ואחרי כל אינטראקציה. מעקות קלט תופסים הנחיות יריבותיות ודליפת מידע מזהה אישית (PII) לפני שהם מגיעים ללוגיקת הליבה. מעקות דיאלוג אוכפים גבולות שיחה. מעקות פלט סורקים כל תוצאה לאיתור הזיות, רעילות, או הפרות מדיניות לפני שדבר מגיע למגייס אנושי.

זה לא תיאורטי. לפירוט הטכני המלא של הארכיטקטורה שלנו ושל המסגרת המשפטית שמניעה אותה, ראו מאמר המחקר שלנו.

האם באמת אפשר להפוך גיוס מבוסס-AI להוגן?

אנשים שואלים אותי את זה כל הזמן, בדרך כלל בנימה סקפטית שרומזת שהם חושבים שהתשובה היא לא.

התשובה הכנה שלי: אי אפשר להפוך אותו להוגן באופן מושלם. הוגנות בגיוס כרוכה בפשרות מובנות — מתמטיות, לא רק פילוסופיות. אופטימיזציה לשוויון דמוגרפי (שיעורי בחירה שווים בין קבוצות) יכולה להתנגש עם שוויון סיכויים (שיעורי חיובי-אמת וחיובי-שווא שווים). אופטימיזציה לשוויון ניבויי (הבטחה שציון גבוה מסמל אותו דבר לכל קבוצה) יכולה להתנגש עם שניהם.

אבל אפשר להפוך אותו להוגן דרמטית יותר מהמצב הקיים, שהוא או בני אדם מוטים או אלגוריתמים מוטים שמתחזים לניטרליים. ואפשר להפוך אותו בר-ביקורת, וזה מה שהחוק בעצם דורש.

אנחנו משתמשים ב-SHAP — SHapley Additive exPlanations — כדי לשייך ערך תרומה לכל תכונה בכל החלטה. "כישור X תרם +15 לציון של המועמד הזה. פער תעסוקה תרם -3." אנחנו משתמשים ב-LIME — Local Interpretable Model-agnostic Explanations — כדי לבדוק אם שינויים קטנים היו הופכים החלטה. אם שינוי המיקוד (zip code) של מועמד משנה את התוצאה, משהו לא בסדר.

אנחנו מייצרים הסברים נגד-עובדתיים (counterfactual): "מועמד זה לא נבחר משום שחסרה לו הסמכה Y. אילו הייתה לו הסמכה Y, הוא היה מקבל ציון מעל הסף." זו אינה קופסה שחורה. זו קופסת זכוכית, וזה מה שהנחיית ה-EEOC ממאי 2023 דורשת.

מודל שלושת קווי-ההגנה שלרוב החברות אין

הנה משהו שהדהים אותי כשהתחלתי לדבר עם צוותי משאבי אנוש ארגוניים על כלי ה-AI שלהם: לרובם אין מושג אילו מודלים הם מריצים.

אני מתכוון לזה מילולית. ישבתי בפגישה עם סמנכ"לית משאבי האנוש (CHRO) של חברה מרשימת Fortune 500 — מישהי האחראית על החלטות גיוס המשפיעות על עשרות אלפי אנשים בשנה — ושאלתי, "האם תוכלי לומר לי את שיעורי הבחירה לפי קבוצה דמוגרפית עבור כלי הסינון מבוסס-ה-AI שלכם?" מבט ריק. "האם תוכלי לומר לי באיזה מודל הוא משתמש?" מבט ריק ארוך יותר. "האם תוכלי לומר לי מי אימת אותו לגבי הטיה?" היא אמרה, "אני חושבת שהספק מטפל בזה."

הספק "מטפל" בזה. אותו ספק שלפי התקדים של Workday, כעת עלול לשאת באחריות משפטית בתור הסוכן שלך. אותו ספק שכמעט בוודאות יש לו סעיף בחוזה שמתנער מאחריות לתוצאות מפלות.

AI ארגוני בגיוס דורש את מה שאנשי מקצוע בניהול סיכונים מכנים מודל של שלושה קווי הגנה:

הקו הראשון: יחידות העסק שבונות ומפעילות AI. הן אחראיות לבחירת נתוני האימון, לטכניקות גיוס עיוור שמאנונימיות שמות ושנות סיום לימודים, ולניטור יומיומי.

הקו השני: פיקוח סיכונים וציות. רישומי מודלים — מלאי מרכזי של כל מודל AI, מטרתו, מקורות הנתונים שלו, דרגת הסיכון שלו. ניטור מתמשך של שיעורי בחירה ויחסי השפעה. בדיקת ספקים שדורשת תיעוד של בדיקות הטיה, לא רק מצגות שיווקיות.

הקו השלישי: ביקורת עצמאית. חוק מקומי 144 של ניו יורק כבר מחייב ביקורות הטיה שנתיות על ידי צדדים שלישיים עצמאיים עבור כלי החלטות תעסוקה אוטומטיים. הקנסות מתחילים ב-$500 על העבירה הראשונה ומסלימים ל-$1,500 לכל הפרה ליום. אבל העלות האמיתית אינה הקנס — אלא מה שקורה כשבית משפט מורה לשלוח את שם החברה שלך למיליוני מועמדים שעלולים להיות נפגעים, וזה בדיוק מה שאישור התובענה הייצוגית של Workday מאפשר.

מדוע "AI ריבוני" הוא עתיד הגיוס הארגוני

התיק של Workday מאיץ מגמה שאני עוקב אחריה כבר שנתיים: המעבר לעבר מה שאני מכנה AI ריבוני בגיוס הארגוני.

חברות מתעוררות לעובדה ששליחת נתוני הגיוס הקנייניים שלהן ל-API של צד שלישי משמעה שהנתונים האלה עלולים לשמש לאימון הדור הבא של המודל של מישהו אחר. הן מבינות שכאשר API ציבורי מתעדכן — מה שקורה ללא הודעה מוקדמת — צינור הסינון שאומת בקפידה שלהן עלול לסטות בן לילה, ולייצר תוצאות שונות עבור אותם מועמדים. הן מבינות ש-LLMs למטרות כלליות חסרים את גרפי הידע הספציפיים לתחום הנדרשים להערכה מקצועית מדויקת.

הארגונים שאיתם אני מדבר רוצים יותר ויותר להיות הבעלים של המודלים שלהם. להריץ אותם בענני הפרטיים הווירטואליים שלהם. לשלוט מתי וכיצד הם מתעדכנים. לתחזק שובלי ביקורת מלאים שאינם תלויים ברצון הטוב של ספק.

זה הכיוון שאליו אנחנו הולכים ב-Veriprajna. אנחנו לא מוכרים גישה ל-API. אנחנו בונים ארכיטקטורה קוגניטיבית שמקודדת ידע מוסדי, כללי ציות, ולוגיקה דטרמיניסטית לתוך מערכות שמשתמשות ב-AI כממשק עוצמתי — לא אורקל שגיאתי שמקבל החלטות משנות-חיים על סמך תחושות סטטיסטיות.

המחשבה שאני לא מצליח להשתחרר ממנה

אני חוזר שוב ושוב לדרק מובלי. יותר מ-100 בקשות. נדחו על ידי תוכנה, לרוב תוך דקות, באמצע הלילה. אף אדם מעולם לא הביט בכישוריו. אף אחד מעולם לא אמר לו מדוע.

והוא לא יוצא דופן. הוא פשוט זה שתבע.

יש מיליוני אנשים — אנשים מוסמכים, מנוסים, מוכשרים — שסוננו החוצה מהזדמנויות תעסוקה על ידי אלגוריתמים שאומנו על דעה קדומה היסטורית, נפרסו ללא בדיקה מספקת, והופעלו ללא פיקוח משמעותי. הם לא קיבלו מכתב דחייה שמסביר שכתובת הדוא"ל שלהם @hotmail.com מתואמת עם קבוצת גיל שהמודל למד להעניש. הם פשוט קיבלו שתיקה, או מייל טופס, והמשיכו לבקשה הבאה.

הפסיקה של Workday אינה פותרת את הבעיה הזו. אבל היא עושה משהו כמעט חשוב באותה מידה: היא הופכת את הבעיה ליקרה. ובתוכנה ארגונית, בעיות יקרות זוכות לתיקון.

השאלה אינה עוד האם יש להשתמש ב-AI בגיוס. השאלה היא האם ה-AI שבו אתם משתמשים יכול לשרוד עדות מוקדמת (deposition).

אני בונה AI לפרנסתי, ואני מאמין עמוקות בפוטנציאל שלו להפוך את הגיוס להוגן יותר, יעיל יותר, ואנושי יותר. אבל רק אם נחדל להתייחס ל-AI של גיוס כאל מוצר צריכה ונתחיל להתייחס אליו כאל מה שהוא: מערכת החלטות בסיכון גבוה שקובעת את פרנסתם של אנשים, ופועלת באחד התחומים המפוקחים ביותר בחוק האמריקאי.

עידן הקופסה השחורה הסתיים. בנו בהתאם.