האלגוריתם לגיוס שהפך בטעות לבדיקה רפואית
חבר שלי — מהנדס תוכנה מבריק, אחד מחושבי הדפוסים הטובים ביותר שפגשתי אי פעם — סיפר לי שנדחה מאחת-עשרה חברות ברצף. לא אחרי סבבים טכניים. לפניהם. הוא מעולם לא עבר את "הערכת האישיות" הראשונית.
הוא אוטיסט. וכל אחת מאותן חברות השתמשה בגרסה כלשהי של אותו כלי סינון מבוסס-AI.
המשכתי לחשוב על אותה שיחה כאשר, במאי 2024, ה-ACLU הגישה תלונה רשמית לוועדת הסחר הפדרלית (Federal Trade Commission) נגד Aon Consulting. הטענה הייתה מדהימה בדיוקנותה: מערך כלי הגיוס מבוססי-ה-AI של Aon — המשווקים כ"נטולי הטיה" ומקדמי גיוון — פעל ככל הנראה כמסך סינון סמוי של מוגבלות. הכלים מדדו תכונות כמו "מרץ", "חיוביות" ו"מודעות רגשית". תכונות שאינן רק ממדי אישיות מעורפלים. הן שיקוף כמעט-מושלם של הקריטריונים הקליניים המשמשים לאבחון אוטיזם.
כשקראתי את התלונה המלאה, יושב ליד שולחני באחת-עשרה בלילה עם כוס צ'אי קרה, משהו התיישב במקומו — משהו שהטריד אותי שנים. לתעשיית הגיוס מבוססת-ה-AI אין בעיית הטיה. יש לה בעיית ארכיטקטורה. ושום כמות של מיתוג "AI אחראי" לא תתקן אותה.
ההבטחה שהתנפצה
במשך רוב העשור, המסר של ספקי הגיוס מבוססי-ה-AI היה מפתה ופשוט: בני אדם מוטים, אלגוריתמים אינם. תנו למכונה להחליט, ותקבלו תוצאות הוגנות יותר.
קניתי גרסה של זה בשלב מוקדם. כשהקמתי את VeriPrajna, האמנתי בכנות שאם ניתן לפרמל את קבלת ההחלטות — להסיר את תחושות הבטן, את ניחושי "ההתאמה התרבותית", את ההעדפה הלא-מודעת לאנשים שמזכירים לך את עצמך — תקבל משהו קרוב יותר למריטוקרטיה. המתמטיקה תשחרר אותנו.
לתעשיית הגיוס מבוססת-ה-AI אין בעיית הטיה. יש לה בעיית ארכיטקטורה.
ואז התחלתי לבחון מה הכלים האלה מודדים בפועל. והבנתי שהמתמטיקה מקודדת בדיוק את ההטיות שטענה שהיא מבטלת — רק מתרגמת אותן לשפה שנראתה אובייקטיבית.
כלי האישיות המוביל של Aon, ADEPT-15, מעריך מועמדים לאורך חמישה-עשר ממדים. דברים כמו "מרץ" (האם אתה מוחצן או מופנם?), "מודעות" (האם אתה יודע לקרוא בין השורות?), "קור-רוח" (האם אתה רגוע תחת לחץ או נלהב?) ו"גמישות" (האם אתה מעדיף שגרה או שינוי?). הכלי משתמש בפורמט של בחירה כפויה — אתה בוחר בין שתי הצהרות — ומתאים את עצמו בזמן אמת על סמך תשובותיך הקודמות.
על הנייר, זה נשמע מתוחכם. בפועל, הוא שואל: עד כמה אתה נוירוטיפי?
מה קורה כשכלי גיוס משקף אבחון קליני?
זה החלק ששמר אותי ער באותו לילה. שלפתי את מדד ספקטרום האוטיזם (Autism Spectrum Quotient) — כלי סינון קליני סטנדרטי — והנחתי אותו לצד הגדרות המבנה של ADEPT-15 של Aon. החפיפה לא הייתה עדינה. היא הייתה מבנית.
ה-AQ מודד מיומנויות חברתיות, הסטת קשב, תשומת לב לפרטים, תקשורת ודמיון. ADEPT-15 מודד "מרץ", "גמישות", "מבנה", "מודעות" ו"אסרטיביות". אלה אינם בני-דודים רחוקים. אלה אותם מבנים לובשים בגדים שונים.
כשאלגוריתם מעניש מישהו על היותו "מופנם" במקום "מוחצן", הוא אינו מודד התאמה לתפקיד. הוא מודד ביצועים חברתיים. ולמי שמוחו מעבד מידע חברתי אחרת — מישהו אוטיסט, מישהו עם ADHD, מישהו עם חרדה חברתית — המדידה הזו היא מלכודת המחופשת למבחן.
תלונת ה-ACLU מנסחת זאת בבוטות: הערכות אלה "עוקבות מקרוב אחר אבחוני אוטיזם/בריאות נפש". על פי חוק האמריקאים עם מוגבלויות (Americans with Disabilities Act), מעסיקים אינם רשאים לערוך בדיקות רפואיות כחלק מתהליך הגיוס אלא אם כן הן קשורות ישירות לתפקיד. אם מבחן אישיות אינו ניתן להבחנה תפקודית מכלי סינון קליני, מה הוא בעצם?
אני זוכר שהעליתי זאת בפני עמית שבילה שנים בפסיכולוגיה תעשייתית-ארגונית. תגובתו הראשונה הייתה מתגוננת — "אלה כלים פסיכומטריים מתוקפים". תגובתי: מתוקפים כנגד מה? כנגד מדגם נורמטיבי שהיה נוירוטיפי ברובו המכריע? זה אינו תיקוף. זה היגיון מעגלי לבוש חלוק מעבדה.
בעיית ראיון הווידאו גרועה ממה שאתם חושבים
הכלי השני של Aon, vidAssess-AI, מניח את מודל האישיות מעל ראיונות וידאו א-סינכרוניים. מועמדים מקליטים את עצמם עונים על שאלות. מנוע NLP מתמלל את דיבורם, מנתח את התוכן ומדרג אותו כנגד מסגרת האישיות של ADEPT-15.
כאן זה נעשה מדאיג באמת. מודלים לעיבוד שפה טבעית מאומנים על מערכי טקסט עצומים המשקפים ברובם המכריע דפוסי תקשורת נוירוטיפיים. הקצב של דיבור טיפוסי. המקצבים הצפויים של ביטחון. הדרך ה"נורמלית" לבנות נרטיב.
הצוות שלי בילה שבועות בבדיקה כיצד דפוסי דיבור שונים מתקשרים עם מערכות NLP מסחריות. אינטונציה שטוחה — נפוצה בקרב דוברים אוטיסטים — מסומנת כ"חוסר התלהבות". הפסקות לא-טיפוסיות מתפרשות כ"חוסר ודאות". סיפור לא-ליניארי — הדרך שבה אנשים רבים עם ADHD מארגנים מחשבות באופן טבעי, קופצים בין רעיונות מקושרים לפני שהם חוזרים אחורה — נרשם כ"חשיבה לא-מאורגנת".
כשאלגוריתם מעניש מישהו על היותו "מופנם" במקום "מוחצן", הוא אינו מודד התאמה לתפקיד. הוא מודד ביצועים חברתיים.
לשום דבר מזה אין קשר ליכולתו של מישהו לבצע את העבודה. לכל זה יש קשר מלא לשאלה אם מישהו מציג נוירוטיפיות באופן משכנע מול המצלמה.
מחקר מאוניברסיטת Duke מצא שמודלי שפה גדולים מקשרים באופן שיטתי מונחים נוירודיברגנטיים עם קונוטציות שליליות. בחלק מהמודלים, "יש לי אוטיזם" מקבל ציון שלילי יותר מ"אני שודד בנקים". כשאותם מודלים מפעילים כלי גיוס דרך אינטגרציות API, הם נושאים את הקישורים האלה היישר אל תוך תהליך הסינון. אף מפתח לא התכוון לכך. הארכיטקטורה הבטיחה זאת.
כתבתי על המכניקה הטכנית של כך בהרחבה רבה יותר בגרסה האינטראקטיבית של המחקר שלנו, אבל הגרסה הקצרה היא זו: אי אפשר לתקן אייבליזם מתהווה באמצעות עטיפה סביב מודל מוטה. ההטיה אינה באג. היא תכונה של האופן שבו נבנתה המערכת.
מדוע הפסקתי להאמין ב"נטול הטיה"
היה רגע — ואני יכול למקם אותו בדיוק — שבו החשיבה שלי על כך עברה מ"אנחנו צריכים בדיקות הטיה טובות יותר" ל"כל הפרדיגמה שגויה".
ערכנו ביקורת פנימית על צינור הגיוס של לקוח. דברים סטנדרטיים: בדיקות שוויון דמוגרפי, יחסי השפעה שלילית, המדדים שכולם משתמשים בהם. המספרים נראו נקיים. שיעורי הגיוס בין הקבוצות הדמוגרפיות היו בטווחים מקובלים. הלקוח היה מרוצה. הצוות המשפטי שלהם היה מרוצה.
ואז אחת מהמהנדסות שלי, Priya, שאלה שאלה שעצרה את החדר: "מה אם האנשים שהיו מסוננים החוצה מעולם לא הגישו מועמדות מלכתחילה?"
היא צדקה. מדדנו הוגנות בקרב האנשים שעברו את מסך האישיות. אבל המסך עצמו כבר סינן את מאגר המועמדים. ערכנו ביקורת על הניצולים וקראנו לזה שוויוניות.
אז הבנתי את הפגם היסודי בגישת ה"עטיפה" להוגנות ב-AI. עטיפה לוקחת מודל יסוד קיים — GPT-4, מה שלא יהיה — מעבירה דרכו נתונים, ומציגה את הפלט. אפשר להוסיף בדיקות הטיה מעל. אפשר לבצע עיבוד-לאחר של התוצאות. אבל הייצוגים הפנימיים של המודל כבר קידדו את ההטיות של נתוני האימון שלו. אתה מדביק מדבקת הוגנות על מכונה לא-הוגנת ביסודה.
נתוני הגיוס שעליהם מודלים אלה מתאמנים משקפים עשורים של העדפה נוירוטיפית. כשהמודל מוטמע, החלטותיו מוזנות בחזרה אל מערכי אימון עתידיים. מועמדים מופנמים נדחים, ולכן המודל לומד ש"מופנם" מנבא דחייה, ולכן הוא דוחה יותר מועמדים מופנמים. הלולאה מתהדקת. ההטיה מצטברת. ולוח המחוונים אומר שהכול בסדר.
כיצד באמת בונים AI לגיוס שאינו מפלה?
זו השאלה שביליתי את השנים האחרונות בניסיון לענות עליה. לא "כיצד הופכים AI למוטה פחות" — המסגור הזה מקבל את הארכיטקטורה הנוכחית ומנסה לטלא אותה. השאלה האמיתית היא: כיצד בונים מערכות שבהן ההטיה אינה יכולה להסתתר?
הגישה שפיתחנו ב-VeriPrajna נשענת על תובנה מרכזית אחת: המתאם הוא המקום שבו מסתתרת האפליה. למידת מכונה מסורתית מוצאת דפוסים בנתונים. אם סגנון תקשורת נוירוטיפי מתואם עם קבלה לעבודה, המודל ישתמש בסגנון התקשורת כמשתנה מתווך לכשירות לגיוס. הוא אינו יודע שהוא מפלה. הוא רק מבצע אופטימיזציה.
כדי לשבור זאת, נדרש היגיון סיבתי, לא רק התאמת דפוסים סטטיסטית.
אנחנו משתמשים במשהו שנקרא למידת ייצוג סיבתי (Causal Representation Learning). במקום לשאול "אילו מאפיינים מנבאים הצלחה בגיוס?", אנחנו שואלים "אילו מאפיינים מנבאים הצלחה בגיוס שאינם נובעים באופן סיבתי ממאפיין מוגן?" זו שאלה שונה מהיסוד, והיא דורשת ארכיטקטורה שונה מהיסוד.
חשבו על זה כך. דמיינו את פרופיל המועמד כרשת של מאפיינים מקושרים. חלק מהקשרים לגיטימיים — שנות ניסיון מתחברות לרמת המיומנות. אבל חלק מהקשרים עוברים דרך שטח מוגן — סגנון תקשורת מתחבר לנוירוטיפוס, שמתחבר לאופן שבו מבחן אישיות מדרג אותך, שמתחבר לשאלה אם תקבל ראיון. למידת ייצוג סיבתי ממפה את המסלולים האלה ומנתקת מתמטית את הבלתי-לגיטימיים.
אנחנו משלבים זאת עם אימון יריבותי — טכניקה שבה אנחנו מעמידים שני מודלים זה מול זה. מודל אחד מנסה לנבא ביצועים בעבודה. השני מנסה לנחש את מצב המוגבלות של המועמד מתוך הייצוגים הפנימיים של המודל הראשון. אם היריב מצליח, משמעות הדבר שהחזאי מדליף מידע מוגן, והמערכת מענישה אותו. לאורך מחזורי אימון, החזאי לומד לקבל החלטות שבאמת אי אפשר לבצע עליהן הנדסה-לאחור כדי לחשוף את הנוירוטיפוס של מישהו.
אי אפשר לתקן אייבליזם מתהווה באמצעות עטיפה סביב מודל מוטה. ההטיה אינה באג. היא תכונה של האופן שבו נבנתה המערכת.
ואז יש את הבדיקה הקונטרה-פקטואלית — החלק שאני מוצא הכי כן אינטלקטואלית. אנחנו לוקחים נתונים של מועמד אמיתי, מייצרים תאום סינתטי שבו רק המאפיין המוגן משתנה, ובודקים אם המלצת המודל נשארת זהה. לא "האם הסטטיסטיקות ברמת הקבוצה מאוזנות?" אלא "האם האדם הספציפי הזה היה מקבל תוצאה שונה אילו לא היה אוטיסט?" זו השאלה שה-ADA באמת שואל. זו השאלה שרוב ה-AI לגיוס אינו יכול לענות עליה.
לפירוט הטכני המלא של שיטות אלה — המתמטיקה שמאחורי אינווריאנטיות התערבותית, פונקציות ההפסד היריבותיות, המודלים הסיבתיים המבניים — ראו מאמר המחקר הטכני שלנו.
הרגולטורים כבר לא מחכים
דבר אחד שתלונת Aon הבהירה באופן שאינו משתמע לשתי פנים: עידן "נוע מהר ובקר אחר כך" נגמר.
יוזמת "Operation AI Comply" של ה-FTC כבר הובילה לפעולות אכיפה נגד חברות שטענו טענות AI חסרות ביסוס. DoNotPay ספגה קנס של $193,000 על הבטחת יתר בנוגע ליכולות של כלי ה-AI המשפטי שלה. Rytr נעשתה יעד בגין יצירת ביקורות מזויפות. ה-FTC היה מפורש: אם אתה טוען שהכלי שלך "נטול הטיה", כדאי שיהיו לך הראיות האמפיריות להוכיח זאת. "אימנו אותו על נתוני עתק" אינו ראיה. זו הודאה.
ה-EEOC, בינתיים, הפך את האפליה האלגוריתמית לעדיפות אכיפה עליונה. עמדתו פשוטה: מעסיקים אחראים משפטית לאפליה שנגרמת על ידי כלי ה-AI שהם רוכשים, גם אם הספק מכר להם מקח טעות בנוגע להוגנות. אי אפשר להעביר במיקור-חוץ את חובות זכויות האדם שלך לחוזה תוכנה.
אנשים שואלים אותי לפעמים אם הלחץ הרגולטורי הזה יאט את אימוץ ה-AI בגיוס. אני חושב שזו השאלה הלא נכונה. הלחץ יאט את אימוץ ה-AI הגרוע. הוא יאיץ את השוק לכלים שיכולים באמת להדגים הוגנות — לא עם חומרי שיווק, אלא עם ראיות הניתנות לביקורת. חברות שהשקיעו בארכיטקטורה קפדנית ייהנו מיתרון עצום. חברות שקנו עטיפות יקבלו חשבון משפטי עצום.
עיצוב עבור מוחות שעובדים אחרת
יש סוגיה עמוקה יותר מתחת לטיעונים הטכניים והמשפטיים, והיא זו שאכפת לי ממנה יותר מכול.
רוב ה-AI לגיוס בנוי על מה שחוקרי מוגבלות מכנים מודל ה"גירעון הרפואי" — ההנחה שתכונות נוירודיברגנטיות הן סטיות מנורמה שיש לזהות ולסנן החוצה. כל הארכיטקטורה מניחה מראש שיש דרך "נכונה" שבה מוח אמור לעבוד, ותפקיד האלגוריתם הוא למצוא מועמדים שמוחם עובד כך.
זה לא רק פשיטת רגל מוסרית. זה אידיוטי אסטרטגית.
אנשים נוירודיברגנטיים לעיתים קרובות מצטיינים בדיוק ביכולות שחברות אומרות שהן זקוקות להן נואשות: זיהוי דפוסים עמוק, תשומת לב מתמשכת לפרטים, פתרון בעיות יצירתי שפורץ ממסגרות מקובלות. מערכת גיוס המסננת לפי "מרץ" ו"אומץ חברתי" מסננת באופן שיטתי החוצה את האנשים בעלי הסבירות הגבוהה ביותר לראות את מה שכל השאר מפספסים.
ב-VeriPrajna התחלנו לבנות את מה שאני תופס כמערכות הערכה גמישות-זמנית. במקום להשוות כל מועמד לקו-בסיס נוירוטיפי — זמן תגובה ממוצע, מקצב דיבור טיפוסי, ביטוי רגשי צפוי — המערכת מבססת קו-בסיס פרטני במהלך השלבים המוקדמים של האינטראקציה. היא לומדת כיצד נראה "נורמלי" עבור אדם זה, לא עבור ממוצע מופשט כלשהו.
אנחנו גם דוגלים בתוקף במה שאמור להיות מובן מאליו: כל הערכה אוטומטית חייבת לכלול אפשרות ברורה, נטולת-עונש, לבקש חלופה אנושית. ה-ADA מחייב התאמה סבירה. אבל מעבר לציות המשפטי, זו פשוט הנדסה טובה. כל מערכת שקורסת כשמשתמש מבקש ממשק אחר היא מערכת שברירית.
השאלה שאיש אינו רוצה לענות עליה
כשאני מציג את העבודה הזו, תמיד יש רגע של שתיקה לא-נוחה. בדרך כלל הוא מגיע אחרי שאני מציין שאותם כלי AI שחברות Fortune 500 משתמשות בהם כדי "לשפר גיוון" עשויים להוציא באופן שיטתי מועמדים עם מוגבלות. מישהו בחדר — בדרך כלל מי שחתם על החוזה עם הספק — מזיז את עצמו בכיסאו.
האמת הלא-נוחה היא שרוב הארגונים מעולם לא ביקרו את ה-AI לגיוס שלהם עבור הטיה כלפי מוגבלות. הם בדקו פערים גזעיים ומגדריים משום שאלה המדדים שהרגולטורים התמקדו בהם היסטורית. אבל נוירודיברגנטיות? היא אפילו לא בלוח המחוונים.
תלונת Aon משנה זאת. לא משום ש-Aon גרועה באופן ייחודי — היא מייצגת גישה כלל-תעשייתית. היא משנה דברים משום שהיא נוקבת בשם המנגנון. היא מראה בדיוק כיצד "הערכת אישיות" הופכת למסך סינון של מוגבלות. וברגע שראית זאת, אינך יכול לבטל את הראייה.
כל חברה המשתמשת באלגוריתמים של פרוקסי-אישיות כדי לסנן מועמדים מסננת באופן שיטתי החוצה בדיוק את הכישרון שמניע חדשנות.
אני חושב על החבר שלי — המהנדס המבריק שלא הצליח לעבור את מסך האישיות. בסופו של דבר הוא נשכר על ידי חברה שערכה הערכה טכנית חיה במקום זאת. בתוך שישה חודשים, הוא עיצב מחדש את כל צינור הנתונים שלהם. אחת-עשרה החברות שדחו אותו לא רק פספסו גיוס טוב. אלגוריתם אמר להן שלא שווה לדבר איתו.
זו אינה בעיית הטיה. זו מערכת שבורה המספרת לעצמה שהיא עובדת.
לאן זה הולך מכאן
תלונת Aon-ACLU אינה סוף של משהו. היא תחילתה של התחשבנות שתעצב מחדש את האופן שבו כל ארגון חושב על AI בהחלטות של הון אנושי.
עד שגל האכיפה והתביעות הזה יגיע לשיאו, החברות שיישארו על רגליהן הן אלה שהתייחסו לממשל AI כאל דיסציפלינה הנדסית, לא כאל תרגיל יחסי ציבור. אלה שדרשו היגיון סיבתי במקום מתאם. אלה שביקרו עבור הוגנות פרטנית, לא רק שוויון דמוגרפי. אלה שעיצבו עבור מלוא הספקטרום של הקוגניציה האנושית, לא רק הפרוסה שבמקרה תואמת את נתוני האימון.
לא הקמתי את VeriPrajna כדי לבנות כלי ציות. הקמתי אותה משום שאני מאמין ש-AI יכול להיות המשווה החזק ביותר בהיסטוריה של הגיוס — אבל רק אם נבנה אותו נכון. לא עטיפות על מודלים מוטים. לא פרוקסי-אישיות מחופשים לפסיכומטריה. מערכות עמוקות שמבינות את ההבדל בין מה שאדם יכול לעשות לבין האופן שבו מוחו במקרה מחווט.
האלגוריתם שדחה את חברי אחת-עשרה פעמים לא היה רשע. הוא היה פשוט רדוד. ובגיוס, רדוד הוא אותו הדבר כמו מפלה.
אנחנו יכולים לבנות עמוק יותר. אנחנו חייבים.
