כלי הגיוס מבוסס הבינה המלאכותית שלמד להיות סקסיסטי — ומה הוא לימד אותי על בניית כלים הוגנים

לפני כמה חודשים ישבתי מול מנהל משאבי אנוש ראשי (CHRO) בחברת טכנולוגיה בינונית, שסיפר לי בגאווה כנה שהם "פתרו את הבעיה של ההטיה" בצינור הגיוס שלהם. הם רכשו כלי סינון מבוסס בינה מלאכותית. הוא ניתח קורות חיים, דירג מועמדים, וקיצר את זמן איוש המשרות שלהם ב-40%.

שאלתי שאלה אחת: "מה הכלי חוזה?"

שתיקה. ואז: "למה אתה מתכוון? הוא חוזה את מי לגייס."

"לא," אמרתי. "הוא חוזה את מי היית מגייס. בהתבסס על עשור של נתונים שבהם צוות ההנדסה שלך היה 84% גברים."

הצבע ירד מפניו. הוא הוציא סכום בן שש ספרות על כלי שהפעיל באוטומציה בדיוק את אותה ההטיה שחשב שהוא מבטל.

השיחה הזו רודפת אותי כי היא לא מקרה קצה. היא הנורמה. הדור הראשון כולו של כלי גיוס מבוססי בינה מלאכותית — ואני מתכוון לרוב המכריע של מה שנמצא בשוק כרגע — בנוי על הנחת יסוד כה פגומה בבסיסה, שהיא הייתה מצחיקה אלמלא ההשלכות נגעו בפרנסתם של אנשים. הכלים האלה משתמשים בבינה מלאכותית חיזויית שמאומנת על נתוני גיוס היסטוריים. הם לומדים מי גויס בעבר. ואז הם משכפלים את התבנית הזו בקנה מידה גדול, ביעילות חסרת רחמים, ומסננים החוצה את הדבר האחד שאולי היה מציל אותנו: מגייס אנושי מזדמן שהביט במועמד לא-מובן-מאליו וחשב, אתה יודע מה, בוא ניקח סיכון.

ב-Veriprajna אנחנו בונים מערכות גיוס מבוססות בינה מלאכותית אחרת. אנחנו משתמשים בבינה מלאכותית סיבתית — לא כדי לחזות מי היה מגויס, אלא כדי לחזות מי באמת יתפקד היטב. ואז אנחנו בוחנים את החיזוי הזה במבחני עומס בכך שאנחנו שואלים שאלה שרוב מערכות הבינה המלאכותית אפילו לא מסוגלות לנתח: אילו המועמד הזה היה מקבוצה דמוגרפית אחרת, האם התשובה שלנו הייתה משתנה?

אם התשובה הייתה משתנה, המודל נכשל. אנחנו חוזרים ומתקנים אותו.

זהו הסיפור מדוע ההבחנה הזו חשובה יותר מכל דבר אחר שקורה כרגע בטכנולוגיית משאבי האנוש.

"התאמה תרבותית" היא סתם הומופיליה עם שיווק טוב יותר

לפני שאכנס לטכנולוגיה, אני צריך לדבר על הבעיה האנושית — כי בעיית הבינה המלאכותית נגזרת ממנה.

יש מושג בסוציולוגיה שנקרא הומופיליה: הנטייה של אנשים להתחבר, ליצור קשר ולהעדיף אחרים הדומים להם. זו אחת התופעות המתועדות בצורה הכי איתנה במדעי החברה. וזהו המנוע הסמוי שמניע את רוב החלטות הגיוס בעולם.

הומופיליה היא הסיבה לכך שמנהל גיוס ששיחק רוגבי משדרג באופן לא מודע את המועמד שמזכיר רוגבי. זו הסיבה לכך ש"התאמה תרבותית" — הביטוי המקודש והבלתי-מעורער הזה באוצר המילים של כל מגייס — מתורגם כמעט תמיד ל"האדם הזה מזכיר לי את עצמי". חוקרים בברקלי גילו שמראיינים מבלבלים באופן שגרתי בין "כישורי תקשורת" לבין "מדבר כמוני". מועמד מרקע חברתי-כלכלי שונה המשתמש במשלב לשוני שונה מקבל ציון נמוך יותר בגלל "חוסר ליטוש". תוכן התשובות שלו כמעט ואינו נרשם.

אני זוכר ויכוח סוער עם יועץ בכיר בראשית דרכה של Veriprajna. הוא התעקש שהתאמה תרבותית היא קריטריון גיוס לגיטימי — שצוותים זקוקים ללכידות, לערכים משותפים, לשפה משותפת. לא חלקתי על העיקרון. חלקתי על היישום. כי כאשר חוקרים אכן בוחנים מה קורה בארגונים שממטבים ל"התאמה תרבותית", הם מוצאים משהו מטריד: ארגונים אלה נופלים למה שמדעני רשתות מכנים מלכודות הומופיליה. ברגע שייצוג המיעוט צונח מתחת לכ-25%, הרוב מגייס את הרוב, וההרכב הדמוגרפי ננעל במקומו. החדשנות נעצרת. חשיבת עדר משתלטת. הארגון הופך לאולם מראות.

"התאמה תרבותית" נשמעת כמו קריטריון גיוס. בפועל, זהו מנגנון לשכפול הצוות הקיים — ולקרוא לזה אסטרטגיה.

התיקון אינו לבטל את מושג ההלימה התרבותית. אלא לעבור מ"התאמה תרבותית" ל"תרומה תרבותית" — לגייס אנשים שמאתגרים הנחות במקום לאשש אותן. אבל המעבר הזה דורש משהו שרוב המגייסים האנושיים אינם מסוגלים לעשות באופן אמין: להעריך את התרומה הפוטנציאלית של מועמד תוך היותם עיוורים באמת לאותות הדמוגרפיים שלו.

מה שמביא אותנו לאודישן העיוור.

מה שתזמורות הבינו בשנות ה-70

בשנות ה-70, תזמורות סימפוניות אמריקאיות מרכזיות היו גבריות ברובן המכריע. התפיסה הרווחת הייתה שלנשים חסר "כוח הריאות" או ה"מזג" הדרושים לכלים מסוימים. ואז תזמורות התחילו להעמיד את המועמדים מאחורי מסך. השופטים יכלו לשמוע את המוזיקה — המניע הסיבתי האמיתי של הביצוע — אבל לא יכלו לראות את המוזיקאי.

גיוס הנשים זינק.

המסך לא שינה את איכות המוזיקה. הוא שינה את איכות ההאזנה. הוא אילץ את המעריכים להגיב לאות (הצליל) במקום לרעש (המראה).

האנלוגיה הזו הפכה ליסודית באופן שבו אני חושב על מה שאנחנו בונים. בעידן הדיגיטלי, אי אפשר להעמיד כל מועמד לעבודה מאחורי מסך פיזי. אבל אפשר לבנות בינה מלאכותית שמתפקדת כמסך מתמטי — כזה שמעריך את המניעים הסיבתיים של ביצועי העבודה תוך היותו עיוור באופן שניתן להוכחה למאפיינים מוגנים כמו מגדר, גזע או גיל.

הבעיה היא שבינה מלאכותית סטנדרטית עושה את ההפך. היא פועלת כחלון שקוף. כל הטיה בנתונים ההיסטוריים זורמת ישר דרכה.

מדוע הבינה המלאכותית של אמזון העניקה עונש למילה "נשים" (Women's)?

סיפור האזהרה המפורסם ביותר בתחום גיוס הבינה המלאכותית הוא כלי הגיוס הפנימי של אמזון, שנגנז ב-2018. המערכת אומנה על עשור של קורות חיים שהוגשו לחברה. מכיוון שתעשיית הטכנולוגיה נוטה בכבדות לכיוון הגברי, נתוני האימון שיקפו את ההטיה הזו.

הבינה המלאכותית, שעשתה בדיוק את מה שהיא תוכננה לעשות — למצוא תבניות שחוזות "להתקבל לעבודה" — למדה שאותות מקודדים-גברית מתואמים עם הצלחת גיוס. היא העניקה עונש לקורות חיים שהכילו את המילה "נשים" (Women's), כמו ב"קפטנית מועדון השחמט לנשים". היא הורידה בדירוג בוגרות של שתי מכללות לנשים בלבד. איש לא תיכנת אותה להיות סקסיסטית. היא פשוט גילתה שהיות גבר היה מנבא חזק להתקבלות לעבודה באמזון, ומיטבה את עצמה לתבנית הזו.

להיות מדויק לגבי העבר פירושו להיות לא הוגן כלפי העתיד. אם "דיוק" פירושו חיזוי ההחלטה האנושית, אז בינה מלאכותית "טובה" היא בהכרח מוטה.

זהו הכשל המהותי של למידת חיקוי — אימון בינה מלאכותית לחקות מגייסים אנושיים. אם המגייסים היו מוטים (ובגלל הומופיליה, הם היו), הבינה המלאכותית הופכת למה שהתחלתי לכנות "קפסולת הטיה". היא מגבשת עשור של דעות קדומות ומיישמת אותן במהירות מכונה על כל מועמד חדש.

לאמזון לפחות הייתה היושרה להרוג את הפרויקט. רוב החברות המשתמשות בכלים דומים אפילו לא יודעות שיש להן את הבעיה.

ומה לגבי GPT? מלכודת ה-Wrapper של ה-LLM

אחרי שסיפור אמזון התפוצץ, הנחתי שהתעשייה תבצע תיקון מסלול. במקום זאת, הזינוק בבינה המלאכותית הגנרטיבית הוליד משהו שיש הטוענים שהוא גרוע יותר: שיטפון של כלי גיוס "מבוססי בינה מלאכותית" שהם ממשקים דקים — עטיפות (wrappers) — הבנויים על גבי מודלי שפה גדולים לשימוש כללי כמו GPT-4 או Claude.

איבדתי את הספירה של מספר המשקיעים והשותפים הפוטנציאליים שאמרו לי, "פשוט תשתמש ב-GPT. כוונן אותו על קצת נתוני גיוס. שחרר את זה." בכל פעם, יש לי אותה תגובה: אתם יודעים על מה GPT אומן?

האינטרנט הפתוח. סך כל הטקסט האנושי — כולל ההטיות, הסטריאוטיפים והדעות הקדומות שבו. חוקרים מאוניברסיטת וושינגטון גילו שכאשר מודלי שפה גדולים (LLMs) מסננים קורות חיים, שמות המזוהים עם לבנים מועדפים ב-85% מהזמן, גם כאשר הכישורים זהים. בחלק מהאיטרציות של הבדיקה, שמות של גברים שחורים מעולם לא דורגו ראשונים. המודל משייך שמות מסוימים ל"מוכשרות" בהתבסס על תבניות סטטיסטיות בנתוני האימון שלו. עטיפה אינה יכולה לכבות זאת בקלות, מכיוון שההטיה שזורה בהבנה היסודית של המודל את השפה.

וזה עוד לפני שמגיעים להזיות. מודלי שפה גדולים הם מחוללי טקסט הסתברותיים, לא מנועי לוגיקה. הם עשויים להמציא כישורים שאין למועמד, או לפספס כישורים שיש לו, כי המודל ממטב לטקסט שנשמע סביר, ולא לדיוק עובדתי. בהקשר של ציות רגולטורי — שבו מועמד שנדחה עלול לתבוע — "הבינה המלאכותית הזתה שחסרה לך הסמכה נדרשת" אינו קו הגנה משפטי בר-קיימא.

ואז יש את בעיית הקופסה השחורה. שאלו עטיפה מדוע דירגה את מועמד א' מעל מועמד ב', והיא יכולה לחולל הסבר שנשמע בטוח. אבל ההסבר הזה הוא רציונליזציה בדיעבד, לא דיווח סיבתי של ההחלטה. תחת חוק NYC Local Law 144 וחוק ה-AI של האיחוד האירופי, אטימות זו הולכת והופכת לבלתי-תואמת רגולציה.

כתבתי על הבעיה הזו — ועל הגישה שלנו לפתרונה — בגרסה האינטראקטיבית של המחקר שלנו.

השאלה הלא-נכונה מול השאלה הנכונה

הנה עיקר העניין כולו.

בינה מלאכותית סטנדרטית לגיוס שואלת: "בהתבסס על ההיסטוריה, האם האדם הזה יתקבל לעבודה?"

אנחנו שואלים: "האם האדם הזה יתפקד היטב?"

אלה נשמעות דומות. הן רחוקות זו מזו כרחוק מזרח ממערב.

השאלה הראשונה מתאמנת על החלטת המגייס — החלטה המזוהמת בהומופיליה, בהטיית זיקה ובהתאמת תבניות לדמוגרפיה של הצוות הקיים. השאלה השנייה מתאמנת על תוצאות עסקיות: שימור מעבר ל-18 חודשים, השגת מדדי KPI, דירוגי ביצועים, שיפור בתפוקת הצוות.

כשמתאמנים על תוצאות במקום על החלטות, קורה משהו יוצא דופן. אם מועמדים מרקע מגוון תיפקדו היטב היסטורית אך גויסו לעיתים רחוקות — וזה בדיוק מה שהנתונים מראים בארגונים רבים — מודל מבוסס-תוצאה לומד להעריך אותם. מודל מבוסס-חיקוי לומד להתעלם מהם.

זו אינה הבחנה עדינה. זהו ההבדל בין אוטומציה של העבר לבין הנדסת העתיד.

איך הופכים בינה מלאכותית להוגנת באופן שניתן להוכחה?

בסדר. אז אנחנו מתאמנים על תוצאות במקום על החלטות. זה הכרחי אבל לא מספיק. כי אפילו נתוני תוצאות יכולים לשאת עקבות של הטיה מבנית — אם עובדים מרקע מגוון קיבלו פחות משאבים, משימות גרועות יותר, או פחות חונכות, התוצאות שלהם עשויות להיות מדוכאות באופן מלאכותי.

כאן אנחנו עוברים מבינה מלאכותית חיזויית לבינה מלאכותית סיבתית, ובאופן ספציפי למסגרת שנקראת הוגנות תלוית-מה-אילו (counterfactual fairness).

הרעיון, המושרש ב"סולם הסיבתיות" של יהודה פרל, הוא פשוט להטעות. למידת מכונה סטנדרטית פועלת ברמה 1 של הסולם של פרל: אסוציאציה. היא רואה תבניות. "אנשים בעלי תכונה X נוטים לקבל תוצאה Y." שימושי, אבל עיוור להבדל בין מתאם לסיבתיות.

בינה מלאכותית סיבתית פועלת ברמה 3: תרחישים נגדיים (counterfactuals). היא יכולה לדמיין מציאויות חלופיות. "אילו המועמד הזה היה גבר במקום אישה, כשכל השאר נשמר קבוע, האם החיזוי של המודל היה משתנה?"

אם התשובה היא כן, המודל אינו הוגן. נקודה.

אנחנו מיישמים זאת באמצעות מודלים סיבתיים מבניים (Structural Causal Models) — גרפים שקופים הממפים יחסי סיבה-ותוצאה בין משתנים. בניגוד לרשתות עצביות מסוג קופסה שחורה, מודל סיבתי מבני (SCM) מאפשר לנו לראות בדיוק אילו נתיבים מחברים בין קלטים לפלטים, ומדוע.

הנה דוגמה קונקרטית ששמרה את הצוות שלי ער עד מאוחר בלילה אחד. בנינו מודל ושמנו לב ש"מיקוד" (zip code) היה מנבא חזק של שימור. הגיוני — נסיעות ארוכות שוחקות אנשים. אבל מיקוד גם מתואם עם גזע ברוב הערים האמריקאיות. מודל סטנדרטי היה משתמש במיקוד ללא הבחנה, ובכך למעשה מפלה על בסיס גזע תוך שהוא נראה כאילו הוא משתמש במשתנה "ניטרלי".

המודל הסיבתי המבני שלנו ממפה את שני הנתיבים:

• נתיב לגיטימי: מיקוד → זמן נסיעה → שימור
• נתיב מזויף: מיקוד → דמוגרפיה → הטיה היסטורית

אנחנו חוסמים מתמטית את הנתיב השני תוך שימור הנתיב הראשון. המודל יכול להשתמש במיקוד רק במידה שהוא מנבא זמן נסיעה. אם הוא מתחיל להשתמש במיקוד כדי להסיק גזע, העונש נכנס לפעולה.

השאלה אינה האם הבינה המלאכותית שלך משתמשת ישירות במאפיינים מוגנים. השאלה היא האם היא משתמשת במשתני-תיווך (proxies) שמבריחים את המאפיינים האלה בחזרה פנימה דרך הדלת הצדדית.

אימון המודל לשכוח את הדעה הקדומה של עצמו

כיצד אנחנו למעשה אוכפים זאת במהלך האימון? באמצעות טכניקה שנקראת הסרת הטיה יריבית (adversarial debiasing) — במהותה, עונש הוגנות המוטמע בתהליך הלמידה של המודל.

במהלך האימון, המודל ממטב כנגד שני יעדים מתחרים בו-זמנית. ראשית: למקסם את הדיוק בחיזוי ביצועי העבודה. שנית: למזער את היכולת לחזות את המאפיינים המוגנים של המועמד (גזע, מגדר, גיל) מתוך הייצוג הפנימי של המודל.

אנחנו מציגים "יריב" — מודל משני שתפקידו היחיד הוא לנסות לנחש את הדמוגרפיה של המועמד מתוך הפלטים של המודל הראשי. אם המודל הראשי מתחיל להישען על תכונות-תיווך כמו lacrosse (משתנה-תיווך למעמד חברתי-כלכלי, המתואם עם גזע) או שמות אוניברסיטאות מסוימים, היריב מזהה שהוא יכול כעת לנחש דמוגרפיה ביתר קלות. זה מפעיל עונש, ומגדיל את העלות של מצבו הנוכחי של המודל הראשי.

כדי למזער את סך ההפסד, המודל נאלץ למצוא תכונות שחוזות ביצועים מבלי לחשוף דמוגרפיה. כישורים. ניסיון. ציוני מבחן אובייקטיביים. המניעים הסיבתיים האמיתיים.

אני לפעמים מסביר את זה באנלוגיה טיפשית שהצוות שלי שונא: זה כמו לאמן כלב להביא עיתון. אם הכלב מביא את העיתון אבל קורע אותו, אין פינוק. בסופו של דבר, הכלב לומד להביא בלי לקרוע. המודל שלנו לומד לחזות בלי להפלות.

לפני הפריסה, אנחנו מריצים אלפי סימולציות תלויות-מה-אילו (counterfactual simulations). אנחנו לוקחים קורות חיים של מועמד אמיתי, מחוללים "תאום סינתטי" עם שם וכינויי גוף שונים אך עם כישורים וניסיון זהים, ומזינים את שניהם דרך המודל. אם הציונים מתפצלים, המודל נכשל במבדק. אנחנו חוזרים על התהליך עד שהם מתכנסים. לפירוט הטכני המלא של תהליך זה, ראו את מאמר המחקר שלנו.

מדוע כל זה חשוב מבחינה משפטית?

כי חומות הרגולציה מתקרבות, ורוב החברות אינן מוכנות.

חוק NYC Local Law 144, התקף מאז 2023, אוסר על שימוש בכלי גיוס אוטומטיים אלא אם עברו מבדק הטיה עצמאי בשנה האחרונה. החוק מחייב חישוב יחסי השפעה — השוואת שיעורי בחירה בין קבוצות דמוגרפיות. ספקים רבים של קופסה שחורה נכשלים במבדקים אלה כי אינם יכולים לשלוט באופן שבו המודלים שלהם משקללים תכונות שונות. הם מנסים בבהילות לתקן הטיה בדיעבד, וזה כמו לנסות להוציא עוגה מהתנור לאחר שנאפתה.

החוק ה-AI של האיחוד האירופי (EU AI Act) הולך רחוק יותר, ומסווג בינה מלאכותית לגיוס כ"סיכון גבוה" — אותה שכבת רגולציה כמו התקנים רפואיים. הדבר מטיל דרישות מחמירות סביב ממשל נתונים, פיקוח אנושי, והיעדר הטיה בר-הוכחה. פתרונות עטיפה שמעבדים נתונים דרך ממשקי API של צד שלישי ניצבים כאן בפני בעיה קיומית: הנתונים עוזבים את התשתית שלך, המודל אטום, ואינך יכול להבטיח ציות.

המודלים שלנו מוכנים-למבדק מעצם עיצובם. מכיוון שעונש ההוגנות במהלך האימון מחמיר מתמטית ממה שהחוק דורש, הציות הוא תוצר לוואי טבעי, ולא מחשבה שלאחר מעשה. ומכיוון שהגרף הסיבתי שקוף, אנחנו יכולים להראות למבקר — או לבית משפט — בדיוק אילו גורמים הניעו כל החלטה נתונה, ולהוכיח שלמאפיינים המוגנים היה משקל אפס.

אנשים לפעמים שואלים אותי אם כל הנדסת ההוגנות הזו באה על חשבון הביצועים. זו ההתנגדות הנפוצה ביותר שאני שומע, בדרך כלל מנוסחת כך: "האם אין פשרה (tradeoff) בין הוגנות לדיוק?"

אין. או ליתר דיוק: יש פשרה בין הוגנות לבין אשליית הדיוק. מודל שהוא "מדויק" בחיזוי החלטות אנושיות מוטות אינו למעשה מדויק בחיזוי ביצועי עבודה. הוא מדויק בחיזוי דעות קדומות. כאשר אתה מסלק את ההטיה ומתאמן על תוצאות אמיתיות, אתה לא מאבד כוח חיזוי — אתה מפנה אותו מחדש לעבר מה שבאמת חשוב.

עקרון ה-Moneyball מיושם על גיוס

במקרה בוחן אחד שעסק בנשירת עובדים, הסקה סיבתית חשפה ש"מחסור בהזדמנויות הכשרה" — ולא שכר — היה המניע האמיתי לנטישה. החברה התערבה באמצעות תוכניות הכשרה במקום העלאות שכר גורפות, והפחיתה את הנשירה ב-23.9% בשבריר מהעלות. זהו הכוח שבשאילת מדוע במקום רק מה.

חברות כמו יוניליוור והילטון שעברו למודלי גיוס מבוססי-נתונים ומבוססי-תוצאה דיווחו על הפחתת זמן הגיוס בעד 90% תוך הגדלת המגוון בו-זמנית. הוגנות ויעילות אינן במתח זו עם זו. הן תוצאות מתואמות של מערכת שבאמת מודדת את הדברים הנכונים.

אני חושב על זה כעל עקרון ה-Moneyball מיושם על משאבי אנוש. מגייסים מסורתיים מעריכים יתר על המידה ייחוס — תארים מ-Ivy League, מעסיקים בעלי שם מותג — באותו אופן שסקאוטים של בייסבול נהגו להעריך יתר על המידה ממוצע חבטה. בינה מלאכותית סיבתית מוצאת את המקבילה לאחוז ההגעה לבסיס: האותות המוערכים בחסר שבאמת חוזים תוצאות מנצחות. על ידי הסרת ההטיה של "התאמה תרבותית", אתה מרחיב את מאגר הכישרונות כדי לכלול בעלי ביצועים גבוהים שכל חברה אחרת מתעלמת מהם באופן שיטתי.

הוגנות אינה מס על ביצועים. זה איך שביצועים נראים כשאתה מפסיק לבלבל בין ייחוס לפוטנציאל.

החלק שבו אני מודה במה שקשה

הייתי משקר אם הייתי אומר שזה היה קל לבנות, או קל למכור.

הטכנולוגיה קשה. מודלים סיבתיים דורשים מומחיות תחומית כדי לבנות אותם — צריך להבין את המבנה הסיבתי האמיתי של ביצועי העבודה בתפקיד נתון, לא רק לזרוק נתונים על אלגוריתם. טעות במבנה הזה פירושה חסימת נתיבים לגיטימיים או השארת נתיבים מזויפים פתוחים. היו לנו ויכוחים פנימיים שנמשכו ימים לגבי השאלה האם משתנה מסוים היה מנבא לגיטימי או משתנה-תיווך. אין קיצור דרך. צריך לחשוב.

מחזור המכירה קשה גם הוא. מנהלי גיוס סומכים על התחושה הפנימית שלהם. הם מאמינים שהם שופטי אופי טובים. לומר למישהו שה"אינטואיציה" שלו היא למעשה התאמת תבניות לפרופיל הדמוגרפי של עצמו לא הופך אותך לפופולרי במסיבות ערב. למדנו למקם את הטכנולוגיה לא כהאשמה אלא ככלי תמיכה בקבלת החלטות — "בדיקת הטיה" המקבילה לבודק איות. הוא לא כותב את הספר בשבילך. הוא מבטיח שלא תעשה טעויות שניתן להימנע מהן.

ומוכנות הנתונים היא אתגר אמיתי. בינה מלאכותית סיבתית זקוקה לנתונים איתנים, וקבוצות מיעוט לרוב מיוצגות בחסר במערכי נתונים היסטוריים. אנחנו מתמודדים עם זה באמצעות חילול נתונים סינתטיים — שימוש ב-GANs כדי ליצור נקודות נתונים בטוחות-פרטיות שמחקות את התכונות הסטטיסטיות של קבוצות המיוצגות בחסר, ומבטיחות שלמודל יהיו מספיק דוגמאות ללמוד גבולות החלטה הוגנים לכולם.

אף אחד מזה אינו פשוט כמו לעטוף קריאת API אל GPT ולשחרר מוצר. אבל הגרסה הפשוטה אינה עובדת. היא פשוט נכשלת בשקט, בקנה מידה גדול, בדרכים שפוגעות בחייהם של אנשים אמיתיים.

המסך, לא המראה

הדור הראשון של בינה מלאכותית בגיוס היה מראה. הוא שיקף את ההטיות שלנו בחזרה אלינו, מוגדלות באמצעות אוטומציה, ואנחנו קראנו לזה אינטליגנציה.

הדור הבא צריך להיות מסך — כמו זה שבאותם אודישנים של תזמורות. לא כלי שמביט במועמדים ורואה דמוגרפיה. כלי שמאזין למוזיקה.

אנחנו עדיין לא שם כענף. השוק עדיין נשלט על ידי כלים שממטבים ליעד הלא-נכון, בנויים על מודלים שאינם יכולים להסביר את עצמם, ונמכרים לחברות שאינן יודעות אילו שאלות לשאול. אבל הסביבה הרגולטורית משתנה. הראיות מצטברות. והארגונים שיבינו זאת ראשונים יזכו לגישה למאגר כישרונות שהמתחרים שלהם מדירים אלגוריתמית.

לא הקמתי את Veriprajna כי חשבתי שהוגנות היא משהו נחמד-שכדאי-שיהיה. הקמתי אותה כי הבטתי בנתונים והבנתי שהטיה אינה רק כשל אתי — היא כשל חיזוי. בכל פעם שמודל דוחה מועמד מוכשר בגלל שם או מיקוד או תחביב שמתואם עם הדמוגרפיה ה"לא-נכונה", הוא מבצע חיזוי שגוי. הוא משאיר ביצועים על השולחן. הוא בוחר בנוחות על פני דיוק.

השאלה אינה האם בינה מלאכותית תשנה את הגיוס. השאלה היא האם נשתמש בה כדי לתת קנה מידה לאינסטינקטים הטובים ביותר שלנו או לגרועים ביותר שלנו.

אני יודע לאיזה צד אני בונה.