ציות לבינה מלאכותית בתחום הדיור
Equora ממירה פער שנמדד לחיפוש ניתן לשחזור אחר חלופה בעלת פער נמוך יותר, תוך שמירה מתמדת על עלות הדיוק, ראיות החלטה מדויקות ושער שחרור.
0.694 to 0.875
שינוי ב-DIR של הקבוצה המוחלשת ביותר
מערך נתונים סינתטי קבוע
480
תצורות שהוערכו
חיפוש תָּחוּם ברמת בררנות שווה
0.36%
עלות דיוק שנמדדה
AUC 0.7823 to 0.7788
כל התוצאות העיקריות המוצגות כאן מקורן במאגר סינתטי קבוע של 9,000 רשומות מועמדים. Equora היא הדגמה הנדסית, ואינה מהווה ייעוץ משפטי או מערכת קבלת החלטות בסביבת ייצור.
הבעיה
ביקורת סינון שוכרים עשויה להצביע בפני הייעוץ המשפטי וצוותי ניהול סיכוני המודלים על כך שהתוצאות שונות בין קבוצות מוגנות. המשימה המורכבת מתחילה מיד לאחר מכן: לקבוע האם חלופה ניטרלית לכאורה מפחיתה את הפער, משמרת ביצועי מודל מועילים וניתנת לשחזור במועד מאוחר יותר.
הסכם הפשרה של SafeRent מנובמבר 2024 מספק הקשר חיוני לסיבה שבגללה מערכות סינון נתונות לבדיקה קפדנית. הפשרה בסך $2.275 million לא כללה כל הודאה בהפרת חוק, והדגמה זו אינה משחזרת מקרה זה.
מקורות: DOJ Civil Rights Division case page וכן ה- Final Approval Order שהוגשה ב-20 בנובמבר 2024.
כיצד זה פועל
המדידה, החיפוש, ההמלצה ובדיקות השחרור נותרים דטרמיניסטיים לחלוטין.
מדידה
Equora מתאימה את ScreenScore v3 (קו בסיס מבוסס אשראי) למאגר הסינתטי המשולב ומדווחת על שיעור אישור, יחס השפעה שונה (DIR), הפרש שוויון סטטיסטי ופער הסתברויות משוות (equalized-odds). גזע ומעמד שובר דיור הם שדות ביקורת, ולא מאפיינים במודל.
חיפוש
החיפוש אחר החלופה הפחות מפלה (Least Discriminatory Alternative, LDA) מעריך 480 שילובים של תת-קבוצות מאפיינים אופציונליות, תקרות דירוג אשראי, טיפול בהכנסה מובטחת ועוצמת רגולריזציה. מרחב החיפוש מפורש ותָּחוּם.
בחירה
המנוע מתווה את חזית פארטו (Pareto) של דיוק ו-DIR מינימלי, ולאחר מכן בוחר את המועמד המתאים בעל אובדן ה-AUC המדוד הנמוך ביותר במסגרת תקציב 0.03 שהוגדר. אם אף מועמד אינו עומד בתנאים, הוא מחזיר שאין חלופה בטוחה.
שער
ייחוס מודל ליניארי מדויק מזהה את שלושת הגורמים השליליים המובילים. מבקר עיגון מאפיינים משווה מניעים אלה לסיבות המופיעות בהודעה ומנתב הסברים גנריים או חסרי ביסוס לבדיקה אנושית.
הוכחות מתוך ההדגמה
מסכים אלה מציגים את ההדגמה המקומית בפועל על גבי מערך הנתונים הסינתטי הקבוע שלה.
תמונת מצב אובייקטיבית
Equora תוכננה להפוך החלטת תיקון תחומה לניתנת לבדיקה, ולא להפוך מדד יחיד לפסק דין משפטי.
| שאלה | ציון הוגנות בלבד | הדגמת Equora |
|---|---|---|
| מה נמדד? | פער בתצורת מודל אחת | DIR, SPD, פער EO, שיעורי אישור ורווחי סמך על גבי מערך הנתונים הקבוע |
| מה יכול להשתנות? | לא צוין | רשת מוצהרת של תצורות ניטרליות לכאורה המושוות ברמת בררנות שווה |
| מדוע המלצה זו? | ללא תיעוד בחירה | אובדן ה-AUC המדוד הנמוך ביותר בקרב מועמדים מתאימים בחיפוש התחום |
| האם ניתן לבדוק את סיבות ההודעה? | מחוץ לתחום הציון | מאפיינים שצוינו מושווים מול שלושת הגורמים השליליים התורמים המדויקים |
Equora אינה קובעת ציות משפטי, אינה מסמיכה מודל כהוגן, אינה סורקת כל מודל אפשרי, ואינה מאמתת ביצועי דיור בפועל בסביבת ייצור. סף 0.80 הוא שער מדיניות ארבע החמישיות שהוגדר בהדגמה.
מאגר המועמדים הוא סינתטי, חבילת הכללים סטטית ומחברי ייצור אינם מפותחים. מבקר ההודעות מוודא עיגון מאפיינים בלבד, בעוד שהרצת UCI Adult היא מדד השוואה פומבי להוגנות הכנסה מתוך מפקד אוכלוסין ולא נתוני שוכרים.
Equora מעריכה 480 תצורות מפורשות וניטרליות לכאורה ברמת בררנות שווה. היא ממליצה על המועמד המתאים בעל אובדן ה-AUC המדוד הנמוך ביותר במסגרת שער ארבע החמישיות ותקציב הדיוק שהוגדרו, או מחזירה שאין חלופה בטוחה אם איש אינו עומד בתנאים.
לא. Equora משתמשת ב-0.80 כשער מדיניות ארבע החמישיות שהוגדר להדגמה, ולא כמסקנה משפטית חלוטה. היוריסטיקת ארבע החמישיות מקורה בהנחיות מיון עובדים ואינה קובעת כשלעצמה אחריות משפטית בדיני דיור.
במערך הנתונים הסינתטי הקבוע, ה-AUC משתנה מ-0.7823 ל-0.7788. האובדן שנמדד הוא 0.0036, המוצג בממשק כעלות דיוק של 0.36%, בעוד ש-DIR של הקבוצה המוחלשת משתפר מ-0.694 ל-0.875.
לא. קוד דטרמיניסטי מחשב מדדים, מחיל ספים, מעריך חלופות ובוחר את ההמלצה. מודל שפה, כאשר הוא מופעל, מוגבל לניסוח טקסט ההודעה בלבד, ומצב לא מקוון משתמש בתבנית דטרמיניסטית.
לא. מבקר עיגון המאפיינים בודק האם הסיבות שצוינו תואמות את שלושת מאפייני התרומה השליליים המובילים במודל. הוא מנתב סיבות גנריות או חסרות ביסוס לבדיקה אנושית, אך אינו מאמת כל רכיב הודעה סטטוטורי ואינו מקים דיות משפטית.
לא. מערך הנתונים העיקרי הוא מאגר סינתטי קבוע ומשולב של 9,000 רשומות סינון שוכרים. הרצת UCI Adult Census Income הנפרדת היא מבחן ביצועים פומבי להוגנות המפעיל את אותו קוד ביקורת, ואינה מערך נתוני אימות לדיור.
המחקר העומד בבסיס הדגמה זו — הארכיטקטורה, תכנון האימות והמתווה הארגוני הכולל.
שלבו את המודל, גבולות המדיניות וחובות הראיות בבדיקה מקיפה אחת.
אם הצוות שלכם מגדיר בקרות ביקורת, תיקון ושחרור עבור AI בתחום הדיור, צרו עמנו קשר כדי לדון באילו ראיות על הבדיקה לשמר.