ציות לבינה מלאכותית בתחום הדיור

על גבי מערך נתונים סינתטי קבוע, DIR של 0.694 בקבוצה המוחלשת מתחיל את חיפוש התיקון של Equora ב-480 תצורות.

Equora ממירה פער שנמדד לחיפוש ניתן לשחזור אחר חלופה בעלת פער נמוך יותר, תוך שמירה מתמדת על עלות הדיוק, ראיות החלטה מדויקות ושער שחרור.

0.694 to 0.875

שינוי ב-DIR של הקבוצה המוחלשת ביותר

מערך נתונים סינתטי קבוע

480

תצורות שהוערכו

חיפוש תָּחוּם ברמת בררנות שווה

0.36%

עלות דיוק שנמדדה

AUC 0.7823 to 0.7788

כל התוצאות העיקריות המוצגות כאן מקורן במאגר סינתטי קבוע של 9,000 רשומות מועמדים. Equora היא הדגמה הנדסית, ואינה מהווה ייעוץ משפטי או מערכת קבלת החלטות בסביבת ייצור.

הבעיה

מדד הוגנות יכול לזהות פער. הוא אינו יכול לבחור את התגובה התפעולית.

ביקורת סינון שוכרים עשויה להצביע בפני הייעוץ המשפטי וצוותי ניהול סיכוני המודלים על כך שהתוצאות שונות בין קבוצות מוגנות. המשימה המורכבת מתחילה מיד לאחר מכן: לקבוע האם חלופה ניטרלית לכאורה מפחיתה את הפער, משמרת ביצועי מודל מועילים וניתנת לשחזור במועד מאוחר יותר.

הסכם הפשרה של SafeRent מנובמבר 2024 מספק הקשר חיוני לסיבה שבגללה מערכות סינון נתונות לבדיקה קפדנית. הפשרה בסך $2.275 million לא כללה כל הודאה בהפרת חוק, והדגמה זו אינה משחזרת מקרה זה.

הראיות שציון אדום אינו מספק

  • 01אילו חלופות ניטרליות הוערכו בפועל
  • 02האם מועמדים הושוו ברמת בררנות שווה
  • 03כמה ביצועים שנמדדו עולה השינוי שנבחר
  • 04האם הנימוק שנמסר למועמד תואם את רישום ההחלטות בפועל

מקורות: DOJ Civil Rights Division case page וכן ה- Final Approval Order שהוגשה ב-20 בנובמבר 2024.

כיצד זה פועל

הביקורת מזינה חיפוש תיקון תָּחוּם.

המדידה, החיפוש, ההמלצה ובדיקות השחרור נותרים דטרמיניסטיים לחלוטין.

מדידה

מדידת קו הבסיס לפני התיקון

Equora מתאימה את ScreenScore v3 (קו בסיס מבוסס אשראי) למאגר הסינתטי המשולב ומדווחת על שיעור אישור, יחס השפעה שונה (DIR), הפרש שוויון סטטיסטי ופער הסתברויות משוות (equalized-odds). גזע ומעמד שובר דיור הם שדות ביקורת, ולא מאפיינים במודל.

חיפוש

הערכת שינויים ניטרליים מפורשים ברמת בררנות שווה

החיפוש אחר החלופה הפחות מפלה (Least Discriminatory Alternative, LDA) מעריך 480 שילובים של תת-קבוצות מאפיינים אופציונליות, תקרות דירוג אשראי, טיפול בהכנסה מובטחת ועוצמת רגולריזציה. מרחב החיפוש מפורש ותָּחוּם.

בחירה

בחירה על פי כלל בר-שחזור

המנוע מתווה את חזית פארטו (Pareto) של דיוק ו-DIR מינימלי, ולאחר מכן בוחר את המועמד המתאים בעל אובדן ה-AUC המדוד הנמוך ביותר במסגרת תקציב 0.03 שהוגדר. אם אף מועמד אינו עומד בתנאים, הוא מחזיר שאין חלופה בטוחה.

שער

דחיית טקסט הסבר שאינו נתמך בראיות

ייחוס מודל ליניארי מדויק מזהה את שלושת הגורמים השליליים המובילים. מבקר עיגון מאפיינים משווה מניעים אלה לסיבות המופיעות בהודעה ומנתב הסברים גנריים או חסרי ביסוס לבדיקה אנושית.

הוכחות מתוך ההדגמה

האיזון נותר שקוף ומנוטר מקו הבסיס ועד להמלצה.

מסכים אלה מציגים את ההדגמה המקומית בפועל על גבי מערך הנתונים הסינתטי הקבוע שלה.

חזית פארטו של Equora המציגה את קו הבסיס הסינתטי ב-0.694 DIR, את החלופה המומלצת ב-0.875 DIR, ועלות דיוק מדודה של 0.36 אחוזים
הראיה המרכזית: 480 תצורות הוערכו, 240 מתוכן בתוך השער ותקציב ה-AUC שהוגדרו, כאשר האיזון המומלץ מתועד על גבי חזית פארטו.
ביקורת סינון שוכרים סינתטית שהושלמה על ידי Equora עם יחס השפעה שונה של הקבוצה המוחלשת ותוצאות קבוצות מוגנות
ביקורת קו הבסיס מזהה את הפער עוד לפני שמתחיל החיפוש אחר חלופות.
אימות הודעות של Equora המציג סיבה מעוגנת במאפיינים שעוברת בהצלחה וסיבה גנרית המנותבת לבדיקה אנושית
שער השחרור בודק עיגון מאפיינים בלבד. הוא אינו מאשר עמידה משפטית מלאה של ההודעה כולה.

תמונת מצב אובייקטיבית

מה משתנה כאשר תהליך העבודה ממשיך מעבר לביקורת בלבד

Equora תוכננה להפוך החלטת תיקון תחומה לניתנת לבדיקה, ולא להפוך מדד יחיד לפסק דין משפטי.

שאלה ציון הוגנות בלבד הדגמת Equora
מה נמדד?פער בתצורת מודל אחתDIR, SPD, פער EO, שיעורי אישור ורווחי סמך על גבי מערך הנתונים הקבוע
מה יכול להשתנות?לא צויןרשת מוצהרת של תצורות ניטרליות לכאורה המושוות ברמת בררנות שווה
מדוע המלצה זו?ללא תיעוד בחירהאובדן ה-AUC המדוד הנמוך ביותר בקרב מועמדים מתאימים בחיפוש התחום
האם ניתן לבדוק את סיבות ההודעה?מחוץ לתחום הציוןמאפיינים שצוינו מושווים מול שלושת הגורמים השליליים התורמים המדויקים

מה הדגמה זו אינה עושה

Equora אינה קובעת ציות משפטי, אינה מסמיכה מודל כהוגן, אינה סורקת כל מודל אפשרי, ואינה מאמתת ביצועי דיור בפועל בסביבת ייצור. סף 0.80 הוא שער מדיניות ארבע החמישיות שהוגדר בהדגמה.

מאגר המועמדים הוא סינתטי, חבילת הכללים סטטית ומחברי ייצור אינם מפותחים. מבקר ההודעות מוודא עיגון מאפיינים בלבד, בעוד שהרצת UCI Adult היא מדד השוואה פומבי להוגנות הכנסה מתוך מפקד אוכלוסין ולא נתוני שוכרים.

שאלות שצוותי דיור, ניהול סיכונים וציות שואלים

מה Equora עושה כאשר מודל סינון שוכרים מחמיץ את שער מדיניות ארבע החמישיות שהוגדר בהדגמה?

Equora מעריכה 480 תצורות מפורשות וניטרליות לכאורה ברמת בררנות שווה. היא ממליצה על המועמד המתאים בעל אובדן ה-AUC המדוד הנמוך ביותר במסגרת שער ארבע החמישיות ותקציב הדיוק שהוגדרו, או מחזירה שאין חלופה בטוחה אם איש אינו עומד בתנאים.

האם DIR הנמוך מ-0.80 מוכיח הפרה של ה-Fair Housing Act?

לא. Equora משתמשת ב-0.80 כשער מדיניות ארבע החמישיות שהוגדר להדגמה, ולא כמסקנה משפטית חלוטה. היוריסטיקת ארבע החמישיות מקורה בהנחיות מיון עובדים ואינה קובעת כשלעצמה אחריות משפטית בדיני דיור.

על כמה מביצועי המודל מוותרת החלופה המומלצת?

במערך הנתונים הסינתטי הקבוע, ה-AUC משתנה מ-0.7823 ל-0.7788. האובדן שנמדד הוא 0.0036, המוצג בממשק כעלות דיוק של 0.36%, בעוד ש-DIR של הקבוצה המוחלשת משתפר מ-0.694 ל-0.875.

האם Equora מקבלת החלטות סינון שוכרים באמצעות מודל שפה?

לא. קוד דטרמיניסטי מחשב מדדים, מחיל ספים, מעריך חלופות ובוחר את ההמלצה. מודל שפה, כאשר הוא מופעל, מוגבל לניסוח טקסט ההודעה בלבד, ומצב לא מקוון משתמש בתבנית דטרמיניסטית.

האם בדיקת הודעת פעולה שלילית (Adverse Action) מוכיחה עמידה מלאה בדרישות ה-FCRA?

לא. מבקר עיגון המאפיינים בודק האם הסיבות שצוינו תואמות את שלושת מאפייני התרומה השליליים המובילים במודל. הוא מנתב סיבות גנריות או חסרות ביסוס לבדיקה אנושית, אך אינו מאמת כל רכיב הודעה סטטוטורי ואינו מקים דיות משפטית.

האם הנתונים בהדגמת בינה מלאכותית זו לדיור הם נתוני מועמדים אמיתיים?

לא. מערך הנתונים העיקרי הוא מאגר סינתטי קבוע ומשולב של 9,000 רשומות סינון שוכרים. הרצת UCI Adult Census Income הנפרדת היא מבחן ביצועים פומבי להוגנות המפעיל את אותו קוד ביקורת, ואינה מערך נתוני אימות לדיור.

מחקר טכנולוגי

המחקר העומד בבסיס הדגמה זו — הארכיטקטורה, תכנון האימות והמתווה הארגוני הכולל.

רשתות חברתיות

פורסם גם ב

הפכו את התגובה לביקורת שנכשלה לניתנת לשחזור מדויק.

שלבו את המודל, גבולות המדיניות וחובות הראיות בבדיקה מקיפה אחת.

אם הצוות שלכם מגדיר בקרות ביקורת, תיקון ושחרור עבור AI בתחום הדיור, צרו עמנו קשר כדי לדון באילו ראיות על הבדיקה לשמר.

בקרות ביקורת וראיות מוכחות

  • ✓ תכנון מדדים לקבוצות מוגנות
  • ✓ הגדרת מפרט לשערי מדיניות
  • ✓ דיווח מובהקות ורמות סמך
  • ✓ תוצרי JSON ו-HTML הניתנים לביקורת

בקרות תיקון ושחרור מוכחות

  • ✓ חיפוש תָּחוּם אחר חלופות ניטרליות
  • ✓ בחינת האיזון בין דיוק לפער
  • ✓ ייחוס מדויק של מניעי ההחלטה
  • ✓ שערי שחרור המבוססים על בדיקה אנושית