בניין דירות אחד ניצב בין כרטיס ניקוד לסינון דיירים ללוח מחוונים לתמחור שכר דירה, תחת שני מאזני צדק.
Artificial IntelligenceReal EstateCompliance

הבינה המלאכותית לסינון דיירים שלכם עברה את מבחן ההוגנות. היא עדיין הפלתה.

Ashutosh SinghalAshutosh Singhal31 במאי 202614 min

בפעם הראשונה שישבתי עם צוות הציות של חברת ניהול נכסים, עשיתי טעות שאני חושב שרוב המהנדסים עושים. הנחתי שאני שם כדי לתקן אלגוריתם אחד.

היה להם מודל לסינון דיירים שנתן ניקוד למועמדים וכלי לניהול הכנסות שקבע את דמי השכירות. עבורי, כשנכנסתי, אלה היו שתי תכונות של אותה מערכת תוכנה — שתיהן "הבינה המלאכותית", שתיהן הבעיה שלי להפוך להגנתית. עד שעזבתי, הבנתי את הדבר שאִרגן מאז את כל עבודת הציות בינה מלאכותית בתחום הדיור שלנו: אלה אינן בעיה אחת עם שני פנים. אלה שתי תביעות שונות לחלוטין הממתינות להתרחש, הנשלטות על ידי שני גופי חוק שאינם קשורים זה לזה, ואותה חברה חשופה לשתיהן בו-זמנית.

הפער הזה — בין האופן שבו בונה רואה את המערכות הללו לבין האופן שבו בית משפט רואה אותן — הוא בדיוק מה שהופך את הציות של בינה מלאכותית בתחום הדיור לקל כל כך לטעות בו. אז אני רוצה לעבור קודם על מה שטעיתי בו, כי הכישלון מלמד יותר מהתיקון.

כלל ארבע-חמישיות ששיקר לנו

התחלנו במקום שבו כולם מתחילים: הוגנות בסינון. העוגן המשפטי כאן הוא ה-Fair Housing Act, והמבחן התפעולי שרוב הצוותים פונים אליו הוא כלל ארבע-חמישיות — אם שיעור האישור שלך לכל קבוצה מוגנת יורד מתחת ל-80% מהקבוצה בעלת שיעור האישור הגבוה ביותר, קמה לך חזקה לבעיית השפעה שונה (disparate impact).

אז בנינו ביקורת שחישבה בדיוק את היחס הזה על פני החלטות המודל. המספרים המצרפיים חזרו נקיים. שיעורי האישור בין הקבוצות הגזעיות ישבו בנוחות מעל סף ה-80%. אני זוכר את ההקלה בחדר. היינו מוכנים לכתוב שהמערכת תואמת.

ואז אחד המהנדסים שלנו הוציא את מחזיקי השוברים לעמודה נפרדת משלהם.

התמונה התהפכה. בקרב מועמדים ששילמו באמצעות שוברי בחירת דיור — הכנסה ממשלתית מובטחת — המודל דחה בשיעור שלא היה ניתן להגנה מול שום רגולטור. כלל ארבע-חמישיות עבר משום שהפער היה מסתתר בתוך מאגר המאושרים. ברגע שפילחת החוצה את הדיירים המסובסדים, הוא היה שם בדיוק, באדום.

מודל סינון יכול לעבור את כלל ארבע-חמישיות במצרפי ועדיין לקַבע בתוכו בדיוק את האפליה שהכלל נועד לתפוס.

זה כמעט בדיוק מה שקרה ל-SafeRent. האלגוריתם שלהם, Registry ScorePLUS, נתן למחזיקי שוברים ניקוד נמוך משום ששיקלל בכבדות היסטוריית אשראי מבלי להביא בחשבון את זרם ההכנסה המובטח שהשובר מספק. המודל התייחס לציון האשראי כמנבא נייטרלי. הוא אינו נייטרלי. ציוני FICO החציוניים נשברים לאורך קווים גזעיים — 727 למועמדים לבנים, 667 להיספנים, 627 לשחורים — ומעל למחצית ממשקי הבית הלבנים נמצאים מעל 700, בעוד שרק כחמישית ממשקי הבית השחורים כאלה. הזן היסטוריית אשראי כמאפיין מרכזי, ואתה מזרים את הפערים הללו ישירות אל תוך שיעורי האישור שלך.

SafeRent הגיעה לפשרה באותה תביעה ייצוגית תמורת $2.275 מיליון בנובמבר 2024. החלק שאמור להדיר שינה מעיני הספקים אינו סכום הדולרים. אלא שבית המשפט דחה על הסף את הגנת "הספק הנייטרלי" של SafeRent. הם טענו שהם רק סיפקו ציון; בעל הנכס קיבל את ההחלטה. בית המשפט לא קנה את זה. אם בעל נכס מסתמך בעיקר על ציון של צד שלישי, ספק הציון הזה נושא באחריות משותפת לתוצאה המפלה.

הפסיקה הזו הרגה הנחה נוחה שהבאתי איתי: שהיות ספק הכלים, במרחק צעד אחד מהחלטת השכירות, היא מגן משפטי. היא אינה. המודל הוא ההחלטה.

מתי מנוע התמחור שלך הופך לקרטל?

חברת נכסים אחת מתפצלת לשתי חזיתות משפטיות: סינון דיירים תחת ה-Fair Housing Act לעומת תמחור אלגוריתמי תחת ה-Sherman Act.

הנה החלק שבאמת הפתיע אותי, וזו הסיבה שאני מסרב כעת להגדיר התקשרות בתחום הדיור סביב סינון בלבד.

בזמן שהיינו שקועים בהשפעה השונה, רעידת האדמה המשפטית הגדולה יותר התרחשה בצד התמחור — ולזה לא היה שום קשר להוגנות. מוצרי ניהול ההכנסות של RealPage, AIRM ו-YieldStar, אספו שיעורי שכירות לא-ציבוריים, תנאי חכירה ונתוני תפוסה מבעלי נכסים מתחרים, ואז השתמשו בנתונים המאוגמים הללו כדי לייצר המלצות תמחור שנועדו להזיז את דמי השכירות, בלשון ה-DOJ, "בתיאום מלא".

משרד המשפטים לא התייחס לכך כאל בעיית פרטיות או בעיית הוגנות. הם התייחסו לכך כאל קרטל של רכזת-וחישורים (hub-and-spoke) תחת סעיף 1 של ה-Sherman Act. RealPage הייתה הרכזת. כל בעל נכס שהזין נתוני מתחרים דרך הפלטפורמה היה חישור. צורת התאוריה של דיני ההגבלים העסקיים היא הדבר שיש להפנים: איש לא היה צריך לשבת בחדר ולהסכים לקבע מחירים. האלגוריתם היה ההסכם.

מה שהחמיר את המצב היו ברירות המחדל של האוטומציה. AIRM הייתה מאשרת אוטומטית את המלצות המחיר שלה עצמה בתוך שינוי של 3% יומי ו-8% שבועי — ורוב בעלי הנכסים מעולם לא נגעו בהגדרות הללו. האלגוריתם קבע למעשה את דמי השכירות ללא אדם במעגל. ניתוח של ProPublica, שצוטט בכתבי הטענות של ה-DOJ, העמיד את העלות לשוכרים על בערך $70 בחודש, כ-4% מדמי השכירות, שהצטברו לסכום של משהו כמו $3.8 מיליארד בעלויות שכירות נוספות בשנת 2023 בלבד.

בעלי הנכסים שילמו על כך. Greystar הגיעה לפשרה תמורת $50 מיליון ועוד $7 מיליון למדינות. BH Management תמורת $15 מיליון. Simpson Property Group תמורת $6.5 מיליון. הוסף את הקטנים יותר, ואתה עובר את $140 מיליון בפשרות תביעות ייצוגיות נגד בעלי נכסים עד אוקטובר 2025. FPI Management שילמה $2.8 מיליון רק על השימוש בכלי התמחור של Yardi. האלגוריתם של הספק; האחריות של המפעיל.

כך שהחברה שישבה מולי לא ניצבה בפני פרופיל סיכון אחד. היא ניצבה בפני חשיפה להשפעה שונה תחת Fair Housing בצד הסינון וחשיפה להגבלים עסקיים תחת ה-Sherman Act בצד התמחור, בו-זמנית, משתי מערכות שהמהנדסים שלה עצמה חשבו עליהן כ"בינה המלאכותית".

מה שבאמת ניצח תיק: ארכיטקטורה, לא כוונה

במשך זמן מה הנחתי שבעיית התמחור נסבה סביב התנהגות — אל תאגם נתוני מתחרים, אל תאשר אוטומטית, תעד את כוונותיך הטובות. ואז קראתי כיצד Yardi ניצחה בפועל.

בתיק במדינת קליפורניה, Yardi קיבלה פסק דין בהליך מקוצר לטובתה. לא משום שטענו שליבם טהור, אלא משום שמוצר ה-Revenue IQ שלהם יכול היה להוכיח משהו ארכיטקטוני: הוא "אינו משתמש, ומעצם התכנון אינו יכול להשתמש, במידע התמחור הסודי של לקוח כלשהו עבור לקוח אחר כלשהו". הנתונים היו מבודדים ברמת המערכת. זיהום בין-לקוחות לא היה רק נגד המדיניות — הוא היה בלתי אפשרי מבנית.

השורה הבודדת הזו ארגנה מחדש את האופן שבו אני חושב על הנדסת ציות.

בידוד נתונים אינו הבטחה שאתה נותן במסמך מדיניות. זו תכונה שאתה יכול להוכיח בתרשים ארכיטקטורה.

התיק הפדרלי של Yardi עדיין מתנהל, ושופט שם התיר לטענות ההגבלים העסקיים להמשיך — כך שאין זו הקפת ניצחון נקייה. אבל הניגוד הוא הלקח. העמדה שניתן היה להגן עליה לא הייתה כוונה. הייתה זו מערכת שכאשר רגולטור דרש "הראה לי שאינך יכול לשתף נתוני מתחרים בין לקוחות", יכולה הייתה לשרטט את גבול הבידוד על לוח מחיק ולהראות ששום נתיב נתונים לא חצה אותו. רוב הצוותים שאני פוגש בנו את ההפך: מודל משותף, אגם נתונים משותף, ומצגת מלאה בהבטחות על האופן שבו הם משתמשים בו באחריות.

אותו היגיון עובר כעת דרך צו ההסכמה של RealPage שה-DOJ השיג בסוף 2025. הבט מעבר לכותרת והשיניים הן תפעוליות: אימון המודל מוגבל לנתונים היסטוריים בני 12 חודשים לפחות. תמחור בזמן ריצה אינו יכול לשלב סטטיסטיקות לא-ציבוריות של מתחרים. תכונות ה"מווסת" שמגבילות שינויי מחיר חייבות להיות סימטריות — משקל שווה להורדות ולהעלאות, לא מנגנון חד-כיווני כלפי מעלה. ותכונות האישור האוטומטי חייבות להיות ניתנות להגדרה ולהיקבע ידנית בידי אדם. האחרון הזה חשוב יותר משהוא נראה. תהליך העבודה הישן — הגדר אותו ל-3% יומי, 8% שבועי, ולך — הוא כעת עצמו ההפרה. הפשרה נמשכת שבע שנים, ללא קנס כספי וללא הודאה בעוולה, מה שמעיד לך שה-DOJ רצה לשנות את הארכיטקטורה, לא צ'ק.

זה הרגע שבו העבודה שלנו עברה מביקורת מודלים להנדסתם. אי אפשר להבריג את התכונות הללו בדיעבד. התיישנות נתונים של שנים-עשר חודשים, בידוד לקוחות הניתן להוכחה, מווסתים סימטריים, שער אנושי על האישור האוטומטי — אלה החלטות תכנון שאתה מקבל לפני שמחיר בודד יוצא לדרך, או שתתדיין עליהן מאוחר יותר.

מדוע ציות בינה מלאכותית בתחום הדיור הוא מפה, לא מודל?

ציר זמן של חוקי בינה מלאכותית בדיור: הפדרליים FHA/Sherman/FCRA פעילים כעת, ואז NY, CA, CO, וה-EU AI Act נכנסים לתוקף ב-2025-2026.

כשאנשים שואלים מה אנחנו בעצם מספקים, התשובה הכנה היא שהתוצר הקשה ביותר אינו מודל. זו מטריצה רגולטורית שקצין ציות יכול לקחת לפגישה פנימית ולסמוך עליה.

ציות בינה מלאכותית בתחום הדיור אינו רגולציה אחת. זהו טלאי על טלאי שמתקשה במהירות, והחוק הפדרלי וחוקי המדינות נעים בכיוונים מנוגדים בו-בזמן. ברמה הפדרלית, האכיפה נחלשת — הנחיית הבינה המלאכותית של HUD הוסרה מהאתר, ה-CFPB איבד עובדים, והייתה דחיפה מטעם הרשות המבצעת להוריד בעדיפות את אכיפת ההשפעה השונה. אם היית צופה רק בוושינגטון, היית מסיק שהסיכון נסוג.

צפה רק בוושינגטון, ותחשוב שהסיכון נסוג. המדינות הן המקום שבו הוא באמת חי כעת.

המדינות מספרות את הסיפור ההפוך, והן המקום שבו החשיפה חיה כעת. AB 325 של קליפורניה, שנכנס לתוקף ב-1 בינואר 2026, מתקן את ה-Cartwright Act כדי לאסור אלגוריתמי תמחור "משותפים" — המוגדרים ככלים שבשימוש שני צדדים או יותר — המסתמכים על נתוני מתחרים, והוא דוחה את סטנדרט הטענה הפדרלי המחמיר יותר, מה שמקל באופן מהותי על תובעים להגיע לבית המשפט. S.7882 של ניו יורק, שנכנס לתוקף בדצמבר 2025, הולך רחוק יותר: איסור גורף על כלי תמחור למגורים בעלי "פונקציית תיאום", ללא הבחנה בין נתונים ציבוריים ללא-ציבוריים, וזכות תביעה פרטית לדיירים תחת ה-Donnelly Act. RealPage מערערת עליו על בסיס התיקון הראשון, כך שהאכיפה מעוכבת עד להכרעה במאבק ההוא — אבל אינך יכול להניח שתנצח בתיק החוקתי של מישהו אחר. SB 205 של קולורדו, שנכנס לתוקף ב-30 ביוני 2026, מסווג סינון דיירים כ"החלטה מהותית" ודורש הערכות השפעה שנתיות, תוכניות ניהול סיכונים, וגילויי החלטה שלילית המתארים כיצד הבינה המלאכותית תרמה, באילו נתונים השתמשה, וכיצד מועמד יכול לערער.

מתחת לכל זה עובר חוק פדרלי שרוב הצוותים שוכחים שהוא בכלל רלוונטי: ה-Fair Credit Reporting Act. כל ציון אלגוריתמי שמתפקד כדוח צרכן חייב לעמוד בתהליך הדו-שלבי של פעולה שלילית לפי FCRA — מה שאומר שכאשר המודל שלך דוחה מישהו, אתה חייב לו נימוקים ספציפיים, לא "האלגוריתם אמר לא". הדרישה הבודדת הזו אינה מתיישבת עם מודל סינון של קופסה שחורה, וזו הסיבה שתבנית הודעת הפעולה השלילית היא אחד המסמכים הראשונים שאני מבקש לראות.

יש פרט ב-AB 325 שמשנה בשקט את כל חשבון הבנייה: הוא נושך רק כלים שבשימוש שני צדדים או יותר. מוצר תמחור משותף, רב-דיירים, נמצא בדיוק בתחולה. מודל מותאם אישית, של מפעיל יחיד, אינו. הרגולציה, למעשה, משלמת לך כדי שתזנח את ארכיטקטורת ה-SaaS מבוססת הנתונים המאוגמים שיצרה את בעיית ההגבלים העסקיים מלכתחילה.

ולכל מי שיש לו דיירים אירופים, ה-EU AI Act מתייחס גם לסינון וגם לתמחור כשימושים בסיכון גבוה, עם קנסות של עד €35 מיליון או 7% מהמחזור העולמי — וחובות הסיכון הגבוה שלו נכנסות בהדרגה לאורך 2025 ו-2026, כך שהשעון כבר החל לרוץ לכל מפעיל עם חשיפה לאיחוד האירופי. הוסף את קנסות ה-Fair Housing מעל — $26,262 להפרה ראשונה, עד $131,308 להפרות חוזרות לפי ההתאמות של 2025 — ועלות הטעות במפה אינה תאורטית.

אני מנהל גיליון אלקטרוני יחיד לזה, מקודד בצבעים לפי תאריך כניסה לתוקף, כי השאלה שיועץ משפטי ראשי באמת שואל אינה "האם אנחנו עומדים בדרישות?" אלא "אילו מאלה פעילים במדינות שבהן אנחנו פועלים, ומה כל אחד מהם דורש באופן ספציפי?" הפקת התשובה הזו, באופן שניתן להגן עליו, עבור טביעת הרגל של מפעיל נתון, היא רוב הערך.

פלטפורמות ממשל הבינה המלאכותית האופקיות — Credo AI, Holistic AI, FairNow והשאר — הן טובות באמת בניהול מדיניות ובניטור הוגנות, אבל הן נבנו כך שיהיו אגנוסטיות לתעשייה. אף אחת מהן אינה ממפה מודל סינון דיירים אל הנחיית HUD, כלל ארבע-חמישיות, פעולה שלילית לפי FCRA, וגם את עמדת ההגבלים העסקיים של מנוע התמחור שלך בו-זמנית. הצומת הזו היא כל העבודה בתחום הדיור, וזה בדיוק מה שכלי למטרות כלליות מותיר לך. אנחנו בנינו את פרקטיקת הציות בינה מלאכותית בתחום הדיור סביב אספקת המפה הזו בדיוק לצד המודלים המבוקרים — כי המודל חסר ערך אם אינך יכול לומר לדירקטוריון מול איזה חוק הוא נשפט.

האם אי אפשר פשוט להסיר את המאפיינים המוגנים?

חיפוש אחר החלופה הפחות מפלה: ענן של מודלים בעלי דיוק שווה, חזית פארטו, והמודל הנבחר בעל ההשפעה השונה הנמוכה ביותר.

זו ההתנגדות שאני שומע הכי הרבה, והיא שגויה בדרך מעניינת. האינטואיציה היא: הסר גזע, הסר מגדר, והמודל לא יוכל להפלות. אבל ציון אשראי, היסטוריית פינויים, ונתוני רקע פלילי הם כולם מדדים חלופיים שמחזירים את הפער פנימה — כך בדיוק שקלול האשראי ה"נייטרלי" של SafeRent הפיק הטיה גזעית מבלי שאי פעם ראה גזע.

הכלי האמיתי מפורסם פחות ועוצמתי יותר: חיפוש אחר החלופה הפחות מפלה, או LDA. ההנחה נובעת מהתצפית שעבור כל בעיית חיזוי נתונה, אין מודל אחד — יש מיליוני מודלים שמשיגים דיוק שווה בקירוב אך פרופילי הוגנות שונים לחלוטין. אז אתה משתמש בתכנות בשלמים — מהסוג שפותרי אופטימיזציה ממצה כמו CPLEX או Gurobi מריצים — כדי לחפש את כל המרחב הזה ולמפות את הפשרה בין דיוק להשפעה שונה כחזית פארטו. ואז אתה יכול להראות, בראיות, שלא סתם בחרת מודל שעבד; בחרת את המודל הפחות מפלה שעדיין עמד ברף הביצועים שלך.

ה-CFPB קרא במפורש ל"בדיקה סדירה של השפעה שונה, כולל חיפושים אחר חלופות פחות מפלות". זה בשל בתחום ההלוואות ההוגנות. כמעט אף אחד לא מציע זאת לתחום הדיור. כשרגולטור שואל מדוע בחרת במודל שבחרת, "הוא היה מדויק" אינו הגנה — זהו הפער שדרכו תובע מוליך תביעת השפעה שונה. "הנה החזית, והנה הנקודה שבחרנו ומדוע" היא התשובה שמחזיקה מעמד בעדות מוקדמת.

החכרה אגנטית: היכן ציות בינה מלאכותית בתחום הדיור נשבר בהמשך

הסיבה שאני חושב שזה נעשה קשה יותר, לא קל יותר, יושבת כבר בערך באחת מכל שתים-עשרה יחידות מולטי-פמילי בארה"ב: בינה מלאכותית אגנטית להחכרה.

הגל הבא של תוכנות ניהול נכסים אינו ציון סינון או המלצת מחיר. אלה סוכנים אוטונומיים שמטפלים בפניות, מתאמים סיורים, מבצעים סינון מקדים למועמדים, ומנהלים משא ומתן על תנאי חכירה ללא אדם במעגל. פלטפורמה אחת טוענת להפחתה של 65% בזמן מליד לחכירה. היעילות אמיתית. גם החשיפה.

כל החלטה שסוכן אוטונומי מקבל היא הפרה פוטנציאלית של Fair Housing או נקודת מגע של הגבלים עסקיים. סוכן שמשנה את איכות התגובה שלו לפי הדמוגרפיה של מועמד, או מכוון מועמדים מסוימים לבניינים מסוימים, או מיישם הנחות תמחור באופן לא אחיד, מייצר אחריות שגדלה עם כל אינטראקציה בודדת — במהירות מכונה, על פני אלפי שיחות, ללא אדם שיוכל לומר מאוחר יותר "הייתי תופס את זה". ארכיטקטורת הציות להחכרה אגנטית עדיין אינה קיימת, באותו אופן שבו ארכיטקטורת בידוד הנתונים לתמחור בקושי הייתה קיימת עד שעורכי הדין של Yardi נזקקו לה.

זו החזית שלקראתה אנחנו בונים כעת. לא לוח מחוונים של הוגנות המוברג על מודל שמישהו אחר אימן, אלא מערכות שבהן היגיון הסינון יכול לשרוד ביקורת ארבע-חמישיות מפולחת, היגיון התמחור יכול להוכיח בידוד לקוחות בתרשים ארכיטקטורה, וכל החלטה של סוכן אוטונומי מותירה רישום שרגולטור יכול לקרוא. התמונה המלאה של האופן שבו אנחנו ניגשים לכך נמצאת בעמוד הציות בינה מלאכותית בתחום הדיור שלנו.

נכנסתי לזה בחשיבה שהעבודה שלי היא להפוך אלגוריתם אחד להוגן. מה שהייתי אומר לכל מפעיל נכסים כעת הוא פשוט יותר וקשה יותר: אתה מריץ שני אלגוריתמים, ובית משפט ישפוט כל אחד מהם לפי חוק שונה שכנראה מעולם לא שמעת את המהנדסים שלך עצמך מזכירים. עורכי הדין של SafeRent למדו שציון אשראי אינו נייטרלי. אלה של RealPage למדו שאלגוריתם יכול להיות קנוניה. המקום הזול ביותר ללמוד את שני הלקחים הוא לוח מחיק — לפני שרגולטור יעמוד ליד שלך ויבקש ממך לשרטט את גבול הבידוד ולהוכיח ששום נתונים מעולם לא חצו אותו.

מחקר קשור

פורסם גם ב

בנו את ה-AI שלכם בביטחון.

שותפו עם צוות בעל ניסיון עמוק בבניית הדור הבא של AI ארגוני. אנו נסייע לכם לתכנן, לבנות ולהטמיע אסטרטגיית AI שתוכלו לסמוך עליה.

Veriprajna ייעוץ דיפ-טק מתמחה בבניית מערכות AI קריטיות לבטיחות עבור תחומי הבריאות, הפיננסים והרגולציה. הארכיטקטורות שלנו מאומתות מול פרוטוקולים מבוססים ומלוות בתיעוד ציות מקיף.