انحياز الذكاء الاصطناعي في فحص المستأجرين كلف 2.2 مليون دولار — هل نظامكم هو التالي؟

المشكلة

تقدمت ماري لويس ومونيكا دوغلاس، وهما امرأتان من ذوات البشرة السمراء تحملان قسائم إسكان ممولة فيدرالياً، بطلبين لاستئجار شقتين وتعرّضتا للرفض. لم يأتِ الرفض من مؤجّر — بل من خوارزمية. طوّرت شركة SafeRent Solutions نظاماً لتقييم الجدارة يُدعى "Registry ScorePLUS" يُصنّف المستأجرين على مقياس من 200 إلى 800 نقطة. واعتمد النظام بشكل مفرط على السجل الائتماني والديون غير المرتبطة بالإيجار. لكنه تجاهل تماماً حقيقة حاسمة: قسائم الإسكان تضمن تدفقاً مالياً ثابتاً. ويُعد المستأجرون الحاصلون على قسائم مرجحين إحصائياً لمواصلة سداد الإيجار في مواعيده، لأن الحكومة تغطي جزءاً منه مباشرة.

عاملت الخوارزمية هاتين المتقدمتين على أنهما عاليات المخاطر في حين أنهما كانتا في الواقع منخفضتي المخاطر. ومنحهما النظام تقييماً منخفضاً لأن ملفاتهما الائتمانية بدت مختلفة عن المستأجرين ذوي الدخل المرتفع — وليس لأنهما مستأجرتان سيئتان. وفي مايو 2022، رفعت لويس ودوغلاس دعوى قضائية جماعية تزعم أن النظام أحدث أثراً متبايناً على المتقدمين من ذوي البشرة السمراء وذوي الأصول اللاتينية. وبحلول نوفمبر 2024، وافقت المحكمة على تسوية قضائية بقيمة 2.275 مليون دولار.

قد لا تقوم شركتكم بفحص طلبات المستأجرين. لكن إذا كنتم تستخدمون أي نظام ذكاء اصطناعي يقوم بتقييم الأشخاص، أو ترتيبهم، أو التوصية بقرارات بشأنهم، فإن المنطق الكامن وراء هذه القضية ينطبق عليكم مباشرة. لقد قضت المحكمة بأن مورد البرمجيات — وليس المؤجر فحسب — يتحمل المسؤولية القانونية المشتركة عن النتائج التمييزية. وهذا الحكم الفردي غيّر كل شيء.

لماذا يهم هذا أعمالكم

تمتد المخاطر المالية هنا إلى ما هو أبعد بكثير من فحص طلبات المستأجرين. فقد تضمنت تسوية SafeRent مبلغ 1.175 مليون دولار كتعويض مباشر للمتقدمين المتضررين و1.1 مليون دولار كأتعاب محاماة. وحصلت كل من المدعيتين الرئيسيتين على 10,000 دولار، مما يخلق حافزاً مالياً واضحاً للأفراد لرفع قضايا مستقبلية. كما فرضت المحكمة أمراً قضائياً مدته خمس سنوات يوجب تغييرات سلوكية مستمرة تخضع لرقابة المحكمة.

لكن الأرقام المالية ليست سوى البداية. وإليكم ما ينبغي أن يثير قلق فريقكم القيادي:

• يمكن تحميل مورد الذكاء الاصطناعي لديكم المسؤولية القانونية. رفضت المحكمة حجة SafeRent بأنها مجرد مزود تقني "محايد". فإذا اعتمد المؤجر بشكل أساسي على تقييم صادر عن طرف ثالث، فإن مزود ذلك التقييم يصبح جزءاً من سلسلة اتخاذ القرار ويتحمل المسؤولية القانونية المشتركة.
• النية لا تهم. أكدت التوجيهات الصادرة عن وزارة الإسكان والتنمية الحضرية (HUD) في مايو 2024 أن المعيار المعتمد هو "الأثر المتباين". يمكن لنظامكم أن ينتهك قانون الإسكان العادل (Fair Housing Act) حتى لو لم تكن هناك أي نية للتمييز لدى أي شخص — فالنتائج هي ما يعتد به.
• تحمل درجات الائتمان انحيازاً خفياً. حتى أكتوبر 2021، بلغ الوسيط لدرجات الائتمان للمستهلكين من ذوي البشرة البيضاء 725 نقطة. وللمستهلكين من أصول هسبانية 661 نقطة. وللمستهلكين من ذوي البشرة السمراء 612 نقطة. وعندما يتعامل نظام الذكاء الاصطناعي لديكم مع التاريخ الائتماني بوصفه محايداً، فإنه يرسخ التفاوتات العرقية بنيوياً في قراراتكم.
• الجهات التنظيمية تترصد وتراقب. تطبق وزارة الإسكان والتنمية الحضرية (HUD) ووزارة العدل الأمريكية (DOJ) قانون الإسكان العادل بصرامة على مطوري الخوارزميات. وسيصنف قانون الذكاء الاصطناعي للاتحاد الأوروبي (EU AI Act) المرتقب أنظمة الإسكان والتقييم الائتماني على أنها "عالية المخاطر"، مما يتطلب امتثالاً رسمياً بحلول 2025-2026.

إذا لم يتمكن نظام الذكاء الاصطناعي لديكم من إثبات أنه بحث عن طريقة أقل انحيازاً لتحقيق الهدف التجاري نفسه، فإنكم معرضون للمساءلة القانونية.

ما الذي يحدث فعلياً خلف الكواليس

فكروا في نموذج فحص الذكاء الاصطناعي التقليدي مثل مدير توظيف لا يقرأ سوى السير الذاتية الواردة من جامعة واحدة. هذا المدير لا يحاول أن يكون غير عادل. ولكن نظراً لأن تلك الجامعة كانت تاريخياً تقبل في الغالب فئة ديموغرافية واحدة، فإن النتائج تبدو تمييزية. ويحدث الشيء نفسه تماماً عندما يعتمد الذكاء الاصطناعي على سمات البيانات — وهي نقاط البيانات الفردية التي يستخدمها النموذج لإجراء التنبؤات — والتي تحمل انحيازاً تاريخياً.

استخدم نموذج SafeRent السجل الائتماني بوصفه سمة رئيسية. وتعكس درجات الائتمان عقوداً من عدم المساواة في الوصول إلى الخدمات المصرفية والإقراض وبناء الثروة. وعندما منحت الخوارزمية وزناً كبيراً للتاريخ الائتماني في حين أعطت وزناً صفرياً لدخل قسائم الإسكان، أوجدت ما تسميه الجهات التنظيمية مشكلة "المتغير البديل" (proxy variable). تبدو السمة محايدة عرقياً على الورق، لكنها من الناحية العملية تتطابق تقريباً وبشكل مباشر مع العرق.

هذا تحديداً موضع إخفاق العديد من أنظمة الذكاء الاصطناعي اليوم. فالنماذج اللغوية الكبيرة (LLMs) — وهي التقنية التي تقف وراء أدوات مثل ChatGPT — تعاني من هذه المشكلة بطريقة مختلفة. فهي غالباً لا تستطيع تفسير أسبابها ومنطقها بصيغة تلبي متطلبات الإفصاح القانوني. ويفرض قانون التقارير الائتمانية العادلة (Fair Credit Reporting Act) تقديم "رموز أسباب" (Reason Codes) محددة عند رفض أي شخص. وقد يولد النموذج اللغوي الكبير تفسيراً يبدو معقولاً ومنطقياً ولكنه في الواقع مختلق ومفبرك. وفي القرارات الخاضعة للتنظيم والرقابة، فإن الإجابة الخاطئة التي تبدو واثقة أسوأ بكثير من عدم تقديم أي إجابة على الإطلاق.

الخطر الحقيقي يكمن فيما يطلق عليه الباحثون "انحراف البيانات" (data drift) — عندما يتغير العالم من حولك دون أن يُحدَّث نموذجك. فمعدلات استخدام قسائم الإسكان تتغير، والتركيبة الديموغرافية تتطور. والنموذج المبني على بيانات عام 2019 قد ينتج نتائج تمييزية بحلول عام 2025 لمجرد أن المجتمع السكاني الأساسي قد تغير. ومن دون مراقبة مستمرة، لن تكتشفوا هذا الأمر حتى تباغتكم دعوى قضائية.

ما الذي ينجح (وما الذي لا ينجح)

أولاً، ثلاثة أساليب شائعة تخفق في البيئات الخاضعة للتنظيم:

"نقوم بالتدقيق مرة واحدة سنوياً." يفوت التدقيق السنوي الساكن للعدالة الانحياز الذي يحدث في الوقت الفعلي. فالبيانات الاجتماعية والاقتصادية تتغير باستمرار، والتدقيق النظيف في يناير لا يعني شيئاً بحلول يوليو.

"الذكاء الاصطناعي لدينا يفسر قراراته." تُنتج العديد من الأدوات القائمة على النماذج اللغوية الكبيرة (LLMs) تفسيرات تبدو معقولة ولكنها قد تكون مهلوسة — أي أن النظام يولد نصوصاً تبدو قابلة للتصديق ولكنها لا تعكس في الواقع كيفية اتخاذ القرار. وتلك مسؤولية قانونية وعبء، وليست ميزة.

"لقد حذفنا العرق من بيانات المدخلات." إن إزالة السمة المحمية لا تزيل المتغيرات البديلة مثل درجة الائتمان، أو الرمز البريدي، أو سجل الديون. إذ يمكن لهذه السمات إعادة بناء الأنماط العرقية بدقة عالية.

إليكم ما ينجح فعلياً — بنية معمارية ثلاثية الخطوات تبني العدالة داخل النظام بدلاً من إقحامها بعد فوات الأوان:

1. المعالجة المسبقة: تصحيح البيانات قبل التدريب. يعني هذا إعادة أخذ العينات (re-sampling) للمجموعات ناقصة التمثيل وإعادة ترجيح أوزان البيانات (re-weighting) بحيث يتم تمثيل الفئات المحرومة تاريخياً بشكل عادل. وفي سياق قضية SafeRent، يتضمن ذلك الإفراط في أخذ عينات من حاملي القسائم الناجحين لتصحيح عقود من الانحياز الائتماني.

2. المعالجة أثناء التدريب: تقييد النموذج أثناء مرحلة التدريب. بدلاً من التحسين بهدف الدقة فقط، تتم إضافة "عقوبة العدالة" (fairness penalty) إلى عملية تعلّم النموذج. وتتمثل إحدى التقنيات في إزالة الانحياز التنافسية (adversarial debiasing) — حيث يحاول نموذج ثانوي التنبؤ بعرق الشخص بناءً على مخرجات النموذج الأساسي. وإذا نجح النموذج الثانوي، يُعاقب النموذج الأساسي ويُجبر على تعلّم سمات تتنبأ فعلياً بأداء عقد الإيجار بمعزل عن العرق.

3. المعالجة اللاحقة: مواءمة المخرجات مع معايير منصفة. بعد التدريب، تقومون بضبط عتبات القرار باستخدام طريقة تُسمى تكافؤ الاحتمالات (Equalized Odds)، والتي تضمن تطابق معدلات الإيجابيات الكاذبة والسلبيات الكاذبة عبر جميع الفئات الديموغرافية. وهذا يمنع نظامكم من رفض المتقدمين المؤهلين من الأقليات بمعدل أعلى من المتقدمين المؤهلين بالقدر نفسه من الأغلبية.

إن ميزة المسار التدقيقي هي أكثر ما يهم فرق الامتثال والشؤون القانونية لديكم. فعندما تدمجون مقاييس العدالة — مثل نسبة الأثر المتباين (Disparate Impact Ratio)، التي تضع الجهات التنظيمية علامة تحذير بشأنها إذا انخفضت عن 0.8 — مباشرة في لوحة مراقبة الأداء الخاصة بكم، فإنكم ترصدون "انحراف العدالة" (fairness drift) في الوقت الفعلي. أنتم لا تنتظرون وقوع دعوى قضائية؛ بل ترصدون الخلل، وتوثقونه، وتصححونه. ويصبح هذا التوثيق أقوى خط دفاع لديكم إذا طرقت الجهات التنظيمية بابكم. ينبغي لنظامكم إنتاج مسار استدلال منطقي واضح لكل قرار، يوضح السمات التي كانت مؤثرة، ووزن كل منها، وسبب كون النتيجة هي الخيار الأقل تمييزاً من بين الخيارات المتاحة.

تتطلب تسوية SafeRent الآن من خبراء الحقوق المدنية التحقق من صحة نماذج الشركة — وهو ما يمثل عملياً بحثاً إلزامياً عن بدائل أقل انحيازاً. فإذا أجريتم هذا البحث بشكل استباقي، فستبقون في مأمن وسابقين بخطوة لكل من الجهات التنظيمية والمدعين القضائيين. أما إذا انتظرتم، فستصبحون دراسة الحالة التالية.