هل يمكن لنظام الإقراض بالذكاء الاصطناعي لديك النجاة من تدقيق الانحياز؟

المشكلة

رفض اتحاد الائتمان «Navy Federal Credit Union» أكثر من نصف المتقدمين السود للحصول على قروض عقارية في عام 2022. في حين وافق على 77% من المتقدمين البيض. وكانت تلك الفجوة البالغة 29 نقطة مئوية هي الأوسع بين أكبر 50 مقرضاً عقارياً في البلاد. في غضون ذلك، دفعت شركة «Earnest Operations LLC» تسوية بقيمة 2.5 مليون دولار في يوليو 2025 بعد أن وجدت ولاية ماساتشوستس أن نماذج الإقراض بالذكاء الاصطناعي لديها أضرت بصورة غير متناسبة بالمقترضين السود وذوي الأصول الإسبانية وغير المواطنين.

ليست هذه حوادث معزولة، بل هي إشارات تحذيرية لمشكلة هيكلية على مستوى القطاع بأكمله. فإذا كانت مؤسستك تستخدم اتخاذ القرارات الآلي لمنح الائتمان — وتقريباً كل مقرض يفعل ذلك — فأنت تواجه مستوى التعرض للمخاطر نفسه.

كانت القضية الجوهرية لدى شركة Earnest تكمن في متغير يُدعى معدل التخلف الجماعي عن السداد (Cohort Default Rate - CDR). يتتبع هذا المقياس متوسطات التخلف عن سداد القروض في جامعات ومدارس محددة. يبدو هذا المقياس محايداً، غير أن الكليات والجامعات التاريخية للسود (HBCUs) تسجل معدلات تخلف أعلى عن السداد بسبب عقود من نقص التمويل المنهجي وفجوات الثروة المتراكمة. ومن خلال ترجيح وزن CDR في نموذجها، عاقبت شركة Earnest المتقدمين الأفراد على أوجه الحرمان التاريخية لمؤسساتهم التعليمية — بغض النظر عن وضعهم المالي الشخصي. بدا الخوارزم محايداً عرقياً على الورق، لكنه في الممارسة الفعلية رمّز التمييز ورسّخه.

أما في حالة «Navy Federal»، فقد كانت المشكلة أشد تعقيداً في رصدها وتحديدها. فعندما قام الباحثون بضبط وموازنة أكثر من اثني عشر عاملاً — الدخل، ونسبة الدين إلى الدخل، وقيمة العقار، والحي السكني — ظل احتمال رفض المتقدمين السود يزيد عن ضعف احتمال رفض المتقدمين البيض ذوي الملفات التعريفية المتطابقة. كان هناك شيء ما داخل خوارزمية الاكتتاب لدى اتحاد الائتمان يولّد انحيازاً تعجز عوامل الائتمان التقليدية عن تفسيره.

لماذا يهم هذا أعمالك

إن التبعات المالية قد بدأت بالفعل؛ فقد دفعت شركة Earnest مبلغ 2.5 مليون دولار لتسوية تحقيق أجرته ولاية واحدة، بينما يواجه اتحاد الائتمان Navy Federal دعاوى جماعية موحدة وتحقيقات من الكونغرس. وفي مايو 2024، قضى قاضٍ فيدرالي بجواز المضي قدماً في دعاوى الأثر المتباين (disparate impact) المرفوعة ضد Navy Federal، مما فتح الباب أمام إجراءات الكشف والإفصاح عن المنطق الداخلي لنموذج اتحاد الائتمان.

إليك ما يعنيه هذا لمؤسستك:

• إنفاذ اللوائح التنظيمية يزداد دقة وتحديداً. يطالب مكتب الحماية المالية للمستهلك (CFPB) الآن بتقديم «أسباب دقيقة ومحددة» للإجراءات السلبية (adverse actions). لا يمكنك إخبار مقدم الطلب بأنه رُفض بسبب «عدم كفاية الدخل» إذا كان السبب الحقيقي هو إشارة تحذيرية خوارزمية مبنية على نقطة بيانات غير تقليدية. فعبارة «الخوارزمية هي التي قررت» لا تُعد دفاعاً قانونياً مقبولاً.
• التفاوت الإحصائي وحده قادر على الصمود أمام طلب رد الدعوى. تنقل المحاكم عبء الإثبات إلى جهتك؛ إذ يتعين على مؤسستك إثبات أن عملية الاكتتاب الخاصة بها ضرورية وأنها الخيار الأقل تمييزاً من بين الخيارات المتاحة.
• الفجوة بين السياسة والممارسة تمثل مسؤولية قانونية. كانت لدى شركة Earnest سياسات داخلية تتطلب إشرافاً من الإدارة العليا عند وجود استثناءات على النموذج. غير أن المحققين وجدوا أن مسؤولي الاكتتاب كانوا يتجاوزون النماذج بشكل متكرر ويطبقون معايير تعسفية دون توثيق. هذا الانفصال جعل النظام مستحيل التدقيق ومستحيل الدفاع عنه قانونياً.
• المعايير المرجعية الوطنية تكشف الحالات الشاذة. يبلغ متوسط معدل الرفض الوطني وفقاً لمكتب CFPB نسبة 5.6% للمتقدمين البيض و16.2% للمتقدمين السود — بفارق 10.6 نقطة مئوية. وكانت فجوة Navy Federal تقارب ثلاثة أضعاف هذا الرقم. وإذا كانت أرقامك أعلى من المتوسطات الوطنية، فإن الجهات التنظيمية ستلاحظ ذلك بالتأكيد.

سيطرح مجلس إدارتك، ومستشارك القانوني العام، والجهات التنظيمية لديك السؤال نفسه: هل يمكنك شرح وتفسير كيفية اتخاذ الذكاء الاصطناعي لقرارات الإقراض؟ وإذا لم تكن قادراً على الإجابة بوضوح، فأنت تتحمل المخاطر نفسها التي تواجهها شركتا Earnest وNavy Federal الآن.

ما الذي يحدث فعلاً خلف الكواليس

إن معظم أدوات الإقراض بالذكاء الاصطناعي اليوم هي ما يطلق عليه القطاع «أغلفة» (wrappers). فكر في الأمر كوضع علامة تجارية جديدة على منتج عام؛ حيث تأخذ هذه الأنظمة بياناتك وتمررها إلى نموذج لغوي كبير (LLM) للأغراض العامة مثل GPT-4 أو Gemini، ثم تُعيد النتيجة. تبدو هذه الأنظمة متطورة وظاهرياً معقدة، لكنها خلف الكواليس تفتقر إلى القواعد التخصصية للمجال المالي، وطبقات الشفافية، والاستدلال السببي التي تفرضها الهيئات التنظيمية المالية.

يكمن التباين الجوهري في الآتي: تتطلب الخدمات المالية منطقاً حتمياً (deterministic) — بحيث تؤدي المدخلات نفسها دائماً إلى المخرجات نفسها. أما النماذج اللغوية الكبيرة (LLMs) فهي احتمالية (probabilistic)؛ إذ تتنبأ بالكلمة التالية في تسلسل لغوي، ولا تسترجع حقائق مثبتة ولا تُجري حسابات إكتوارية. وفي سياق اكتتاب الائتمان، يمكن للنموذج اللغوي الكبير أن يولد «هلوسة» (hallucination) — أي مبرراً مختلقاً لرفض القرض يبدو منطقياً في ظاهره ولكنه لا يستند إلى أي أساس في الملف المالي الفعلي لمقدم الطلب.

هذا ليس خطراً نظرياً؛ فعندما اختلق روبوت الدردشة التابع لشركة طيران كندا (Air Canada) سياسة أسعار تذاكر حالات الوفاة والحداد لم تكن موجودة أساساً، حُمّلت شركة الطيران المسؤولية القانونية كاملة. وينطبق المبدأ نفسه تماماً على قرارات الإقراض لديك.

تفتقر منصات الذكاء الاصطناعي العامة أيضاً إلى السياق التخصصي الرأسي اللازم لتفسير وثائق الرهن العقاري والإقرارات الضريبية وكشوف الحسابات المصرفية بدقة. وبدون تدريب متخصص في الصناعة، تُخطئ هذه النماذج في قراءة أنماط الدخل والتدفقات النقدية، مما يؤدي إلى رفض خاطئ لمقترضين يتمتعون بملاءة وجدارة ائتمانية. وبما أن النماذج اللغوية الكبيرة تتدرب على كميات هائلة من نصوص الإنترنت المشبعة بالانحيازات التاريخية، فإنها قد تربط جنسيات أو مهناً معينة بجدارة ائتمانية منخفضة — حتى عندما تكون بيانات مقدم الطلب الفردي سليمة تماماً.

الجزء الأسوأ هو أن أياً من هذا لا يظهر في التدقيق السطحي؛ إذ يستقر الانحياز في ما يسميه الباحثون «الفضاء الكامن» (latent space) للنموذج — وهي الطبقة الخفية التي تتشكل فيها الارتباطات الإحصائية. وبدون الأدوات المناسبة، لن تتمكن من رؤيته واكتشافه إلا بعد أن يكتشفه منظم قانوني أو محامي الادعاء.

ما الذي ينجح (وما الذي لا ينجح)

دعنا نبدأ بما يفشل عند التدقيق والفحص الدقيق:

• «لقد أزلنا متغير العرق من النموذج». إن إزالة حقل العرق لا تلغي الانحياز العرقي؛ فالمتغيرات البديلة (proxy variables) مثل معدلات التخلف عن السداد في المدارس والجامعات، والرموز البريدية، وأنماط التسوق تحمل الإشارة والنمط ذاته. لم تسأل شركة Earnest المتقدمين قط عن عرقهم، ومع ذلك مارست التمييز.
• «نحن نستخدم مزود ذكاء اصطناعي موثوقاً من طرف ثالث». إن إسناد الذكاء الاصطناعي إلى جهات خارجية لا يُعفيك من المسؤولية القانونية؛ فمكتب CFPB يُحمّل المقرض المسؤولية وليس المزود التقني. وإذا كان نموذج المزود عاجزاً عن تفسير قراراته، فإن فجوة الامتثال تقع على عاتقك أنت.
• «يقوم فريقنا بمراجعة الحالات الحدية يدوياً». إن عمليات التجاوز والتدخل البشري غير المنظمة تؤدي في الواقع إلى تفاقم الأمور؛ فقد تجاوز مسؤولو الاكتتاب لدى Earnest النموذج دون توثيق، مما خلق نظاماً هجيناً تعايش فيه كل من الانحياز الخوارزمي والانحياز البشري جنباً إلى جنب — دون أن يكون أي منهما قابلاً للتدقيق.

ما ينجح بالفعل هو البنية الهندسية متعددة الطبقات التي تفصل بين الأنواع المختلفة من القرارات بناءً على متطلبات كل منها:

1. المدخلات: التحقق من صحة البيانات قبل أن يراها الذكاء الاصطناعي. تخضع كل نقطة بيانات لفحوصات دقيقة للتأكد من الدقة والاكتمال والاتساق والتوقيت المناسب والصلة والتمثيل العادل. يمنع هذا البيانات الملوثة من إنتاج نتائج منحازة. يجب أن يعرف نظامك تسلسل نسب البيانات (data lineage) — أي من أين أتت كل مدخلات وكيف جرت معالجتها.

2. المعالجة: النموذج المناسب للمهمة المناسبة. تعمل فحوصات الامتثال الصارمة — مثل متطلبات الإقامة — عبر محركات قواعد حتمية تنتج الإجابة نفسها في كل مرة. بينما يستخدم تقييم الائتمان المنظم نماذج قابلة للتفسير مثل أشجار القرار المعززة بالتدرج (gradient-boosted decision trees). وتتولى النماذج اللغوية الكبيرة (LLMs) المهام غير المنظمة فقط مثل تحليل المستندات، مع إسنادها وتثبيتها في الملفات الفعلية لمقدم الطلب عبر تقنية تُدعى التوليد المعزز بالاسترجاع (Retrieval-Augmented Generation - RAG) — حيث تُزوّد الذكاء الاصطناعي بالوثائق المصدرية الحقيقية بدلاً من تركه للتخمين.

3. المخرجات: يحصل كل قرار على تفسير واضح. تولّد أدوات القابلية للتفسير مثل تقنية SHAP (تفسيرات شابلي التراكمية - SHapley Additive exPlanations) — وهي طريقة تستند إلى نظرية الألعاب وتعين درجة مساهمة محددة لكل عامل من عوامل المدخلات — أسباباً جاهزة للتدقيق لكل إجراء سلبي. والأفضل من ذلك، ينتج النظام تفسيرات شرطية بديلة (counterfactual explanations): «لو كان استخدامك للائتمان أقل بنسبة 15%، أو كان دخلك أعلى بمقدار 5,000 دولار، لتمت الموافقة على هذا القرض». هذا هو مستوى التحديد والدقة الذي يفرضه مكتب CFPB الآن.

إن ميزة مسار التدقيق (audit trail) هي ما يربط كل هذه العناصر معاً؛ حيث يُسجّل كل تدخل وتجاوز بشري مع تبرير إلزامي. ويتتبع الرصد المستمر كلاً من انحراف النموذج (model drift) — عندما تتوقف البيانات الواردة عن مطابقة مجموعة بيانات التدريب — وانحراف الانحياز (bias drift)، مما يُطلق تنبيهات فورية في الوقت الفعلي عندما تنخفض نسبة الأثر المتباين لديك عن الحدود المقبولة. وبذلك يحصل فريق الامتثال لديك على سجل يمكن الدفاع عنه قانونياً وليس صندوقاً أسود. وعندما تأتي الجهات التنظيمية للاستفسار، يمكنك أن توضح لها بدقة كيف تم اتخاذ كل قرار، ومراجعته، وتوثيقه.

يدعو إطار عمل إدارة مخاطر الذكاء الاصطناعي 2.0 الصادر عن NIST الآن إلى إعداد «قائمة مكونات الذكاء الاصطناعي» (AI Bill of Materials) — وهي جرد كامل لمصادر البيانات الخاصة بك، والنماذج، والمكونات البرمجية من الأطراف الثالثة. فإذا كنت غير قادر على تقديم هذه القائمة اليوم، فإن مؤسستك تعاني من فجوة حوكمة تبحث عنها الهيئات التنظيمية بشكل مستهدف ومحدد.