غرامة بـ2.5 مليون دولار كشفت العطب الحقيقي في الإقراض بالذكاء الاصطناعي — وليس ما تظنه

كنت جالساً في مكتبي المنزلي مساء يوم خميس من يوليو 2025، أتصفّح البيان الصحفي الصادر عن النائب العام لولاية ماساتشوستس بشأن شركة Earnest Operations، حين شعرت بشيء لم أكن أتوقعه: الارتياح.

ليس لأن جهة إقراض غُرّمت 2.5 مليون دولار بسبب تمييز مدفوع بالذكاء الاصطناعي ضد المقترضين السود وذوي الأصول اللاتينية. ذلك كان أمراً مثيراً للغضب. جاء الارتياح من شيء آخر — من دقّة تحديد التهم. لم يكتفِ مكتب النائب العام بالقول "إن ذكاءكم الاصطناعي متحيّز". لقد سمّوا المتغيّر بعينه. وتتبّعوا الآلية بعينها. وأظهروا، بتفصيل مضنٍ، كيف تحوّلت نقطة بيانات تبدو محايدة — معدّل التعثّر الجماعي (Cohort Default Rate) للكلية التي تخرّج فيها المقترض — إلى قناة لتمييز عنصري مغروس في الشيفرة.

على مدى سنوات، ظللنا أنا وفريقي في Veriprajna نجادل بأن الطريقة التي تنشر بها معظم شركات التكنولوجيا المالية الذكاء الاصطناعي في الإقراض معطوبة معمارياً. ليست مجرد موضع تساؤل أخلاقي — بل عاجزة بنيوياً عن تحقيق الإنصاف. كانت تسوية Earnest أول إجراء إنفاذ كبير يثبت صحة موقفنا باللغة التي يستخدمها المنظّمون فعلاً.

ولن تكون الأخيرة.

المتغيّر الذي بدا بريئاً

إليك ما فعلته Earnest، وأريدك أن تتأمّل الأمر ملياً لأنه أدقّ من مجرد "كانت الخوارزمية عنصرية".

بنت Earnest نموذجاً لإعادة تمويل قروض الطلاب مدعوماً بالذكاء الاصطناعي. وكان أحد المدخلات هو معدّل التعثّر الجماعي (Cohort Default Rate، أو CDR) — وهو مقياس يتتبّع عدد مرات تعثّر خريجي كلية بعينها في سداد قروضهم الفيدرالية. على الورق، يبدو هذا معقولاً. فالكليات ذات معدلات التعثّر المرتفعة قد تُخرِّج مقترضين يعانون في السداد. فلماذا لا تأخذ ذلك في الحسبان؟

لأن معدّل التعثّر الجماعي لا يقيس الجدارة الائتمانية الفردية. إنه يقيس النتائج المؤسسية. وتلك النتائج تتشكّل بفعل عقود من نقص التمويل الممنهج، وفجوات الثروة المتوارثة بين الأجيال، والفصل العنصري في التعليم العالي. فالكليات والجامعات السوداء تاريخياً (HBCUs) تحمل معدلات تعثّر جماعي أعلى، لا لأن خريجيها أقل كفاءة، بل لأن النظام منح تلك المؤسسات — وطلابها — موارد أقل للعمل بها.

حين تعاقب فرداً بسبب التاريخ الإحصائي لمؤسسته، فأنت لا تتنبأ بالمخاطر. أنت تُديمها.

ادّعى النائب العام لماساتشوستس أن القوة التنبؤية لمعدّل التعثّر الجماعي لم تأتِ من أي إشارة تخصّ المقترض نفسه، بل من ارتباطه بالعِرق والطبقة الاجتماعية والاقتصادية. فخريج أسود من إحدى الكليات والجامعات السوداء تاريخياً، يتمتع بسجل ائتماني ناصع ودخل متين وبلا أي دفعة فائتة، سيحصل على درجة أدنى من خريج أبيض من جامعة حكومية جيدة التمويل — بسبب المكان الذي درس فيه، لا بسبب ما فعله بعد ذلك.

أذكر أنني فتحت وثائق التسوية وقرأتها بصوت عالٍ لشريكتي المؤسِّسة عبر الهاتف. قلت: "وكانت لديها قواعد إقصاء أيضاً. بوابات مبرمجة بشكل ثابت ترفض تلقائياً أي شخص لا يحمل على الأقل البطاقة الخضراء". ساد صمت طويل. ثم قالت: "إذن كان التحيّز في المعمارية منذ البداية". نعم. من أول سطر في شجرة القرار.

لماذا لم ينتبه أحد إلى ذلك؟

هذا هو الجزء الذي أرّقني تلك الليلة. كانت لدى Earnest سياسات داخلية. وكانت لديها متطلبات للإشراف على النماذج. وكانت لديها عمليات مراجعة من كبار المسؤولين للاستثناءات.

لم ينجح أي من ذلك.

كشف التحقيق أن مسؤولي الاكتتاب كانوا يتجاوزون النموذج بشكل روتيني أو يطبّقون معايير اعتباطية دون توثيق. أما ضمانة "الإنسان في الحلقة" — تلك التي تشير إليها كل شركة ذكاء اصطناعي حين يطرق المنظّمون الباب — فكانت مجرد مسرحية. لم يكن هناك تسجيل متّسق. ولا مراجعة مستقلة. ولا أي مسار تدقيق يمكنه أن يخبرك لماذا حدث تجاوز بعينه.

رأيت هذا النمط مرات كثيرة إلى حد أننا أطلقنا عليه اسماً داخلياً: تنكّر الحوكمة. فالمؤسسة تملك كل السياسات الصحيحة على الورق. والهيكل التنظيمي يُظهر فريقاً للامتثال. وعرض مجلس الإدارة يذكر "الذكاء الاصطناعي المسؤول". لكن حين تفتح غطاء المحرّك، لا تجد أي آلية تربط السياسة بالشيفرة. الخوارزمية تعمل في كون، وإطار الحوكمة موجود في كون آخر.

جعلت قضية Earnest هذا الأمر صريحاً. فقد تعايش في النظام نفسه التحيّز الخوارزمي والتحيّز البشري غير المراقَب معاً، مما جعله — كما كتبت في تحليلنا التفاعلي للقضية — مستحيلَ التدقيق والدفاع من حيث الجوهر.

ماذا يحدث حين تبلغ الفجوة 29 نقطة مئوية؟

إذا كانت Earnest هي حالة المِشرَط — دقيقة، على مستوى المتغيّر، قابلة للتتبع — فإن Navy Federal Credit Union هي المطرقة الثقيلة.

في عام 2022، وافق Navy Federal، أكبر اتحاد ائتماني في الولايات المتحدة، على نحو 77% من المتقدمين البيض لقروض الرهن العقاري التقليدي. أما بالنسبة للمتقدمين السود؟ 48.5%. أي فجوة تقارب 29 نقطة مئوية — الأوسع بين أكبر 50 جهة إقراض رهن عقاري في البلاد.

كان دفاع Navy Federal متوقعاً: "بيانات HMDA العامة لا تتضمن الدرجات الائتمانية أو السيولة النقدية المتاحة. لا يمكنك استخلاص استنتاجات من دون الصورة الكاملة". إنه الدفاع نفسه الذي تلجأ إليه كل مؤسسة. وربما كان لينجح قبل عقد من الزمن.

لكنه لم ينجح هذه المرة. فحين ضبط باحثون مستقلون أكثر من اثني عشر متغيّراً — الدخل، ونسبة الدين إلى الدخل، وقيمة العقار، وخصائص الحي — ظل احتمال رفض المتقدمين السود أعلى من الضعف مقارنةً بالمتقدمين البيض ذوي الملفات المطابقة تماماً.

أذكر أنني عرضت هذه الأرقام في مؤتمر للتكنولوجيا المالية العام الماضي. رفع أحد الحضور — نائب رئيس لإدارة المخاطر في جهة إقراض متوسطة الحجم — يده وقال: "لكن ربما هناك شيء في البيانات لا نراه. عامل وجيه ما". فسألته: "إذا كان نموذجك يُنتج فجوة عرقية بمقدار 29 نقطة تستمر بعد ضبط كل متغيّر يمكنك تسميته، فمتى تتوقف عن البحث عن تفسيرات بريئة وتبدأ بالنظر إلى النموذج نفسه؟"

لم يكن لديه جواب. ومعظم القطاع ليس لديه جواب.

في مايو 2024، قضى قاضٍ فيدرالي بأن دعاوى الأثر التمييزي غير المباشر ضد Navy Federal يمكن أن تمضي إلى مرحلة الكشف عن الأدلة. وهذا يعني أن المدّعين سيتمكنون من فحص المنطق الداخلي لخوارزمية الاكتتاب لدى الاتحاد الائتماني. لقد انتهى عصر "نموذجنا مملوك لنا ومعقد أكثر من أن يُشرح".

صار التفاوت الإحصائي وحده كافياً الآن للصمود أمام طلب رفض الدعوى. لقد انتقل العبء: أثبت أن عمليتك عادلة، أو واجه الكشف عن الأدلة.

لماذا تفشل أغلفة نماذج اللغة الكبيرة باستمرار في اختبار الإنصاف؟

هنا يجب أن أكون صريحاً بشأن أمر لا يرغب كثيرون في مجال الذكاء الاصطناعي في سماعه.

المعمارية السائدة في الذكاء الاصطناعي بقطاع التكنولوجيا المالية اليوم — ما أسميه نموذج "الغلاف" (wrapper) — عاجزة بنيوياً عن استيفاء المعايير التنظيمية القائمة بالفعل، ناهيك عن تلك القادمة في 2026.

الغلاف يأخذ بياناتك، ويمرّرها إلى نموذج لغوي كبير من طرف ثالث مثل GPT-4 أو Gemini، ثم يعيد مخرجاً. بناؤه سريع. وعروضه التوضيحية بديعة. وهو قنبلة امتثال موقوتة.

نماذج اللغة الكبيرة تتنبأ بالرمز اللغوي التالي (token) في تسلسل. إنها لا تسترجع الحقائق. ولا تُجري حسابات اكتوارية. ولا تستدل بشأن السببية. وحين تطلب من نموذج لغوي كبير تقييم طلب قرض، فإنه يولّد نصاً يبدو وكأنه تقييم ائتماني. لكنه قد يختلق مبرراً للرفض لا أساس له في الملف الفعلي لمقدّم الطلب. القطاع يسمي ذلك هلوسة. أما المنظّمون فيسمّونه مخالفة.

كان مكتب الحماية المالية للمستهلك (CFPB) واضحاً بلا لبس: يجب على الدائنين تقديم "أسباب دقيقة ومحددة" للإجراءات السلبية. لا يمكنك أن تقول لمتقدم مرفوض "الخوارزمية قرّرت"، أو أن تستشهد بفئة غامضة مثل "سجل المشتريات" بينما المُحفِّز الحقيقي كان نقطة بيانات غير تقليدية تشبّث بها النموذج. عبارة "الخوارزمية قرّرت" ليست موقفاً يمكن الدفاع عنه قانونياً — وقد قال المكتب ذلك صراحةً.

وثمة مشكلة أعمق. نماذج اللغة الكبيرة مدرَّبة على الإنترنت. والإنترنت مشبع بالتحيّزات التاريخية — العرقية والجندرية والاجتماعية والاقتصادية. وحين يستخدم غلافك نموذجاً لغوياً كبيراً "لتقييم" تاريخ التوظيف أو السرد الشخصي لمقترض، قد يطبّق النموذج قوالب نمطية مغروسة في بيانات تدريبه. فبعض الجنسيات، وبعض المهن، وبعض الرموز البريدية تحمل وزناً خفياً في الفضاء الكامن للنموذج. لا لأن أحداً برمج التحيّز فيه. بل لأن بيانات التدريب هي التحيّز نفسه.

خضت جدالاً حول هذا مع أحد المستثمرين في مرحلة مبكرة من عمر الشركة. قال: "استخدم GPT مع مطالبة جيدة وحسب. أنت تعقّد الأمر أكثر من اللازم". فعرضت عليه نموذجاً تجريبياً مرّرنا فيه طلب القرض نفسه عبر غلاف بنسختين — واحدة باسم يُقرأ كاسم شخص أبيض، وأخرى باسم يُقرأ كاسم شخص أسود. لم تكن المخرجات متطابقة. تغيّرت النبرة. وتغيّرت لغة المخاطر. لا بشكل درامي. بل بشكل خفي. ذلك النوع من الخفاء الذي يُنتج، حين يتكرر على نطاق ملايين القرارات، فجوة بمقدار 29 نقطة.

توقف عن الجدال.

ماذا يعني "الذكاء الاصطناعي العميق" فعلياً؟

أستخدم مصطلح "الذكاء الاصطناعي العميق" (Deep AI) لا بوصفه تسويقاً — رغم أنني أتفهّم الشكوك — بل بوصفه تفريقاً تقنياً عمّا يبنيه معظم القطاع.

نظام الذكاء الاصطناعي العميق في الإقراض لا يستدعي نموذجاً واحداً ويعيد إجابة. إنه معمارية متعددة الطبقات تتولى فيها أنواع مختلفة من الذكاء أنواعاً مختلفة من القرارات، وتكون كل طبقة فيها قابلة للتدقيق.

محرّكات القواعد الحتمية تتولى الأمور التي يجب أن تكون صحيحة بنسبة 100% — متطلبات الإقامة، والعتبات التنظيمية، وفحوص الامتثال الصارمة. هذه ليست احتمالية. إنها منطق. وهي لا تهلوس.

نماذج التعزيز التدرّجي مثل XGBoost تتولى التقييم الائتماني المهيكل — ذلك النوع من البيانات الجدولية حيث تهمّ القابلية للتفسير والاستقرار أكثر من الطلاقة اللغوية. هذه النماذج مملة. لكنها أيضاً موثوقة وقابلة للتفسير ومفهومة جيداً لدى المنظّمين.

نماذج اللغة الكبيرة المضبوطة بدقة تُستخدم — لكن فقط فيما تُجيده فعلاً: استخراج الكيانات من المستندات غير المهيكلة، وتحليل الإقرارات الضريبية، وقراءة كشوف الحسابات المصرفية. وهي مُؤصَّلة عبر التوليد المعزَّز بالاسترجاع (Retrieval-Augmented Generation)، ما يعني أن النموذج لا يمكنه الرجوع إلا إلى المستندات الفعلية لمقدّم الطلب، لا إلى الارتباطات الغامضة في بيانات تدريبه.

وفوق هذا كله تقع طبقة مراقبة مستمرة تتتبّع انحراف النموذج، وانحراف التحيّز، ومعدلات الهلوسة في الوقت الفعلي. وحين تنخفض نسبة الأثر التمييزي غير المباشر (Disparate Impact Ratio) — أي نسبة معدلات الموافقة بين الفئات المحمية والفئات الضابطة — دون عتبة 0.8 (قاعدة الأربعة أخماس التي يستخدمها المنظّمون كعلامة إنذار)، ينبّه النظام قبل أن تظهر أي شكوى بشرية على الإطلاق.

هذا ليس طموحاً. لقد بنيناه لأن البديل — الغلاف، والصندوق الأسود، وتنكّر الحوكمة — يواصل إنتاج تسويات على شاكلة Earnest ودعاوى على شاكلة Navy Federal.

كيف تُهندِس الإنصاف فعلياً داخل النموذج؟

يسألني الناس هذا باستمرار، وأظن أنهم يتوقعون إجابة بسيطة. إنها ليست بسيطة. لكنها ليست غامضة أيضاً.

هندسة الإنصاف تعني تطبيق قيود رياضية في كل مرحلة من دورة حياة النموذج. قبل التدريب، تفحص بياناتك بحثاً عن فجوات التمثيل، وتستخدم تقنيات مثل زيادة أخذ العينات الاصطناعية لموازنة الفئات الديموغرافية الممثَّلة تمثيلاً ناقصاً. وأثناء التدريب، تنشر إزالة التحيّز التخاصمية — وهي تقنية يحاول فيها نموذج ثانوي التنبؤ بعِرق مقدّم الطلب انطلاقاً من مخرجات النموذج الأساسي. فإذا نجح، فهذا يعني أن النموذج الأساسي يسرّب معلومات محمية، فتعيد التدريب حتى يفشل الخصم.

وبعد التدريب، تعاير عتبات القرار لضمان تكافؤ الاحتمالات — أي أن يكون النموذج دقيقاً بالقدر نفسه عبر الفئات الديموغرافية. لا متساهلاً بالقدر نفسه. بل دقيقاً بالقدر نفسه. فالنموذج الذي يوافق على الجميع ليس منصفاً. أما النموذج الذي يصيب بالمعدل نفسه للجميع فهو كذلك.

ثم هناك القابلية للتفسير. كل إجراء سلبي يولّده نظامنا يأتي مصحوباً بقيم SHAP — وهي طريقة إسناد صارمة رياضياً تخبرك بدقة أي السمات دفعت القرار، وبأي قدر. ونحن نولّد تفسيرات مضادة للواقع في الوقت الفعلي: "لو كان استخدامك للائتمان أقل بنسبة 15%، أو دخلك أعلى بمقدار 5,000 دولار، لكان هذا القرض قد حصل على الموافقة". هذه ليست مجاملة. فبموجب التوجيهات الحالية لمكتب الحماية المالية للمستهلك، إنها تقترب من أن تكون شرطاً إلزامياً.

الذكاء الاصطناعي المنصف ليس نموذجاً يتجنب قول أي شيء مسيء. إنه نظام يمكن فيه تفكيك كل قرار والطعن فيه والدفاع عنه بالرياضيات.

وللاطلاع على التفصيل التقني الكامل لمسار هندسة الإنصاف ومعماريته لدينا، نشرت ورقة بحثية مفصّلة تتعمّق أكثر مما يتسع له المقام هنا.

الخناق التنظيمي يضيق

دعوني أرسم المشهد لكل من يظن أن لديه متسعاً من الوقت.

توجيهات مكتب الحماية المالية للمستهلك لعامَي 2023 و2025 بشأن إشعارات الإجراءات السلبية لها أنياب. أما SR 11-7 — معيار إدارة مخاطر النماذج الصادر عن الاحتياطي الفيدرالي — فبات يتطلب سلامة مفاهيمية موثّقة، وتحققاً مستقلاً من جانب فرق لا صلة لها بالتطوير، وتحليلاً منتظماً للنتائج. أما إطار NIST لإدارة مخاطر الذكاء الاصطناعي 2.0، الصادر في 2025، فقد قدّم مفهوم "قائمة مكوّنات الذكاء الاصطناعي" (AI Bill of Materials) — أي جرد كامل لكل مصدر بيانات، وكل نموذج (بما في ذلك واجهات برمجة التطبيقات من أطراف ثالثة)، وكل تفاعل بين المكوّنات.

هذه ليست توجيهات يمكنك تجاهلها. فقاضٍ فيدرالي سمح للتوّ بالكشف عن خوارزمية Navy Federal. والنائب العام لماساتشوستس لم يكتفِ بتغريم Earnest — بل ألزم الشركة بإصلاح حوكمة نماذجها جذرياً، وتطبيق تحقق مستقل، والخضوع لمراقبة مستمرة.

الرسالة واضحة: إن لم تستطع شرح نموذجك، فلن تستطيع الدفاع عنه. وإن لم تستطع الدفاع عنه، فسوف تدفع الثمن — في التسويات، وفي تكاليف التقاضي، وفي الضرر بالسمعة، وفي تآكل ثقة المجتمعات التي تزعم أنك تخدمها.

لماذا يمثّل "البحث عن بدائل" الشرط الذي لا أحد مستعد له

ثمة مفهوم تنظيمي واحد أعتقد أنه سيعيد تشكيل القطاع أكثر من أي مفهوم آخر، ولا يكاد أحد يتحدث عنه.

بموجب قانون الإقراض العادل الحالي، لا يكفي أن تُظهر أن نموذجك دقيق. بل يجب أن تبحث بنشاط عن بدائل أقل تمييزاً — أي نماذج تحقق أداءً تنبؤياً مماثلاً بفجوة تفاوت أصغر. وإذا استطاع مدّعٍ أن يثبت وجود مثل هذا البديل وأنك لم تستخدمه، فإن نموذجك يسقط في الاختبار القانوني بصرف النظر عن دقته.

فكّر فيما يعنيه ذلك على المستوى التشغيلي. لا يمكنك أن تبني نموذجاً واحداً وتختبره بحثاً عن التحيّز ثم تطلقه وحسب. بل عليك تدريب تكوينات متعددة — مجموعات سمات مختلفة، وخوارزميات مختلفة، ومعايرات عتبات مختلفة — وتوثيق سبب اختيارك لما اخترته. عليك أن تملك دليلاً على أنك بحثت عن خيار أكثر إنصافاً، وأنك إما وجدته (وتبنّيته) أو أثبتّ عدم وجود أي بديل أقل تمييزاً بدرجة جوهرية.

أمضينا ثلاثة أشهر في بناء مسار البحث عن البدائل الأقل تمييزاً (LDA) لدينا. ثلاثة أشهر ظل فيها فريقي الهندسي يسأل: "هل نبالغ في التفكير في هذا؟". ثم صدرت تسوية Earnest، واستشهد مكتب النائب العام تحديداً بإخفاق الشركة في البحث عن بدائل. لم نكن نبالغ في التفكير. بل كان القطاع مقصّراً في التفكير.

درس Earnest الذي يغفل عنه معظم الناس

أريد أن أختم بشيء ظل يلحّ عليّ منذ يوليو.

ركّز معظم التعليقات على تسوية Earnest على متغيّر معدّل التعثّر الجماعي. ونعم، كان ذلك هو العنوان الرئيسي. لكن الإخفاق الأعمق لم يكن متغيّراً سيئاً. بل كان غياب المعمارية التي كانت ستلتقط المتغيّر السيئ قبل أن يصل إلى الإنتاج أصلاً.

لم يكن لدى Earnest تحقق مستقل من النماذج. لم يكن لديها اختبار منهجي للمتغيّرات الوكيلة. لم يكن لديها تسجيل قابل للتدقيق لتجاوزات البشر. لم يكن لديها مراقبة مستمرة للتحيّز. كان لديها نموذج، ووثيقة سياسات، وفجوة بينهما واسعة بما يكفي لتمرير دعوى جماعية عبرها.

لم تكن الـ2.5 مليون دولار كلفة التحيّز. بل كانت كلفة بناء ذكاء اصطناعي من دون البنية التحتية التي تتيح معرفة متى يوجد التحيّز.

هذا هو الفارق الذي أعود إليه دائماً. فالسؤال ليس "هل ذكاؤك الاصطناعي متحيّز؟" — فكل نموذج مدرَّب على بيانات تاريخية يحمل بصمات اللامساواة التاريخية. السؤال هو: هل تملك المعمارية القادرة على كشفه وقياسه وشرحه وتصحيحه قبل أن يفعل ذلك منظّم نيابةً عنك؟

معظم جهات الإقراض، لو كانت صادقة، ستجيب بلا.

بنينا Veriprajna لأننا نؤمن بأن الإجابة يجب أن تكون نعم — لا كطموح، بل كخاصية بنيوية للنظام نفسه. الإنصاف ليس ميزة تركّبها بعد الإطلاق. إنه جدار حامل. أزِله، وسينهار المبنى بأكمله.

تحدّدت الموجة الأولى من الذكاء الاصطناعي في الإقراض بالسرعة والحجم. أما الموجة الثانية فستتحدد بما إذا كان نظامك قادراً على الصمود أمام أمر استدعاء قضائي. وأنا أعرف أي موجة أبني من أجلها.