انحياز الذكاء الاصطناعي في القطاع الحكومي: حين تمارس الخوارزميات التمييز

المشكلة

وضعت خوارزمية الشرطة التنبؤية في شيكاغو 56% من الرجال السود الذين تتراوح أعمارهم بين 20 و29 عاماً على قائمة مراقبة تابعة للشرطة. وفي أحد الأحياء، وهو ويست غارفيلد بارك (West Garfield Park)، ظهر 73% من الذكور السود الذين تتراوح أعمارهم بين 10 و29 عاماً على القائمة. أما معدل النجاح الفعلي للخوارزمية في التنبؤ بجرائم العنف المسلح؟ أقل من واحد بالمئة.

لم تكن هذه تجربة معزولة أو شاردة؛ فقد استمرت «قائمة الموضوعات الاستراتيجية» (Strategic Subject List) التابعة لقسم شرطة شيكاغو — والمعروفة باسم «قائمة الحرارة» ("heat list") — قرابة عقد من الزمان. وقيَّمت أكثر من 400,000 شخص بوصفهم تهديدات محتملة بناءً على سجلات الاعتقال والشبكات الاجتماعية. والمشكلة: 57% من الأشخاص المصنفين كأهداف ذات أولوية لم تكن لديهم أي اعتقالات مرتبطة بجرائم عنف. وعاملت الخوارزمية المخالفات البسيطة، مثل العبور العشوائي للمشاة، معاملة الجرائم الخطيرة نفسها. كما حوّلت الاحتكاكات البسيطة مع الشرطة إلى درجات اشتباه دائمة.

وفي أنحاء أخرى من البلاد، شغّلت لوس أنجلوس نظاماً مماثلاً يُدعى جيوليتيكا (Geolitica) (المعروف سابقاً باسم PredPol). وكشف تدقيق أُجري عام 2019 من قِبل المفتش العام لقسم شرطة لوس أنجلوس (LAPD) عن «تناقضات كبيرة» في إدخال البيانات وفشل تام في قياس ما إذا كان البرنامج يعمل فعلياً. وفي بلينفيلد، نيوجيرسي، أظهرت التقنية نفسها معدل نجاح يقل عن 0.5%. وفي نهاية المطاف، تخلت كلتا الوكالتين عن هذه الأدوات.

إذا كانت مؤسستك تنشر أنظمة ذكاء اصطناعي تمس حياة الأفراد — سواء في التوظيف أو الإقراض أو إدارة المزايا أو السلامة العامة — فإن هذه الإخفاقات تمثل جرس إنذار لك. لم يتعطل الذكاء الاصطناعي، بل عمل تماماً كما صُمم؛ وكان التصميم نفسه هو المشكلة.

لماذا يهم هذا عملك

تغيرت البيئة التنظيمية تغيراً جذرياً؛ فقد تحركت أكثر من 40 مدينة لحظر الشرطة التنبؤية وأدوات الذكاء الاصطناعي المرتبطة بها أو تقييدها، مثل تقنية التعرف على الوجه. وفي مارس 2024، أصدر البيت الأبيض ومكتب الإدارة والميزانية سياسة تاريخية تلزم الوكالات الفيدرالية بإجراء اختبارات مستقلة وتقييمات أثر إلزامية لأي نظام ذكاء اصطناعي يؤثر في حقوق الأفراد.

ويفرض «قانون كاليفورنيا للتنميط القائم على العرق والهوية» الآن جمعاً إلزامياً للبيانات عن جميع عمليات التوقيف التي تجريها الشرطة. كما تضيف قوانين الولايات الجديدة لعام 2025 متطلبات متعلقة بشفافية الذكاء الاصطناعي، في حين يفرض قانون الذكاء الاصطناعي للاتحاد الأوروبي (EU AI Act) التزامات إضافية على أي مؤسسة تمارس أعمالاً على الصعيد الدولي.

إليك ما يعنيه هذا لمحصلتك المالية ونتائج أعمالك:

• تكاليف الامتثال في ارتفاع. إذا لم تتمكن أنظمة الذكاء الاصطناعي لديك من إثبات العدالة والشفافية، فستواجه عمليات تدقيق إلزامية، وتقييمات أثر، وإجراءات إنفاذ محتملة بموجب القواعد الفيدرالية وقواعد الولايات الجديدة.
• مخاطر التقاضي حقيقية. صنفت خوارزمية شيكاغو 96% من أعضاء العصابات المشتبه بهم على أنهم من السود أو اللاتينيين. وهذا التفاوت الديموغرافي يفتح الباب أمام دعاوى قضائية تتعلق بالحقوق المدنية. وتواجه أنظمة الذكاء الاصطناعي لديك التدقيق ذاته إذا أفرزت نتائج غير متكافئة.
• مخاطر السمعة تتفاقم. أمضى قسم شرطة لوس أنجلوس عقداً من الزمن في الدفاع عن نظام «ثبّت الأنماط القائمة» بدلاً من إنتاج رؤى جديدة. وكل عام من التأخير في معالجة انحياز الذكاء الاصطناعي يزيد من حجم تعرضك للمخاطر.
• المساءلة على مستوى مجلس الإدارة أصبحت واقعاً. يحدد إطار عمل إدارة مخاطر الذكاء الاصطناعي الصادر عن المعهد الوطني للمعايير والتقنية (NIST) الآن التوقعات الأساسية لحوكمة الذكاء الاصطناعي. وسيُسأل مجلس إدارتك عن كيفية إدارتك للمخاطر الخوارزمية.

زادت الهجمات السيبرانية المدفوعة بالذكاء الاصطناعي بنسبة 300% بين عامي 2020 و2023. اجمع بين هذا الخطر الأمني ومسؤولية الانحياز، وستجد أمامك تحدياً في الحوكمة يجب أن يتصدر جدول أعمال كل مسؤول إدارة مخاطر.

ما الذي يحدث فعلاً خلف الكواليس

الفشل الجوهري في هذه الأنظمة له اسم محدد: حلقة التغذية الراجعة الجامحة. وإليك كيف تعمل بلغة واضحة ومبسطة.

تخيل أنك تفحص مطعماً واحداً فقط بحثاً عن المخالفات الصحية، وتجد مخالفات هناك في كل مرة، بينما لا تفحص أبداً المطعم المقابل في الجهة الأخرى من الشارع. تُثبت بياناتك الآن أن المطعم الأول هو الوحيد غير الآمن. لكنك لم تتعلم أي شيء حقيقي — بل أكدت نمط التفتيش الخاص بك فحسب.

هذا تماماً ما حدث مع الشرطة التنبؤية؛ إذ أرسلت الخوارزمية مزيداً من الضباط إلى الأحياء التي شهدت تاريخياً أعداد اعتقالات مرتفعة. والمزيد من الضباط عنى المزيد من التوقيفات، والمزيد من التوقيفات عنى المزيد من الاعتقالات على مخالفات طفيفة. وغذّت تلك الاعتقالات الجديدة النظام من جديد بوصفها «أدلة» جديدة على أن الحي خطير، وتكررت الدورة باستمرار.

في كاليفورنيا، تروي البيانات القصة بوضوح: فقد تم توقيف الأفراد السود بتكرار يزيد بنسبة 126% عما تتوقعه نسبتهم السكانية، وخضع الأفراد من الأمريكيين الأصليين والسود للتفتيش بمعدلات بلغت 22% و19%، مقارنة بـ 12% للأفراد البيض. ومع ذلك، عثر الضباط على مواد مهربة خلال تلك التفتيشات بنسب أقل مما عثروا عليه عند تفتيش الأفراد البيض.

لم يخلق الذكاء الاصطناعي الانحياز من العدم، بل ورث بيانات منحازة — ما يسميه الباحثون «البيانات غير النظيفة» — وضخّمها. وحوّلت الخوارزمية القرارات البشرية الذاتية إلى ما بدا وكأنه رياضيات موضوعية. ووثقت المنظمات الحقوقية كيف يجعل هذا «الغسيل التقني» (tech-washing) التمييز أصعب في الرؤية وأصعب في الطعن، لا سيما في أنظمة «الصندوق الأسود» حيث يُخفى المنطق بوصفه أسراراً تجارية خاصة.

تعمل معظم أنظمة الذكاء الاصطناعي التجارية بهذه الطريقة؛ حتى إن الإدارة التي تستخدمها قد لا تفهم كيف تصل النماذج إلى استنتاجاتها. وهذا يخلق ما تسميه الورقة البيضاء فراغاً في المساءلة — حيث تستمر الأخطاء لسنوات قبل أن يكتشفها أحد.

ما الذي ينجح (وما الذي لا ينجح)

لنبدأ بما يفشل.

أغلفة LLM البسيطة. هذه عمليات تكامل أولية تضع واجهة مستخدم فوق نموذج ذكاء اصطناعي للأغراض العامة مثل GPT-4 أو Claude. وهي ترث المشكلات نفسها التي حكمت على الشرطة التنبؤية بالفشل: انعدام المعرفة الخاصة بالمجال، وغياب الشفافية، والميل إلى عكس انحيازات بيانات التدريب. وفي الاختبارات الأمنية، حقق وكيل مغلف بسيط دقة لم تتجاوز 51% في المهام الخاصة بالمجال.

عمليات التدقيق لمرة واحدة. عملت قائمة الحرارة في شيكاغو لما يقرب من عقد من الزمان قبل أن توثق عمليات التدقيق الرسمية إخفاقاتها. والتدقيق لمرة واحدة ليس استراتيجية؛ إذ تتغير أنظمة الذكاء الاصطناعي لديك بتغير البيانات. وما اجتاز فحوص العدالة قبل ستة أشهر قد لا يجتازها اليوم.

محاذاة السلامة وحدها. غالباً ما تحمل نماذج الذكاء الاصطناعي القياسية حواجز حماية مدمجة للسلامة تمنعها من اتخاذ مواقف حازمة بشأن الأسئلة المعقدة — وهو ميل يُوصف بـ «الوقوف على الحياد». وفي القرارات عالية المخاطر مثل المراجعة القانونية أو الاكتتاب المالي، فإن الذكاء الاصطناعي الذي لا يستطيع منحك إجابة قاطعة وقائمة على الأدلة يُعد عبئاً والتزاماً سلبياً، وليس أصلاً نافعاً.

إليك ما ينجح فعلياً — نهج من ثلاث خطوات يمكنك تقييمه:

1. المدخلات النظيفة. قبل بناء أي نموذج ذكاء اصطناعي أو نشره، دقق بياناتك للتأكد من جودتها وصلاحيات الوصول إليها وخلوها من الانحياز التاريخي. وحدد ما إذا كانت بيانات التدريب تمثل فئات معينة أو نتائج معينة تمثيلاً مفرطاً. وإذا كانت الشرطة التنبؤية قد علمتنا شيئاً، فهو أن المدخلات المنحازة تضمن مخرجات منحازة. وعليك أيضاً اكتشاف «ذكاء الظل الاصطناعي» (Shadow AI) — أدوات الذكاء الاصطناعي غير المصرح بها التي يستخدمها موظفوك بالفعل، والتي وجدتها مايكروسوفت لدى 78% من مستخدمي الذكاء الاصطناعي في عام 2024.

2. الاستدلال المنظم. استبدل التخمين القائم على نموذج واحد بأنظمة متعددة الطبقات. تستخدم هذه الأنظمة وكلاء قابلين للتركيب — وهي مكونات ذكاء اصطناعي متخصصة تتعامل مع أجزاء مختلفة من المشكلة — إلى جانب سير عمل منظم وقواعد معرفية خاصة بالمجال. وبدلاً من مطالبة نموذج عام واحد بالقيام بكل شيء، تبني نظاماً تدقق فيه كل طبقة عمل الطبقات الأخرى. وفي الاختبارات المرجعية، حقق هذا النهج دقة تصنيف بلغت 89% مقابل 51% للأغلفة البسيطة.

3. المراقبة المستمرة ومسارات التدقيق. انشر نمذجة الظل لمقارنة مخرجات النماذج الجديدة بالخطوط المرجعية المعتمدة في الوقت الفعلي. ونفذ تمارين الفريق الأحمر (red teaming) التي تحاكي أسوأ السيناريوهات. وتتبع انحراف النموذج (model drift) — وهو التراجع التدريجي في أداء الذكاء الاصطناعي مع تغير ظروف العالم الحقيقي. ويجب أن يولد كل قرار يتخذه الذكاء الاصطناعي لديك مساراً موثقاً يمكن لفريق الامتثال مراجعته ولهيئاتك التنظيمية التفتيش عليه.

مسار التدقيق هو ما يغير كل شيء بالنسبة لفرق الامتثال والفرق القانونية لديك. فعندما تسأل هيئة تنظيمية عن كيفية وصول الذكاء الاصطناعي لديك إلى قرار محدد، تحتاج إلى إظهار البيانات التي استخدمها، والعوامل التي رجحها، والسبب وراء اختياره لنتيجة دون أخرى. ويمنحك الذكاء الاصطناعي القابل للتفسير (Explainable AI) — حيث يمكنك رؤية الخصائص مثل الدخل أو الموقع الجغرافي أو الأنماط التاريخية التي قادت إلى التنبؤ — تلك الأدلة. ودونه، فإنك تشغل النوع نفسه من الصندوق الأسود الذي اضطرت شيكاغو ولوس أنجلوس في نهاية المطاف إلى إيقاف تشغيله.

عمليات تدقيق العدالة وتخفيف الانحياز يجب إدماجها في دورة حياة الذكاء الاصطناعي لديك منذ اليوم الأول، لا إضافتها لاحقاً كملحق بعدي. وبالنسبة للمؤسسات في القطاع الحكومي والعام، لا يمكن للمخاطر أن تكون أعلى من ذلك — فالتدقيق الدستوري ينطبق على كل قرار خوارزمي يمس حقوق الأفراد.

وينبغي أن تتضمن استراتيجية الذكاء الاصطناعي لديك أيضاً المراقبة المستمرة ومسارات التدقيق الموثقة حتى تتمكن من إثبات الامتثال في أي وقت، وليس فقط عند الإطلاق.

للاطلاع على التحليل التقني الكامل وراء هذه التوصيات، اقرأ التحليل التقني الكامل أو استكشف النسخة التفاعلية.