للمستشارين القانونيين والشؤون القانونية4 دقيقة قراءة

أدوات التوظيف بالذكاء الاصطناعي تؤتمت الانحياز. إليك الحل.

تفضل النماذج اللغوية الكبيرة الأسماء المرتبطة بالبيض بنسبة 85% من الوقت — وقد يؤدي الذكاء الاصطناعي للتوظيف لديك إلى توسيع نطاق التمييز بدلاً من حله.

المشكلة

في عام 2018، ألغت أمازون أداة توظيف داخلية تعمل بالذكاء الاصطناعي بعد اكتشاف أنها عاقبت السير الذاتية التي تحتوي على كلمة "women's". خفّض النظام تصنيف خريجات الكليات النسائية بالكامل. لم يبرمجها أحد لتكون متحيزة جنسياً. بل تعلّمت ببساطة من بيانات التوظيف على مدى عقد من الزمان في قطاع تقني يهيمن عليه الذكور أن "كون المرشح ذكراً" يُنبئ بـ"توظيفه". أتمت الذكاء الاصطناعي انحيازات مسؤولي التوظيف البشريين السابقين — على نطاق واسع، وبكفاءة لا ترحم.

لم يكن فشل أمازون مجرد خلل عابر منفصل. بل كشف عن عيب هيكلي في طريقة عمل معظم أنظمة الذكاء الاصطناعي للتوظيف. تدرس هذه الأنظمة قرارات التوظيف التاريخية لديك وتتعلم محاكاتها. فإذا كانت مؤسستك قد وظّفت تاريخياً الرجال في الغالب للأدوار التقنية، فإن الذكاء الاصطناعي يلتقط هذا النمط. ويبدأ في تفضيل السمات المرتبطة بالذكور — رياضات معينة، جمعيات طلابية، مفردات لغوية محددة — ليس لأن هذه السمات مهمة، بل لأنها ترتبط بالتعيينات السابقة. إن الذكاء الاصطناعي لديك لا يفهم لماذا تم توظيف شخص ما؛ هو يرى فقط أنه تم توظيفه. وإذا كان مسؤولو التوظيف السابقون لديك منحازين — حتى دون وعي — فإن الذكاء الاصطناعي لديك يصبح ما يطلق عليه الباحثون "كبسولة انحياز"، مما يبلور الأحكام المسبقة القديمة ويطبقها على كل متقدم جديد.

تفاقمت المشكلة ولم تتحسن. فالموجة الأخيرة من أدوات التوظيف بالذكاء الاصطناعي عبارة عن واجهات سطحية مبنية فوق النماذج اللغوية الكبيرة ذات الأغراض العامة. وتُدخل هذه الأدوات طبقة جديدة من المخاطر التي لم تحسب معظم المؤسسات حسابها.

لماذا يهم هذا عملك

إن التعرض المالي والقانوني هنا ملموس ومحدد. تأمل هذه الأرقام المستمدة من الأبحاث:

  • معدل تفضيل عرقي بنسبة 85%: في عمليات محاكاة فحص السير الذاتية، فضّلت النماذج اللغوية الكبيرة الأسماء المرتبطة بالبيض بنسبة 85% من الوقت — حتى عندما كانت المؤهلات متطابقة. وفي بعض جولات الاختبار، لم تُصنَّف أسماء الذكور السود في المرتبة الأولى على الإطلاق.
  • 1.5 ضعف إلى ضعفي الراتب السنوي: هذه هي التكلفة التقديرية لقرار توظيف خاطئ واحد. عندما يضيّق الذكاء الاصطناعي المنحاز مجموعة المواهب لديك، فأنت لا تخلق مخاطر قانونية فحسب — بل تفوت أصحاب الأداء العالي وتدفع تكاليف دوران الموظفين.
  • تقليل تسرب الموظفين بنسبة 23.9%: في إحدى دراسات الحالة، حدد التحليل السببي المحرك الحقيقي لتسرب الموظفين (نقص التدريب، وليس الراتب). وأدى التشخيص الصحيح إلى حل مستهدف ومنخفض التكلفة خفّض معدل التسرب بنحو الربع تقريباً.

تتزايد الضغوط التنظيمية بوتيرة سريعة. فقانون نيويورك المحلي 144 (NYC Local Law 144)، الساري منذ عام 2023، يتطلب تدقيقاً مستقلاً للانحياز لأي أداة توظيف آلية كل عام. ويصنف قانون الذكاء الاصطناعي في الاتحاد الأوروبي (EU AI Act) الذكاء الاصطناعي للتوظيف على أنه "عالي المخاطر" — على قدم المساواة مع الأجهزة الطبية. يجب على مؤسستك إثبات حوكمة البيانات، والإشراف البشري، وانعدام الانحياز. وإذا رفع مرشح مرفوض دعوى قضائية، فلن يكون "الكمبيوتر قال ذلك" دفاعاً قانونياً مقبولاً.

اسأل نفسك: هل يمكن لمورّد الذكاء الاصطناعي الحالي لديك أن يشرح بالضبط لماذا صنّف المرشح (أ) أعلى من المرشح (ب)؟ إذا كانت الإجابة لا، فلديك فجوة امتثال تتسع مع كل لائحة تنظيمية جديدة. يحتاج مجلس إدارتك، ومستشارك القانوني العام، ومستثمروك إلى معرفة أن هذا الخطر قائم.

ما الذي يحدث فعلاً خلف الكواليس

تعاني معظم أدوات التوظيف بالذكاء الاصطناعي من المشكلة الجذرية ذاتها: الخلط بين الارتباط والسببية. إليك مثالاً بسيطاً من الورقة البيضاء. قد يتعلم النموذج أن المرشحين الذين يلعبون رياضة اللاكروس يميلون إلى أن يكونوا من أصحاب الأداء العالي. لكن ممارسة اللاكروس لا تسبب الأداء العالي؛ بل هي مؤشر بديل (proxy) للحالة الاجتماعية والاقتصادية. فالعائلات الأكثر ثراءً تتحمل تكلفة معدات ومعسكرات اللاكروس، وترسل أطفالها إلى جامعات النخبة، وتوفر جامعات النخبة شبكات علاقات تؤدي إلى وظائف مرموقة. عندما يستخدم الذكاء الاصطناعي لديك "اللاكروس" كإشارة توظيف، فهو يختار بناءً على الثروة وليس المهارة. ويطلق الباحثون على ذلك "الخطوط الحمراء الخوارزمية" (algorithmic redlining).

فكر في الأمر مثل طبيب يلاحظ أن المرضى الذين يحملون مظلات يميلون إلى الإصابة بنزلات البرد. سيصف النظام القائم على الارتباط "التوقف عن حمل المظلات" كعلاج. بينما يفهم النظام السببي السلسلة الحقيقية: فالطقس الممطر يسبب كلاً من حمل المظلات و الإصابة بنزلات البرد؛ والمظلة لا علاقة لها بالأمر. إن أدوات الذكاء الاصطناعي القياسية — خاصة أغلفة النماذج اللغوية الكبيرة — تعجز عن إجراء هذا التمييز، وتتعامل مع كل نمط إحصائي على أنه ذو مغزى، بما في ذلك الأنماط التي تُشفّر العرق والجنس والطبقة الاجتماعية.

تضيف الأدوات القائمة على النماذج اللغوية الكبيرة نمط فشل آخر: الهلوسة. صُممت هذه النماذج لإنتاج نصوص تبدو معقولة ظاهرياً، وليس حقائق موثقة. قد يستنتج النموذج اللغوي الكبير أن المرشح يمتلك مهارة معينة لمجرد ظهور كلمات ذات صلة قريبة منها في السيرة الذاتية، بل قد يختلق مؤهلاً لجعل الملف الشخصي يبدو أكثر "انسيابية". عندما تستند قرارات التوظيف لديك إلى بيانات ملفقة، فأنت تبني قوتك العاملة على الرمال. وبما أن النماذج اللغوية الكبيرة هي أنظمة "صندوق أسود" بمليارات المعلمات، فلا أحد — ولا حتى المورّد — يمكنه شرح الأوزان الرياضية الدقيقة الكامنة وراء أي قرار منفرد.

ما الذي ينجح (وما الذي لا ينجح)

لنبدأ بما يفشل.

"العدالة عبر عدم المعرفة" — مجرد إزالة الحقول المحمية: إن حذف عمود "الجنس" أو "العرق" من بياناتك لا يجدي نفعاً. لا يزال النموذج يلتقط مؤشرات بديلة — مثل الرموز البريدية، وأسماء المدارس، والهوايات — التي ترتبط بالبيانات الديموغرافية، مما يؤدي إلى تسرب الانحياز مجدداً من الباب الخلفي.

ترقيع الانحياز اللاحق — تصحيح المخرجات بعد وقوعها: يحاول العديد من الموردين "ترقيع" الانحياز بعد تدريب النموذج بالفعل. يشبه هذا طلاء أساس متصدع؛ فالمشكلة الهيكلية تظل قائمة، وتظهر في اللحظة التي يواجه فيها النموذج بيانات جديدة.

الفحص عبر أغلفة النماذج اللغوية الكبيرة — إرسال السير الذاتية إلى ذكاء اصطناعي للأغراض العامة: أنت ترث كل انحياز مدمج في بيانات التدريب المجمعة على نطاق الإنترنت بأكمله. لا يمكنك التحكم في الأوزان، ولا يمكنك تدقيق المنطق، ولا يمكنك ضمان الامتثال لقانون نيويورك المحلي 144 أو قانون الذكاء الاصطناعي في الاتحاد الأوروبي.

إليك ما ينجح بالفعل — نهج سببي مبني في ثلاث خطوات:

  1. رسم خريطة سلسلة السبب والنتيجة (المدخلات). بناء نموذج سببي هيكلي — وهو رسم بياني شفاف يوضح كيف ترتبط المتغيرات مثل الرمز البريدي، والتعليم، والمهارات فعلياً بالأداء الوظيفي. هذا هو النقيض التام للصندوق الأسود؛ إذ يمكنك رؤية كل مسار. على سبيل المثال، يرتبط الرمز البريدي بوقت التنقل (عامل مشروع) و بالبيانات الديموغرافية (مؤشر تمييزي بديل)، حيث يرسم النموذج كلا المسارين بشكل صريح.

  2. حظر مسارات الانحياز أثناء التدريب (المعالجة). يستخدم النظام "جزاء العدالة" — وهو تكلفة رياضية تُطبق في كل مرة يبدأ فيها النموذج بالاعتماد على المؤشرات البديلة الديموغرافية. إذا بدأ النموذج في استخدام سمات تتنبأ بعرق المرشح أو جنسه، يتم تفعيل الجزاء. يُجبر النموذج على البحث عن إشارات أخرى — كالمهارات الفعلية، والخبرة ذات الصلة، والنتائج القابلة للقياس — التي تتنبأ بالأداء دون الكشف عن البيانات الديموغرافية. فكر في الأمر كتدريب كلب على جلب الجريدة دون تمزيقها؛ إذا مزق الجريدة، لا يحصل على مكافأة، وفي النهاية يتعلم جلبها سليمة تماماً.

  3. اختبار الإجهاد بالتوائم الاصطناعية (المخرجات). قبل النشر، يولد النظام آلاف الأزواج من المرشحين الافتراضيين المضادين للواقع. خذ سيرة ذاتية حقيقية، وأنشئ نسخة مطابقة لها مع تغيير الاسم والضمائر فقط — من اسم مرتبط بالذكور إلى اسم مرتبط بالإناث. أدخل السيرتين إلى النموذج؛ إذا تباينت الدرجات، يفشل النموذج في التدقيق ويعود لمزيد من إزالة الانحياز، ويستمر هذا حتى تتقارب الدرجات.

والنتيجة هي نظام جاهز للتدقيق بحكم تصميمه. يحصل فريق الامتثال لديك على "صندوق زجاجي" — رسم بياني سببي كامل يوضح العوامل التي قادت إلى كل قرار ودليلاً رياضياً على أن السمات المحمية كان وزنها صفراً. عندما يسأل المدقق أو الجهة التنظيمية عن كيفية اتخاذك لقرار التوظيف، يمكنك الإشارة إلى الرسم البياني والقول: "لقد رفضنا هذا المرشح بسبب فجوة في المهارات. إليكم الدليل على أن العرق لم يكن له أي تأثير على الإطلاق". وهذا يحول الذكاء الاصطناعي لديك من عبء ومسؤولية قانونية إلى درع قانوني واقٍ.

يتصل هذا النهج أيضاً مباشرةً بقدرات تدقيق العدالة والحد من الانحياز لديك، وبمنظومة تقنية الموارد البشرية والمواهب الأوسع نطاقاً في مؤسستك. وبالنسبة للمؤسسات التي تبني هذه الأنظمة، فإن هندسة الحلول والتنفيذ المرجعي توفر المخطط التوجيهي للنشر.

يمكنك قراءة التحليل التقني الكامل أو استكشاف النسخة التفاعلية للحصول على تفاصيل أعمق حول إطار النمذجة السببية.

أبرز النقاط

  • فضلت النماذج اللغوية الكبيرة الأسماء المرتبطة بالبيض بنسبة 85% من الوقت في اختبارات فحص السير الذاتية — حتى مع تطابق المؤهلات.
  • ألغت أمازون أداة التوظيف بالذكاء الاصطناعي الخاصة بها بعد أن تعلمت معاقبة السير الذاتية التي تحتوي على كلمة "women's" استناداً إلى عقد من بيانات التوظيف المنحازة.
  • يتطلب قانون نيويورك المحلي 144 الآن تدقيقاً سنوياً مستقلاً للانحياز لأدوات التوظيف الآلية، ويصنف قانون الذكاء الاصطناعي في الاتحاد الأوروبي الذكاء الاصطناعي للتوظيف على أنه عالي المخاطر.
  • يستخدم الذكاء الاصطناعي السببي خرائط شفافة للسبب والنتيجة وجزاءات العدالة أثناء التدريب لحظر المؤشرات البديلة الديموغرافية — مما يجعل إزالة الانحياز قابلة للإثبات رياضياً.
  • يكلف قرار التوظيف الخاطئ الواحد من 1.5 ضعف إلى ضعفي الراتب السنوي للموظف؛ والذكاء الاصطناعي المنحاز يضيق مجموعة المواهب لديك ويزيد من التعرض للمساءلة القانونية وتكاليف دوران الموظفين.

الخلاصة

تنسخ معظم أدوات التوظيف بالذكاء الاصطناعي انحيازات مسؤولي التوظيف السابقين لديك وتوسع نطاقها لتشمل كل متقدم. يستبدل الذكاء الاصطناعي السببي نسخ الأنماط بنماذج سببية شفافة عمياء رياضياً عن البيانات الديموغرافية وجاهزة للتدقيق من اليوم الأول. اسأل المورّد لديك: 'إذا غيرنا فقط اسم المرشح وجنسه في سيرة ذاتية متطابقة، فهل يمكنك إثبات أن نظامك يعطي نفس الدرجة — وإظهار الحسابات الرياضية لنا؟'

الأسئلة الشائعة

الأسئلة المتكرّرة

هل يمكن الوثوق بالذكاء الاصطناعي في قرارات التوظيف؟

لا يمكن الوثوق بمعظم أدوات التوظيف بالذكاء الاصطناعي لأنها تنسخ انحيازات مسؤولي التوظيف البشريين السابقين. فقد فضلت النماذج اللغوية الكبيرة الأسماء المرتبطة بالبيض بنسبة 85% من الوقت في عمليات محاكاة فحص السير الذاتية، حتى مع تطابق المؤهلات. يقدم الذكاء الاصطناعي السببي نهجاً مختلفاً من خلال رسم خرائط علاقات السبب والنتيجة واستخدام الجزاءات الرياضية لحظر المؤشرات البديلة الديموغرافية أثناء التدريب، مما ينتج قرارات قابلة للتدقيق وعادلة بصورة قابلة للإثبات.

ما هو قانون نيويورك المحلي 144 وهل ينطبق على أدوات التوظيف بالذكاء الاصطناعي؟

يتطلب قانون نيويورك المحلي 144، الساري منذ عام 2023، من أي صاحب عمل يستخدم أداة آلية لاتخاذ قرارات التوظيف إجراء تدقيق مستقل للانحياز خلال العام الماضي. ويفرض القانون حساب نسب التأثير لمقارنة معدلات الاختيار عبر المجموعات المحمية. يفشل العديد من موردي الذكاء الاصطناعي القائم على الصندوق الأسود في هذه التدقيقات لأنهم لا يستطيعون التحكم في كيفية ترجيح نماذجهم للسمات المختلفة.

كيف يزيل الذكاء الاصطناعي السببي الانحياز من التوظيف؟

يبني الذكاء الاصطناعي السببي نماذج شفافة للسبب والنتيجة تميز بين عوامل العمل المشروعة (مثل وقت التنقل) والمؤشرات البديلة التمييزية (مثل الرمز البريدي كبديل للعرق). وأثناء التدريب، يُطبق جزاء العدالة كلما بدأ النموذج في الاعتماد على سمات تتنبأ بالبيانات الديموغرافية للمرشح. ثم يخضع النظام لاختبار إجهاد بآلاف السير الذاتية للتوائم الاصطناعية حيث تختلف الأسماء والضمائر فقط، مما يضمن عدم تباين الدرجات بناءً على الإشارات الديموغرافية.

ابنِ ذكاءك الاصطناعي بثقة.

تعاون مع فريق يمتلك خبرة عميقة في بناء الجيل القادم من الذكاء الاصطناعي للمؤسسات. دعنا نساعدك على تصميم استراتيجية ذكاء اصطناعي جديرة بثقتك وبنائها وتطبيقها.

Veriprajna استشارات التقنيات العميقة متخصصة في بناء أنظمة الذكاء الاصطناعي الحرجة للسلامة في مجالات الرعاية الصحية والتمويل والقطاعات التنظيمية. تُقيَّم بنياتنا المعمارية وفق البروتوكولات المعتمدة مع توثيق شامل للامتثال.