أزمة النزاهة الخوارزمية: هندسة أنظمة ذكاء اصطناعي مرنة في عصر المسؤولية البيومترية

انتقل إضفاء الطابع المؤسسي السريع للذكاء الاصطناعي داخل التجارة العالمية من مرحلة التجريب المستجد إلى مرحلة الاعتماد الحرج للمهام. غير أنه مع إدماج المنظمات المتزايد لأنظمة اتخاذ القرار المستقلة في نوى عملياتها، ظهرت «فجوة موثوقية» تتسع بين القدرات النظرية للذكاء الاصطناعي وأدائه في العالم الحقيقي. تفحص هذه الورقة البيضاء، من تأليف فرق الهندسة والاستشارات المتخصصة في المخاطر لدى Veriprajna، الإخفاقات المنظومية لهندسات الذكاء الاصطناعي «الهشة» من خلال عدسة حادثين تأسيسيين: حظر لجنة التجارة الفيدرالية (FTC) لمدة خمس سنوات على أنظمة التعرف على الوجه لدى Rite Aid، والخطأ الكارثي في التعرف على Harvey Murphy. تؤكد هذه الحالات واقعاً ملحّاً: نموذج «الغلاف» السائد لنشر الذكاء الاصطناعي—الذي يتميز بطبقة رقيقة من الواجهة فوق واجهات برمجة تطبيقات طرف ثالث—غير كافٍ جوهرياً لبيئات المؤسسات عالية المخاطر. تتطلب المرونة التشغيلية الحقيقية حلول ذكاء اصطناعي عميق تتسم بقياس عدم اليقين، وحوكمة متعددة الوكلاء، وهندسة بيومترية صارمة.

تشريح الإهمال المؤسسي: الحظر الإداري على Rite Aid

في ديسمبر 2023، اتخذت لجنة التجارة الفيدرالية (FTC) خطوة غير مسبوقة بحظر شركة Rite Aid Corporation من استخدام تقنية التعرف على الوجه (FRT) لأغراض الأمن والمراقبة لمدة خمس سنوات.¹ لم يكن هذا الإجراء الإنفاذي مجرد استجابة لأخطاء تقنية معزولة، بل نقداً منظومياً لفشل استمر عقداً كاملاً في تطبيق ضمانات معقولة عند نشر الأنظمة البيومترية المؤتمتة. بين عامي 2012 و2020، نشرت Rite Aid مراقبة قائمة على الذكاء الاصطناعي عبر مئات مواقع البيع بالتجزئة بقصد ردع السرقة وتحديد «أشخاص محل اهتمام».² يشكل الإخفاق الناتج تحذيراً قاطعاً للمؤسسات التي تعامل الذكاء الاصطناعي كأداة «جاهزة للتشغيل» بدلاً من كونه تخصصاً هندسياً معقداً.

فخ المشتريات والاعتماد على الموردين

كان الخطأ التأسيسي في نشر Rite Aid متجذراً في استراتيجية الشراء والتكامل. حصلت الشركة على قدرات التعرف على الوجه من موردَين من طرف ثالث نصّت عقودهما صراحة على التنصل من أي ضمان بشأن دقة النتائج أو موثوقيتها.³ هذه سمة مميزة لنموذج الاعتماد على «الغلاف»: تتحمل المنظمة المنفّذة المسؤولية الكاملة عن مخرجات نظام لا تفهمه ولا تتحكم فيه.⁴

فشلت Rite Aid في إجراء فحوصات صارمة لسلامة المنتج أو الاستفسار عن مدى اختبار الموردين لتقنيتهم من حيث الدقة.² خلق هذا الافتقار إلى التحقق الداخلي بيئة «صندوق أسود» كان فيها بائع التجزئة أعمى عن التحيزات المتأصلة ومعدلات الخطأ في البرمجيات التي ينشرها. علاوة على ذلك، فشلت الشركة في تطبيق ضوابط جودة الصور، مما سمح باستخدام لقطات ثابتة منخفضة الجودة من كاميرات المراقبة وحتى صور الهواتف المحمولة كصور تسجيل.³ في الهندسة البيومترية، العلاقة بين جودة المدخلات وموثوقية المخرجات غير خطية؛ واستخدام صور متدهورة يزيد احتمال المطابقات الإيجابية الكاذبة بشكل أسي.⁶

نقاط الفشل المنظومي لدى Rite Aid	العاقبة التشغيلية
إخلاءات ضمان المورد	نَقَلَت كل المخاطر التقنية والقانونية إلى بائع التجزئة.3
غياب اختبار الدقة	نشر نماذج غير معايرة في بيئات عالية الحركة.2
جودة مدخلات متدهورة	معدلات عالية للتحديد الإيجابي الكاذب (FPIR) من لقطات كاميرات المراقبة.3
غياب المراقبة	استخدام مستمر لنماذج متحيزة دون تدخل.2
فجوة إشراف تنفيذي	انتهاك أمر أمن بيانات لعام 2010.1

التفاوت الديموغرافي والتحيز الخوارزمي

كشفت النتائج الإحصائية لنظام Rite Aid غير المراقب عن انحراف ديموغرافي عميق. زعمت شكوى FTC أن التقنية أنتجت آلاف المطابقات الإيجابية الكاذبة، مع أثر غير متناسب على النساء وذوي البشرة الملونة.² تحديداً، كان نظام FRT أكثر احتمالاً بكثير لإطلاق تنبيهات كاذبة في المتاجر الواقعة في مجتمعات ذات أغلبية سوداء وآسيوية مقارنة بالمجتمعات ذات الأغلبية البيضاء.²

لم يكن هذا التحيز شذوذاً بل نتيجة مباشرة لاستخدام نماذج جاهزة مدرَّبة على مجموعات بيانات غير تمثيلية.⁸ بدون إزالة تحيز خصومي مخصصة أو دمج سمات متعددة المقاييس—وهي تقنيات تدعو إليها Veriprajna للنشر عالي المخاطر—عادت النماذج إلى التحيزات المتأصلة في أوزان تدريبها.⁸ كانت العاقبة في العالم الحقيقي سلسلة من انتهاكات حقوق الإنسان: موظفون في المتاجر، بناءً على تنبيهات مؤتمتة منخفضة الثقة، تابعوا زبائن أبرياء وفتشوهم واتهموهم علناً بالسرقة.² في بعض الحالات، طابق النظام أفراداً مع «أشخاص محل اهتمام» سُجّلوا بناءً على نشاط وقع على بعد آلاف الأميال، أو أشار إلى الشخص نفسه في عشرات المتاجر المختلفة عبر البلاد في آن واحد.²

مبدأ تجريد النموذج

تقدّم تسوية FTC أداة تنظيمية جديدة حاسمة: تجريد النموذج. يُطلب من Rite Aid ليس فقط وقف استخدام التقنية بل حذف كل البيانات البيومترية «المكتسبة بصورة غير مشروعة» وتدمير أي نماذج أو خوارزميات ذكاء اصطناعي مشتقة من تلك المعلومات.³ يمثّل هذا التفويض بـ«إلغاء تعلّم» النماذج خسارة تشغيلية هائلة ويبرز خطر بناء قدرات مؤسسية على أساس بيانات غير ممتثلة.¹¹ يجب على أي منظمة تنشر الذكاء الاصطناعي اليوم أن تضمن أن هندستها تسمح بالإزالة الجراحية لتأثير بيانات محددة، وهي قدرة تفتقر إليها معظم الأغلفة البسيطة.¹²

مسؤولية الخطأ في التعرف: قضية Harvey Murphy

بينما توضّح قضية Rite Aid الفشل التنظيمي المنظومي، تُظهر الدعوى القضائية في يناير 2024 المتعلقة بـ Harvey Eugene Murphy Jr. المسؤولية الشخصية والمدنية الكارثية للخطأ الخوارزمي. اعتُقل Murphy، جدّ في الحادية والستين، خطأً وسُجن عشرة أيام بتهمة سطو لم يرتكبه، استناداً فقط إلى مطابقة تعرف على الوجه خاطئة بالذكاء الاصطناعي من نظام لدى Macy’s وSunglass Hut.¹³

فشل التعاون بالذكاء الاصطناعي عبر المؤسسات

بدأ الحادث بعملية سطو في يناير 2022 في Sunglass Hut بمنطقة Houston. تعاونت EssilorLuxottica، الشركة الأم لـ Sunglass Hut، مع شريكها في التجزئة Macy’s لاستخدام أدوات التعرف على الوجه لدى Macy’s على لقطات مراقبة منخفضة الجودة للجريمة.¹⁵ حدّد النظام Murphy بوصفه الجاني، وسُلّمت هذه المطابقة «الإيجابية» إلى الشرطة كدليل قاطع.¹³

كان الفشل التقني هنا متعدد الأوجه. أولاً، استُخدمت البرمجيات على صور غير مناسبة بطبيعتها للمطابقة البيومترية.¹⁴ ثانياً، طابق النظام على الأرجح لقطات المراقبة مع قاعدة بيانات تحتوي صورة حجز Murphy من مخالفات غير عنيفة تعود لعقود سابقة.¹³ أدخل هذا مشكلة «فجوة العمر»: أظهرت الدراسات أن مطابقة صور حالية مع صور التُقطت قبل سنوات أو عقود يمكن أن تسفر عن معدلات إيجابية كاذبة تصل إلى 90%.¹⁴

معلمات الحادث: قضية Harvey Murphy	التفاصيل
المطالبة الأساسية	$10 million تعويضات عن الاعتقال الخاطئ والإصابة الشخصية.13
الفشل التقني الجوهري	خطأ في التعرف عبر برمجيات تعرف على الوجه المعرّضة للخطأ.14
جودة المدخلات	لقطات مراقبة منخفضة الدقة وحبيبية.15
حجة الغياب	إثبات الإقامة في California وقت سطو Texas.13
العاقبة الإنسانية	اعتداء جنسي وحشي وإصابة جسدية أثناء الاحتجاز الخاطئ.13

الثقة التلقائية ومغالطة «الصندوق الأسود»

تسلّط قضية Murphy الضوء على خطر «الثقة التلقائية» في الذكاء الاصطناعي. تزعم الدعوى أن Sunglass Hut وMacy’s ضلّلتا جهات إنفاذ القانون بتقديم مطابقة مؤتمتة كحقيقة محققة.¹⁵ أدى ذلك إلى توقف الشرطة عن التحقيق والاعتماد على إجراء تعرّف ملوَّث.¹⁶ هذه الظاهرة—حيث يُعامل مخرج آلة بسلطة أكبر من حجج الدفاع البشرية—موضوع متكرر في انتهاكات الحقوق المدنية الناجمة عن الذكاء الاصطناعي.¹⁶ لم يُبرَّأ Murphy في النهاية إلا بعد أن أكّد مكتب المدعي العام أنه كان في Sacramento بولاية California يوم سطو Houston.¹³ غير أنه بحلول تصحيح الخطأ كان Murphy قد تعرض لاعتداء جنسي وضُرب في السجن، مما خلّف له إصابات مدى الحياة.¹³

بالنسبة للمؤسسات، قضية Murphy تذكير صارخ بأن مسؤولية فشل الذكاء الاصطناعي تمتد بعيداً خارج النطاق الرقمي. يمكن أن يؤدي «الاستخدام المهمل» لبرمجيات التعرف على الوجه إلى دعاوى بملايين الدولارات وأضرار دائمة بالسمعة.¹⁴ من مسؤولية مستشار الذكاء الاصطناعي والمنظمة المنفّذة ضمان خضوع كل إشارة مؤتمتة للتحقق الصارم عبر الإنسان في الحلقة (HITL)، خاصة عندما تكون الحرية الشخصية على المحك.¹⁸

الفاصل المعماري: الذكاء الاصطناعي العميق مقابل غلاف واجهة البرمجة

الإخفاقات الموصوفة أعلاه أعراض لاتجاه أوسع في صناعة الذكاء الاصطناعي: انتشار «أغلفة الذكاء الاصطناعي». الغلاف في جوهره لوحة تحكم تحمل علامة تجارية تجلس فوق نموذج طرف ثالث (مثل تلك التي توفرها OpenAI أو Anthropic أو موردو البيومترية المتخصصون)، ترسل بيانات المستخدم عبر واجهة برمجة التطبيقات وتعيد المخرج الخام.⁴ تتموضع Veriprajna كمقدّم حلول «ذكاء اصطناعي عميق» تحديداً لأن نموذج الغلاف هشّ جوهرياً أكثر من اللازم لتطبيقات بمستوى المؤسسات.

هشاشة نموذج الغلاف

تعاني الأغلفة من نموذج أعمال وتقني غير متماثل. تستفيد من الاستخدام والتوزيع لكنها لا تتحكم في البنية التحتية الأساسية.⁴ يؤدي ذلك إلى عدة مخاطر حرجة:

1.​ الانحباس لدى المورد والانقطاعات: منصة الغلاف تعتمد كلياً على زمن التشغيل وتسعير المزود الأولي. إذا تعرض مورد مثل VAPI أو Retell لانقطاع، تتوقف كل وكالة تستخدم ذلك الغلاف في آن واحد.⁵

2.​ فجوات قابلية التدقيق: عندما تعتمد مؤسسة على نموذج «صندوق أسود» من طرف ثالث، لا يمكنها شرح أو تدقيق كيفية توليد النتائج. هذه مسؤولية كبيرة أثناء عمليات تدقيق الامتثال أو النزاعات القانونية.¹²

3.​ عجز الحوكمة: تفتقر الأغلفة البسيطة إلى البنية اللازمة لفرض ترتيب العمليات أو الصلاحيات. غالباً ما تعتمد على «مطالبات عملاقة»—حشر كل القواعد والمستندات في مطالبة واحدة—آملة أن يؤدي النموذج بشكل صحيح.²⁰

4.​ الأمن وتسرب البيانات: قد تغذي الأغلفة دون قصد بيانات عملاء حساسة في خطوط تدريب نماذج طرف ثالث، مما ينتهك السرية ويخالف قوانين مثل GDPR أو HIPAA.¹²

الذكاء الاصطناعي العميق: فلسفة الأنظمة متعددة الوكلاء (MAS)

على النقيض من نهج الغلاف «جزء واحد يفعل كل شيء»، يستخدم حل الذكاء الاصطناعي العميق أنظمة متعددة الوكلاء (MAS). تعامل هذه الهندسة نموذج اللغة الكبير أو النموذج البيومتري كمكوّن واحد ضمن فريق من الوكلاء المتخصصين بمسؤوليات محددة.²⁰

نوع الوكيل	الوظيفة الاستراتيجية
وكيل التخطيط	يقرر سير العمل ويضمن استيفاء كل خطوات الامتثال.20
وكيل سير العمل	يفرض التسلسل الصحيح للعمليات (مثل: موافقة → تحقق → إجراء).20
وكيل الامتثال	يراقب المخرجات من حيث النبرة وانحراف السياسة والتعرض لكسر القيود.20
وكيل الاستجابة	يتفاعل مع المستخدم، مستمداً من خطوط RAG محققة.20
وكيل عدم اليقين	يقيس ثقة مخرج النموذج قبل التنفيذ.21

توفر هندسة MAS الحواجز الحتمية المطلوبة للبيئات عالية المخاطر. بدلاً من مطالبة نموذج واحد بـ«تحديد السارق وإخطار الأمن»، يستخدم النظام سلسلة من المتخصصين: وكيل يتحقق من جودة الصورة، وآخر ينفّذ المطابقة 1:N، وثالث يقيّم عدم يقين تلك المطابقة، ورابع يرفع الحالة للمراجعة البشرية إذا لم تُستوفَ العتبات.²⁰

علم عدم اليقين: من تقديرات النقطة إلى المخاطر الاحتمالية

كان فشلاً مركزياً في قضيتي Rite Aid وMacy’s التعامل مع مخرج الذكاء الاصطناعي كحقيقة ثنائية. في الواقع، كل مخرج ذكاء اصطناعي هو تقدير احتمالي. تنتقل حلول الذكاء الاصطناعي العميق إلى ما يتجاوز درجات الدقة البسيطة لتطبيق قياس قوي لعدم اليقين (UQ).²¹

عدم اليقين العشوائي مقابل المعرفي

يُصنَّف عدم اليقين في أنظمة الذكاء الاصطناعي عموماً إلى نوعين، ويجب معالجة كليهما لاعتبار النظام «آمناً»:

1.​ عدم اليقين العشوائي (Aleatoric): ينشأ من العشوائية الجوهرية أو الضوضاء في البيانات (مثل أخطاء المستشعرات، ضبابية الحركة، الإضاءة الضعيفة في متجر تجزئة). هذا النوع من عدم اليقين عادة غير قابل للاختزال—لن يصلح أي قدر من التدريب صورة تفتقد بيانات.²⁴

2.​ عدم اليقين المعرفي (Epistemic): ينبع من قيود النموذج أو نقص معرفته بسيناريو محدد (مثل مجموعة ديموغرافية لم يرها من قبل، أو وجه متقدّم في السن). يمكن تقليله بتوفير بيانات تدريب أكثر تمثيلاً.²⁴

تفشل الأنظمة الهشة في التمييز بينهما. قد تعني درجة ثقة عالية في نظام هش ببساطة أن النموذج «مفرط الثقة» بشأن تخمين. يستخدم نظام الذكاء الاصطناعي العميق تقنيات مثل الشبكات العصبية البايزية أو Monte Carlo Dropout لإنتاج توزيع احتمالي بدلاً من تقدير نقطة واحدة.²⁵

الإطار الرياضي للموثوقية

تدعو Veriprajna إلى استخدام التنبؤ المطابق (Conformal Prediction)، وهي خطوة معايرة تضمن أن يقع عدم اليقين في تنبؤات الذكاء الاصطناعي ضمن حدود مضمونة عند مستوى دلالة يحدده المستخدم.²¹ يتيح ذلك لصنّاع القرار فهم موثوقية التنبؤ قبل اتخاذ إجراء. على سبيل المثال، إذا حدّد نظام شخصاً بدرجة مطابقة 0.85، قد تكشف طبقة UQ أن «توزيع عدم اليقين» واسع، مما يعني أن 0.85 غير موثوق إحصائياً بسبب جودة الصورة المنخفضة.²¹

تمثّل هذه الصيغة الضمان بأن النتيجة الحقيقية ستُحتوى ضمن مجموعة التنبؤ باحتمال لا يقل عن ، حيث هو معدل الخطأ الذي يحدده المستخدم. تطبيق هذا المستوى من الصرامة الرياضية هو ما يفصل الحلول بمستوى المؤسسات عن أغلفة واجهات البرمجة البسيطة.²¹

البراديغمات التقنية: التعرف مفتوح المجموعة مقابل مغلق المجموعة

تمييز حاسم آخر في الهندسة البيومترية هو الفرق بين التعرف مغلق المجموعة ومفتوح المجموعة. معظم الأنظمة التجارية «الجاهزة» مُحسَّنة لمسائل المجموعة المغلقة—حالات يُفترض فيها أن الشخص الممسوح موجود حتماً في قاعدة البيانات (مثل فتح قفل هاتف).²⁷

تحدي «قائمة المراقبة» في التجزئة

في أمن التجزئة، المسألة شبه دائماً «مفتوحة المجموعة». الغالبية العظمى ممن يدخلون المتجر هم أشخاص «غير مقترنين»—ليسوا في قاعدة بيانات المجرمين.²⁷ سيحاول نموذج المجموعة المغلقة حتماً إيجاد «أفضل مطابقة» لكل شخص، مما يؤدي إلى آلاف الإيجابيات الكاذبة التي شوهدت لدى Rite Aid.²⁷

تستخدم حلول الذكاء الاصطناعي العميق دوال خسارة متخصصة، مثل خسارة التحديد-الكشف، لتحسين أداء المجموعة المفتوحة. تُدرَّب هذه النماذج ليس فقط على تحديد المطابقة بل على «رفض» الأفراد غير الموجودين في المعرض بدقة.²⁷

بروتوكول التعرف	الافتراض	المقياس الأساسي
مغلق المجموعة	كل شخص مستعلَم عنه موجود في المعرض.27	دقة الرتبة-1.30
مفتوح المجموعة	معظم الأشخاص المستعلَم عنهم غير معروفين/غير مقترنين.27	FNIR عند FPIR محدد.27

يتيح استخدام احتمالات Extreme Value Machine (EVM)، وهي مفتوحة المجموعة بتصميمها، رفضاً أفضل لـ«المجاهيل المجهولة»—أفراد لم يرَهم النظام من قبل ويجب ألا يطلقوا أي تنبيه أبداً.²⁹

المعايرة من أجل الثقة: دور NIST وFRVT

لمنع «الثقة التلقائية» التي أدت إلى اعتقال Harvey Murphy، يجب على المؤسسات الاعتماد على معايير قياس موحّدة. يُعد اختبار مورّدي التعرف على الوجه (FRVT) لدى المعهد الوطني للمعايير والتقنية (NIST) المعيار الذهبي العالمي لتقييم أداء خوارزميات التعرف على الوجه ودقتها وتحيزها.⁷

تحليل مقاييس NIST

توفر تقييمات NIST FRVT «بطاقات تقرير» مفصّلة للموردين، تقيس الأداء عبر مجموعات بيانات مختلفة:

●​ التحقق 1:1: مطابقة صورة مستعلَم عنها بصورة واحدة في المعرض (مثل مراقبة الحدود).⁷

●​ التحديد 1:N: البحث بصورة مستعلَم عنها مقابل قاعدة بيانات كبيرة (مثل قوائم مراقبة التجزئة).³¹

●​ مجموعات صور الحجز والحدود: تقييم الأداء على صور بمستويات متفاوتة من الجودة والتحكم.⁷

يقيس NIST تحديداً معدل عدم المطابقة الكاذبة (FNMR) عند معدل مطابقة كاذبة ثابت (FMR). لتطبيقات الأمن العالي، غالباً ما يُضبط FMR عند عتبة منخفضة جداً (مثل )، مما يعني أن النظام يعلن المطابقة فقط إذا كان احتمال الخطأ أقل من 1 في 1,000,000.⁷ يمكن النظر إلى فشل Rite Aid بوصفه فشلاً في ضبط ومراقبة هذه العتبات وفق معايير NIST الموحّدة.²

مقاييس الأداء الديموغرافي

والأهم أن NIST FRVT يتضمن مقاييس للأداء الديموغرافي، تُظهر مدى أداء الخوارزمية عبر الجنسين والأعمار وبلدان المنشأ المختلفة.⁷ هذه البيانات ضرورية لتحديد نوع التحيز العنصري الذي أدى إلى حظر FTC على Rite Aid. يجب على أي مؤسسة تنشر FRT أن تطلب من مورديها تقديم بطاقات تقرير محققة من NIST تُظهر أداءً منصفاً عبر الديموغرافيات الممثلة في متاجرها.⁷

الدورة التنظيمية الفائقة: NIST AI RMF وقانون الذكاء الاصطناعي للاتحاد الأوروبي

عصر الذكاء الاصطناعي غير المنظم ينتهي. يجب على المؤسسات الآن أن تتنقل في «دورة تنظيمية فائقة» تفرض الشفافية والمساءلة وإدارة المخاطر.

إطار إدارة مخاطر الذكاء الاصطناعي لدى NIST (AI RMF)

إطار NIST AI RMF دليل طوعي لكنه مؤثر مصمم لتحسين متانة أنظمة الذكاء الاصطناعي وموثوقيتها.³³ يدور حول أربع وظائف أساسية:

1.​ الحوكمة (Govern): زراعة ثقافة واعية بالمخاطر وهياكل حوكمة واضحة.³⁴

2.​ التعيين (Map): وضع نظام الذكاء الاصطناعي في سياقه التشغيلي والأخلاقي.³⁴

3.​ القياس (Measure): قياس المخاطر عبر مقاربات نوعية وكمية (مثل كشف التحيز ومقاييس الأداء).³⁴

4.​ الإدارة (Manage): ترتيب الأولويات ومعالجة المخاطر المحددة عبر ضوابط تقنية وضمانات إجرائية.³⁴

كان إجراء FTC ضد Rite Aid فعلياً إنفاذاً لهذه المبادئ. بفشلها في «قياس» أو «إدارة» مخاطر نظام FRT لديها، انتهكت Rite Aid بند «الظلم» في القسم 5 من قانون FTC.¹¹

قانون الذكاء الاصطناعي للاتحاد الأوروبي: تفويض ملزم

بينما إطار NIST طوعي في الولايات المتحدة، فإن قانون الذكاء الاصطناعي للاتحاد الأوروبي تنظيم ملزم يصنّف أنظمة الذكاء الاصطناعي حسب مستوى المخاطر.³³

●​ الأنظمة عالية المخاطر: تُصنَّف أنظمة التعرف البيومتري في الأماكن العامة تلقائياً كعالية المخاطر.³⁷

●​ التزامات إلزامية: يجب على مزودي الأنظمة عالية المخاطر إجراء «تقييمات المطابقة»، والحفاظ على «توثيق تقني مفصّل»، وضمان «إشراف بشري فعّال».³³

●​ الذكاء الاصطناعي المحظور: تُحظر كلياً ممارسات معينة، مثل كشط صور الوجوه من الإنترنت أو استخدام التعرف البيومتري الفوري لإنفاذ القانون العام (مع استثناءات محدودة).⁴⁰

ركيزة امتثال قانون الذكاء الاصطناعي للاتحاد الأوروبي	المتطلب التقني
حوكمة البيانات	يجب أن تكون مجموعات بيانات التدريب والاختبار تمثيلية وخالية من الأخطاء.36
الشفافية	يجب إبلاغ الأشخاص عندما يتفاعلون مع الذكاء الاصطناعي.33
الإشراف البشري	يجب أن تسمح الأنظمة بالتجاوز اليدوي والتدخل.33
حفظ السجلات	تسجيل أحداث تلقائي لتحديد المخاطر والتخفيف منها.36

المنظمات التي تستخدم NIST AI RMF اليوم في وضع أفضل للامتثال لقانون الذكاء الاصطناعي للاتحاد الأوروبي غداً، إذ يشتركان في الأهداف التأسيسية نفسها للشفافية والمساءلة.³³

تخفيف التحيز: استراتيجيات تقنية لنتائج منصفة

التحيز العنصري والجندري المذكور في قضيتي Rite Aid وMurphy ليس خاصية متأصلة في الذكاء الاصطناعي، بل فشل هندسي. توظّف حلول الذكاء الاصطناعي العميق عدة تقنيات متقدمة للتخفيف من هذه الأضرار.

إزالة التحيز الخصومي وقيود الإنصاف

تستخدم إزالة التحيز الخصومي شبكتين متنافستين: واحدة للتنبؤ بالهدف (مثل الهوية) و«خصم» يحاول التنبؤ بسمة محمية (مثل العرق أو الجنس) من التمثيل الداخلي للشبكة الأولى.¹⁰ إذا نجح الخصم، تُعاقَب الشبكة الأولى. يُجبر ذلك النموذج على إيجاد سمات «عمياء» عن السمات المحمية مع بقائها دقيقة للمهمة.¹⁰

إضافة إلى ذلك، يمكن دمج «قيود الإنصاف» في دالة الخسارة لضمان معدلات خطأ متساوية عبر مجموعات مختلفة.¹⁹ على سبيل المثال، يمكن إجبار النظام رياضياً على الحفاظ على معدل المطابقة الكاذبة نفسه للنساء ذوات البشرة السوداء كما للرجال ذوي البشرة البيضاء.¹⁹

دمج السمات متعددة المقاييس والانتباه المكاني

غالباً ما ينشأ التحيز البيومتري من إضاءة ضعيفة أو تباين منخفض، مما يؤثر بشكل غير متناسب على درجات البشرة الداكنة.⁶ يستخرج «دمج السمات متعددة المقاييس» سمات بدقات مختلفة لالتقاط مزيد من التفاصيل السياقية، بينما تساعد آليات «الانتباه المكاني» النموذج على التركيز على معالم بيومترية محددة (مثل العينين أو الأنف) وتجاهل ضوضاء الخلفية.⁸

الكشف عن الحيوية والانتحال

يجب أيضاً أن يميّز النظام البيومتري القوي بين شخص حقيقي و«هجوم عرض» (مثل صورة أو قناع).⁷ يقيّم اختبار PAD (كشف هجوم العرض) لدى NIST هذه القدرات.⁷ بدون هذه الفحوصات، لا يكون النظام متحيزاً فحسب بل غير آمن، وعرضة للانتحال البسيط بأسلوب «القوة الغاشمة».⁶

تفعيل السلامة تشغيلياً: إطار الإنسان في الحلقة (HITL)

الضمانة النهائية ضد فشل الأنظمة المستقلة هي دمج الحكم البشري. تدعو Veriprajna إلى إطار «الإنسان في الحلقة» (HITL) يعامل الذكاء الاصطناعي كمساعد لا كحاكم.¹⁸

تحديد نقاط المراجعة البشرية الحرجة

يستخدم نظام HITL المصمم جيداً عتبات الثقة لتحديد أولوية انتباه الإنسان.²³

1.​ الرفض التلقائي: إذا كانت الثقة دون 70%، تُرفض المطابقة فوراً.

2.​ المراجعة البشرية: إذا كانت الثقة بين 70% و95%، يرفع النظام الحالة للتحقق اليدوي.²³

3.​ الموافقة التلقائية: فقط إذا كانت الثقة فوق 95% (وكانت المهمة منخفضة العواقب) يتصرف النظام ذاتياً.⁴²

تصميم واجهات مراجعة بشرية فعّالة

في بيئة تجزئة أو أمن، يجب أن يحصل المراجع البشري على الوصول إلى بيانات المصدر الأصلية. تعرض واجهة فعّالة صورة كاميرا المراقبة الأصلية بجانب صورة المعرض المستخرجة، مما يتيح للمراجع رصد شذوذات قد يكون الذكاء الاصطناعي فاتته، مثل شكل أذن غير متطابق أو وشم مميز.²³

مكوّن HITL	الفائدة
عتبة الثقة	يمنع «إرهاق التنبيهات» برفع الحالات الغامضة فقط.23
مسارات التدقيق	يسجّل كل قرار بشري وتجاوز للدفاع القانوني.18
التغذية الراجعة المستمرة	تُستخدم تصحيحات البشر كتسميات لإعادة تدريب النموذج وتحسينه.42
دليل الاستثناءات	يوحّد كيفية استجابة البشر لـ«الحالات الحدّية».23

كان فشل نظام Rite Aid جزئياً بسبب غياب «مراجعة بشرية ذات معنى».² أُمر الموظفون بمتابعة الزبائن ومواجهتهم بناءً على تنبيهات مؤتمتة دون تدريب على احتمال الإيجابيات الكاذبة.² يمكّن إطار HITL الموظفين من مساءلة الذكاء الاصطناعي ويمنع نوع «الثقة التلقائية» الذي أدى إلى اعتقال Harvey Murphy.¹⁶

الملخص التنفيذي: بناء منظمة تقنية أصيلة في الذكاء الاصطناعي

الانتقال من «تجريب الذكاء الاصطناعي» إلى «تشغيل الذكاء الاصطناعي» يتطلب إشرافاً على مستوى مجلس الإدارة وتحولاً جوهرياً في استراتيجية الشركة.⁴⁴ مع تحرّك المنظمات نحو «قوة عاملة وكيلية»، حيث تفكّر الآلات وتتعلم ذاتياً، يصبح دور كبير مسؤولي المخاطر (CRO) وكبير مسؤولي المعلومات (CIO) مركزياً.⁴⁶

تجاوز مطهر المشاريع التجريبية

تتوقف كثير من المؤسسات في مسار الذكاء الاصطناعي لأن النجاحات المبكرة في تجارب صغيرة تصطدم بواقع البيانات المجزأة والأنظمة القديمة.⁴⁴ يتطلب توسيع الذكاء الاصطناعي:

●​ ملكية واضحة: إسناد المسؤولية عن نتائج الذكاء الاصطناعي، لا عن التنفيذ التقني فحسب.⁴⁴

●​ موثوقية البيانات: ضمان أن تعيش البيانات وفق قواعد متسقة وتُحافظ عليها بجودة عالية.⁴⁴

●​ هندسة معيارية: تبنّي نهج معياري لتجنب «الانحباس لدى المورد»، مما يتيح للمؤسسة تبديل النماذج وترقيتها ودمجها باحتكاك أقل.⁴⁷

عائد الاستثمار للذكاء الاصطناعي العميق

رغم أن بناء حل «ذكاء اصطناعي عميق» مخصص أكثر استهلاكاً للموارد من شراء غلاف جاهز، فإن عائد الاستثمار طويل الأمد أعلى بكثير. تتجنب المنظمات التي تمتلك ملكيتها الفكرية للذكاء الاصطناعي رسوم الترخيص المتكررة، وتحافظ على سيطرة كاملة على بياناتها، وتبني خندقاً تنافسياً عبر أداء متخصص.⁴⁸

علاوة على ذلك، تكلفة عدم بناء نظام متين أصبحت الآن واضحة. تواجه Rite Aid حظراً لمدة خمس سنوات وتدمير أصولها البيومترية؛ وتواجه Macy’s وSunglass Hut دعوى بـ $10 million وكابوساً في العلاقات العامة.¹ في هذا السياق، الذكاء الاصطناعي العميق ليس رفاهية—بل ضرورة استراتيجية للمؤسسة الحديثة.

توصيات استراتيجية لمجلس الإدارة

1.​ إجراء «تدقيق للأغلفة»: حدد أي قدرات ذكاء اصطناعي في منظمتك مبنية على اعتمادات رقيقة لواجهات البرمجة وتفتقر إلى حوكمة داخلية أو قابلية تدقيق.

2.​ تطبيق قياس عدم اليقين: افرض أن تتضمن كل مخرجات الذكاء الاصطناعي عالية المخاطر درجة ثقة مقيسة وتوزيع عدم يقين.

3.​ القياس مقابل NIST FRVT: اطلب من كل موردي البيومترية تقديم بطاقات أداء محققة من NIST، مع اهتمام خاص بالتحيز الديموغرافي.

4.​ تقنين الإنسان في الحلقة: تأكد من أنه لا يحدث أي قرار مدفوع بالذكاء الاصطناعي يؤثر على الحرية الشخصية أو معاملات مالية كبيرة دون عملية مراجعة بشرية موثّقة.

5.​ الاستعداد لقانون الذكاء الاصطناعي للاتحاد الأوروبي: حتى للشركات القائمة في الولايات المتحدة، يُعدّ التوافق مع معايير الاتحاد الأوروبي لـ«الذكاء الاصطناعي عالي المخاطر» أفضل طريقة لتأمين المستقبل أمام اللوائح المحلية القادمة.

تتخصص Veriprajna في مساعدة المنظمات على سد «فجوة الموثوقية»، بالانتقال من أغلفة هشة ومحفوفة بالمخاطر إلى أنظمة ذكاء اصطناعي متينة ومُهندَسة. مستقبل الذكاء الاصطناعي المؤسسي لا يتعلق فقط بما يمكن للنموذج فعله، بل بكيفية الوثوق به. في عصر المسؤولية البيومترية، المساءلة هي الميزة التنافسية القصوى.

المراجع المستشهد بها

1. Rite Aid Corporation, FTC v. | Federal Trade Commission, تم الوصول إليه في 6 فبراير 2026, https://www.ftc.gov/legal-library/browse/cases-proceedings/2023190-rite-aid-corporation-ftc-v

2. Rite Aid Banned from Using AI Facial Recognition After FTC Says ..., تم الوصول إليه في 6 فبراير 2026, https://www.ftc.gov/news-events/news/press-releases/2023/12/rite-aid-banned-using-ai-facial-recognition-after-ftc-says-retailer-deployed-technology-without

3. FTC Announces Groundbreaking Action Against Rite Aid for Unfair Use of AI - WilmerHale, تم الوصول إليه في 6 فبراير 2026, https://www.wilmerhale.com/en/insights/blogs/wilmerhale-privacy-and-cybersecurity-law/20240111-ftc-announces-groundbreaking-action-against-rite-aid-for-unfair-use-of-ai

4. Wrappers, deeptechs, and generative AI: a profitable but fragile house of cards, تم الوصول إليه في 6 فبراير 2026, https://www.duperrin.com/english/2025/05/20/wrappers-deeptechs-generative-ai/

5. The Hidden Costs of Voice AI Wrappers: Dependency, Pricing, and Support Risks - Trillet AI, تم الوصول إليه في 6 فبراير 2026, https://www.trillet.ai/blogs/voice-ai-wrapper-dependency-risks

6. Characteristics, limitations, and how to measure accuracy when ..., تم الوصول إليه في 6 فبراير 2026, https://learn.microsoft.com/en-us/azure/ai-foundry/responsible-ai/face/characteristics-and-limitations?view=foundry-classic

7. Introduction to NIST FRVT - Paravision, تم الوصول إليه في 6 فبراير 2026, https://www.paravision.ai/news/introduction-to-nist-frvt/

8. How To Mitigate Facial Recognition Bias in Identity Verification - HyperVerge, تم الوصول إليه في 6 فبراير 2026, https://hyperverge.co/blog/mitigating-facial-recognition-bias/

9. Countermeasures against bias and spoofing in modern facial recognition systems, تم الوصول إليه في 6 فبراير 2026, https://journalwjarr.com/index.php/content/countermeasures-against-bias-and-spoofing-modern-facial-recognition-systems

10. Adversarial Debiasing for Bias Mitigation in Healthcare AI Systems: A Literature Review, تم الوصول إليه في 6 فبراير 2026, https://www.scirp.org/journal/paperinformation?paperid=143081

11. Companies Deploying Facial Recognition Continue to be Watched; Rite Aid Banned from Using AI Facial Recognition - Kilpatrick Townsend, تم الوصول إليه في 6 فبراير 2026, https://ktslaw.com/Insights/Alert/2024/1/Companies-Deploying-Facial-Recognition-Continue-to-be-Watched

12. Risks of AI Wrapper Products and Features - Kader Law, تم الوصول إليه في 6 فبراير 2026, https://www.kaderlaw.com/blog/risks-of-ai-wrapper-products-and-features

13. Macy's Hit With $10M Lawsuit After Faulty AI Facial Recognition ..., تم الوصول إليه في 6 فبراير 2026, https://www.lawcommentary.com/articles/macys-hit-with-10m-lawsuit-after-faulty-ai-facial-recognition-software-leads-to-wrongful-arrest

14. Macy's faces $10 million lawsuit for using facial recognition to accuse man of robbery he did not commit | Technology, تم الوصول إليه في 6 فبراير 2026, https://english.elpais.com/technology/2024-01-24/macys-faces-10-million-lawsuit-for-using-facial-recognition-to-accuse-man-of-robbery-he-did-not-commit.html

15. Lawsuit: Facial recognition software leads to wrongful arrest of Texas man; he was in Sacramento at time of robbery - CBS News, تم الوصول إليه في 6 فبراير 2026, https://www.cbsnews.com/sacramento/news/texas-macys-sunglass-hut-facial-recognition-software-wrongful-arrest-sacramento-alibi/

16. Facial recognition used after Sunglass Hut robbery led to man's ..., تم الوصول إليه في 6 فبراير 2026, https://www.theguardian.com/technology/2024/jan/22/sunglass-hut-facial-recognition-wrongful-arrest-lawsuit

17. Texas man sues Macy's, Sunglass Hut for facial recognition wrongful arrest - YouTube, تم الوصول إليه في 6 فبراير 2026, https://www.youtube.com/watch?v=HWq7DNf4SLI

18. How to Keep Human In The Loop (HITL) During Gen AI Testing? - testRigor, تم الوصول إليه في 6 فبراير 2026, https://testrigor.com/blog/how-to-keep-human-in-the-loop-hitl-during-gen-ai-testing/

19. Addressing Gender Bias in Facial Recognition Technology: An Urgent Need for Fairness and Inclusion - Cogent Infotech, تم الوصول إليه في 6 فبراير 2026, https://www.cogentinfo.com/resources/addressing-gender-bias-in-facial-recognition-technology-an-urgent-need-for-fairness-and-inclusion

20. The great AI debate: Wrappers vs. Multi-Agent Systems in enterprise AI - Moveo.AI, تم الوصول إليه في 6 فبراير 2026, https://moveo.ai/blog/wrappers-vs-multi-agent-systems

21. Personalised Uncertainty Quantification in Artificial Intelligence - Research Communities, تم الوصول إليه في 6 فبراير 2026, https://communities.springernature.com/posts/personalised-uncertainty-quantification-in-artificial-intelligence

22. Operationalizing the R4VR-Framework: Safe Human-in-the-Loop Machine Learning for Image Recognition - MDPI, تم الوصول إليه في 6 فبراير 2026, https://www.mdpi.com/2227-9717/13/12/4086

23. Human-in-the-Loop AI in Document Workflows - Best Practices & Common Pitfalls - Parseur, تم الوصول إليه في 6 فبراير 2026, https://parseur.com/blog/hitl-best-practices

24. From Aleatoric to Epistemic: Exploring Uncertainty Quantification Techniques in Artificial Intelligence - arXiv, تم الوصول إليه في 6 فبراير 2026, https://arxiv.org/html/2501.03282v1

25. Evaluation of Uncertainty Quantification in Deep Learning - PMC, تم الوصول إليه في 6 فبراير 2026, https://pmc.ncbi.nlm.nih.gov/articles/PMC7274324/

26. Uncertainty Quantification | IBM, تم الوصول إليه في 6 فبراير 2026, https://www.ibm.com/think/topics/uncertainty-quantification

27. Open-Set Biometrics: Beyond Good Closed-Set Models - arXiv, تم الوصول إليه في 6 فبراير 2026, https://arxiv.org/html/2407.16133v1

28. What is difference between closed-set and open-set classification problem? - Stack Overflow, تم الوصول إليه في 6 فبراير 2026, https://stackoverflow.com/questions/62765276/what-is-difference-between-closed-set-and-open-set-classification-problem

29. Toward Open-Set Face Recognition, تم الوصول إليه في 6 فبراير 2026, https://openaccess.thecvf.com/content_cvpr_2017_workshops/w6/papers/Gunther_Toward_Open-Set_Face_CVPR_2017_paper.pdf

30. Comparison of open-set and closed-set face recognition. - ResearchGate, تم الوصول إليه في 6 فبراير 2026, https://www.researchgate.net/figure/Comparison-of-open-set-and-closed-set-face-recognition_fig1_316505674

31. The Best Globally Top Ranked Face Recognition Algorithm 2025 - KBY-AI, تم الوصول إليه في 6 فبراير 2026, https://kby-ai.com/top-ranked-face-recognition/

32. Face Recognition Technology Evaluation (FRTE) 1:1 Verification - NIST Pages, تم الوصول إليه في 6 فبراير 2026, https://pages.nist.gov/frvt/html/frvt11.html

33. NIST AI Risk Management Framework: A simple guide to smarter AI ..., تم الوصول إليه في 6 فبراير 2026, https://www.diligent.com/resources/blog/nist-ai-risk-management-framework

34. NIST AI Risk Management Framework (AI RMF) - Palo Alto Networks, تم الوصول إليه في 6 فبراير 2026, https://www.paloaltonetworks.com/cyberpedia/nist-ai-risk-management-framework

35. Safeguard the Future of AI: The Core Functions of the NIST AI RMF - AuditBoard, تم الوصول إليه في 6 فبراير 2026, https://auditboard.com/blog/nist-ai-rmf

36. High-level summary of the AI Act | EU Artificial Intelligence Act, تم الوصول إليه في 6 فبراير 2026, https://artificialintelligenceact.eu/high-level-summary/

37. Article 6: Classification Rules for High-Risk AI Systems | EU Artificial Intelligence Act, تم الوصول إليه في 6 فبراير 2026, https://artificialintelligenceact.eu/article/6/

38. Annex III: High-Risk AI Systems Referred to in Article 6(2) | EU Artificial Intelligence Act, تم الوصول إليه في 6 فبراير 2026, https://artificialintelligenceact.eu/annex/3/

39. Article 11: Technical Documentation | EU Artificial Intelligence Act, تم الوصول إليه في 6 فبراير 2026, https://artificialintelligenceact.eu/article/11/

40. Article 5: Prohibited AI Practices | EU Artificial Intelligence Act, تم الوصول إليه في 6 فبراير 2026, https://artificialintelligenceact.eu/article/5/

41. Human in the Loop AI: Benefits, Use Cases, and Best Practices - WitnessAI, تم الوصول إليه في 6 فبراير 2026, https://witness.ai/blog/human-in-the-loop-ai/

42. When Automation Breaks Trust: A Practical Guide to Human-in-the-Loop AI Workflows for SMBs | Artificial Intelligence | MyMobileLyfe | AI Consulting and Digital Marketing, تم الوصول إليه في 6 فبراير 2026, https://www.mymobilelyfe.com/artificial-intelligence/when-automation-breaks-trust-a-practical-guide-to-human-in-the-loop-ai-workflows-for-smbs/

43. Human-in-the-Loop AI (HITL) - Complete Guide to Benefits, Best Practices & Trends for 2026, تم الوصول إليه في 6 فبراير 2026, https://parseur.com/blog/human-in-the-loop-ai

44. Enterprise AI Consulting Framework for Business Leaders, تم الوصول إليه في 6 فبراير 2026, https://appinventiv.com/blog/enterprise-ai-consulting-framework-guide/

45. Tech Trends 2026 | Deloitte Insights, تم الوصول إليه في 6 فبراير 2026, https://www.deloitte.com/us/en/insights/topics/technology-management/tech-trends.html

46. Deploying agentic AI with safety and security: A playbook for technology leaders - McKinsey, تم الوصول إليه في 6 فبراير 2026, https://www.mckinsey.com/capabilities/risk-and-resilience/our-insights/deploying-agentic-ai-with-safety-and-security-a-playbook-for-technology-leaders

47. AI in the workplace: A report for 2025 - McKinsey, تم الوصول إليه في 6 فبراير 2026, https://www.mckinsey.com.br/capabilities/tech-and-ai/our-insights/superagency-in-the-workplace-empowering-people-to-unlock-ais-full-potential-at-work

48. Custom AI vs Off-the-Shelf AI : Which Is Right for Your Business?, تم الوصول إليه في 6 فبراير 2026, https://www.aalpha.net/blog/custom-ai-vs-off-the-shelf-ai/

49. Custom AI Software vs Off-the-shelf Artificial Intelligence Solution - Integrio Systems, تم الوصول إليه في 6 فبراير 2026, https://integrio.net/blog/custom-vs-of-the-shelf-artificial-intelligence