هل يمكنك الوثوق في التعرف على الوجوه بالذكاء الاصطناعي؟ درس بقيمة 10 ملايين دولار

المشكلة

قضى هارفي ميرفي، وهو جد يبلغ من العمر 61 عاماً، 10 أيام في السجن بتهمة سرقة لم يرتكبها. وكان على بُعد 1500 ميل عندما وقعت الحادثة. طابق نظام للتعرف على الوجوه في متجر ميسيز (Macy's) وجهه مع لقطات مراقبة غير واضحة لحادثة سطو على متجر سانغلاس هت (Sunglass Hut) في هيوستن. كان ميرفي في ساكرامنتو بولاية كاليفورنيا. لكن الذكاء الاصطناعي قال غير ذلك، وصدّقت الشرطة الآلة.

خلال تلك الأيام العشرة في السجن، تعرض ميرفي للاعتداء الجنسي والضرب، وأصيب بإصابات ستلازمه طوال حياته. ومنذ ذلك الحين، رفع دعوى قضائية بقيمة 10 ملايين دولار ضد ميسيز والشركة الأم لسانغلاس هت، إيسيلور لوكسوتيكا (EssilorLuxottica). اعتمد النظام الذي أشار إليه على مقطع فيديو للمراقبة منخفض الدقة، ومن المرجح أنه قارن تلك اللقطات بصورة توقيف جنائي التُقطت له في جرائم غير عنيفة قبل عقود. وتُظهر الدراسات أن مطابقة الصور الحالية مع صور التُقطت بفارق سنوات أو عقود قد تنتج معدلات إيجابية كاذبة تصل إلى 90%.

لم يكن هذا حادثاً عارضاً أو استثنائياً. فقبل أسابيع قليلة فقط، حظرت لجنة التجارة الفيدرالية (FTC) شركة رايت إيد (Rite Aid) من استخدام تقنية التعرف على الوجوه لمدة خمس سنوات. بين عامي 2012 و2020، ولّد نظام رايت إيد آلاف المطابقات الإيجابية الكاذبة عبر مئات المتاجر، مع الإشارة بشكل غير متناسب إلى النساء وأصحاب البشرة الملونة. قام الموظفون بتتبع عملاء أبرياء وتفتيشهم واتهامهم علناً بناءً على تنبيهات آلية.

إذا كانت مؤسستك تستخدم الذكاء الاصطناعي في أي قرار يؤثر على حرية أي شخص أو موارده المالية أو سمعته، فإن هذه القضايا تمثل جرس إنذار لك.

لماذا يهم هذا عملك

التعرض المالي هنا ليس أمراً افتراضياً، بل إنه يضرب بالفعل الميزانيات العمومية وقاعات المحاكم.

• دعوى قضائية بقيمة 10 ملايين دولار: مطالبة هارفي ميرفي القضائية ضد ميسيز وإيسيلور لوكسوتيكا بتعويض عن الاعتقال الخاطئ والإصابة الشخصية الناتجة عن التعرف المعيب للذكاء الاصطناعي.
• حظر تقني لمدة خمس سنوات: حظرت لجنة التجارة الفيدرالية (FTC) شركة رايت إيد من استخدام التعرف على الوجوه بالكامل. كما يتعين على رايت إيد حذف جميع البيانات البيومترية وتدمير كل نموذج ذكاء اصطناعي بُني استناداً إلى تلك البيانات.
• تجريد النماذج (Model disgorgement): أجبرت لجنة التجارة الفيدرالية شركة رايت إيد على "محو تعلّم" ذكائها الاصطناعي — وتدمير الخوارزميات المشتقة من معلومات جُمعت بشكل غير لائق. هذه أداة تنظيمية جديدة تمحو سنوات من الاستثمار بين عشية وضحاها.

تتشدد البيئة التنظيمية بسرعة. يُصنّف قانون الذكاء الاصطناعي في الاتحاد الأوروبي (EU AI Act) الآن التعرف البيومتري على الهوية في الأماكن العامة بأنه "عالي المخاطر". ويجب على المزودين إجراء تقييمات المطابقة، والاحتفاظ بوثائق تقنية مفصلة، وضمان إشراف بشري فعال. وحتى لو كانت شركتك تعمل فقط في الولايات المتحدة، فإن إطار عمل إدارة مخاطر الذكاء الاصطناعي الصادر عن NIST يتبنى المبادئ نفسها. واستخدمت لجنة التجارة الفيدرالية منطقاً مشابهاً — الشفافية، والمساءلة، وإدارة المخاطر — لتبرير حظرها لشركة رايت إيد.

يحتاج مجلس إدارتك إلى إدراك أن تكلفة نظام الذكاء الاصطناعي ذي الحوكمة الضعيفة ليست مجرد مشكلة تقنية، بل هي مشكلة تقاضٍ، ومشكلة تنظيمية، ومشكلة تتصدر العناوين الإخبارية. وإذا لم يتمكن مورد الذكاء الاصطناعي لديك من شرح كيفية تجنب نظامه لهذه الإخفاقات، فإن شركتك هي من يتحمل المخاطر — وليس المورد.

ما الذي يحدث فعلاً خلف الكواليس

إليك سبب فشل هذه الأنظمة، بعبارات واضحة ومباشرة.

تُبنى معظم أدوات التعرف على الوجوه التجارية لما يطلق عليه المهندسون مشكلات "المجموعة المغلقة" (closed-set). وهذا يعني أن النظام يفترض أن الشخص الذي يقوم بمسحه موجود بالضرورة في قاعدة البيانات. فكّر في فتح قفل هاتفك بوجهك؛ الهاتف يعرف أنك أنت، ويحتاج فقط إلى تأكيد ذلك.

أما أمن متاجر التجزئة فهو على العكس تماماً؛ إذ يمثل مشكلة "مجموعة مفتوحة" (open-set). فالغالبية العظمى من الأشخاص الذين يدخلون متجرك ليسوا مدرجين في أي قاعدة بيانات جنائية. لكن نظام المجموعة المغلقة لا يعرف كيف يقول "أنا لا أعرف هذا الشخص". وبدلاً من ذلك، يبحث عن أقرب تطابق ممكن، حتى لو كان ذلك التطابق خاطئاً. هكذا ولّدت رايت إيد آلاف الحالات الإيجابية الكاذبة عبر مئات المتاجر.

فكّر في الأمر كأنه اختبار متعدد الخيارات دون خيار "لا شيء مما سبق". يتعين على النظام اختيار إجابة حتى عندما لا تكون الإجابة الصحيحة مدرجة ضمن الخيارات. وهكذا، تتم مطابقة كل وجه يمر عبر الباب مع شخص ما في قاعدة البيانات، سواء كان ينتمي إليها أم لا.

الفشل الثاني يكمن في التعامل مع مخرجات الذكاء الاصطناعي كإجابة بسيطة بنعم أو لا. في الواقع، كل مخرج للذكاء الاصطناعي هو احتمال — تخمين بمستوى ثقة معين. أعطى نظام ميسيز درجة تطابق لهارفي ميرفي، لكن لم يسأل أحد عن مدى موثوقية تلك الدرجة فعلياً. قد تبدو درجة التطابق 0.85 مرتفعة، ولكن إذا كانت الصورة الأساسية غير واضحة وصورة المرجع قديمة تعود لعقود مضت، فإن هذه الـ 0.85 تصبح بلا معنى إحصائياً. وبدون طبقة تقيس عدم اليقين — أي مدى تأكد النظام فعلياً — فإنك تتخذ قرارات عالية المخاطر استناداً إلى رمية عملة معدنية ترتدي ثوب العلم.

ما الذي ينجح (وما الذي لا ينجح)

لنبدأ بما يفشل.

النماذج الجاهزة للاستخدام دون اختبار. اشترت رايت إيد تقنية التعرف على الوجوه من موردَين نصت عقودهما صراحةً على إخلاء المسؤولية عن أي ضمان بشأن الدقة. ولم تختبر الشركة موثوقية البرنامج على الإطلاق. لا يمكنك الاستعانة بمصادر خارجية لنقل المسؤولية والمساءلة عبر عقد مع مورد.

المدخلات منخفضة الجودة التي يُتعامل معها على أنها كافية. قامت كل من رايت إيد وميسيز بتغذية أنظمتهما بلقطات كاميرات مراقبة محببة غير واضحة وصور توقيف جنائي قديمة. وفي الهندسة البيومترية، لا تكتفي المدخلات الرديئة بخفض الدقة فحسب — بل تزيد الأخطاء بشكل تصاعدي أسي.

غياب المراجعة البشرية قبل اتخاذ الإجراء. واجه موظفو رايت إيد العملاء استناداً إلى التنبيهات الآلية وحدها دون أن يشكك أحد في الآلة. وتزعم الدعوى القضائية المرفوعة ضد ميسيز أن الشركة قدمت تطابقاً آلياً إلى الشرطة كحقيقة مؤكدة، مما جعل الشرطة تتوقف عن التحقيق.

إليك ما ينجح فعلاً.

1. التحقق من صحة المدخلات. قبل أن يحاول نظامك إجراء أي تطابق، يقوم وكيل مخصص لفحص الجودة بتقييم الصورة: هل الدقة كافية؟ هل الإضاءة ملائمة؟ هل الصورة المرجعية حديثة بما يكفي؟ إذا فشلت المدخلات في هذه الفحوصات، يرفض النظام المقارنة تماماً. فعدم التخمين أفضل بكثير من التخمين الخاطئ.

2. قياس عدم اليقين. بدلاً من إصدار درجة ثقة واحدة، يولد النظام توزيعاً احتمالياً — وهو نطاق يوضح مدى موثوقية المخرجات فعلياً. وتضمن تقنيات مثل التنبؤ التوافقي (conformal prediction) وقوع النتيجة الحقيقية ضمن الحدود المتوقعة عند مستوى ثقة تحدده بنفسك. أنت من يحدد معدل الخطأ المقبول لديك، ويتولى النظام فرضه رياضياً.

3. بوابات اتخاذ القرار بمشاركة العنصر البشري (Human-in-the-loop). يوجّه النظام كل نتيجة عبر عتبات ثقة محددة: ما دون ثقة 70%، يتم استبعاد التطابق تلقائياً. وبين 70% و95%، يطّلع مراجع بشري مدرب على صورة المراقبة الأصلية جنباً إلى جنب مع صورة قاعدة البيانات ويتخذ القرار. وفقط عندما تتجاوز الثقة 95% — وفقط للإجراءات ذات العواقب المنخفضة — يتصرف النظام من تلقاء نفسه.

يمثل هذا نهجاً لتنسيق الوكلاء المتعددين حيث يتولى وكلاء متخصصون كل خطوة: وكيل يتحقق من جودة المدخلات، وآخر يُجري المطابقة، وثالث يقيس عدم اليقين، ورابع يحدد الحالات الغامضة للمراجعة البشرية. ولا يوجد نموذج واحد يتخذ القرار النهائي بمفرده.

الميزة الكبرى للامتثال هي مسار التدقيق. يتم تسجيل كل خطوة — كل فحص لجودة الصورة، وكل درجة ثقة، وكل قرار بشري — تلقائياً. وعندما يطلب المنظم أو محامي المدعي معرفة كيفية وصول نظامك إلى قرار ما، يمكنك أن توضح لهم بدقة ما حدث. يوفر اختبار موردي التعرف على الوجوه الصادر عن NIST (المعروف بـ FRVT) المعايير المرجعية التي يجب على مورديك تلبيتها؛ إذ يقيس معدلات المطابقة الخاطئة عند عتبات صارمة تصل إلى 1 في 1,000,000. كما يفصل الأداء حسب الجنس والعمر والمجموعة الديموغرافية — وهو تحديداً نوع بيانات الانحياز التي طلبتها لجنة التجارة الفيدرالية من رايت إيد.

بالنسبة للمؤسسات العاملة في مجال أمن الذكاء الاصطناعي ومرونته، فإن السؤال ليس ما إذا كان ذكاؤك الاصطناعي دقيقاً في المتوسط، بل ما إذا كان قادراً على إثبات أنه كان دقيقاً في هذه الحالة المحددة، لهذا الشخص المحدد، وتحت هذه الظروف المحددة. هذا هو المعيار الذي يتعين على مسارات العمل والأدوات الحتمية استيفاؤه.

يمكنك قراءة التحليل التقني الكامل للاطلاع على التفاصيل الهندسية، أو استكشاف النسخة التفاعلية للحصول على جولة إرشادية في البنية المعمارية.