من المرجح أن سلسلة توريد الذكاء الاصطناعي لديك مخترقة

المشكلة

في فبراير 2024، اكتشف باحثو الأمن السيبراني في JFrog أكثر من 100 نموذج ذكاء اصطناعي خبيث على منصة Hugging Face، وهي إحدى أشهر مستودعات نماذج الذكاء الاصطناعي في العالم. واحتوى العديد من تلك النماذج على أبواب خلفية صامتة مصممة لتنفيذ شيفرات برمجية في اللحظة التي يقوم فيها شخص ما بتحميلها. وبمجرد تفعيلها، منحت الحمولة الضارة المهاجمين واجهة تحكم مستمرة (persistent shell) — نقطة وصول عن بُعد — على جهاز الضحية. ومن هناك، كان بإمكانهم التحرك عبر شبكتك الداخلية، أو سرقة البيانات، أو تسميم مسارات تدريب النماذج لديك.

لم يكن هذا مجرد تمرين نظري. بل كانت نماذج حقيقية، متاحة للتنزيل العام، وتنتظر أن يقوم بتحميلها أي مطوّر في فريقك يبحث عن حل سريع. وبدت النماذج طبيعية واجتازت الفحوصات الأساسية. لكن صيغة الملف نفسها — صيغة pickle الخاصة بلغة Python — قادرة على تشغيل شيفرات خفية أثناء عملية التحميل. فكّر في الأمر كفتح مستند Word يقوم بتثبيت برمجيات خبيثة في الخفاء، باستثناء أن "المستند" في هذه الحالة هو نموذج ذكاء اصطناعي يثق به فريقك.

وتتفاقم المشكلة حين تدرك أن أدوات الفحص المصممة لاكتشاف هذا النوع من التهديدات تفشل في ذلك. فأكثر من 96% من النماذج التي يُشار إليها كـ "غير آمنة" في المستودعات العامة تبيّن أنها إنذارات كاذبة. وهذا السيل من الإنذارات الخاطئة يدرّب فريق الأمان لديك على تجاهل التحذيرات. وتحت ركام هذا الضجيج، عثر الباحثون على 25 نموذجاً خبيثاً بالفعل — وهي تهديدات يوم الصفر (zero-day) التي تسللت عبر أدوات الفحص القياسية.

لماذا يهم هذا أعمالك

هذه ليست مجرد مشكلة في تكنولوجيا المعلومات، بل هي خطر مالي وقانوني وتشغيلي يمس كل ركن في مؤسستك.

لنبدأ بالأرقام:

• 98% من المؤسسات لديها موظفون يستخدمون أدوات ذكاء اصطناعي غير مصرح بها — وهو ما يطلق عليه في هذا المجال "ذكاء الظل الاصطناعي" (Shadow AI). ومن شبه المؤكد أن موظفيك يقومون بتنزيل وتشغيل نماذج لم تقم بفحصها والتدقيق فيها.
• 43% من الموظفين يشاركون بيانات حساسة مع أدوات الذكاء الاصطناعي دون إذن. وهذا يعني أن معلوماتك الخاصة وبيانات عملائك وأسرارك التجارية قد تكون موجودة بالفعل داخل نموذج تابع لجهة خارجية.
• تكلف خروقات ذكاء الظل الاصطناعي ,000 أكثر من خروقات البيانات التقليدية، لأن التحقيقات الجنائية الرقمية تصبح أكثر صعوبة عندما تكون البيانات المسروقة مدمجة داخل أوزان الشبكة العصبية.
• 63% من المؤسسات تفتقر إلى سياسات رسمية لحوكمة الذكاء الاصطناعي. وإذا كانت شركتك ضمن هذه المجموعة، فلن تكون لديك إجابة واضحة للجهات التنظيمية عندما تسوء الأمور.

وهناك أيضاً خطر قانوني لم يسمع به معظم التنفيذيين من قبل: تجريد النماذج وإتلافها (model disgorgement). وهو إجراء تنظيمي علاجي تجبر فيه السلطات الشركةَ على تدمير نموذج ذكاء اصطناعي بالكامل لأنه دُرِّب على بيانات تم الحصول عليها بشكل غير قانوني. ولا يمكنك إزالة بيانات شخص بعينه جراحياً من نموذج تم تدريبه. فإذا كان منتجك يعتمد على نموذج بُني ببيانات ملوثة، يمكن للمحكمة أن تأمرك بحذف النموذج بأكمله، ليختفي خط إنتاجك بين عشية وضحاها.

بالنسبة لمجلس إدارتك، السؤال بسيط: هل تعرف ما هي نماذج الذكاء الاصطناعي التي تعمل داخل شركتك في هذه اللحظة؟ وهل يمكنك إثبات مصدرها؟

ما الذي يحدث فعلياً وراء الكواليس

لفهم سبب هشاشة عمليات نشر الذكاء الاصطناعي الحالية، عليك إدراك أمرين: كيف تنكسر النماذج وتفقد أمانها أثناء التخصيص، ولماذا يفشل أسلوب "الأغلفة البرمجية" (wrapper) الشائع في التطبيقات المؤسسية الجادة.

أولاً، مشكلة التخصيص. تأخذ معظم الشركات نموذجاً تأسيسياً — مثل Llama من شركة Meta — وتقوم بضبطه الدقيق (fine-tuning) على بياناتها الخاصة لجعله أفضل في مهام محددة. يبدو هذا الأمر منطقياً، لكن الفريق الأحمر للذكاء الاصطناعي في NVIDIA (NVIDIA's AI Red Team) وجد أن الضبط الدقيق يدمّر بصورة روتينية حواجز الأمان (guardrails) التي أمضى المطوّرون الأصليون شهوراً في بنائها. وفي أحد الاختبارات، انخفضت درجة أمان نموذج Llama ضد هجمات حقن التعليمات البرمجية (prompt injection) من 0.95 إلى 0.15 بعد جولة واحدة من الضبط الدقيق. وهذا يمثل انهياراً من مستوى "عالي المرونة والمقاومة" إلى "شبه عاجز عن الدفاع".

يحدث هذا لأن الضبط الدقيق يُعدّل الأوزان الداخلية للنموذج لتحقيق أقصى قدر من الدقة في مهمتك الخاصة. وخلال هذه العملية، فإنه يمحو ويستبدل سلوكيات الأمان التي دُرِّب عليها النموذج بعناية. تخيّل شراء سيارة مزودة بوسائد هوائية ومكابح مانعة للانغلاق ونظام الحفاظ على المسار — ثم تأخذها إلى ميكانيكي لضبط المحرك لزيادة السرعة، فيقوم عن غير قصد بفصل جميع أنظمة الأمان. ستسير السيارة بسرعة أكبر، لكنها باتت خطيرة الآن.

ثانياً، هناك مشكلة الأغلفة البرمجية (wrappers). تبني معظم شركات استشارات الذكاء الاصطناعي طبقات برمجية رقيقة — أغلفة (wrappers) — لربط بياناتك بواجهة برمجة تطبيقات (API) خارجية مثل GPT-4 من OpenAI. وتعتمد هذه الأغلفة على "تعليمات النظام" (system prompts) والمرشحات لإبقاء الذكاء الاصطناعي منضبطاً. لكن هذه التعليمات مجرد اقتراحات لمحرك احتمالات وليست قواعد صارمة ملزمة. فقد تم خداع روبوت محادثة تابع لوكالة Chevrolet للموافقة على بيع سيارة بقيمة ,000 مقابل دولار واحد. كما هلوس روبوت المحادثة التابع لشركة Air Canada سياسة لأسعار تذاكر حالات الوفاة والحداد لم تكن موجودة أصلاً، وحمّلت المحكمة شركة الطيران المسؤولية القانونية عن مخرجات الذكاء الاصطناعي. هذه الإخفاقات ليست مجرد أخطاء برمجية عابرة، بل هي النتيجة الطبيعية لمطالبة أداة للتنبؤ بالنصوص باتخاذ قرارات تجارية ملزمة.

ما الذي ينجح (وما الذي لا ينجح)

لنبدأ بثلاثة أساليب شائعة تثبت عجزها:

• الفحص الأساسي للنماذج: تستخدم أدوات مثل Picklescan قائمة سوداء بالدوال الخطيرة، لكن المهاجمين يتجاوزونها عبر تقنيات التعمية والتشويش (obfuscation)، كما أن معدل الإنذارات الكاذبة البالغ 96% يدفع الفرق إلى تجاهل التهديدات الحقيقية.
• تعليمات النظام ومرشحات المخرجات: هذه ضوابط مرنة وضعيفة يمكن خداع نموذج لغوي كبير (LLM) — وهو المحرك الذي يقف وراء أدوات مثل ChatGPT — ليتجاهلها عبر هجمات حقن التعليمات، كما أثبتت واقعتا Chevrolet وDPD.
• الضبط الدقيق مع مراجعات الأمان القياسية: حتى لو اجتاز نموذجك كل المعايير المؤسسية، تُظهر أبحاث NVIDIA أن الضبط الدقيق يمكن أن ينشئ سلوك "العميل النائم" (sleeper agent) — حيث يتصرف النموذج بشكل طبيعي في 99.9% من الوقت، ولكنه يتحول إلى وضع خبيث عندما يواجه مُحفِّزاً محدداً.

أما ما ينجح بالفعل فهو بنية معمارية مختلفة جوهرياً. وإليك المبدأ في ثلاث خطوات:

1. المدخلات: التوجيه الدلالي كجدار حماية. قبل أن يصل أي استفسار من المستخدم إلى نموذج الذكاء الاصطناعي لديك، تقوم طبقة توجيه بفحصه ومطابقته مع الأنماط الخبيثة المعروفة باستخدام التشابه الشعاعي (vector similarity) — وهي طريقة لقياس مدى قرب الطلب الجديد من محاولات الهجوم المحددة مسبقاً. وإذا بدا الاستفسار كحقن للتعليمات (prompt injection)، فإنه لا يصل إلى النموذج إطلاقاً، بل يُعاد توجيهه إلى رد محدد وحتمي (deterministic). وبذلك لا "يرى" الذكاء الاصطناعي الهجوم أبداً.

2. المعالجة: التحقق العصبي-الرمزي (Neuro-symbolic). بدلاً من الاعتماد على نموذج ذكاء اصطناعي واحد لتوليد الإجابات، تقوم بتوزيع العمل. تتولى طبقة عصبية التعامل مع اللغة الطبيعية، بينما تقوم طبقة المنطق الرمزي — وهي في جوهرها محرك قواعد مبني على رسم بياني معرفي يربط بيانات مؤسستك كحقائق موثقة — بفحص كل ادعاء تنتجه الطبقة العصبية. وإذا لم تكن هناك حقيقة في الرسم البياني المعرفي الموثق لديك، فإن النظام لا يرجع أي إجابة بدلاً من التخمين. هكذا يمكنك خفض معدلات الهلوسة إلى ما دون 0.1%، مقارنة بنطاق 1.5% إلى 6.4% المعتاد في أغلفة النماذج اللغوية الكبيرة القياسية.

3. المخرجات: مراجعة متعددة الوكلاء. يستخدم نظامك وكلاء ذكاء اصطناعي منفصلين للبحث والكتابة والنقد. يستطيع وكيل البحث الاستعلام فقط من الرسم البياني المعرفي الخاص بك، ولا يمكن لوكيل الكتابة استخدام سوى ما وجده وكيل البحث، ثم يقوم وكيل النقد باستخراج كل ادعاء من المسودة والتحقق منه ومطابقته مع الرسم البياني. لا يملك أي وكيل بمفرده الصلاحية أو القدرة على الانحراف عن الحقيقة الموثقة.

بالنسبة لفريق الامتثال لديك، تكمن الميزة الحاسمة في إمكانية التدقيق. فكل مخرج يعود تتبعه إلى عقدة محددة في الرسم البياني المعرفي الخاص بك. وعندما تسأل جهة تنظيمية "لماذا قال الذكاء الاصطناعي لديك هذا؟"، يمكنك أن تعرض لهم مصدر البيانات الدقيق، والقاعدة الدقيقة، وخطوة التحقق الدقيقة. هذا هو الفارق بين تقييم أمني مبني على براهين معمارية وآخر مبني على مجرد التمني.

يجب على مؤسستك أيضاً المطالبة بقائمة مواد الذكاء الاصطناعي (AI Bill of Materials) — وهي وثيقة بيان لسلسلة التوريد تسرد كل مجموعة بيانات ومكتبة وإصدار إطار عمل في مسار الذكاء الاصطناعي لديك. كما يجب توقيع كل نقطة فحص للنموذج (checkpoint) رقمياً ومشفرة. ويجب أن يرفض محرك الاستدلال لديك تحميل أي نموذج يحمل توقيعاً غير صالح. هذه ليست أهدافاً مثالية بعيدة المنال، بل هي ممارسات أمنية أساسية لأي مؤسسة خاضعة للجهات التنظيمية تستثمر في الذكاء الاصطناعي.

يوفر إطار العمل NIST AI 100-2 تصنيفاً جاهزاً لتبويب هذه المخاطر وإدارتها؛ فهو يغطي حقن التعليمات البرمجية، وتسميم البيانات، واستخراج النماذج، وخروقات الخصوصية. ولم تعتمد معظم المؤسسات هذا الإطار بعد، وتلك الفجوة هي فرصتك للريادة والسبق.

اقرأ التحليل التقني الكامل للاطلاع على المواصفات المعمارية التفصيلية. كما يمكنك أيضاً استكشاف النسخة التفاعلية للحصول على جولة إرشادية حول مشهد التهديدات والتدابير المضادة.