ضوابط حماية الذكاء الاصطناعي وطبقات التحقق

يفصل تطبيق الذكاء الاصطناعي الخاص بك مخرج سيئ واحد فقط عن دعوى قضائية. فقد وعد روبوت الدردشة التابع لشركة Air Canada باسترداد أموال تذاكر السفر الخاصة بحالات الحداد بما يتعارض مع سياسة الشركة، وحمّلت محكمة كندية شركة الطيران المسؤولية القانونية. ووافق روبوت الدردشة التابع لوكالة سيارات Chevrolet على بيع سيارة Tahoe مقابل دولار واحد بعد هجوم بحقن الأوامر. كما تم كسر حماية روبوت التوصيل التابع لشركة DPD لإنتاج ألفاظ نابية، محققاً 800,000 مشاهدة في غضون 24 ساعة.

هذه ليست افتراضات نظرية، بل هي حوادث فعلية في بيئة الإنتاج من شركات أطلقت الذكاء الاصطناعي دون طبقات أمان كافية. فالفجوة بين «يعمل في العرض التجريبي» و«آمن في بيئة الإنتاج» هي النقطة التي تتعثر عندها معظم عمليات نشر الذكاء الاصطناعي — وهي الفجوة التي صُممت بنيتنا التحتية للأمان لسدها.

ما تبدو عليه ضوابط الحماية لبيئة الإنتاج فعلياً

إن حزمة ضوابط الحماية لبيئة الإنتاج ليست مجرد أداة واحدة، بل هي بنية متعددة الطبقات تلتقط فيها كل طبقة ما تفوته الطبقات الأخرى، ولا يؤدي فشل أي طبقة منفردة إلى تعريض النظام للخطر. ويتمثل نهجنا في تصميم هذه الحزم وبنائها من خمس طبقات مستقلة.

فحص المدخلات

يستخدم اكتشاف حقن الأوامر مصنفات مضبوطة بدقة، وليس التعبيرات النمطية (regex). تحقق أفضل أدوات الاكتشاف مفتوحة المصدر درجات F1 تقارب 0.91، لكن الاكتشاف الجاهز لبيئة الإنتاج يتطلب إعادة تدريب مستمرة ضد أنماط الهجوم الجديدة. ونحن ننشر نظام اكتشاف هجين: يتولى مصنف سريع المسح عالي الإنتاجية للمدخلات غير الموثوقة، مع توجيه الحالات المشكوك فيها إلى نموذج لغوي كبير (LLM) قائم على الاستدلال كخط دفاع احتياطي. كما تلتقط مراقبة الرموز الخادعة (canary tokens) محاولات الحقن التي تتجاوز كلتا الطبقتين (المفصلة في بحثنا حول الدفاع ضد الذكاء الاصطناعي العدائي).

تصنيف المحتوى

تُقيّم مصنفات الأمان المدخلات والمخرجات وفقاً لتصنيفات قابلة للتهيئة. وتغطي كل من Llama Guard 3 وShieldGemma وQwen3Guard فئات مخاطر مختلفة بملفات دقة متباينة. وتتمثل النتيجة الحاسمة من الاختبارات المعيارية لعامي 2025-2026 فيما يلي: يحقق Llama Guard دقة تتراوح بين 97-99% على المدخلات السليمة، ولكنه يكتشف فقط ما بين 4.5-21.8% من المحتوى العدائي.

أما الأفضل أداءً بشكل عام، Qwen3Guard-8B بنسبة 85.3%، فينخفض إلى 33.8% مع الأوامر الجديدة غير المشتقة من مجموعات البيانات العامة. والمصنفات الجاهزة للاستخدام هي مجرد خط أساس وليست دفاعاً مكتملاً؛ فنحن نختارها ونجمع بينها ونعززها بناءً على نموذج التهديد المخصص لمؤسستك.

إنفاذ السياسات

تقيد قواعد وقت التشغيل ما يمكن للذكاء الاصطناعي قوله، أو الالتزام به، أو تنفيذه. وهنا بالضبط وقعت إخفاقات Air Canada وChevrolet: حيث كانت النماذج قادرة على توليد أي مخرج، بما في ذلك الالتزامات التعاقدية وقرارات التسعير، دون وجود أي حاجز بين عملية التوليد والمستخدم.

يطبق نهجنا محركات سياسات حتمية مصممة لتقييم كل مخرج وفقاً لقواعد عملك قبل أن يصل إلى أي مستهلك لاحق (انظر ورقتنا التقنية البيضاء حول تغليف النماذج الاحتمالية ببنية هندسية حتمية). وتُعرَّف التزامات التسعير، والصياغات القانونية، ونطاق التفويض، وحدود الكشف عن البيانات كقواعد قابلة للتقييم آلياً، وليس كتعليمات في موجّه الأوامر.

التحقق من المخرجات

تغطي هذه الطبقة تنقيح بيانات التعريف الشخصية (PII)، وتصفية المحتوى السام، وفحوصات الاتساق الواقعي، والتحقق من القيود الخاصة بمجال العمل. ويوضح اكتشاف بيانات التعريف الشخصية سبب أهمية تعدد الطبقات: إذ يحقق الاكتشاف القائم على التعبيرات النمطية (regex) نسبة استرجاع تقارب 65% فقط، مما يسرب ما يصل إلى 35% من البيانات الحساسة. بينما يصل الاكتشاف القائم على التعرف على الكيانات المسماة (NER) إلى 94-96% في مقياس F1 للكيانات القياسية، ولكنه يفشل أمام الصيغ غير المألوفة والتمويه العدائي.

نحن نشغل كلاهما — تعبيرات نمطية تتعامل مع الأنماط المهيكلة (بطاقات الائتمان، وأرقام الضمان الاجتماعي، وأرقام الهواتف) ونماذج تعلم آلي تلتقط الكيانات المعتمدة على السياق (الأسماء، والعناوين، والمعرفات الحرة) — بمعايرة دقيقة تناسب مدى تحملك للإيجابيات الكاذبة.

أمان الذكاء الاصطناعي الوكيل

بالنسبة لأنظمة الذكاء الاصطناعي التي تستخدم الأدوات، أو تنفذ التعليمات البرمجية، أو تستدعي واجهات برمجة التطبيقات، فإن تصفية المخرجات غير كافية. بل يجب أن تتدخل ضوابط الحماية قبل التنفيذ وليس بعده. ويتمثل نهجنا في بناء تدقيق بمرحلة التخطيط مصمم لفحص استدعاءات الأدوات وقيم المعاملات وخطط التنفيذ قبل إطلاق أي إجراء (انظر عرضاً توضيحياً عملياً لضوابط المسؤولية القانونية للذكاء الاصطناعي في المؤسسات). ويوجه نظام الموافقة متدرج المخاطر الإجراءات منخفضة المخاطر تلقائياً، ويحدد الإجراءات متوسطة المخاطر لتسجيلها، ويتطلب تفويضاً بشرياً للعمليات عالية المخاطر مثل الكتابة في قواعد البيانات، أو المعاملات المالية، أو الاتصالات الخارجية.

مشكلة الإيجابيات الكاذبة التي لا يتحدث عنها أحد

يبدو تكديس مصنفات الأمان فكرة هندسية جيدة حتى تجري الحسابات الرياضية. فإذا حقق كل ضابط حماية دقة بنسبة 90% وقمت بتشغيل خمسة منها، فإن احتمال صحة الخمسة جميعاً في طلب معين ينخفض إلى 59%. وهذا يعني تصنيف 41% من الطلبات المشروعة بشكل خاطئ كتهديدات. وعندها يفقد المستخدمون الثقة في النظام، ويغرق فريق الدعم في طلبات التصعيد، ويتحول استثمارك في الأمان إلى عبء على تجربة المستخدم.

يحل نهجنا هذه المشكلة من خلال بنية متدرجة المستويات، وليس التكديس بالقوة الغاشمة. حيث تتولى فحوصات سريعة قائمة على القواعد (بزمن استجابة بالميكروثانية) الانتهاكات الواضحة. وتتعامل مصنفات تعلم الآلة (50-200 مللي ثانية) مع المحتوى الدقيق. بينما يتولى النموذج اللغوي الكبير بصفته حكماً (LLM-as-judge) (بزمن يقاس بالثواني) الحالات الطرفية الغامضة فقط التي لا تستطيع الطبقات الأقل تكلفة حسمها.

تمتلك كل طبقة عتبات ثقة معايرة بدقة، ولا يتم تصعيد الطلب إلى طبقة أعلى تكلفة إلا عندما تنخفض ثقة الطبقة السابقة عن عتبتها المحددة. ويحافظ هذا التصميم على إجمالي العبء الإضافي لضوابط الحماية دون 200 مللي ثانية لأكثر من 90%+ من الطلبات مع الحفاظ على معدلات اكتشاف عالية للتهديدات الحقيقية.

لماذا تُعد ضوابط الحماية الجاهزة ضرورية ولكنها غير كافية

سوق ضوابط الحماية مجزأ بين أطر العمل مفتوحة المصدر، والمنصات المدارة، وميزات موفري السحابة. كل منها يحل جزءاً من المعضلة، ولكن لا يوجد أي منها يحلها من البداية إلى النهاية.

تُشغل فرق الإنتاج في عام 2026 عادةً كلاً من NeMo Guardrails لإدارة المحادثة وGuardrails AI للتحقق من المخرجات ضمن النظام نفسه. وهذا التكامل هو عمل مخصص بالكامل؛ إذ يوفر مزودو الخدمات السحابية تغطية أساسية قوية ولكن بتخصيص محدود للسياسات الخاصة بمجال العمل.

نادراً ما تتوفر أدوات مخصصة لضوابط الحماية متعددة الوسائط (مدخلات الصور والصوت والفيديو)، على الرغم من أن الهجمات تحقق معدلات نجاح تتراوح بين 75-82% من خلال تحويلات صور بسيطة عبر النماذج الرائدة. وهذه الفجوة بين ما توفره المنصات وما يتطلبه أمان الإنتاج الفعلي هي المهمة التي تتولاها مشاريعنا.

الضغوط التنظيمية حقيقية والمعايير ليست جاهزة بعد

تدخل أحكام قانون الذكاء الاصطناعي للاتحاد الأوروبي الخاصة بالأنظمة عالية المخاطر حيز التنفيذ الكامل في 2 أغسطس 2026. وتعمل اللجنة الفنية المشتركة CEN/CENELEC JTC 21 على تطوير المعايير التقنية المنسقة التي تحدد ما يعنيه «التخفيف المناسب من المخاطر» لأنظمة الذكاء الاصطناعي عالية المخاطر، لكنها تجاوزت الموعد النهائي الأصلي في أغسطس 2025 وتستهدف الآن الربع الرابع من عام 2026. وبالتالي فإن المعايير التي ستحدد الامتثال غير موجودة بعد.

يحدد إطار عمل إدارة مخاطر الذكاء الاصطناعي NIST AI RMF 1.0 والملف التعريفي للذكاء الاصطناعي التوليدي (AI-600-1) ضوابط الحماية بما فيها مرشحات المحتوى كضوابط متوقعة. كما أضافت قائمة OWASP لأهم 10 مخاطر لتطبيقات النماذج اللغوية الكبيرة لعام 2025 كلاً من «تسريب موجه النظام» (System Prompt Leakage) و«نقاط ضعف المتجهات والتضمين» كفئات جديدة، مما يعكس تهديدات لم تستعد لها معظم فرق أمان المؤسسات بأدوات الرصد بعد.

إن المؤسسات التي تنتظر المعايير النهائية قبل بناء بنية الأمان ستجد نفسها في سباق محموم ضد موعد نهائي دون أي مهلة زمنية مسبقة. نحن نصمم بنيات ضوابط الحماية لتكون قابلة للدفاع عنها أمام أطر العمل التنظيمية الحالية وقابلة للتكيف مع المعايير التي لا تزال في طور المسودات (انظر بحثنا حول جدار الحماية من المسؤولية القانونية لوكلاء الذكاء الاصطناعي في المؤسسات).

ما نقدمه

يبدأ كل مشروع عمل بنموذج تهديد مخصص لتطبيقك وبياناتك وتطلباتك التنظيمية. فنحن لا نبيع منصة جاهزة، بل يتمثل نهجنا في بناء بنية هندسية لضوابط الحماية مصممة لدمج أفضل الأدوات المتاحة (سواء المفتوحة المصدر أو المدارة) في حزمة متماسكة تتوافق مع ميزانية زمن الاستجابة، ومدى تحملك للإيجابيات الكاذبة، ومتطلبات الامتثال الخاصة بك.

يتم تحديد نطاق العمل لتقديم:

• بنية متعددة الطبقات لضوابط الحماية مع ميزانيات زمن استجابة مقاسة بدقة لكل طبقة.
• دفاع ضد حقن الأوامر مع اكتشاف هجين (مصنف + خط دفاع احتياطي بنموذج لغوي كبير + مراقبة الرموز الخادعة).
• خطوط أنابيب لتنقيح بيانات التعريف الشخصية (PII) تمت معايرتها وفقاً لأنواع الكيانات ومدى تحملك للإيجابيات الكاذبة.
• قواعد لإنفاذ السياسات مستمدة من قيود عملك الفعلية، وليست قوالب عامة.
• ضوابط أمان للذكاء الاصطناعي الوكيل لاستخدام الأدوات، وتنفيذ التعليمات البرمجية، واستدعاءات واجهات برمجة التطبيقات.
• مجموعات اختبارات عدائية تحاول تجاوز كل طبقة باستخدام تقنيات الهجوم الحالية (PAIR، وGCG، والحقن غير المباشر، والحقن متعدد الوسائط).
• إمكانية مراقبة ضوابط الحماية مع اكتشاف الانحراف، والتنبيه عند تراجع أداء المصنفات، وخطوط أنابيب لإعادة التدريب يتم تشغيلها عند وقوع الحوادث.
• مطابقة تنظيمية مع ضوابط قانون الذكاء الاصطناعي للاتحاد الأوروبي، وإطار NIST AI RMF، وأهم 10 مخاطر للنماذج اللغوية الكبيرة من OWASP.

كما نقدم تقييماً صريحاً: ما هي المخاطر التي تغطيها بالفعل ضوابط حماية منصتك الحالية، وما هي الفجوات التي تتطلب عملاً مخصصاً، وما هي التهديدات التي يُفضل معالجتها عبر تغييرات هيكلية أولية — مثل حوكمة البيانات، واختيار النماذج، وضوابط الوصول — بدلاً من إضافة مزيد من طبقات الأمان فوقها.