أمان الذكاء الاصطناعي والمرونة السيبرانية
التحصين الخصومي، وسلامة سلاسل الإمداد، ومعمارية النشر السيادي للمؤسسات التي تشغل أنظمة الذكاء الاصطناعي في بيئة الإنتاج.
تحول مشهد التهديدات التي تواجه أنظمة الذكاء الاصطناعي من مجرد أبحاث أكاديمية إلى استغلال تشغيلي فعلي في عام 2025. فالأدوات الإنتاجية للذكاء الاصطناعي التي يستخدمها ملايين المطورين باتت تحمل الآن ثغرات CVE ذات درجات CVSS مرتفعة، وتتوسع مساحة الهجوم عبر البرمجيات وسلاسل الإمداد والعتاد في آن واحد، في حين تتسارع وتيرة المتطلبات التنظيمية. ورغم أن موردي الحلول الجزئية المتخصصة وأطر الحوكمة يعالجون أجزاء من هذه المعضلة، إلا أن أياً منهم لا يتولى هندسة الوضع الأمني المتكامل لنشر الذكاء الاصطناعي الفعلي. وتلك هي الفجوة الهندسية التي نبتكر حلولنا لسدها.
الذكاء الاصطناعي في بيئات الإنتاج يتعرض لهجمات نشطة، ومعظم البرامج الأمنية لا تواكب ذلك
حوّل عام 2025 استغلال الذكاء الاصطناعي من مجرد إثبات للمفهوم إلى ثغرات CVE موثقة في أدوات يعتمد عليها ملايين المطورين:
- Microsoft 365 Copilot — ثغرة حقن تعليمات برمجية دون نقر (CVE-2025-32711, CVSS 9.3) أدى فيها بريد إلكتروني مجهز بعناية إلى تسريب البيانات عن بُعد.
- GitHub Copilot — اختُرِق عبر تعليقات برمجية مدمجة في مستودع عام (CVE-2025-53773)، مما تصاعد إلى تنفيذ تعليمات برمجية عن بُعد.
- Cursor IDE — خلل في حساسية حالة الأحرف (CVE-2025-59944) أتاح للمهاجمين التلاعب بسلوك الوكيل لتنفيذ أوامر عشوائية.
هذه ليست مجرد عروض توضيحية، بل ثغرات CVE ذات درجات CVSS في أدوات إنتاجية فعلية. ومساحة الهجوم تتسع في ثلاثة اتجاهات في وقت واحد.
الأنظمة القائمة على الوكلاء وحدود الثقة
تخلق أنظمة الذكاء الاصطناعي القائمة على الوكلاء مشكلات في حدود الثقة تعجز التدابير الأمنية المحيطية التقليدية عن معالجتها. فقط 29% من المؤسسات تفيد بجاهزيتها لتأمين عمليات نشر الأنظمة القائمة على الوكلاء، كما أن MITRE ATLAS v5.4.0 (فبراير 2026) أضاف تقنيات مخصصة للتهديدات الخاصة بالوكلاء، بما في ذلك «Publish Poisoned AI Agent Tool» و«Escape to Host».
هجمات سلسلة إمداد الذكاء الاصطناعي
انتقلت هجمات سلاسل الإمداد من الإطار النظري إلى التطبيق العملي. JFrog حددت ما يقارب 100 نموذج خبيث على Hugging Face تحتوي على حمولات مدمجة لتنفيذ تعليمات برمجية، كما Palo Alto Unit 42 أثبتت أن مساحات الأسماء المحذوفة على Hugging Face يمكن لأي شخص إعادة تسجيلها، مما يتيح اختطاف سلسلة الإمداد.
الثغرات الأمنية على مستوى العتاد
إن هجوم GDDRHammer (2026) أظهر أن نواة CUDA غير مميزة يمكنها الحصول على وصول عشوائي للقراءة والكتابة إلى ذاكرة وحدة معالجة الرسوميات عبر تقنية rowhammer على ذواكر GDDR6 — مما يعني أن بيئات وحدات معالجة الرسوميات متعددة المستأجرين تمتلك مساحة هجوم عتادية تعجز أي دفاعات برمجية عن سدها.
الضغوط التنظيمية المتزايدة
تتشدد اللوائح التنظيمية بالتوازي مع ذلك. ففيما يخص قانون الذكاء الاصطناعي للاتحاد الأوروبي (EU AI Act) دخلت الممارسات المحظورة حيز التنفيذ في فبراير 2025، وتبدأ متطلبات الأنظمة عالية المخاطر في أغسطس 2026، وتصل الغرامات إلى 35 مليون يورو أو 7% من إجمالي الإيرادات السنوية العالمية. CISA صنّفت حقن التعليمات البرمجية كثغرة أمنية حرجة في الذكاء الاصطناعي في سبتمبر 2025؛ NIST نشرت إطار AI RMF 2.0 مع توجيهات محددة بشأن حقن التعليمات البرمجية في يناير 2026. وبموجب قانون خصوصية البيانات البيومترية CUBI، حصّلت ولاية تكساس 1.375 مليار دولار من Google و1.4 مليار دولار من Meta في عام 2025 وحده. ويتضاعف عبء الامتثال مع كل ربع سنوي.
سلسلة إمداد الذكاء الاصطناعي هي الموضع الذي تنعدم فيه الرؤية لدى معظم المؤسسات
عندما نقيّم عمليات نشر الذكاء الاصطناعي في المؤسسات، تبرز فجوة سلسلة الإمداد دائماً باعتبارها النتيجة الأكثر خطورة؛ فمعظم المؤسسات تعجز عن تقديم حصر شامل للنماذج التي تعمل في بيئة الإنتاج، ناهيك عن التحقق من مصدرها وموثوقيتها (وهو موضوع بحثنا حول حماية نماذج المؤسسات من هجمات التسميم). وأظهر استطلاع أجرته شركة Lineaje (يونيو 2025) أن 48% من مسؤولي الأمن السيبراني يصرحون بأن مؤسساتهم تتخلف بالفعل عن الوفاء بالمتطلبات الأساسية لقائمة مكونات البرمجيات (SBOM). بينما يسجل اعتماد قائمة مكونات التعلم الآلي (ML-BOM) معدلات أقل بكثير.
هذا الخطر موثق وليس نظرياً:
- أثبتت شركة Anthropic، ومعهد سلامة الذكاء الاصطناعي في المملكة المتحدة، ومعهد آلان تورينغ أن ما لا يتجاوز 250 وثيقة خبيثة يمكنها بنجاح زرع أبواب خلفية في النماذج اللغوية التي تتراوح سعتها بين 600 مليون إلى 13 مليار معامل.
- DeepThink-R1 من DeepSeek (نموذج يناير 2025) وُجد فيه باب خلفي أُنشئ عبر مطالبات خفية زُرعت في تعليقات الأكواد البرمجية على GitHub أثناء التدريب. واتبع النموذج تعليمات المهاجم بمجرد مواجهته لعبارة تحفيزية محددة، وذلك بعد أشهر من اكتمال التدريب ودون الحاجة إلى اتصال بالإنترنت.
- Qwen 2.5 — تعرضت أداة البحث الخاصة به للتسميم عبر محتوى ويب خصومي دفع النموذج المتوافق إلى توليد مخرجات ضارة استناداً إلى استعلام مؤلف من 11 كلمة.
الفحص الأمني التقليدي لا يكتشف هذه المشكلات. تُشغّل Hugging Face أداة Picklescan لفحص ملفات pickle الخبيثة، لكن مهايئات LoRA الخبيثة ومجموعات بيانات التدريب المسمومة ومساحات الأسماء المعاد تسجيلها تتجاوز جميعها الفحص على مستوى النموذج. توجد معايير بالفعل — CycloneDX نشرت مواصفة ML-BOM في عام 2023، SPDX 3.0.1 تحدد ملفات تعريف الذكاء الاصطناعي ومجموعات البيانات، كما OWASP أطلقت مشروع AI-BOM — غير أن الفجوة بين توفر المواصفات وتبني المؤسسات لها تظل هائلة. يتطلب بناء سلامة سلسلة الإمداد للذكاء الاصطناعي نفس الانضباط الذي أرسته أمان التطبيقات لتبعيات البرمجيات قبل عقد من الزمان: الفحص الآلي، والتحقق من المصدر والموثوقية، والمراقبة المستمرة، ودليل إجراءات للاستجابة عندما يخترق تهديد ما الدفاعات.
لماذا تترك منظومة الأمان الحالية فجوات على مستوى البنية الهندسية
ينمو مشهد موردي أمان الذكاء الاصطناعي بسرعة، وحلولهم الجزئية المتخصصة قوية:
- Protect AI جمعت أكثر من 108 ملايين دولار وتدير برنامج مكافآت الثغرات huntr.com لثغرات الذكاء الاصطناعي والتعلم الآلي؛ كما تفحص عناصر النماذج بحثاً عن الثغرات المعروفة.
- HiddenLayer (56 مليون دولار) تركز على مراقبة سلوك النماذج أثناء التشغيل.
- Lakera طورت ما يعتبره الكثيرون أفضل منتج لاكتشاف حقن التعليمات البرمجية (Lakera Guard).
- Cisco استحوذت على Robust Intelligence في عام 2024؛ F5 استحوذت على CalypsoAI مقابل 180 مليون دولار في عام 2025.
من المتوقع لسوق اختبار الاختراق (Red Teaming) للذكاء الاصطناعي وحده أن ينمو من 1.3 مليار دولار (2025) إلى 18.6 مليار دولار بحلول عام 2035. لكن هذه الأدوات هي مجرد مستشعرات ومرشحات وليست ضوابط هيكلية — ولا يقوم أي منها بهندسة الوضع الأمني العام لعملية نشر الذكاء الاصطناعي. إن كبير مسؤولي أمن المعلومات (CISO) الذي يجمع برنامجاً أمنياً من هذه المكونات يظل بحاجة إلى من يصمم موضع حدود الثقة في الأنظمة القائمة على الوكلاء، وكيفية تكامل التحقق من موثوقية النماذج ومصدرها مع مسار CI/CD، وما هي المراقبة التي ترصد باباً خلفياً نُشّط بعد النشر، وكيف تعمل عمليات النشر السيادية فعلياً عندما يقضي فريق الامتثال بعدم جواز خروج الاستدلال من النطاق القضائي.
استثمرت الشركات الأربع الكبرى (Big Four) ما يزيد عن 10 مليارات دولار مجتمعة في الذكاء الاصطناعي منذ عام 2023: PwC تدير برنامجاً للذكاء الاصطناعي التوليدي بقيمة مليار دولار وشراكة مع OpenAI؛ KPMG تمتلك إطار حوكمة رسمي للذكاء الاصطناعي من 10 ركائز متوافقاً مع معيار ISO 42001؛ Deloitte طورت أكثر من 100 مسرّع للذكاء الاصطناعي التوليدي؛ EY تنشر بنية NVIDIA AI Factory التحتية للقطاعات الخاضعة للتنظيم. وأعمالها في مجال الحوكمة والامتثال موثوقة ومشروعة.
ولكن عندما يحتاج العميل إلى اختبار خصومي عملي لمسار توليد معزز بالاسترجاع (RAG)، أو تحصين معماري ضد حقن التعليمات غير المباشر في نظام متعدد الوكلاء، أو نشراً تشغيلياً لبنية ذكاء اصطناعي سيادية مع التحقق من سلامة أوزان النماذج، فإن أطر الحوكمة لا تكفي وحدها. الفجوة تكمن بين معرفة ماهية الخطر وامتلاك القدرة الهندسية لمنعه هيكلياً.
ما نبنيه لبرامج أمان الذكاء الاصطناعي
نحن نعمل على مستوى البنية الهندسية لأن ذلك هو الموضع الذي تُحدث فيه القرارات الأمنية تأثيراً هيكلياً؛ فتصفية حقن التعليمات عند طبقة الإدخال لها معدل فشل موثق عند استخدام هجمات تكيفية، كما أن فحص النماذج بعد تنزيلها يرصد الأنماط المعروفة لكنه يعجز عن رصد هجمات سلاسل الإمداد المبتكرة، وتخبرك أطر الحوكمة بما يجب مراقبته لكنها لا تبني منظومة المراقبة. نركز على أربعة مجالات تحدد فيها المعمارية الهندسية ما إذا كان الوضع الأمني سيصمد — بما في ذلك النشر السيادي، وهو ما أثبتناه عملياً في عرض توضيحي عملي لنماذج LLM الخاصة.
البنية التحتية السيادية للذكاء الاصطناعي
بالنسبة للمؤسسات التي تنشر أنظمتها في ظل قيود سيادة البيانات، يتمثل نهجنا في بناء بنية تحتية تبقى فيها النماذج وعمليات الاستدلال وبيانات التدريب داخل حدود خاضعة للتحكم. هذا ليس مجرد غلاف سحابة خاصة افتراضية (VPC) حول استدعاء واجهة برمجة تطبيقات، بل يعني اختيار النماذج وتكميمها (quantizing) للعمل على عتاد محلي في مقر المؤسسة — فالمفاضلات بين تكميم GPTQ وAWQ وGGUF تحمل أهمية بالغة لكل من الأداء والأمان — وتكوين عزل وحدات معالجة الرسوميات للبيئات متعددة المستأجرين، وتطبيق التصديق التشفيري (cryptographic attestation) لأوزان النماذج، وبناء حزمة المراقبة التي ترصد السلوك الشاذ للاستدلال. ويُحدَّد نطاق النشر السيادي باعتباره مشروعاً هندسياً مدته ستة أشهر، وليس مجرد تغيير في الإعدادات — فهو مصمم هندسياً من البداية إلى النهاية بدلاً من تجميعه من غلاف خارجي.
سلامة سلسلة الإمداد
نحن نصمم مسار التحقق ليعمل قبل أن يصل أي نموذج إلى بيئة الإنتاج (مفصل في بحثنا حول سلامة سلسلة إمداد الذكاء الاصطناعي عبر دورة حياة التعلم الآلي): فحوصات آلية للمصدر والموثوقية لأوزان النماذج وبيانات التدريب، والتحقق من صحة تنسيق التسلسل (دائماً safetensors بدلاً من pickle)، والتحقق من سلامة مهايئات LoRA، والمراقبة المستمرة للمستودعات الأصلية تحسباً لاختطاف مساحات الأسماء أو تعديل الأوزان. والمخرج المستهدف هو ML-BOM يحدد أصل كل مكون، وإصدار كل تبعية، ومصدر كل مجموعة بيانات تدريبية.
التحصين الخصومي
نحن نجمع بين اختبار الاختراق (Red Teaming) والمعالجة المعمارية، مع إجراء الاختبارات استناداً إلى تصنيف MITRE ATLAS و OWASP LLM Top 10 v2.0 — غير أن الاختبار وحده لا يحل المشكلة. فعندما تكون واجهة استدعاء الأدوات في نظام قائم على الوكلاء عرضة لحقن التعليمات غير المباشر عبر الوثائق المسترجعة، نبني معمارية حدود الثقة التي تفصل هيكلياً المحتوى غير الموثوق به عن العمليات ذات الامتيازات (راجع بحثنا حول تأمين الحدود المشتركة بين البشر والذكاء الاصطناعي). وعندما يُسرب مسار RAG مطالبات النظام عبر استعلامات مصاغة بدقة (OWASP LLM07، المضافة حديثاً في إصدار 2025)، نعيد تصميم مسار الاسترجاع والتوليد لمنع ذلك.
المواءمة التنظيمية
نربط ضوابط تقنية محددة بالمتطلبات التنظيمية التي تنطبق على عملية النشر لديك: قانون الذكاء الاصطناعي للاتحاد الأوروبي والتزاماته للأنظمة عالية المخاطر، NIST AI RMF 2.0، و قائمة OWASP لأهم 10 مخاطر في نماذج اللغة الكبيرة، وقوانين الخصوصية البيومترية في الولايات الأمريكية (BIPA وCUBI وقانون كولورادو H.B. 24-1130)، والمتطلبات الخاصة بكل قطاع. والمخرج المستهدف ليس مجرد مصفوفة امتثال في جدول بيانات، بل ضوابط مطبقة مع المراقبة، وتوليد الأدلة، ومسارات التدقيق التي ترضي الجهات التنظيمية وتحد من 4.63 ملايين دولار كمتوسط تكلفة للاختراق المرتبط بالذكاء الاصطناعي.
النقاط الرئيسية
- استغلال الذكاء الاصطناعي أصبح تهديداً تشغيلياً وليس مجرد أبحاث أكاديمية: شهد عام 2025 ثغرات CVE نشطة في Microsoft 365 Copilot وGitHub Copilot وCursor IDE، إلى جانب هجمات GDDRHammer على مستوى وحدات معالجة الرسوميات في عام 2026.
- سلسلة الإمداد هي النقطة العمياء الأكثر خطورة — حيث يمكن لما لا يتجاوز 250 وثيقة خبيثة زرع باب خلفي في النموذج، بينما وتيرة تطور معايير مثل CycloneDX ML-BOM وSPDX 3.0.1 وOWASP AI-BOM تفوق بكثير وتيرة تبني المؤسسات لها.
- يترك كل من موردي الحلول الجزئية وبرامج الحوكمة للشركات الأربع الكبرى (Big Four) نفس الفجوة: لا أحد يهندس الوضع الأمني العام لعملية النشر.
- نحن نبني على مستوى البنية الهندسية عبر أربعة مجالات — البنية التحتية السيادية للذكاء الاصطناعي، وسلامة سلسلة الإمداد، والتحصين الخصومي، والمواءمة التنظيمية — لنحوّل الوعي بالمخاطر إلى ضوابط مطبقة هيكلياً.
أمان الذكاء الاصطناعي والمرونة السيبرانية
مشاهدةأمن سلسلة توريد الذكاء الاصطناعي وسلامة النماذج | Veriprajna
استشارات أمن سلسلة توريد الذكاء الاصطناعي. نبني خطوط أنابيب فحص النماذج وبنية ML-BOM وحوكمة الذكاء الاصطناعي الخفي لمدراء أمن المعلومات (CISO) في المؤسسات الخاضعة للتنظيم. متوافقة مع NIST AI 100-2 وقانون الذكاء الاصطناعي الأوروبي (EU AI Act).
مشاهدةالامتثال للتعرف على الوجه والقياسات الحيوية | Veriprajna
سواء كنت قد نشرت تقنية التعرف على الوجه وتحتاج إلى معرفة مدى تعرّضك للمخاطر، أو كنت بصدد تقييم المورّدين وترغب في إنجاز الأمر بشكل صحيح من المرة الأولى، فإننا ندقّق أنظمة القياسات الحيوية في ضوء اللوائح والمعايير المرجعية ومعايير التشغيل التي تهمّ فعلاً.
مشاهدةسلامة نشر تحديثات البرامج ومرونة تقنية المعلومات | Veriprajna
في 19 يوليو 2024، تسبّب ملف إعدادات واحد في تعطّل 8.5 مليون جهاز يعمل بنظام Windows في أقل من 90 دقيقة. لم تكن برمجية خبيثة.
مشاهدةالذكاء الاصطناعي السيادي ونشر نماذج اللغة الخاصة | Veriprajna
واحدة من كل خمس مؤسسات تعرّضت بالفعل لاختراق ناتج عن الاستخدام غير المصرّح به لأدوات الذكاء الاصطناعي. حظر الذكاء الاصطناعي لا ينجح. أمّا بناء بدائل سيادية آمنة فينجح.
الأسئلة المتكرّرة
هل ينبغي لنا الاستعانة بشركة استشارات لأمان الذكاء الاصطناعي أم بناء فريق داخلي لأمان الذكاء الاصطناعي؟
الإجابة الصادقة هي أنك بحاجة إلى عناصر من الاثنين معاً، والتوقيت يلعب دوراً حاسماً. فبناء فريق داخلي لأمان الذكاء الاصطناعي من الصفر يستغرق من 12 إلى 18 شهراً للتوظيف والتدريب والتشغيل الفعلي. كما أن الكفاءات المتاحة نادرة: فالباحثون المتخصصون في أمن الذكاء الاصطناعي الهجومي القادرون على تنفيذ اختبارات اختراق لأنظمة النماذج اللغوية الكبيرة (LLM) في بيئات الإنتاج وهندسة الحلول الوقائية ليسوا متوفرين بكثرة. تساعدك شركة الاستشارات في الوصول إلى وضع أمني حصين بوتيرة أسرع بالتزامن مع بنائك لقدراتك الداخلية. نعمل عادة عبر مشاريع تمتد بين 3 إلى 6 أشهر لتقييم واقع نشر الذكاء الاصطناعي الحالي، وبناء البنية الهندسية الأمنية (التحقق من سلاسل الإمداد، وحدود الثقة، ومنظومة المراقبة)، واختبار اختراق الأنظمة الحساسة، وتوثيق البرنامج ليتمكن فريقك الداخلي من إدارته لاحقاً. التسليم السلس هو هدفنا؛ نحن نبني البرنامج والأدوات، وفريقك يتولى إدارتها. وتكلفة هذا التعاقد لمدة 6 أشهر لا تمثل سوى جزء ضئيل مما قد يكلفه انتهاك واحد مرتبط بالذكاء الاصطناعي أو تسوية دعوى قضائية جماعية بشأن الخصوصية البيومترية (حصّلت تكساس وحدها 2.8 مليار دولار من Google وMeta في عام 2025).
كم يستغرق تقييم أمان الذكاء الاصطناعي، وما الذي يغطيه؟
يستغرق تقييم أمان الذكاء الاصطناعي الشامل عادةً ما بين 4 إلى 8 أسابيع اعتماداً على عدد أنظمة الذكاء الاصطناعي المشمولة بالنطاق. يُكرّس الأسبوع الأول لحصر أصول الذكاء الاصطناعي: كل نموذج قيد الإنتاج، ومصدره، وطريقة نشره، وتدفقات البيانات، وضوابط الوصول إليه؛ وغالباً ما تكتشف معظم المؤسسات نماذج لم تكن تعلم أنها تعمل لديها أصلاً. وتغطي الأسابيع من الثاني إلى الرابع الاختبارات الخصومية استناداً إلى تصنيف MITRE ATLAS وقائمة OWASP LLM Top 10 v2.0، بما في ذلك حقن التعليمات البرمجية (المباشر وغير المباشر)، والتحقق من سلامة سلسلة الإمداد، واختبار تسريب البيانات، وتصعيد الامتيازات عبر واجهات استدعاء الأدوات. وتثمر المرحلة النهائية عن خطة معالجة مرتبة حسب الأولوية تتضمن توصيات معمارية، بدلاً من الاكتفاء بقائمة ملاحظات. ونربط كل نتيجة بالمتطلبات التنظيمية المعمول بها (قانون الذكاء الاصطناعي للاتحاد الأوروبي EU AI Act، وإطار NIST AI RMF، وقوانين BIPA/CUBI في حال شمل النطاق أنظمة بيومترية) بحيث تسد المعالجة الفجوات الأمنية والتنظيمية في آن واحد.
ما هي الحلول الفعالة حقاً ضد هجمات حقن التعليمات (Prompt Injection) في بيئة الإنتاج؟
لا يوجد دفاع أحادي يمكنه إيقاف حقن التعليمات البرمجية (Prompt Injection) بشكل موثوق؛ ففضاء الحقن المحتمل لا نهائي بينما تستهدف المرشحات أنماطاً محددة. كما تتجاوز نسبة نجاح الهجمات التكيفية ضد أي طبقة دفاعية منفردة 85% في الاختبارات الخاضعة للرقابة. والحل الفعال هو الدفاع المعماري متعدد الطبقات: فالتحقق من صحة المدخلات يرصد الهجمات البسيطة، والتحقق من صحة المخرجات باستخدام نموذج لغوي كناقد (LLM-as-critic) يحسن دقة الاكتشاف بنسبة 21% مقارنة بتصفية المدخلات وحدها (استناداً إلى أكثر من 600 ألف مطالبة خصومية من مجموعة بيانات HackAPrompt). لكن الضوابط الهيكلية هي الأهم على الإطلاق: الفصل بين المحتوى غير الموثوق والتعليمات ذات الامتيازات على مستوى البنية الهندسية، وتطبيق مبدأ الحد الأدنى من الامتيازات على واجهات استدعاء الأدوات، واشتراط الموافقة البشرية للعمليات ذات الأثر البالغ، وتصميم مسارات الاسترجاع بحيث لا تستطيع الوثائق المسترجعة تجاوز تعليمات مستوى النظام. وبالنسبة للأنظمة القائمة على الوكلاء على وجه الخصوص، يجب أن تكون حدود الثقة بين الوكلاء صريحة ومفروضة بدقة وليست مجرد افتراض. نحن ندمج هذه الضوابط الهندسية في صلب النظام بدلاً من الاكتفاء بوضع مرشحات خارجية.
كيف نؤمن سلسلة إمداد نماذج الذكاء الاصطناعي عند استخدام نماذج مفتوحة المصدر من Hugging Face؟
ابدأ بإدراك أن Hugging Face هو مستودع عام وليس سلسلة إمداد موثوقة ومفحوصة مسبقاً؛ فقد اكتشفت شركة JFrog نحو 100 نموذج خبيث يتضمن حمولات مدمجة لتنفيذ تعليمات برمجية، وأظهرت وحدة Unit 42 في Palo Alto أن مساحات الأسماء المحذوفة يمكن للمهاجمين إعادة تسجيلها، كما يتعذر تمييز مهايئات LoRA الخبيثة عن عمليات الضبط الدقيق المشروعة دون التحقق من السلامة. ويشمل الدفاع العملي أربع طبقات: أولاً، لا تقم إطلاقاً بتحميل نماذج بتنسيق تسلسل pickle في بيئات الإنتاج، واشترط استخدام تنسيق safetensors غير القابل للتنفيذ بطبيعته. ثانياً، تحقق من موثوقية ومصدر النموذج: راجع سجل الإيداعات (commit history)، وسمعة المساهمين، ومجاميع التحقق (checksums) للأوزان مقارنة بخطوط الأساس المعتمدة. ثالثاً، أنشئ قائمة مكونات التعلم الآلي (ML-BOM) باستخدام CycloneDX أو SPDX 3.0.1 لتتبع أصل كل مكون وإصداره وتبعياته. رابعاً، شغّل فحصاً آلياً لكل تحديث يطرأ على النموذج قبل دخوله في مسار CI/CD، وراقب المستودعات الأصلية تحسباً لتغيير مساحات الأسماء أو تعديل الأوزان بشكل غير متوقع. نحن نبني مسار التحقق هذا كجزء متكامل من تدفق عمل عمليات التعلم الآلي (MLOps) لديك، وليس كإجراء يدوي منفصل.
ما هي المتطلبات الأمنية لقانون الذكاء الاصطناعي للاتحاد الأوروبي الخاصة بالأنظمة عالية المخاطر والتي تدخل حيز التنفيذ في أغسطس 2026؟
تفرض متطلبات قانون الذكاء الاصطناعي للاتحاد الأوروبي الخاصة بالأنظمة عالية المخاطر (التي تسري في 2 أغسطس 2026) ضوابط أمنية محددة تشمل المتانة ضد الهجمات الخصومية، وحوكمة البيانات لمجموعات بيانات التدريب، والتوثيق الفني لتصميم نظام الذكاء الاصطناعي واختباره، وآليات الرقابة البشرية، ومراقبة الدقة والموثوقية طوال دورة حياة النظام. وتصل الغرامات إلى 35 مليون يورو أو 7% من إجمالي الإيرادات السنوية العالمية للمخالفات الجسيمة. والتحدي العملي يكمن في أن متطلبات القانون قائمة على المبادئ وليست إجرائية بحتة؛ فعبارة «مستوى مناسب من المتانة» لا تحدد لك الاختبارات الخصومية الواجب إجراؤها. نقوم بمواءمة متطلبات القانون مع ضوابط فنية محددة: بروتوكولات اختبار خصومي متوافقة مع MITRE ATLAS، وفحوصات سلامة سلسلة الإمداد التي تلبي شروط الشفافية في القانون، وأنظمة مراقبة تولد أدلة الامتثال التي تطلبها الجهات التنظيمية، وتوثيق يربط بدقة بين المتطلب التنظيمي والضابط المطبق فعلياً. والمؤسسات التي تتعامل مع هذا الأمر كمجرد إجراء شكلي ستكتشف أن آليات إنفاذ القانون مصممة للنفاذ لما وراء المستندات الورقية وصولاً إلى التنفيذ التقني الفعلي.
كيف نكتسب رؤية واضحة حول استخدامات الذكاء الاصطناعي الخفي (Shadow AI) في مؤسستنا؟
يمثل الذكاء الاصطناعي الخفي (Shadow AI) الخطر التشغيلي الأبرز للذكاء الاصطناعي في الوقت الراهن؛ حيث تشير الأبحاث إلى أن 69% من المؤسسات تشتبه في استخدام موظفيها لأدوات ذكاء اصطناعي توليدي غير معتمدة، وتسجل الشركة المتوسطة 223 حادثة شهرياً لإرسال بيانات حساسة إلى تطبيقات الذكاء الاصطناعي. وتكلف انتهاكات الذكاء الاصطناعي الخفي 4.63 ملايين دولار في المتوسط، وهو ما يفوق تكلفة الانتهاكات العادية بكثير. ولا يُجدي حظر هذه الأدوات نفعاً، إذ تؤكد الدراسات باستمرار أن الموظفين يتجاوزون الحظر. ويعد نهج «Sunlight AI» الذي اقترحه معهد SANS هو الأقرب للصواب: إظهار الاستخدام الخفي إلى النور بدلاً من محاولة منعه. ومن الناحية الفنية، يتطلب ذلك نشر آليات رصد لحركة مرور واجهات برمجة تطبيقات الذكاء الاصطناعي على مستوى الشبكة، وإنشاء دليل للأدوات المعتمدة مع ضوابط ملائمة لتصنيف البيانات، وتطبيق قواعد منع فقدان البيانات (DLP) الخاصة بنقاط نهاية خدمات الذكاء الاصطناعي، ووضع سياسات استخدام توفر للموظفين مساراً معتمداً لتبني الذكاء الاصطناعي. ونحن نبني طبقة المراقبة التقنية ونربطها مع منظومة SIEM/SOAR الحالية لديك ليظهر استخدام الذكاء الاصطناعي في نفس لوحات التحكم التي يتابعها مركز العمليات الأمنية (SOC).
كيف نؤمن أنظمة الذكاء الاصطناعي القائمة على الوكلاء التي تستدعي الأدوات وتتخذ قرارات ذاتية؟
يفرض الذكاء الاصطناعي القائم على الوكلاء تحديات أمنية لا وجود لها في عمليات نشر النماذج الفردية؛ إذ تُظهر التجارب الخاضعة للرقابة نسبة نجاح هجمات تصل إلى 84% ضد الأنظمة متعددة الوكلاء مقارنة بنحو 50% للأنظمة ذات الوكيل الفردي. وتكمن المشكلة الأساسية في انتقال الثقة المتسلسل: فعندما يثق الوكيل (أ) في مخرجات الوكيل (ب) ويستخدمها لاستدعاء الأدوات، فإن اختراق مدخلات الوكيل (ب) (عبر حقن تعليمات غير مباشر في وثيقة مسترجعة مثلاً) يتسلل كلياً عبر شبكة الوكلاء بأكملها. ويصنف إصدار MITRE ATLAS v5.4.0 الآن تقنيات خاصة بالوكلاء بما في ذلك نشر أدوات مسمومة والهروب إلى المضيف. ويتطلب الدفاع المعماري وضع حدود ثقة صريحة بين الوكلاء، وتطبيق مبدأ الحد الأدنى من الامتيازات على كل واجهة استدعاء أدوات (فالوكيل الذي يحتاج صلاحية القراءة يجب ألا يُمنح صلاحية الكتابة إطلاقاً)، وتنقية المدخلات عند كل تسليم بين وكيل وآخر، ووضع بوابات للمراجعة البشرية في العمليات ذات الآثار الملموسة. ونحن نصمم معماريات الثقة هذه لعمليات النشر الخاصة بك وفقاً لوظيفة كل وكيل والأدوات والبيانات التي يتعامل معها.
هل ينبغي لنا اعتماد MITRE ATLAS أم OWASP LLM Top 10 كإطار عمل لأمان الذكاء الاصطناعي؟
اعتمد كلاهما؛ فهما يخدمان غايات مختلفة ويكمل بعضهما بعضاً. تعد قائمة OWASP LLM Top 10 v2.0 (إصدار 2025) قائمة أولويات للمخاطر في تطبيقات النماذج اللغوية الكبيرة: حقن التعليمات، وإفشاء المعلومات الحساسة، وثغرات سلاسل الإمداد، والتفويض المفرط للوكلاء، وتسريب مطالبات النظام، ونقاط الضعف في التضمين/المتجهات؛ وتوضح لك ما يجب التركيز عليه أولاً. أما MITRE ATLAS فهو تصنيف تهديدات خصومية يضم 16 تكتيكاً و84 تقنية و56 تقنية فرعية يوضح لك كيف يخترق المهاجمون أنظمة التعلم الآلي فعلياً. يرسم ATLAS سلاسل الهجوم بينما يرتب OWASP أولويات المخاطر. ومن الناحية العملية، نستخدم OWASP لتحديد نطاق التقييم ونستخدم MITRE ATLAS لهيكلة اختبار كل جانب من جوانب الخطر. وبالنسبة للمؤسسات التي تبني برنامجاً لأمان الذكاء الاصطناعي، يقدم معيار NIST AI 600-1 (ملف تعريف الذكاء الاصطناعي التوليدي لإطار AI RMF) الغطاء الحوكمي الذي يربط كلا الإطارين بإدارة المخاطر المؤسسية. والجمع بين الثلاثة يوفر لك ترتيب أولويات المخاطر (OWASP)، ومنهجية محاكاة الهجمات (ATLAS)، والهيكل الحوكمي (NIST).
ابنِ ذكاءك الاصطناعي بثقة.
تعاون مع فريق يمتلك خبرة عميقة في بناء الجيل القادم من الذكاء الاصطناعي للمؤسسات. دعنا نساعدك على تصميم استراتيجية ذكاء اصطناعي جديرة بثقتك وبنائها وتطبيقها.
Veriprajna استشارات التقنيات العميقة متخصصة في بناء أنظمة الذكاء الاصطناعي الحرجة للسلامة في مجالات الرعاية الصحية والتمويل والقطاعات التنظيمية. تُقيَّم بنياتنا المعمارية وفق البروتوكولات المعتمدة مع توثيق شامل للامتثال.