هندسة أمن الذكاء الاصطناعي
نماذجك هي شيفرة قابلة للتنفيذ. معظم المؤسسات تتعامل معها كأنها ملفات بيانات. تلك الفجوة هي حيث تحدث الاختراقات.
$4.63M
متوسط تكلفة الاختراق المرتبط بالذكاء الاصطناعي الخفي
تقرير IBM لتكلفة اختراق البيانات 2025
83%
من المؤسسات تفتقر إلى ضوابط أمنية آلية للذكاء الاصطناعي
Kiteworks 2025
352K
مشكلة غير آمنة تم اكتشافها عبر 51,700 نموذج في السجلات العامة
Protect AI 2025
نماذج الذكاء الاصطناعي ليست عناصر ساكنة. إنها شيفرة تُنفَّذ أثناء التحميل والتدريب والاستدلال وتشغيل الوكلاء. أربع فئات هجومية تهيمن على نموذج التهديد.
torch.load() تنفّذ شيفرة Python عشوائية أثناء إلغاء التسلسل. هذا ليس خللاً برمجياً. إنه السلوك المصمَّم لتسلسل pickle، وأكثر من 80% من نماذج تعلّم الآلة تستخدمه.
نموذج يُدعى "baller423" على Hugging Face تبيّن أنه ينشئ صدفة عكسية (reverse shell) إلى Kreonet. بدا النموذج طبيعياً. واجتاز عمليات الفحص الأساسية. ونفّذ شيفرة عشوائية في اللحظة التي حمّله فيها أحدهم.
PickleScan، الدفاع الأكثر استخداماً، لديه ما لا يقل عن 3 ثغرات معروفة من نوع zero-day للتجاوز (CVE-2025-10155). الفحص القائم على القوائم السوداء معطوب جوهرياً لأن المهاجم يتحكم في صيغة التسلسل.
ينخفض Llama 3.1 8B من 0.95 إلى 0.15 في مقاومة حقن المطالبات (prompt injection) بعد جولة واحدة من الضبط الدقيق. هذا تدهور بنسبة 84% في محاذاة السلامة نتيجة تدريب عادي وغير عدائي.
لا أحد تقريباً يعيد تقييم السلامة بعد الضبط الدقيق. يجتاز النموذج تقييم السلامة الأولي، ثم يُضبَط دقيقاً على بيانات المجال، ويذهب إلى الإنتاج وقد أُزيلت حواجزه الواقية فعلياً. هذا ليس هجوماً غريباً. إنه سير العمل الافتراضي في معظم المؤسسات.
98% من المؤسسات لديها استخدام غير مصرّح به للذكاء الاصطناعي. هذا الرقم ليس خطأً مطبعياً. تكلفة الاختراق الإضافية البالغة $670K لحوادث الذكاء الاصطناعي الخفي تعكس حقيقة بسيطة: لا يمكنك تأمين ما لا تستطيع رؤيته.
62% من فرق الأمن لا تستطيع تحديد أين تُنشَر نماذج اللغة الكبيرة (LLMs) في بيئتها. يقوم المطورون بتنزيل النماذج من Hugging Face، واستدعاء واجهات OpenAI البرمجية بمفاتيح شخصية، ونشر النماذج المضبوطة دقيقاً على حسابات سحابية شخصية. تكشف أدوات الأمن الحالية نحو 38% من هذا النشاط.
ثغرة تنفيذ الشيفرة عن بُعد (RCE) في GitHub Copilot (CVE-2025-53773، CVSS 7.8) حوّلت حقن مطالبة في توثيق مستودع إلى اختراق كامل للنظام عبر وضع YOLO. قرأ الوكيل تعليمة خبيثة، ونفّذها كشيفرة، وأصبح جهاز المستخدم مُختَرَقاً.
ملف Amazon Q cleaner.md وزّع أوامر مدمّرة على أكثر من 950K مستخدم عبر نافذة سياق الوكيل. راكم سوق OpenClaw 138 ثغرة CVE خلال 63 يوماً، مع اكتشاف أن 12% من المهارات المقدَّمة كانت خبيثة.
يحوّل الوكلاء حقن المطالبات إلى اختراقات على مستوى النظام لأن لديهم وصولاً إلى الأدوات وبيانات الاعتماد وامتيازات التنفيذ التي تفتقر إليها نماذج اللغة الكبيرة التقليدية.
منظومة المورّدين تنضج بسرعة. إليك رؤية صادقة لما يغطّيه كل لاعب وأين تبقى الفجوات.
| المزوّد | ما يقومون به | ما لا يقومون به | الأنسب لـ |
|---|---|---|---|
| Palo Alto / Protect AI | فحص النماذج، وتوليد AI-BOM، مدمجة في منصة Prisma AIRS | تصميم البنية، وهندسة خطوط الأنابيب المخصصة، وإدارة التغيير التنظيمي | المؤسسات الموجودة بالفعل على منصة PANW |
| HiddenLayer | كشف الذكاء الاصطناعي والاستجابة وقت التشغيل، ومراقبة أمن الوكلاء | بنية سلسلة التوريد، وتنفيذ ML-BOM، وربط الامتثال | فرق مراكز العمليات الأمنية (SOC) التي تضيف رؤية للذكاء الاصطناعي |
| JFrog | MLSecOps، وأمن سجل النماذج، والتكامل مع Hugging Face | الاختبار العدائي (red-teaming)، والتحقق من محاذاة السلامة، وتصميم الحوكمة | فرق DevOps التي تدير عناصر النماذج |
| Wiz | AI-BOM في سياق أمن السحابة، وفحص النماذج | أمن النماذج المحلية (on-prem)، وسلامة الضبط الدقيق، وبنية الوكلاء | المؤسسات التي تعتمد السحابة أولاً |
| NVIDIA NeMo Guardrails | حواجز واقية مفتوحة المصدر لنماذج اللغة الكبيرة وقت التشغيل | فحص النماذج، وأمن سلسلة التوريد، وتتبّع المنشأ | الفرق التي تبني تطبيقات LLM مخصصة |
| شركات الأربعة الكبار / كبار مكاملي الأنظمة | أطر الحوكمة، وتوثيق الامتثال، وعروض مجلس الإدارة | التنفيذ. بناء خطوط أنابيب الفحص، وتهيئة ML-BOMs، ونشر توقيع النماذج. تبدأ الارتباطات من $500K للاستراتيجية، وتصل إلى $3-10M. | المؤسسات التي تحتاج توثيقاً جاهزاً للتدقيق |
| المصادر المفتوحة (ModelScan، PickleScan، SafeTensors) | فحص أساسي مجاني وصيغ تسلسل أكثر أماناً | التنسيق على مستوى المؤسسة، والصندوق الرملي السلوكي، والمنشأ، وفرض السياسات | الفرق ذات هندسة الأمن الداخلية القوية |
فجوة لا أحد يسدّها جيداً. تغيير الثقافة التنظيمية هو الجزء الأصعب. لا توجد أداة أو شركة استشارية تُلغي ميل البشر إلى تجاوز الحوكمة من أجل السرعة. نحن نبني الضوابط التقنية، لكن مدير أمن المعلومات (CISO) لا يزال بحاجة إلى دعم القيادة التنفيذية. عندما يستطيع عالِم بيانات تنزيل نموذج من Hugging Face في 30 ثانية، فإن أي بوابة أمنية تستغرق 30 دقيقة سيتم تجاوزها. يجب أن تكون الضوابط سريعة بما يكفي ليكون الالتزام أسهل من الالتفاف.
ست قدرات، كل منها مُهندَسة للتكامل مع منظومتك الأمنية الحالية وخطوط أنابيب CI/CD.
نبني فحصاً آلياً يقع بين مستودعات النماذج العامة وسجلّك الداخلي. يمر كل نموذج عبر صندوق رملي سلوكي (يُحمَّل في حاويات معزولة، مع مراقبة استدعاءات النظام)، وتحليل عميق متعدد الصيغ (pickle، PyTorch، GGUF، Keras، SafeTensors)، وتوقيع تشفيري باستخدام البنية التحتية للمفاتيح العامة (PKI) لمؤسستك.
نلجأ إلى التحليل السلوكي بدلاً من الفحص الساكن لأن ثغرات zero-day للتجاوز في PickleScan تثبت أن أساليب القوائم السوداء معطوبة جوهرياً. الفحص الساكن يسأل "هل يحتوي هذا الملف على أنماط معروفة بأنها سيئة؟" أما الصندوق الرملي السلوكي فيسأل "ماذا تفعل هذه الشيفرة فعلياً عند تشغيلها؟" السؤال الثاني يكتشف الهجمات الجديدة.
توليد CycloneDX ML-BOM مدمج في CI/CD. يحصل كل نموذج على قائمة مواد توثّق منشأ بيانات التدريب، وإصدارات الأُطر، وأشجار التبعيات، وتاريخ الضبط الدقيق.
نستخدم CycloneDX بدلاً من SPDX لأن أدوات ML-BOM أكثر نضجاً، رغم أننا نضمن التصدير بصيغة SPDX 3.0 للمؤسسات التي تحتاج كلتيهما. ML-BOM ليس خانة امتثال تُؤشَّر. إنه بنية البيانات التي تجعل كل ضابط أمني آخر ممكناً: لا يمكنك توقيع ما لا تستطيع جرده، ولا يمكنك تدقيق ما لا تستطيع تتبّعه.
كشف على مستوى الشبكة للتنزيلات غير المصرّح بها للنماذج واستدعاءات واجهات الذكاء الاصطناعي البرمجية. تكامل مع نظام SIEM/SOAR الحالي لديك. نرسم خريطة لكل نقطة تماس مع الذكاء الاصطناعي بما في ذلك عمليات النشر الخفية، ثم نبني فرض سياسات يحظر المخاطر دون حظر الابتكار.
الهدف: أن يرى فريقك الأمني 100% من استخدام الذكاء الاصطناعي، وليس 38% التي تكشفها الأدوات الحالية. يغطي الكشف تنزيلات Hugging Face، واستدعاءات واجهات OpenAI/Anthropic/Google البرمجية، وعمليات نقل أوزان النماذج عبر HTTP/S، وتشغيل النماذج المحلي عبر مراقبة العمليات على نقاط النهاية المُدارة.
إعادة تقييم آلية للسلامة بعد كل عملية ضبط دقيق. مجموعة معايير OWASP LLM Top 10، والفحص العدائي لمحفّزات الأبواب الخلفية (backdoor)، واختبار انحدار محاذاة السلامة.
نبني هذا لأن لا أحد تقريباً يعيد تقييم السلامة بعد الضبط الدقيق. بيانات تدهور السلامة في القسم أعلاه تثبت الحجة. يعمل خط أنابيب التحقق كبوابة في CI/CD. النموذج الذي يفشل في انحدار السلامة لا يمكن ترقيته إلى الإنتاج، بغض النظر عن أدائه في المهمة.
فصل الامتيازات لوكلاء الذكاء الاصطناعي. طبقات سياسات حتمية تمنع التصعيد من حقن المطالبة إلى تنفيذ الشيفرة عن بُعد (RCE) (وهو مسار الهجوم ذاته في CVE-2025-53773). فرض سياسة استخدام الأدوات، وبوابات إشراف بشري للعمليات عالية المخاطر، ومراقبة السلوك وقت التشغيل.
تكتشف البنية أفعال الوكلاء الشاذة قبل أن تتسلسل. الوكيل الذي يبدأ فجأة بالكتابة إلى مسارات نظام ملفات خارج صندوقه الرملي، أو استدعاء واجهات برمجية لم يستدعها من قبل، أو محاولة تصعيد الامتيازات، يتم إنهاؤه ووضع علامة عليه للمراجعة.
لمدراء أمن المعلومات (CISOs) الذين يبنون الوظيفة من الصفر. ربط ضوابط NIST AI 100-2، وبنية الامتثال لقانون الذكاء الاصطناعي الأوروبي (EU AI Act)، وقياس المخاطر على مستوى مجلس الإدارة، وأدلة الاستجابة للحوادث الخاصة بهجمات الذكاء الاصطناعي.
نساعد في ترجمة المخاطر التقنية إلى مبرر للميزانية توافق عليه مجالس الإدارة. "اكتشفنا 352K مشكلة غير آمنة عبر سجلات النماذج العامة" هي نقطة بيانات. أما "قام مهندسونا بتنزيل 47 نموذجاً غير مفحوص الربع الماضي، 3 منها احتوت على شيفرة قابلة للتنفيذ في طبقة التسلسل الخاصة بها، ولم تكتشف ضوابطنا الحالية أياً منها" فهي مبرر للميزانية.
ثلاث مراحل، كل منها بمخرجات محددة وتحفظات صادقة حول ما يمكن توقّعه.
الأسابيع 1-3
المُخرَج: تقرير الوضع الأمني للذكاء الاصطناعي مع سجل مخاطر مرتّب حسب الأولوية
تحفّظ: غالباً ما تكشف هذه المرحلة استخداماً للذكاء الاصطناعي أكثر بـ3-5 أضعاف مما توقّعه مدير أمن المعلومات. هذا طبيعي. اكتشاف الذكاء الاصطناعي الخفي هو الجزء الأكثر قيمة والأكثر إزعاجاً في الارتباط.
الأسابيع 4-10
المُخرَج: ضوابط أمنية جاهزة للإنتاج مدمجة في سير العمل الحالي
تحفّظ: يعتمد الجدول الزمني على نضج CI/CD. الفرق ذات خطوط أنابيب DevOps الناضجة تنشر أسرع. المؤسسات التي لا تزال تنقل النماذج عبر أقراص USB أو مجلدات مشتركة (وهو أكثر شيوعاً مما تتوقع) تحتاج إلى عمل إضافي على البنية التحتية.
الأسابيع 11-14
المُخرَج: عمليات أمن ذكاء اصطناعي ذاتية الاستدامة مع أدلة تشغيل موثّقة
تحفّظ: أول اختبار عدائي يجد شيئاً ما دائماً. هذا هو المقصد. الاختبار العدائي الذي لا يجد شيئاً إما أنه لم يبذل جهداً كافياً أو كان نطاقه ضيقاً جداً.
أجب عن ثمانية أسئلة لقياس وضعك الأمني للذكاء الاصطناعي. لا تُجمَع أي بيانات. كل شيء يعمل في متصفحك.
4-6 أسابيع لخط أنابيب أساسي يغطي الفحص الساكن والتحقق من التوقيع. 8-12 أسبوعاً للصندوق الرملي السلوكي الكامل مع تكامل CI/CD. نادراً ما يكون عنق الزجاجة هو تقنية الفحص نفسها. إنه التكامل مع سجل النماذج الحالي لديك (MLflow، Weights & Biases، JFrog ML) وتعريف منطق السياسة: ما الذي يُحظَر مقابل ما يوضَع عليه علامة مقابل ما يُعزَل. لقد وجدنا أن قرارات السياسة تستغرق وقتاً أطول من الهندسة.
تعقيد الصيغة يضيف وقتاً. Pickle، PyTorch، GGUF، Keras، وSafeTensors يتطلب كل منها أساليب تحليل مختلفة. يبقى Pickle الصيغة الأعلى مخاطرة لأن torch.load() تنفّذ شيفرة Python عشوائية أثناء إلغاء التسلسل، ولهذا يكون الصندوق الرملي السلوكي أهم من الفحص الساكن لتلك الصيغة. SafeTensors هي خيار التسلسل الأكثر أماناً والأبسط للفحص، لكن أقل من 20% من نماذج الإنتاج تستخدمها اليوم. يجب أن يتعامل خط أنابيبك معها جميعاً لأنك لا تستطيع التحكم في الصيغة التي يختارها مزوّدو النماذج الأعلى في السلسلة.
تلك المنصات ممتازة فيما تقوم به. تكامل Protect AI من Palo Alto (عبر Prisma AIRS) يمنحك فحص النماذج ضمن منظومتك الأمنية الحالية. MLSecOps من JFrog يتولّى حوكمة سجل النماذج. Wiz يضيف AI-BOM إلى رؤية السحابة. أما ما لا تقوم به: تصميم البنية الشاملة من البداية إلى النهاية، وتهيئة توليد ML-BOM في خط أنابيب CI/CD الخاص بك، وبناء منطق السياسة لسياقك التنظيمي، أو إعادة هندسة سير عمل نشر النماذج لديك. إنها أدوات فحص. ونحن فريق التنفيذ الذي يجعلها تعمل معاً.
تبدأ العديد من الارتباطات مع مؤسسات تمتلك بالفعل هذه المنصات لكنها تحتاج إلى مساعدة في تشغيلها. نمط شائع: اشترى الفريق الأمني Protect AI قبل ستة أشهر، وأجرى فحصاً، وحصل على 400 نتيجة، ثم توقّف لأن لا أحد ربط تلك النتائج بسير عمل المعالجة أو دمج الفحص في خط أنابيب ترقية النماذج.
الحاجز التقني أمام تسميم النماذج أقل مما يفترضه معظم مدراء أمن المعلومات. تُظهِر الأبحاث أن ما لا يزيد على 250 وثيقة مسمَّمة في مجموعة تدريب يمكن أن تزرع باباً خلفياً في نموذج بـ13 مليار معامل. نشرت Microsoft طرق كشف رائدة في فبراير 2026، لكن معظم المؤسسات لا تملك أي قدرة كشف منشورة. مشكلة تدهور سلامة الضبط الدقيق أكثر إلحاحاً وأكثر شيوعاً: ينخفض Llama 3.1 8B من 0.95 إلى 0.15 في مقاومة حقن المطالبات بعد جولة واحدة من الضبط الدقيق. هذا ليس هجوماً. إنه ضبط دقيق عادي دون إعادة تقييم للسلامة.
تبقى الحوادث الموثّقة في الإنتاج للتسميم المتعمد للنماذج نادرة. لكن الظروف مهيّأة: أكثر من 80% من نماذج تعلّم الآلة تستخدم تسلسل pickle، و62% من فرق الأمن لا تستطيع تحديد أين تُنشَر النماذج، ونموذج يُدعى "baller423" على Hugging Face تبيّن أنه ينشئ صدفة عكسية إلى Kreonet. سابقة نزع النماذج (model disgorgement) من قبل لجنة التجارة الفيدرالية (FTC) (Weight Watchers/Kurbo، 2022) تعني أن نموذجاً مسمَّماً قد يجبرك على الحذف وإعادة التدريب من الصفر، بتكاليف تقزّم الاختراق نفسه.
قانون الذكاء الاصطناعي الأوروبي (EU AI Act) قابل للتطبيق بالكامل في 2 أغسطس 2026. لأنظمة الذكاء الاصطناعي عالية المخاطر، تحتاج إلى توثيق تقني يغطي منشأ بيانات التدريب، ونطاقها، وخصائصها، ومنهجيات تنظيفها. تتطلب التزامات سلسلة التوريد من المستوردين والموزّعين التحقق من تقييم المطابقة، والتوثيق التقني، وعلامة CE. عملياً، هذا يعني ML-BOMs لكل نموذج في خط أنابيبك، وإقرارات موقّعة للمنشأ، ومسارات تدقيق لقرارات الضبط الدقيق.
CycloneDX ML-BOM هي المعيار الأكثر جاهزية للتنفيذ. أضاف SPDX 3.0 ملفات تعريف الذكاء الاصطناعي/تعلّم الآلة في 2024، وتحتاج بعض المؤسسات إلى كلتا الصيغتين لجماهير تنظيمية مختلفة. نبني خط أنابيب التوثيق بحيث يكون تتبّع المنشأ آلياً، وليس تمريناً يدوياً للامتثال. الخطأ الشائع هو التعامل مع هذا كمشروع توثيق لمرة واحدة. كل عملية ضبط دقيق، وكل تحديث للنموذج، وكل تغيير في مجموعة البيانات يحتاج إلى توليد سجلات منشأ محدّثة. إذا كان ML-BOM ساكناً، فهو خاطئ خلال أسابيع.
فصل الامتيازات هو الأساس. يحصل كل وكيل على ملف تعريف بأقل امتياز يحدّد الأدوات التي يمكنه استدعاؤها، والواجهات البرمجية التي يمكنه الوصول إليها، ومسارات نظام الملفات التي يمكنه لمسها. هذا يحاكي نموذج القدرات (capability model) في Linux مطبَّقاً على وكلاء الذكاء الاصطناعي. حدثت ثغرة تنفيذ الشيفرة عن بُعد (RCE) في GitHub Copilot (CVE-2025-53773، CVSS 7.8) لأن وضع YOLO منح الوكيل وصولاً غير مقيّد للنظام، وتصاعد حقن مطالبة في توثيق مستودع إلى تنفيذ كامل للشيفرة عن بُعد. تمنع طبقات السياسات الحتمية مسار التصعيد ذاك تماماً.
تضيف المراقبة وقت التشغيل خط أساس سلوكياً يكتشف أفعال الوكلاء الشاذة (استدعاءات أدوات غير متوقعة، أنماط واجهات برمجية غير معتادة، محاولات تصعيد الامتيازات) دون إضافة زمن استجابة للعمليات العادية. هناك تكلفة زمن استجابة صغيرة لفحوصات الأمن على العمليات عالية المخاطر: عمليات الكتابة في نظام الملفات، واستدعاءات واجهات السحابة البرمجية، والوصول إلى بيانات الاعتماد. لمعظم عمليات نشر المؤسسات، يبلغ هذا 50-200 مللي ثانية لكل عملية مُبوَّبة. العمليات منخفضة المخاطر (قراءة مصادر بيانات معتمدة، توليد النصوص، استدعاء واجهات برمجية معتمدة مسبقاً) تمر بزمن استجابة إضافي صفري. السؤال هو ما إذا كان 50-200 مللي ثانية على الاستدعاءات عالية المخاطر مقبولاً مقارنةً بوكيل يملك وصولاً كاملاً للنظام دون أي حواجز واقية.
تتطلب حوادث أمن الذكاء الاصطناعي تحليلاً جنائياً مختلفاً عن اختراقات الشبكة. لهجمات مستوى النموذج (التسميم، الأبواب الخلفية)، يكون تسلسل الاستجابة: عزل النموذج عن الإنتاج، والتحقق من سلامة خط أنابيب التدريب، والتحقق من تسريب البيانات عبر مخرجات النموذج (يمكن للنماذج ترميز بيانات مسروقة في أوزانها وتسريبها عبر مطالبات مُصاغة بعناية)، وتحديد ما إذا كنت بحاجة إلى إعادة التدريب من نقطة تفتيش معروفة النظافة.
لحوادث الذكاء الاصطناعي الوكيلي، تحتاج أيضاً إلى تتبّع كل استدعاء أداة وكل إجراء قام به الوكيل، والتحقق من سلامة ذاكرته ونافذة سياقه (يمكن أن يستمر حقن المطالبة عبر الجلسات إذا كان السياق مخزَّناً)، والتحقق من الحركة الجانبية عبر صلاحيات الوكيل. لا تغطي عمليات الاستجابة العامة للحوادث التحليل الجنائي على مستوى النموذج لأن العناصر مختلفة. أنت لا تحلّل سجلات الشبكة وتفريغات الذاكرة. أنت تحلّل أوزان النماذج، ومنشأ بيانات التدريب، وتواريخ الضبط الدقيق، وسجلات أفعال الوكيل. نبني أدلة خاصة بهذه السيناريوهات، بما في ذلك إجراءات حفظ الأدلة لأوزان النماذج (التي قد تبلغ مئات الجيجابايت)، وتوثيق تسلسل العهدة لبيانات التدريب، وقوالب تواصل للجهات التنظيمية التي قد تتطلب نزع النماذج.
الأسس التقنية وراء هذا الحل، منشورة كأوراق بيضاء مفصّلة.
WP-91
ML-BOMs، وفحص النماذج، والتوقيع التشفيري، وكشف الذكاء الاصطناعي الخفي، والحوسبة السرّية لخطوط أنابيب تعلّم الآلة المؤسسية.
WP-18
التحقق متعدد الطبقات للذكاء الاصطناعي، واختبار المتانة العدائية، وأطر الامتثال لـNIST AI RMF.
WP-89
تحليل اختراقات 2025، والحواجز الواقية العصبية-الرمزية، وبنية سلامة الذكاء الاصطناعي الدستوري لأنظمة الإنتاج.
WP-93
كشف تسميم البيانات، وتتبّع المنشأ، والبنية التحتية السيادية للذكاء الاصطناعي للبيئات عالية الضمان.
62% من فرق الأمن لا تستطيع تحديد أين تُنشَر نماذج الذكاء الاصطناعي في بيئتها الخاصة.
تكتشف معظم المؤسسات فجواتها الأمنية في الذكاء الاصطناعي بعد وقوع حادث. نساعدك على إيجادها قبل أن يقع.