ملف نموذج ذكاء اصطناعي يبدو بريئًا وقد فُتح ليكشف شيفرة قيد التشغيل تمدّ اتصالًا إلى مضيف خارجي.
Artificial IntelligenceCybersecurityMachine Learning

نماذج الذكاء الاصطناعي لديك شيفرة قابلة للتنفيذ. ومعظم الشركات تعاملها كجداول بيانات.

Ashutosh SinghalAshutosh Singhal17 يونيو 202614 min

في المرة الأولى التي فهمت فيها المشكلة حقًا، كنت أراقب تتبّع استدعاءات النظام (syscall) وهو يتمرّر أمامي داخل حاوية معزولة، منتظرًا ألّا يفعل شيئًا.

كنّا قد سحبنا نموذجًا من سجلّ عام — من النوع الذي يُنزّله عالِم البيانات مئة مرة في الربع دون التفكير فيه. بدت بطاقة النموذج عادية. وقد اجتاز فحصًا أساسيًا. حمّلته في بيئة معزولة (sandbox) لا لأنني كنت أشكّ في ذلك الملف تحديدًا، بل لأنني بدأت أُحمِّل كل شيء داخل بيئة معزولة. ومع تشغيل عملية فك التسلسل (deserialization)، أظهر التتبّع أن العملية تحاول فتح اتصال شبكي لم يكن من شأنها أن تفتحه.

تلك هي كامل فكرة أمن سلسلة توريد الذكاء الاصطناعي في لحظة واحدة: نماذجك ليست ملفات بيانات. إنها شيفرة قابلة للتنفيذ تعمل في اللحظة التي تحمّلها فيها. تتعامل معها معظم المؤسسات كأنها جداول بيانات — أشياء خاملة تُنزّلها وتفتحها — وتلك الفجوة بين ما هو عليه النموذج وكيف يُعامَل هي بالضبط حيث تقع الاختراقات.

النموذج ليس مستندًا تفتحه. إنه برنامج تشغّله بصلاحيات من شغّله.

قصة الـ reverse shell ليست حتى مجرد أسطورة افتراضية متداولة في القطاع. فقد اكتُشف نموذج باسم "baller423" على Hugging Face وهو يُنشئ reverse shell إلى مضيف خارجي. بدا عاديًا. واجتاز الفحوص الأساسية. ونفّذ شيفرة عشوائية في اللحظة التي حمّله فيها أحدهم. حين أروي تلك القصة أمام قاعة من قادة الأمن، لا يكمن الانزعاج في أن مثل هذا الأمر ممكن — بل في أنهم يدركون أن فريقهم ظلّ يحمّل نماذج من المصدر نفسه، بالطريقة نفسها، منذ عامين.

مشكلة pickle التي لا يريد أحد سماعها

الفحص الثابت بالقوائم السوداء يترك هجومًا جديدًا يفلت؛ أما العزل السلوكي في بيئة معزولة فيلتقط محاولة reverse shell.

وهنا الجزء الذي يجعل المهندسين المخضرمين يجفلون، لأنه ليس خللًا يستطيع أحد ترقيعه.

عندما تستدعي torch.load() على نموذج PyTorch، يمكنه تنفيذ شيفرة Python عشوائية أثناء فك التسلسل. وهذه ليست ثغرة بالمعنى المعتاد. إنها السلوك المُصمَّم لصيغة التسلسل pickle في Python — إذ يُسمح لـ pickle بإعادة بناء الكائنات عبر تشغيل شيفرة، وملف النموذج ما هو إلا كائن مُسلسَل بـ pickle. وأكثر من 80% من نماذج تعلّم الآلة المنتشرة تستخدم هذه الصيغة. وبذلك فإن الطريقة الافتراضية التي يشحن بها المجال بأكمله نماذجه هي أيضًا بدائيّة تنفيذ شيفرة عن بُعد تنتظر من يملؤها.

والغريزة، على نحو معقول، هي فحصه بحثًا عن ذلك. والدفاع الأوسع انتشارًا أداة تُسمى PickleScan، تبحث عن الأنماط المعروفة الخبيثة داخل ملفات النماذج. ولدى PickleScan ثلاث طرق التفاف zero-day معروفة على الأقل — من بينها CVE-2025-10155 — إذ عثر باحثون في Sonatype لاحقًا على أربع ثغرات إضافية في الماسح نفسه.

لا أقول ذلك للتقليل من شأن مشروع مفتوح المصدر يؤدي عملًا حقيقيًا. أقوله لأنه علّمني مبدأً أبني عليه كل شيء الآن: حين يتحكم المهاجم في صيغة الملف، يكون الفحص بالقوائم السوداء خاسرًا بنيويًا. فالفحص الثابت يسأل: "هل يحتوي هذا الملف على نمط أعرف مسبقًا أنه خبيث؟" أما المهاجم، الذي يرى القائمة السوداء نفسها التي تراها، فيستخدم ببساطة نمطًا لا تعرفه بعد.

لذلك توقفنا عن طرح ذلك السؤال. فخطوط التحقّق التي يبنيها فريقي لا تبدأ بـ "ما السلاسل النصية المعروفة الخبيثة في هذا الملف". بل تبدأ بالعزل السلوكي في بيئة معزولة: حمّل النموذج في حاوية معزولة، وراقب فعليًا ما يفعله — استدعاءات النظام، ومحاولات الوصول الشبكي، وعمليات الكتابة في الملفات — واحكم على السلوك، لا على التوقيع. ينتقل السؤال من "هل هذا مُدرَج في قائمة" إلى "ماذا تفعل هذه الشيفرة حين تعمل". وذلك السؤال الثاني هو الوحيد الذي يلتقط الهجوم الذي لم يُسمّه أحد بعد.

الفحص الثابت يلتقط هجوم الأمس. أما العزل السلوكي في بيئة معزولة فيلتقط الهجوم الذي يكتبه المهاجم الآن.

وهذا ليس مجانيًا، وليس منتجًا تشتريه جاهزًا من الرفّ. فشركة Protect AI، التي باتت الآن جزءًا من Palo Alto Networks بعد استحواذ بنحو 500–700 مليون دولار أُغلق في يوليو 2025، فحصت 4.47 مليون نسخة نموذج ووجدت 352,000 مشكلة غير آمنة أو مشبوهة عبر أكثر من 51,700 نموذج. تلك هي ضخامة كومة القش. تستطيع الأدوات الإشارة إلى الواضح. أما هندسة البوابة التي تقع بين سجلّ عام ومخزن نماذجك الداخلي — وجعلها سريعة بما يكفي كي لا يلتفّ حولها أحد — فهي الجزء الذي لا يأتي داخل صندوق.

البوابة التي بنيتها وتجاهلها الجميع

أريد أن أحدّثك عن النسخة التي أخطأت فيها من هذا، لأن الفشل علّمني أكثر مما علّمني النجاح.

في البداية، بنيت بوابة للتحقّق من النماذج لعميل كانت، تقنيًا، ممتازة. فكل نموذج وارد من مصدر عام كان يُسحب إلى البيئة المعزولة، ويُحلَّل بعمق عبر الصيغ المختلفة، ويُوصَف سلوكيًا، وعندئذ فقط يُوقَّع ويُقبَل في السجلّ الداخلي. وفي أي مراجعة أمنية كانت ستحصل على درجة رائعة. كنت فخورًا بها.

وفي غضون أسبوع تقريبًا، كان فريق علوم البيانات قد توقّف بهدوء عن استخدامها.

لا عن سوء نيّة. كانت لديهم مواعيد نهائية. فالبوابة أضافت دقائق حقيقية إلى سير عمل كان البديل فيه — سحب نموذج مباشرة من Hugging Face — يستغرق ثلاثين ثانية. لذا حين احتاجت تجربةٌ نموذجًا الآن، سحبوه خامًا إلى حساب سحابي شخصي وواصلوا العمل. كانت بوابتي الجميلة تحرس مدخلًا فارغًا بينما مرّ التدفّق الفعلي من جانب المبنى.

أعاد ذلك الأسبوع تأطير المشكلة برمّتها بالنسبة لي. أصعب ضابط في أمن سلسلة توريد الذكاء الاصطناعي ليس تقنيًا. بل هو أن البوابة الأمنية الأبطأ من المسار غير الآمن ستخسر في كل مرة دون استثناء. فحين يستطيع عالِم البيانات تنزيل نموذج في ثلاثين ثانية، فإن أي عملية تستغرق ثلاثين دقيقة يُتجاوَز عليها — لا من قِبل جهات سيئة، بل من قِبل مهندسين جيدين تحت الضغط. يجب أن تكون الضوابط سريعة بما يكفي ليصبح الامتثال أسهل من الالتفاف. وإن لم تكن كذلك، فليس لديك برنامج أمني. بل لديك مسرح أمني بمراجعات رائعة وبلا جمهور.

لهذا لم تفاجئني أرقام الذكاء الاصطناعي الظلّي (shadow AI) بعد ذلك قط. فـ 98% من المؤسسات لديها موظفون يستخدمون أدوات ذكاء اصطناعي غير مُصرَّح بها. و62% من ممارسي الأمن يقولون إنهم لا يملكون طريقة موثوقة لمعرفة أين تعمل نماذج اللغة الكبيرة أصلًا في بيئتهم. ونحو 9% فقط من المؤسسات لديها نظام حوكمة ذكاء اصطناعي فعّال، رغم أن ثلث المديرين التنفيذيين سيخبرونك بأن لديهم تتبّعًا شاملًا. والتكلفة ليست مجردة: تقرير IBM لعام 2025 عن تكلفة اختراق البيانات يقدّر متوسط الاختراق المرتبط بالذكاء الاصطناعي الظلّي بـ 4.63 مليون دولار — أي نحو 670,000 دولار أكثر من الحادث المعتاد.

لا يمكنك تأمين ما لا يمكنك رؤيته، وفي الوقت الراهن لا تستطيع معظم المؤسسات رؤية معظم ذكائها الاصطناعي.

لماذا يُجرّد الضبط الدقيق (fine-tuning) نموذجك الأكثر أمانًا من سلاحه بهدوء؟

تنهار مناعة النموذج ضد حقن الأوامر (prompt injection) من 0.95 إلى 0.15 بعد جولة واحدة من الضبط الدقيق.

هذا هو الأمر الذي يثير أقوى ردّ فعل حين أطرحه على فريق تقني، لأنه يناقض شيئًا يفترضه الجميع.

الافتراض هو: قيّمت هذا النموذج من حيث الأمان، فاجتاز، إذن فهو آمن. أما الواقع فهو أن محاذاة الأمان هشّة بطريقة يغفلها تمامًا الجدول الزمني للتقييم. ففي إحدى الدراسات، انخفضت مناعة Llama 3.1 8B ضد حقن الأوامر من درجة 0.95 إلى 0.15 بعد جولة واحدة من الضبط الدقيق — وليس ضبطًا دقيقًا عدائيًا. بل تدريب عادي حميد خاص بمجال معيّن. وهذا انهيار بنحو 84% في خاصية أمان، سبّبه أكثر الأمور اعتيادية التي تفعلها شركة بنموذج.

خضت هذا النقاش نفسه مع فريق تعلّم الآلة لدى أحد العملاء. كانوا قد أجروا تقييم الأمان، فاجتاز النموذج، ثم ضبطوه دقيقًا على بياناتهم الخاصة، وكانوا جاهزين للإطلاق. سألتهم متى يخطّطون لإعادة إجراء التقييم. ساد القاعة شيء من الصمت، لأن الجواب الصادق كان "لم نكن سنفعل". النموذج يجتاز البوابة قبل الشيء الذي يكسره. ثم ينتقل إلى الإنتاج وقد جُرّدت حواجزه الوقائية (guardrails) فعليًا، والأوراق كلها تقول إنه آمن.

النموذج يجتاز فحص أمانه قبل الخطوة التي تدمّر الأمان. وبعد ذلك لا يكاد أحد يفحص مجددًا.

لذلك نقلنا تقييم الأمان إلى ما بعد الضبط الدقيق، وجعلناه بوابة إطلاق بدلًا من بوابة استقبال، وتعاملنا مع أي ضبط دقيق كحدث يُبطل شهادة الأمان السابقة. يبدو الأمر بديهيًا أكثر من اللازم بمجرد أن تقوله بصوت عالٍ. والسبب في أنه ليس ممارسة معيارية هو السبب نفسه وراء البوابة التي لم يستخدمها أحد: فاللحظة الملائمة للتقييم هي عند الاستقبال، وإعادة التقييم بعد كل ضبط دقيق احتكاك. والاحتكاك هو العدو، لكنه في هذه الحالة الشيء الوحيد الذي يقف بين تقرير ناجح ونموذج أعزل.

التسميم يثبت النقطة نفسها من الاتجاه الآخر. فقد أظهرت الأبحاث أن ما لا يتجاوز 250 مستندًا مسمّمًا يكفي لزرع باب خلفي في نموذج بحجم 13 مليار مُعامِل — أي نحو 0.00016% من مجموعة بيانات التدريب. لست بحاجة إلى اختراق البيانات على نطاق واسع. بل تحتاج إلى ما يعادل خطأ تقريب منها. ونشرت Microsoft ردًّا مشجّعًا حقًا على هذا في فبراير 2026 — طريقة للكشف عن "العميل النائم" قادرة على التعرّف على نموذج مسمّم دون معرفة العبارة المُحفِّزة، عبر رصد نمط انتباه مميّز. وهذا أول دفاع حقيقي أراه ضد هجوم كان يقارب استحالة الاكتشاف سابقًا. وهو أيضًا تمامًا من نوع القدرات التي تعيش في ورقة بحثية، لا في خط CI/CD لديك، إلى أن يقوم أحدهم بالهندسة اللازمة لوضعها هناك.

الوكلاء حوّلوا حقن الأوامر إلى سلسلة قتل

لسنوات، كان أسوأ سيناريو مع نموذج متلاعَب به أو حقن أوامر هو سوءَ المخرَج. يقول النموذج شيئًا خاطئًا، يُسرّب ما لا ينبغي، يُحرجك. محدود. مزعج. يمكن تجاوزه.

أزال الذكاء الاصطناعي الوكيلي هذا الحدّ.

لدى وكيل الذكاء الاصطناعي صلاحية الوصول إلى الأدوات، وبيانات الاعتماد، وامتيازات التنفيذ التي لا يملكها نموذج المحادثة. لذا حين تحقن تعليمة خبيثة في شيء يقرؤه الوكيل، فإنك لم تعد تُفسد إجابة — بل تُصدر أمرًا إلى نظام قادر على التصرّف. كانت لدى GitHub Copilot ثغرة تنفيذ شيفرة عن بُعد، CVE-2025-53773، مُصنَّفة CVSS 7.8 ورُقِّعت في أغسطس 2025، حيث كان حقن أوامر مزروع في توثيق أحد المستودعات قادرًا على دفع الوكيل إلى "وضع YOLO" المستقل والتصعيد إلى اختراق كامل للنظام. قرأ الوكيل تعليقًا خبيثًا، ونفّذه كشيفرة، وتمّت السيطرة على الجهاز.

ثم كانت هناك حادثة سلسلة توريد Amazon Q في يوليو 2025: قالب أوامر خبيث، cleaner.md، حُقِن عبر رمز GitHub مُهيّأ بشكل خاطئ، وشحنت نسخة صادرة أوامر تدميرية إلى قاعدة تثبيت ضخمة جدًا. وفي 2026، أصبحت منظومة وكلاء OpenClaw أول أزمة أمنية كبرى لوكلاء الذكاء الاصطناعي في العام — 138 ثغرة CVE في 63 يومًا، وأكثر من 135,000 نسخة مكشوفة، و12% من المهارات في سوقها تبيّن أنها خبيثة. وتربط تقارير التهديدات من HiddenLayer لعام 2026 الآن نحو واحد من كل ثمانية اختراقات ذكاء اصطناعي بالأنظمة الوكيلية.

الخيط الناظم عبر كل هذه الحوادث واحد: الوكلاء يحوّلون مدخلًا واحدًا متلاعَبًا به إلى سلسلة قتل مُنسَّقة متعددة الأدوات. فما كان جملة خاطئة واحدة يصبح سلسلة من الأفعال الحقيقية ببيانات اعتماد حقيقية. وذلك هو التخم الذي يقلقني أكثر من غيره الآن، لأنه يتوسّع أسرع مما تستطيع أي فئة منتجات مواكبته، ولا يوجد دليل عمل راسخ لتأمينه بعد.

إذن، ماذا تفعل حيال ذلك فعلًا؟

يسألني الناس دائمًا صيغة ما من: "ألا يمكنني ببساطة شراء أداة لهذا؟" والجواب الصادق أنه يمكنك شراء قطعٍ، وهذه القطع تتحسّن بسرعة.

لقد نضج مشهد المورّدين ليصبح منظومة حقيقية — Protect AI من Palo Alto و Wiz للفحص وتوليد قائمة مكوّنات الذكاء الاصطناعي داخل مجموعات السحابة والمنصات لديهما، و JFrog لتأمين سجلّ النماذج وخط الأدوات (artifacts)، و HiddenLayer للكشف والاستجابة في وقت التشغيل، وحواجز NVIDIA الوقائية مفتوحة المصدر لضوابط نماذج اللغة الكبيرة على طبقة التطبيق، و Fortanix التي تجلب الحوسبة السرّية إلى توزيع النماذج. وهذا الأخير مثال جيد على سبب عدم إغلاق الأدوات وحدها للفجوة: فوحدات معالجة الرسوميات السرّية التي تُبقي النموذج مشفّرًا حتى أثناء تشغيله (جيلا Hopper و Blackwell من NVIDIA) موجودة فعلًا، لكن ربط بيئات التنفيذ الموثوقة تلك بخط استدلال حيّ هندسةٌ متخصّصة لا يملكها معظم الفرق ضمن كوادرهم ببساطة. كل مورّد بارع حقًا في شريحته. ولا أحد منهم يصمّم خطك من طرف إلى طرف، أو يربطه بالتزاماتك، أو يغيّر كيف تتصرف مؤسستك فعليًا.

أما النصف الآخر من السوق — شركات الاستراتيجية الكبرى — فسيبيعك المشكلة المعاكسة: إطار حوكمة ذكاء اصطناعي من 200 صفحة، وعرض تقديمي لمجلس الإدارة، وتوثيق جاهز للتدقيق، وتعاقد يبدأ من نحو 500 ألف دولار للاستراتيجية ويتصاعد إلى الملايين للتنفيذ. أما ما لا يفعلونه عادةً فهو بناء خط توقيع النماذج، أو تهيئة توليد ML-BOM داخل خط CI/CD لديك، أو إقامة كشف الذكاء الاصطناعي الظلّي على طبقة الشبكة. فينتهي بك الأمر بالمجلّد لا بالبناء.

تلك الفجوة — بين أدوات تفحص وعروض تنصح — هي السبب الكامل وراء أن Veriprajna تمارس أمن سلسلة توريد الذكاء الاصطناعي كهندسة لا كتقرير. فما نبنيه ملموس: خطوط آلية للتحقّق من النماذج تعزل سلوكيًا كل نموذج وارد وتوقّع النظيف منها ببنية المفاتيح العامة (PKI) الخاصة بمؤسستك؛ و ML-BOM — قائمة مكوّنات تعلّم الآلة، وهي مكافئ الذكاء الاصطناعي لبطاقة المكوّنات التي تتعقّب كل عنصر ومصدره — يُولَّد ويُثبَّت داخل الخط باستخدام معيار CycloneDX؛ ومصدرية وتوقيع مبنيّان على عمل التصديق الناشئ CoSAI؛ وبوابة أمان لما بعد الضبط الدقيق؛ وكشف للذكاء الاصطناعي الظلّي يُظهر النماذج التي لا تستطيع أدوات أمنك رؤيتها حاليًا.

المعايير اللازمة للقيام بمعظم هذا موجودة بالفعل. فـ CycloneDX ML-BOM، وتوقيع النماذج CoSAI، وتصنيف NIST المُحدَّث لتعلّم الآلة العدائي (AI 100-2) كلها منشورة وقابلة للاستخدام اليوم. لم تكن المشكلة قط مشكلة معرفة. فوفقًا لقياس Kiteworks لعام 2025، ما زال 83% من المؤسسات يفتقرون إلى ضوابط أمنية آلية للذكاء الاصطناعي — إنهم يطيرون بلا رؤية لا لأن دليل العمل مفقود، بل لأن لا أحد يملك القدرة الهندسية لتنفيذه. الفجوة أيادٍ، لا أفكار.

وهناك ساعة تنظيمية تدقّ في هذا أيضًا. فقانون الذكاء الاصطناعي الأوروبي (EU AI Act) يصبح ساري المفعول بالكامل في 2 أغسطس 2026، وهو يشترط للأنظمة عالية المخاطر توثيقًا تقنيًا حقيقيًا — مصدرية بيانات التدريب، وتقييم المطابقة، ونوع تصديق سلسلة التوريد الذي بُنِي ML-BOM لإنتاجه. سيتعيّن على مستوردي مكوّنات الذكاء الاصطناعي وموزّعيها التحقّق مما يمرّرونه إلى الأسفل، ويجب على المزوّدين ومورّدي مكوّناتهم من الأطراف الثالثة الاتفاق كتابةً على المعلومات والوصول التقني الذي سيتشاركه كل طرف. وقد بدأت أخبر العملاء بالجزء الخفيّ من ذلك البند: بمجرد أن يبدأ القانون بالعضّ، تكفّ مصدرية النموذج عن أن تكون مشكلتك أنت وحدك لتتحمّلها — إذ سيتعيّن على مورّديك التصديق عليها كتابةً، ومن لا يستطيع منهم سيتوقّف ببساطة عن كونه قابلًا للاستخدام. أما الشركات التي تعامل مصدرية النموذج كميزة كمالية فستكتشف أنها متطلَّب تقديم رسمي.

الشريحة التي حرّكت الميزانية فعلًا

سأختم حيث تنتهي هذه المحادثات عادةً: أمام مجلس إدارة.

لقد رأيت كثيرًا من الحجج الأمنية المحكمة تفشل في الحصول على التمويل لأنها قُدِّمت بوصفها حججًا أمنية — مخاطر مجردة، ومهاجمون افتراضيون، وفئة تبدو أشبه بالتأمين. أما العرض الذي نجح فكان ذاك الذي وضع رقمًا واحدًا على الطاولة: متوسط تكلفة اختراق الذكاء الاصطناعي الظلّي البالغ 4.63 مليون دولار، في مقابل تكلفة بناء الضوابط التي تمنعه. ليس خوفًا. بل فارقًا. هذه هي المخاطرة المُحدَّدة كمّيًا، وهذه تكلفة إغلاقها، وهذا هو الفرق.

ينجح هذا التأطير لأنه صادق مع كيفية تصرّف هذه المشكلة فعليًا. فالتهديد ليس غريبًا. إنه سير العمل الافتراضي — اسحب نموذجًا، اضبطه دقيقًا، انشره، ولا تنظر إليه مجددًا أبدًا — الذي يجري في كل مؤسسة تبني بالذكاء الاصطناعي، وهي الآن جميعها تقريبًا. وتعكس ميزانيات مسؤولي أمن المعلومات (CISO) ذلك: فنحو 85% من المؤسسات زادت إنفاقها على الأمن السيبراني مع دخول 2026، وأمن الذكاء الاصطناعي هو البند الأكثر نقاشًا.

النموذج هو القطعة الوحيدة في بيئتك التي هي في آنٍ واحد أثمن ما تملك وقطعة شيفرة قابلة للتنفيذ غير مُتحقَّق منها نزّلتها من غريب على الإنترنت. وإلى أن تتعامل معه بوصفه الأمرين معًا — تفحصه كشيفرة، وتتعقّبه كسلسلة توريد، وتعيد فحصه في كل مرة تغيّره — فإن التقرير الذي يقول إنك آمن إنما يدقّق ضابطًا لا يستخدمه أحد فعليًا. وإن كنت تفكّر في من أين تبدأ، فابدأ من هناك: توقّف عن الوثوق ببطاقة النموذج، وراقب ما يفعله النموذج حين يعمل.

أبحاث ذات صلة

منشور أيضًا على

ابنِ ذكاءك الاصطناعي بثقة.

تعاون مع فريق يمتلك خبرة عميقة في بناء الجيل القادم من الذكاء الاصطناعي للمؤسسات. دعنا نساعدك على تصميم استراتيجية ذكاء اصطناعي جديرة بثقتك وبنائها وتطبيقها.

Veriprajna استشارات التقنيات العميقة متخصصة في بناء أنظمة الذكاء الاصطناعي الحرجة للسلامة في مجالات الرعاية الصحية والتمويل والقطاعات التنظيمية. تُقيَّم بنياتنا المعمارية وفق البروتوكولات المعتمدة مع توثيق شامل للامتثال.