المشكلة
ولّد ذكاء اصطناعي لاكتشاف الأدوية، كان مصمماً للعثور على أدوية منقذة للحياة، 40,000 سلاح كيميائي محتمل — بما في ذلك غاز الأعصاب VX — في أقل من ست ساعات. أجرى باحثون في شركة Collaborations Pharmaceuticals التجربة على خادم عادي من الفئة الاستهلاكية. لم يخترقوا النظام، ولم يغذوه ببيانات سرية؛ بل قاموا ببساطة بتعديل رقم واحد في ملف الإعدادات، مغيّرين هدف الذكاء الاصطناعي من «تقليل السُمّية» إلى «تعظيم السُمّية». وتولى النموذج الباقي.
وتوقّع النموذج أن تكون مجموعة فرعية كبيرة من تلك الجزيئات البالغ عددها 40,000 جزيء أشد فتكاً من غاز VX نفسه. وكانت آلاف منها مركبات جديدة تماماً لا تظهر في أي قاعدة بيانات عامة ولا في أي قائمة مراقبة حكومية. ولم يستخدم الذكاء الاصطناعي سوى مجموعات بيانات كيميائية مفتوحة المصدر مثل ChEMBL. وكانت القوة الحوسبية المطلوبة متاحة لأي شخص يمتلك وحدة معالجة رسومات (GPU) استهلاكية. والخبرة المطلوبة؟ علوم حاسوب بمستوى المرحلة الجامعية الأولى.
لم يكن هذا تقييماً نظرياً للمخاطر، بل كان عرضاً حياً أُعِدّ لمؤتمر للحد من التسلح يُعقد كل عامين وينظمه المكتب الاتحادي السويسري للحماية المدنية. فنموذج الذكاء الاصطناعي، الذي دُرِّب على فهم ما يجعل الجزيئات سامة حتى يتمكن من تجنب تلك الخصائص، عرف بطبيعته كيف يستغلها. وإذا كانت مؤسستك تبني أو تنشر أو تعتمد على الذكاء الاصطناعي في اكتشاف الأدوية، أو التقنية الحيوية، أو أي مجال يمس فيه التحسين السلامة المادية، فإن هذه التجربة تحدد مستوى تعرضك للمخاطر في الوقت الحالي.
لماذا يهم هذا عملك
تمتد التبعات التجارية هنا إلى ما هو أبعد بكثير من المختبر. يحدد الأمر التنفيذي الصادر عن البيت الأبيض بشأن الذكاء الاصطناعي الآمن والموثوق (أكتوبر 2023) صراحةً خفض الذكاء الاصطناعي للحواجز أمام تطوير الأسلحة الكيميائية والبيولوجية والإشعاعية والنووية بوصفه تهديداً للأمن القومي من الدرجة الأولى. ويحدد التوصيف التعريفي للذكاء الاصطناعي التوليدي الصادر عن المعهد الوطني للمعايير والتقنية (NIST.AI.600-1) «أدوات التصميم الكيميائي والبيولوجي» تحديداً كفئة مخاطر فريدة. ويفرض معيار ISO 42001 — أول معيار قابل للشهادة لإدارة الذكاء الاصطناعي في العالم — ضوابط للمرونة ضد الهجمات العدائية وسلامة أنظمة الذكاء الاصطناعي.
إذا كانت أنظمة الذكاء الاصطناعي لديك تمس مجالات خاضعة للتنظيم، ففكّر فيما هو على المحك:
- التعرّض التنظيمي: لا يستطيع مرشح الأمان القياسي إثبات أنه يمنع إنشاء التهديدات البيولوجية، بل يمكنه فقط إظهار أنه يحاول تصفيتها. وهذا النهج القائم على «بذل أقصى جهد» سيفشل على الأرجح في تلبية متطلبات الامتثال الفيدرالية الناشئة للعقود أو التكامل مع منصات الذكاء الاصطناعي الحكومية.
- الهشاشة أمام الهجمات العدائية: أظهر الباحثون أن المهاجمين يمكنهم تجاوز مرشحات الأمان في نماذج الذكاء الاصطناعي الرائدة مثل GPT-4 وClaude 3 بمعدلات نجاح تتجاوز أحياناً 90% لمواد سامة محددة. وهم يفعلون ذلك عن طريق إدخال الشيفرة الهيكلية للجزيء بدلاً من اسمه.
- العَمَى عن التهديدات الجديدة: شملت تلك المركبات الـ 40,000 المُولَّدة آلاف الجزيئات التي لا وجود لها في أي قاعدة بيانات معروفة. ولا تستطيع المرشحات القائمة على الكلمات المفتاحية حظر ما لم تره من قبل.
- الفشل في التدقيق: بموجب معيار ISO 42001، يجب عليك تقييم الهشاشة أمام الهجمات العدائية وتقديم أدلة على وجود الضوابط. وبموجب إطار عمل إدارة مخاطر الذكاء الاصطناعي (NIST AI RMF)، يجب عليك قياس موثوقية النظام بمقاييس كمية. ولا يمنحك الغلاف البرمجي القائم على النص أياً منهما.
سيطرح مجلس إدارتك والجهات التنظيمية وشركات التأمين سؤالاً واحداً في نهاية المطاف: هل يمكنك أن تثبت أن الذكاء الاصطناعي لديك لا يمكن قلبه ضدك؟ اليوم، لا تستطيع معظم المؤسسات ذلك.
ما الذي يحدث فعلاً خلف الكواليس
لفهم سبب صعوبة معالجة هذا التهديد، تحتاج إلى فهم كيفية عمل نماذج الذكاء الاصطناعي هذه في الواقع — والأمر أبسط مما قد تعتقد.
تتعلّم نماذج الذكاء الاصطناعي التوليدي لاكتشاف الأدوية خريطة مضغوطة للفضاء الكيميائي. فكّر في الأمر كخريطة مدينة يمثّل فيها كل مبنى جزيئاً محتملاً؛ إذ تتجمع الأدوية الآمنة في حي واحد، بينما تتجمع المركبات السامة في حي آخر. لكن المشكلة الحاسمة تكمن هنا: الحي «الآمن» والحي «السام» غير مفصولين بجدار، بل يقعان على تضاريس متصلة دون حدود فاصلة صارمة.
هذا ما يطلق عليه الباحثون «مشكلة التشابك» (entanglement problem). فالسمة الجزيئية الدقيقة التي تتيح للدواء عبور الحاجز الدموي الدماغي لعلاج مرض الزهايمر هي غالباً السمة نفسها التي تتيح لغاز الأعصاب الوصول إلى هدفه والتسبب في الشلل. والألفة الرابطة العالية — وهي قدرة الجزيء على الالتصاق بإحكام بالبروتين — مرغوبة في الدواء، لكنها تصبح قاتلة عندما يكون البروتين هو أسيتيل كولين إستراز (acetylcholinesterase)، وهو هدف غاز VX.
يعرف الكيميائيون الدوائيون «منحدرات النشاط» (activity cliffs) — وهي حالات يؤدي فيها تغيير هيكلي دقيق إلى تحول هائل في السُمّية. فاستبدال ذرة واحدة في جزيء آمن ينتج مركباً فتاكاً. والمرشحات الأمنية القائمة على النص، والتي تعمل على الكلمات والأسماء بدلاً من البنية الجزيئية ثلاثية الأبعاد، معروفة بضعفها الشديد في رصد هذه المنحدرات؛ فقد يوافق المرشح على جزيء لأنه يبدو مشابهاً بنسبة 99% لدواء آمن، بينما يفوته الاستبدال الفردي الذي يجعله قاتلاً.
وهناك أيضاً «انهيار التمثيل» (representation collapse)، حيث يربط النموذج الداخلي للذكاء الاصطناعي مادة سامة ودواءً آمناً بالنقطة نفسها لأنه لا يستطيع التمييز بين فروقهما الهيكلية الدقيقة. وحين يعجز النموذج نفسه عن التمييز بينهما داخلياً، فلن ينقذك أي مرشح خارجي.
ما الذي ينجح (وما الذي لا ينجح)
لنبدأ بما يفشل — لأن مؤسستك قد تكون معتمدة على أحد هذه الأساليب في الوقت الحالي.
المرشحات القائمة على الكلمات المفتاحية والأسماء: تحظر هذه المرشحات كلمة «VX» أو «سارين» (Sarin)، لكنها تسمح بالمرور دون عائق حين يُدخل شخص ما شيفرة البنية الجزيئية. إن صيغة SMILES لغاز السارين هي O=P(C)(F)O. يرى المرشح لديك تدويناً كيميائياً، لا سلاحاً.
أنظمة المراجعة بعد التوليد: تسمح هذه الأنظمة للذكاء الاصطناعي بتوليد مرشح أولاً، ثم يراجعه نظام ثانٍ. وهنا يكون الذكاء الاصطناعي قد أجرى الحسابات الخطيرة بالفعل. وبالنسبة للمركبات الجديدة غير المدرجة في أي قائمة مراقبة، لا يملك المراجع ما يقارن به ويسمح بمرورها.
التدريب على المحاذاة وهندسة الأوامر: أثبت الباحثون هجوم «توجيه الأوامر بصيغة SMILES» (SMILES-prompting) الذي يتجاوز تدريب الأمان في نماذج الذكاء الاصطناعي الرائدة بمعدلات نجاح تفوق 90% لمواد معينة. وإذا كان من الممكن هزيمة نظام الأمان لديك بمجرد التحول من اللغة الطبيعية إلى التدوين الكيميائي، فهو ليس نظام أمان على الإطلاق.
إليك ما ينجح فعلياً — نهج يُسمى حوكمة الفضاء الكامن (Latent Space Governance)، والذي ينقل ضوابط الأمان من طبقة المخرجات إلى النواة الرياضية لنموذج الذكاء الاصطناعي:
رسم خريطة لمناطق الخطر قبل النشر. باستخدام تقنية رياضية تُسمى تحليل البيانات الطوبولوجي (Topological Data Analysis)، ترسم خريطة للتضاريس الداخلية للذكاء الاصطناعي لتحديد أماكن وجود المناطق السامة والآمنة بدقة. ينتج عن ذلك «خريطة طوبولوجيا الأمان» التي تحدد الحدود بناءً على الخصائص الجزيئية لا قوائم الكلمات المفتاحية. وترصد هذه الخريطة المركبات الجديدة لأنها تحدد الأمان بالشكل لا بالاسم.
تضمين القيود في عملية التوليد نفسها. بدلاً من ترك الذكاء الاصطناعي يُولِّد بحرية ثم التصفية بعد ذلك، تقوم بتدريب شبكات «ناقد القيود» (Constraint Critic) خفيفة الوزن تعمل مباشرة على التمثيلات الداخلية للذكاء الاصطناعي. وأثناء التوليد، يحسب هؤلاء النُّقاد ما إذا كان الذكاء الاصطناعي ينجرف نحو منطقة خطرة. وإذا كان الأمر كذلك، فإن آلية توجيه قائمة على التدرج (gradient-based) تدفع المسار للعودة إلى المنطقة الآمنة قبل إنتاج أي مخرج. يفكر الذكاء الاصطناعي فعلياً في جزيء سام، لكنه يُجبر رياضياً على تحويله إلى بديل آمن.
تثبيت حدود أمان صلبة تقاوم التلاعب. على عكس تجربة MegaSyn حيث أدى تغيير رقم واحد في ملف الإعدادات إلى عكس وضع الأمان بأكمله، فإن القيود الهيكلية تكون مضمَّنة في بنية محرك الاستدلال. ولهزيمتها، سيحتاج المهاجم إلى إعادة هندسة البرمجيات جذرياً — لا مجرد تغيير إعداد.
بالنسبة لفريق الامتثال لديك، يقدّم هذا النهج ما لا تستطيع الأغلفة القائمة على النص تقديمه: برهاناً رياضياً على السلوك المقيّد. يمكنك تسجيل ليس فقط المخرجات، بل كل انتهاك للقيود حاول النموذج ارتكابه أثناء التوليد. يمكنك تزويد المدققين بشهادة أمان إحصائية — على سبيل المثال، احتمالية توليد مواد سامة أقل من واحد في المليون. وتدعم هذه الأدلة الحصول على شهادة ISO 42001 والامتثال لإطار NIST AI RMF بطرق لن تحققها عبارة «لدينا مرشح للكلمات المفتاحية» أبداً.
تعني هذه البنية أيضاً أنه يمكنك تحديث تعريفات التهديدات دون إعادة تدريب نموذجك التأسيسي بأكمله. فعند تحديد فئة جديدة من المركبات الخطرة، تقوم بتحديث ناقد القيود — وهي عملية خفيفة الوزن — بينما يستمر نظام الذكاء الاصطناعي الأساسي في العمل. وبالنسبة للمؤسسات العاملة في الرعاية الصحية وعلوم الحياة، تكتسب هذه المرونة أهمية بالغة مع تطور مشهد التهديدات.
إن عملية التقييم والمقارنة المرجعية والاختبار العدائي تُخضع بعد ذلك نظامك المنشور لهجمات عدائية مؤتمتة — بما في ذلك روبوتات توجيه الأوامر بصيغة SMILES والخوارزميات التطورية المصممة للعثور على نقاط الضعف — للتحقق من صمود قيودك تحت الضغط.
يمكنك قراءة التحليل التقني الكامل للاطلاع على الصياغة الرياضية الكاملة، أو استكشاف النسخة التفاعلية للحصول على جولة إرشادية حول البنية العصبية الرمزية وأنظمة القيود التي تقف وراء هذا النهج.
أبرز النقاط
- ولّد ذكاء اصطناعي لاكتشاف الأدوية 40,000 سلاح كيميائي محتمل — بما في ذلك غاز الأعصاب VX — في أقل من 6 ساعات على أجهزة استهلاكية باستخدام بيانات مفتوحة المصدر.
- تتجاوز هجمات توجيه الأوامر بصيغة SMILES مرشحات الأمان في نماذج الذكاء الاصطناعي الرائدة مثل GPT-4 وClaude 3 بمعدلات نجاح تفوق 90% لمواد سامة محددة.
- لا تستطيع مرشحات الأمان القائمة على النص رصد المركبات الجديدة أو منحدرات النشاط أو الشيفرات الهيكلية — فهي تتعرف فقط على الأسماء التي طُلب منها حظرها.
- يُضمِّن أمان الذكاء الاصطناعي الهيكلي القيود في النواة الرياضية للنموذج، مما يمنع المخرجات الخطيرة قبل التوليد بدلاً من تصفيتها بعد ذلك.
- تتطلب اللوائح التنظيمية الناشئة — الأمر التنفيذي للبيت الأبيض، وإطار NIST AI RMF، ومعيار ISO 42001 — على نحو متزايد ضوابط أمان يمكن إثباتها، لا مجرد تصفية قائمة على بذل أقصى جهد.
الخلاصة
أصبح العائق أمام تسليح الذكاء الاصطناعي لاكتشاف الأدوية مجرد وحدة معالجة رسومات (GPU) استهلاكية وتغيير سطر واحد في الشيفرة. وتفشل الأغلفة الأمنية القائمة على النص أمام المركبات الجديدة وهجمات الشيفرات الهيكلية. يحتاج نظام الذكاء الاصطناعي لديك إلى قيود رياضية مدمجة في عملية التوليد نفسها — لا مجرد مرشحات ملحقة بمخرجاته. اسأل مورد الذكاء الاصطناعي لديك: إذا عكس شخص ما دالة المكافأة لنموذجك اليوم، هل يمكنك إثبات أنه لا يستطيع توليد مخرجات سامة، أم أنك تعتمد على مرشحات للكلمات المفتاحية يمكن لطالب كيمياء تجاوزها؟