ذكاء اصطناعي صمّم 40 ألف سلاح كيميائي محتمل في ست ساعات فقط — ولا أستطيع التوقف عن التفكير فيما يعنيه

كنت جالساً في غرفة فندقية بزيورخ، متعباً من الرحلة الجوية وأقرأ ورقة بحثية بشكل متقطع على جهاز الكمبيوتر المحمول الخاص بي، عندما توقفني جدول واحد فجأة.

40,000 جزيء. أقل من ست ساعات. خادم من فئة المستهلك — من نوع ما قد تجده في سكن الكلية. والمخرجات لم تكن بلا قيمة. أعاد النموذج اكتشاف VX، أحد أخطر الوكلاء العصبيين المصنوعة على الإطلاق، ثم ذهب إلى ما هو أبعد — مما ينتج آلاف النظائر الجديدة من المتوقع أن تكون أكثر فتكاً من VX ذاته. المركبات التي لا تظهر في أي قاعدة بيانات عامة. التي لا توجد في أي قائمة مراقبة حكومية.

الباحثون في Collaborations Pharmaceuticals لم يبنوا سلاحاً. لقد أخذوا نموذج اكتشاف عقاقير تجاري يسمى MegaSyn — أداة مصممة للعثور على علاجات للأمراض النادرة — وغيروا علامة واحدة في وظيفة المكافأة الخاصة به. من الطرح إلى الجمع. أصبحت معاقبة السمية تعظيم السمية. وكان ذلك كل ما في الأمر. سطر واحد من الكود، والآلة تحولت من معالج إلى مصمم أسلحة بنفس الطلاقة.

أغلقت الكمبيوتر المحمول وحدقت في الجدار لفترة طويلة.

أنا أدير Veriprajna، وهي شركة تبني أنظمة الذكاء الاصطناعي لبيئات المؤسسات عالية المخاطر. نعمل في تقاطع التعلم العميق والمجالات حيث يعني الخطأ ليس توصية سيئة — بل يعني ضرراً حقيقياً وجسدياً. في تلك الليلة في زيورخ، أدركت أن نموذج السلامة بأكمله الذي كانت صناعة الذكاء الاصطناعي تبيعه — القيود الحماية، مرشحات المحتوى، حيل الهندسة المطالبة — كان مبنياً على أساس من الرمال. وعرفت أننا يجب أن نفعل شيئاً مختلفاً بشكل جوهري.

التجربة التي كان يجب أن تغير كل شيء

إليك ما يطاردني حول تجربة Collaborations Pharmaceuticals: لم تكن صعبة.

استخدمت الفريق شبكة عصبية قائمة على LSTM مدربة على سلاسل SMILES — تمثيل نصي لهياكل الجزيئات. جاءت بيانات التدريب من ChEMBL، قاعدة بيانات متاحة للجمهور يمكن لأي طالب دراسات عليا تنزيلها. كانت تكلفة الحوسبة تافهة. يتم توثيق الهيكل المعماري بأكمله بشكل جيد في الأدبيات المفتوحة.

عمل النموذج بواسطة إنشاء جزيئات مرشحة وتسجيلها مقابل دالة موضوعية. في وضعه العلاجي العادي، كانت تلك الدالة تبدو تقريباً هكذا: مكافأة النشاط البيولوجي، معاقبة السمية. عكس الباحثون العقوبة. لم يتم تعديل المولد نفسه — المحرك الذي يخلق الجزيئات فعلياً — أبداً. لقد اتبع فقط التدرج الجديد، متسلقاً نحو الفتك الأقصى بنفس الطريقة التي تسلق بها سابقاً نحو الحد الأقصى من القيمة العلاجية.

إذا كان النموذج يفهم ما يجعل الجزيء آمناً، فإنه بحكم التعريف يفهم ما يجعله غير آمن. هذه هي المناطق المكملة لنفس الفضاء الرياضي.

هذا ليس عيباً. إنه الهيكل المعماري يعمل بالضبط كما تم تصميمه. وهذا هو الجزء المرعب.

انهار الحاجز الذي يمنع الدخول لتصميم الوكلاء البيوكيميائيين المتطورين — ليس لأن شخصاً ما تسرب وصفة، بل لأن الذكاء الحسابي لتصميمها متاح الآن بشكل ديمقراطي. وحدة معالجة رسومات المستهلك. سكريبت Python. مجموعة بيانات مفتوحة المصدر. هذه هي قائمة التسوق الكاملة.

لماذا تفتقد كل حلول سلامة الذكاء الاصطناعي النقطة؟

بعد زيورخ، أمضيت أسابيع في الحديث مع فرق تبني "ذكاء اصطناعي آمن" للأدوية والتكنولوجيا الحيوية. اتبعت المحادثات نمطاً مؤسفاً.

"لدينا قيود حماية،" قالوا. "نحن نرشح النواتج."

كنت أسأل: ماذا يحدث عندما يقدم شخص ما سلسلة SMILES بدلاً من اسم الجزيء؟

نظرات فارغة.

هنا تكمن مشكلة النموذج الآمن القائم على الغلاف بالكامل — النهج حيث تأخذ نموذجاً قوياً، تلفيفه في طبقة رقيقة من تصفية المحتوى، وتسميه جاهزاً للمؤسسات. تعمل هذه الأنظمة على اللغة. يبحثون عن الكلمات الرئيسية. يتحققون من النواتج مقابل قوائم الأشياء السيئة المعروفة.

لكن السمية ليست كلمة. إنها هندسة.

سيحجب مرشح المحتوى كلمة "Sarin." لن يحجب O=P(C)(F)O — تمثيل SMILES لـ Sarin الذي يفهمه النموذج بشكل مثالي. أظهر البحث الحديث حول هجمات SMILES-prompting معدلات تجاوز تتجاوز 90% ضد النماذج الرائدة مثل GPT-4 و Claude 3 للمواد المحددة. تسعين في المائة. هذا ليس نظام أمان. هذا صندوق اقتراحات.

وتزداد الأمور سوءاً. في الكيمياء الطبية، توجد ظاهرة تسمى "جرف النشاط" — حيث يسبب تغيير هيكلي صغير، أحياناً استبدال ذرة واحدة، تحولاً ضخماً في النشاط البيولوجي. استبدل مجموعة الهيدروكسيل بذرة فلور وتصبح الدواء الآمن فتاكاً. سيسمح مرشح نصي يرى جزيئين متشابهين بنسبة 99% بمرور الجزيء الخطير، لأنه يقارن بين البناء الجملي، وليس الوظيفة. يشبه الأمر الموافقة على المستند لأن الخط يبدو صحيحاً دون قراءة الكلمات.

كتبت عن هذه الثغرات التقنية بعمق في النسخة التفاعلية من بحثنا,لكن الرؤية الأساسية بسيطة: إذا عملت آلية السلامة الخاصة بك على سطح النموذج — على النص الذي يدخل والنص الذي يخرج — فقد تركت محرك الإبداع الفعلي بلا حكم تماماً.

الليلة التي أدركنا فيها أننا كنا نفكر فيها بشكل خاطئ

كانت هناك لحظة — أتذكرها بدقة لأن كبير مسؤول التكنولوجيا وأنا كنا نتجادل في الساعة 11 مساءً على بيتزا باردة — عندما أعاد المشكلة نفسها صياغة نفسها لنا.

كنا نحاول بناء مرشحات أفضل. مصنفات أكثر ذكاءً. قوائم حظر أكثر شمولاً. في كل مرة كنا نجهد اختبارها، وجدنا طريقة أخرى حول. خدعة ترميز أخرى. حالة حافة أخرى حيث تسللت جزيء جديد عبر لأنه لم يكن في أي قاعدة بيانات.

قال كبير مسؤول التكنولوجيا شيئاً توقف الجدل: "نحن نحاول باستمرار الإمساك بالنواتج السيئة. ماذا لو جعلنا من المستحيل على النموذج أن يفكر فيها في المقام الأول؟"

هنا بدأنا نتحدث عن الفضاء الكامن.

ما هو الفضاء الكامن، ولماذا يجب أن تهتم؟

يعمل كل نموذج ذكاء اصطناعي توليدي — سواء كان ينشئ صوراً أو نصوصاً أو جزيئات — من خلال ضغط العالم في فضاء رياضي. يُطلق على هذا التمثيل المضغوط الفضاء الكامن. فكر فيه كخيال داخلي للنموذج. عندما "يصمم" مولد الجزيئات دواءً جديداً، فهو لا يجمع الذرات بشكل عشوائي. إنه يتنقل عبر منظر طبيعي عالي الأبعاد حيث تتجمع الجزيئات المتشابهة معاً والجيل هو فعل اختيار نقطة على ذلك المنظر الطبيعي وفك تشفيرها مرة أخرى إلى هيكل حقيقي.

إليك ما يهم: في هذا المنظر الطبيعي، السمية ليست تسمية. إنها منطقة. إقليم مستمر وممتد ينزف ويتشابك مع المناطق التي تمثل القيمة العلاجية. الميزات التي تتيح للعقاقير عبور الحاجز الدموي الدماغي لمعالجة الزهايمر غالباً ما تكون نفس الميزات التي تتيح لوكيل الأعصاب الوصول إلى هدفه وسبب الشلل. تقاربية الارتباط العالية — القدرة على الالتصاق بالبروتين بإحكام — هي بالضبط ما تريده في عقار السرطان وبالضبط ما يجعل VX قاتلاً.

السمية والقيمة العلاجية ليست على الجانبين المتقابلين من عملة. إنهما جاران على نفس التنوع، يتشاركان السياج وأحياناً باب أمامي.

هذا التشابك هو السبب في فشل آليات "الرفض" البسيطة بشكل كارثي. إذا أخبرت النموذج بحظر كل شيء مرتبط بالسمية — قل، جميع الجزيئات التي تخترق الحاجز الدموي الدماغي — فأنت لا تحظر فقط الأسلحة. أنت تدمر قدرة النموذج على تصميم العلاجات للأمراض العصبية. لقد قمت بعملية استئصال الفص الأمامي باسم السلامة.

التحدي الحقيقي ليس حظر النواتج السيئة. إنه التنقل عبر المناطق الآمنة من هذا المنظر الطبيعي مع جعل المناطق الخطرة غير قابلة للوصول رياضياً.

كيف تبدو "حوكمة الفضاء الكامن" في الواقع؟

صغنا مصطلح حوكمة الفضاء الكامن لوصف ما نعتقد أنه النهج الوحيد الدفاعي لسلامة الذكاء الاصطناعي في المجالات التوليدية عالية المخاطر. الفكرة بسيطة بشكل خادع: بدلاً من تصفية النواتج بعد توليد النموذج لها، قيّد تنقل النموذج عبر منظره الداخلي قبل أن يتم إنتاج أي شيء.

سأمر عبر ما يعنيه هذا في الممارسة، لأن الشيطان يكمن في التنفيذ.

تعيين الأرض قبل أن يتحرك أحد

قبل نشر أي نموذج توليدي، نقوم بما نسميه بالفحص الطوبولوجي. باستخدام تقنية تسمى Persistent Homology — فرع من تحليل البيانات الطوبولوجية — نحسب بصمة رياضية للمناطق الآمنة في الفضاء الكامن للنموذج. نحدد الأشكال والثقوب والحدود التي تفصل الإقليم العلاجي عن الإقليم السام.

هذا يعطينا شيئاً لم تستطع أي قائمة حظر أن تعطيه أبداً: فهم هيكلي لما تبدو عليه "السلامة" في هندسة النموذج الخاصة. عندما يتم إنشاء جزيء جديد — شيء لا يظهر في أي قاعدة بيانات — يمكننا تقييم ما إذا كان يجلس على المنوع الآمن أو قد انجرف إلى إقليم غير مكتشف وربما خطير.

المنتقدون الذين لا ينامون أبداً

نحن لا نعيد تدريب النموذج التوليدي الأساسي. هذا مكلف وينطوي على خطر نسيان كارثي ويخلق مشاكله الخاصة. بدلاً من ذلك، نقوم بتدريب شبكات مساعدة خفيفة الوزن نسميها Constraint Critics — وظائف القيمة التي تعمل مباشرة على المتجهات الكامنة وتتنبأ بدرجات المخاطر في الوقت الفعلي.

تعتبر الأناقة المعمارية هنا مهمة: لأن المنتقدين منفصلون عن المولد، يمكننا تحديثهم مع ظهور تهديدات جديدة دون لمس النموذج الأساسي. عندما يتم تحديد فئة جديدة من المخاوف الكيميائية، نعيد تدريب المنتقد، وليس النظام بأكمله.

التوجيه، وليس التصفية

أثناء الإنشاء، عندما يأخذ النموذج عينة من نقطة في الفضاء الكامن، يحسب المنتقد تدرج سطح السمية عند تلك النقطة. إذا كان المسار يتجه نحو منطقة خطرة، فإن تدرجاً معاكساً يدفعه مرة أخرى إلى المنوع الآمن — باستخدام تقنية قائمة على Langevin Dynamics.

النموذج بفعالية "يتخيل" جزيء سام لكن يُجبر رياضياً على حل هذا الفكر إلى نظير آمن قبل إنتاج أي مخرجات. لا يصل شيء خطير أبداً إلى طبقة الإخراج. لا يوجد شيء للتصفية لأنه لا يوجد شيء غير آمن للإمساك به.

النموذج لا ينتج سلاحاً ويتم إيقافه عند الباب. إنه غير قادر معمارياً على المشي نحو الباب في المقام الأول.

هذا هو الفرق بين التصفية اللاحقة والقيد الهيكلي. أحدهما حارس أمان يتحقق من الهويات. الآخر مبنى بدون مدخل إلى الطابق المقيد.

للصيغة الرياضية الكاملة — بما فيها إطار التحسين المقيد ومعادلات التوجيه التدريجي — انظر تعمقنا التقني.

لماذا لا تستطيع فقط حظر المناطق الخطرة بالكامل؟

يسألني الناس هذا باستمرار، وهو سؤال عادل. إذا كنت تعرف أين المنوع السام، فلماذا لا تبني جداراً حوله بالكامل؟

لأن التشابك. تذكر — تتداخل الميزات التي تجعل وكيل الأعصاب قاتلاً بشكل كبير مع الميزات التي تجعل عقار الأعصاب فعالاً. إذا قمت ببناء جدار بعدوانية كبيرة، فأنت تدمر الفائدة العلاجية. إذا قمت ببناء جدار بشكل فضفاض جداً، فأنت تترك فجوات.

ينسج نهجنا هذا الإبرة من خلال ما نسميه التعلم المعزز المقيد مع الحوافز التكيفية. بدلاً من جدار ثنائي — آمن/غير آمن — نطبق منطقة حد موجهة بالتدرج. كلما اقترب النموذج من حد السمية، تدفعه عقوبة متزايدة إلى الخلف، مثل حقل قوة يصبح أقوى كلما اقتربت. هذا يسمح للنموذج باستكشاف حواف كيمياء الفضاء الإنتاجية — حيث غالباً ما تعيش أكثر الأدوية ابتكاراً — دون عبور الخطر أبداً.

يُعرف التعلم المعزز المقيد القياسي بأنه غير مستقر، يتذبذب حول حد التقييد. حللنا هذا بآلية حوافز تكيفية تكافئ النموذج على البقاء جيداً ضمن الحدود، وليس فقط لعدم عبورها. يبدو الفرق دقيقاً. في الممارسة، إنه الفرق بين نظام آمن على الورق وواحد آمن تحت الضغط الخصومي.

الحساب التنظيمي موجود بالفعل

أتحدث مع الكثير من المؤسسين الذين يعاملون سلامة الذكاء الاصطناعي كشيء جميل الحصول عليه. خانة اختيار لفريق الامتثال. شيء يجب القلق بشأنه بعد ملاءمة السوق للمنتج.

إنهم مخطئون، والمشهد التنظيمي على وشك إثبات ذلك.

يحدد الأمر التنفيذي للبيت الأبيض بشأن الذكاء الاصطناعي صراحةً خطر انخفاض حواجز الذكاء الاصطناعي لتطوير أسلحة CBRN (الكيميائية والبيولوجية والإشعاعية والنووية) كتهديد أمني قومي من الدرجة الأولى. تنص مهمة Genesis، التي تم إطلاقها في أواخر 2025، على توجيه وزارة الطاقة لبناء منصة ذكاء اصطناعي متكاملة للاكتشاف العلمي مع تدابير "أمن الفضاء الإلكتروني القائمة على المخاطر" إلزامية. يشير ملف التعريف الخاص بالذكاء الاصطناعي التوليدي من NIST (NIST.AI.600-1) بشكل محدد إلى أدوات التصميم الكيميائية والبيولوجية كفئة مخاطر فريدة، محذراً من أن هذه الأدوات "قد تتنبأ بهياكل جديدة" غير موجودة في بيانات التدريب. و ISO 42001 — معيار نظام الإدارة الدولي الأول للذكاء الاصطناعي — يطلب قوة مثبتة ضد الهجمات الخصومية.

لا يمكن لغلاف أن يوضح أنه يمنع إنشاء التهديدات البيولوجية. يمكنه فقط إظهار أنه يحاول تصفيتها. سيكون هذا التمييز "أفضل محاولة" مهماً جداً عندما تكون العقود الفيدرالية وشهادة ISO والموافقة التنظيمية على المحك.

توفر قيودنا الهيكلية شيئاً مختلفاً بشكل أساسي: إثبات السلوك المحدود. يمكننا أن نوضح للمنظمين — رياضياً — أن منوع CBRN غير قابل للوصول إلى نماذجنا. لا "نحاول حظره." لا "لم نرها تعبر بعد." غير قابل للوصول.

قال لي مستثمر "فقط استخدم GPT وأضف مرشحات"

أريد مشاركة هذا لأنني أعتقد أنها تعكس الفجوة بين أين تقف الصناعة وأين يجب أن تكون.

في وقت مبكر من جمع الأموال الخاص بنا، استمع مستثمر — شخص لديه محفظة قوية في ذكاء اصطناعي المؤسسات — إلى عرضنا وقال، بشكل أساسي: "هذا مفرط الهندسة. فقط استخدم GPT-4 مع موجه نظام جيد ونقطة اعتدال. لا أحد سيحاول الخروج عن الضوابط في أداة صيدلية."

سحبت بحث SMILES-prompting على هاتفي وأريته معدلات التجاوز بنسبة 90% +. أريته نتائج MegaSyn. شرحت أن الجزيئات التي سيحتاج "نقطة الاعتدال" الخاصة به للقبض عليها لا تملك أسماءً بعد — إنها مركبات جديدة لا توجد في أي قاعدة بيانات.

توقف للحظة طويلة ثم قال: "إذاً أنت تخبرني أن كل شركة سلامة ذكاء اصطناعي في التكنولوجيا الحيوية تبيع قفلاً لا يعمل؟"

"أنا أخبرك أنهم يبيعون قفلاً على الباب الأمامي لمبنى بدون جدران."

لم يستثمر. ليس كل شخص مستعداً لهذه المحادثة. لكن الذين هم — شركات الأدوية التي تدير برامج سريرية، والمقاولين الدفاعيين الذين لديهم ولايات CBRN، وشركات التكنولوجيا الحيوية التي تراقب شهادة ISO 42001 — يفهمون أن السلامة الهيكلية ليست ميزة متميزة. إنها أقل منتج قابل للحياة.

الجزء الذي يبقيني مستيقظاً في الليل

تم نشر تجربة MegaSyn في 2022. كانت تستخدم معماريات من 2018. النماذج المتاحة اليوم أكثر قدرة بأوامر من حيث الحجم.

والبنية التحتية "الأمنية" التي بنتها الصناعة في الرد؟ مرشحات كلمات رئيسية أفضل. موجهات نظام محسنة. قوائم حظر أكثر شمولاً. نحن نبني سيارات أسرع ونرد بمطبات سرعة أفضل.

أعتقد أن معظم الناس في مجال الذكاء الاصطناعي — حتى معظم الناس الذين يبنون أدوات سلامة الذكاء الاصطناعي — لم يستوعبوا بشكل كامل ما يعنيه أن القدرة على تصميم أسلحة كيميائية جديدة تكلف الآن أقل من جهاز كمبيوتر الألعاب. أن المعرفة ليست في مستند مصنف في مكان ما؛ إنها مشفرة في التمثيلات المتعلمة للنماذج المدربة على بيانات الكيمياء المتاحة للجمهور. أنك لا تستطيع إلغاء تعليم النموذج ما تعنيه السمية دون إلغاء تعليمه ما تعنيه العلاج، لأن هذه هي نفس المعرفة، ينظر إليها من زوايا مختلفة.

لا يمكننا حل مشكلة هندسية بتصحيح لغوي. الخطر يعيش في الفضاء الكامن للنموذج، وهذا هو حيث يجب أن تعيش الحوكمة أيضاً.

يجب أن ينتهي عصر الأغلفة. ليس لأن الأغلفة منتجات سيئة — كثير منها بنوايا حسنة وجديرة بالاستفادة للتطبيقات منخفضة المخاطر. لكن لأنه في المجالات التي يلمس فيها الذكاء الاصطناعي العالم المادي — تصميم الأدوية، والتوليف الكيميائي، والهندسة البيولوجية — السلامة السطحية تناقض واضح. إنها تخلق مظهر من التحكم أثناء ترك محرك الإبداع بلا حكم تماماً.

في Veriprajna، اخترنا مساراً أصعب. اخترنا الدخول إلى داخل النموذج — إلى هندسته وطوبولوجيته وبنيته الكامنة — وبناء السلامة في الرياضيات نفسها. ليس كمرشح. ليس كقيد حماية. كقيد على ما يمكن للنموذج أن يتخيله.

هذا ما أعتقد أن تبدو عليه مستقبل سلامة الذكاء الاصطناعي: ليس حراساً أذكى عند الباب، بل مباني مصممة بحيث لا توجد الغرف الخطرة. ليس اعتدالاً أفضل للمحتوى، بل نماذج تجعل هندستها الداخلية الضرر مستحيلاً هيكلياً.

لم نبن هذا لأنه كان سهلاً أو لأن السوق كانت تطلبه. بنينا هذا لأن هذا الجدول — 40,000 جزيء، ست ساعات، خادم المستهلك — أخبرنا أن أي شيء أقل هو إهمال متنكر كابتكار.