الذكاء الاصطناعي الذي نسي كيف يقتل: لماذا نبني نماذج تعجز عن صنع أسلحة بيولوجية

وصلت الرسالة الإلكترونية في الساعة 2:47 صباحًا في يوم ثلاثاء. كان أحد مهندسي الأبحاث لدينا — سأطلق عليه اسم رافي — يجري اختبارات عدائية على نموذج بيولوجي شهير مفتوح المصدر. لم يكن يحاول فعل أي شيء خبيث، بل كان يختبر حدود حواجز الحماية تحت الضغط، وهو صلب عملنا. لكن ما اكتشفه جعله يلتقط الهاتف بدلاً من الانتظار حتى الصباح.

قال: "لقد أرشدني عبر العملية بأكملها خطوة بخطوة. ليس في مطالبة واحدة، بل عبر اثني عشر دورًا من المحادثة. واصلت فقط طرح أسئلة متابعة حول طي البروتين، ثم الارتباط بالمستقبلات، ثم آليات التوصيل. وبحلول النهاية، كان قد قدم لي عمليًا مخططًا تفصيليًا لتعزيز قابلية الانتقال الفيروسي. وأنا لست حتى عالم أحياء."

جلست في الظلام في غرفة معيشتي، أحدق في نص المحادثة الذي أرسله. لم يكن النموذج قد "رفض" أي شيء. فكل إجابة فردية كانت من الناحية التقنية تدور حول علم مشروع. لكن عند ربطها معًا بتوجيه من شخص يعرف ما ينبغي سؤاله، كانت المحادثة درسًا متقدمًا في شيء لا ينبغي تدريسه أبدًا.

غيرت تلك الليلة مسار شركتي. كنا نبني أدوات أمان الذكاء الاصطناعي لعملاء من المؤسسات — وهو عمل مهم، لكنه تدريجي. ما أطلعني عليه رافي تطلب شيئًا أكثر جذرية. ليس حواجز حماية أفضل، ولا مرشحات أكثر ذكاءً. كنا بحاجة إلى بناء نماذج ذكاء اصطناعي لا تستطيع حقًا إنتاج هذه المعرفة، حتى لو جُرِّدت من كل طبقات الأمان.

كنا بحاجة إلى نماذج نسيت كيف تقتل.

المشكلة التي لا يريد أحد التحدث عنها

إليكم الحقيقة المزعجة حول الذكاء الاصطناعي وعلم الأحياء: النموذج نفسه الذي يساعد باحثًا في تصميم ناقل للعلاج الجيني لطفل مصاب بمرض نادر يمكنه، بالمطالبة المناسبة، أن يساعد شخصًا ما على تحسين كائن ممرض لتحقيق أقصى قدر من الضرر البشري. هذا ليس افتراضًا نظريًا، بل هو حتمية رياضية متجذرة في آلية عمل هذه النماذج.

تتعلم النماذج اللغوية الكبيرة من خلال استيعاب كل شيء — الكتب المدرسية، والأوراق البحثية، ومنشورات المنتديات، والسجل الرقمي الكامل للمعرفة البشرية. يشمل ذلك أوراق علم الفيروسات حول أبحاث اكتساب الوظيفة. ويشمل أدبيات الكيمياء حول تخليق السموم. ويشمل عقودًا من أبحاث الدفاع الحيوي التي توثق بطبيعتها بالضبط ما يجعل العوامل البيولوجية خطيرة.

إن البيانات المطلوبة لإنقاذ الأرواح غالبًا ما تكون مرتبطة بشكل لا ينفصم بالبيانات المطلوبة لإنهائها.

هذا ما يسميه الباحثون معضلة الاستخدام المزدوج، وهي ليست جديدة. لقد تصارع علماء الأحياء معها منذ اكتشاف الحمض النووي (DNA). لكن الذكاء الاصطناعي يغير المعادلة بطريقة تقض مضجعي: إنه يجعل الجزء الأصعب في متناول الجميع.

تاريخيًا، تطلب بناء سلاح بيولوجي ثلاثة أشياء — المعرفة الصريحة (العلم)، والوصول المادي (معدات المختبر)، والمعرفة الضمنية (الحس المخبري غير المكتوب الذي يستغرق سنوات لتطويره). تكفل الإنترنت بالأمر الأول. وتتولى المختبرات السحابية وتخليق الحمض النووي عبر البريد إدارة الأمر الثاني. والآن، يسد الذكاء الاصطناعي التوليدي الفجوة الثالثة من خلال العمل كـ "باحث ما بعد الدكتوراه في صندوق"، كما وصفه أحد الباحثين بتجهم — متاح على مدار الساعة طوال أيام الأسبوع، صبور إلى أقصى حد، وبدون بوصلة أخلاقية ما لم نقم ببنائها فيه صراحة.

لماذا تفشل سياسة "الاكتفاء بالرفض" في أمان الذكاء الاصطناعي الحيوي؟

كان رد صناعة الذكاء الاصطناعي على هذه المشكلة، في جوهره، هو تعليم النماذج الرفض. من خلال عملية تسمى التعلم التعزيزي من التغذية الراجعة البشرية (RLHF)، تتعلم النماذج أنه عندما يسأل شخص ما عن موضوعات خطيرة، فإن الاستجابة الصحيحة هي صيغة ما من صيغ "لا يمكنني المساعدة في ذلك".

كنت أعتقد أن هذا كافٍ. كنت مخطئًا.

إن RLHF لا يمحو المعرفة، بل يكبح السلوك. فالنموذج لا يزال يعرف كيفية تخليق سم ما — لقد تم تدريبه فقط على ألا يفصح عن ذلك. فكر في الأمر كطبيب أقسم على الصمت بشأن موضوع محدد. المعرفة لا تزال موجودة، وسليمة تمامًا، ومستقرة في الأوزان العصبية. أما "الرفض" فهو مجرد طبقة سلوكية رقيقة طُليت على السطح خلال المرحلة النهائية من التدريب.

والطبقات الرقيقة تتصدع.

قام فريقي بفهرسة الطرق التي ينهار بها هذا النهج، والقائمة أطول مما أود الاعتراف به. هناك هجوم التصعيد المتدرج (Crescendo Attack)، حيث يبدأ المهاجم بأسئلة بريئة ويتصاعد ببطء عبر عشرات الأدوار من المحادثة حتى يتعمق النموذج في السياق إلى درجة ينسى معها الرفض. وهناك البهجة الخادعة (Deceptive Delight)، حيث يتم تغليف الطلب الضار في مطالبة كتابة إبداعية. وهناك حيلة حَكَم ليكرت السيئ (Bad Likert Judge)، حيث تطلب من النموذج تقييم مدى ضرر الاستجابات المختلفة، فيقدم عن طيب خاطر التفاصيل الخطيرة كجزء من "تحليله".

لقد اختبرنا هذه الهجمات على نماذج رائدة متعددة، وكانت النتائج تبعث على القلق. أحد الهجمات الأنيقة بشكل خاص — نشرها فريق Unit 42 في Palo Alto Networks — حقق معدل نجاح بنسبة 100% في كسر الحماية على نماذج معينة باستخدام الصبر في المحادثة دون سواه.

لكن الكابوس الحقيقي ليس كسر الحماية فحسب، بل ما يحدث عندما يكون النموذج مفتوح المصدر.

ماذا يحدث عندما لا يمكنك استرداد السلاح؟

لقد خضت نقاشات محتدمة حول هذا الأمر. في عالم البرمجيات، يعد "المصدر المفتوح" أمرًا مقدسًا — فهو يعني الشفافية، ومراجعة المجتمع، والأمان من خلال التدقيق الجماعي. أنا أؤمن بالمصدر المفتوح للبرمجيات، لكن علم الأحياء ليس برمجيات.

عندما يتم العثور على ثغرة أمنية في Linux، يتم تصحيحها، ويقوم الجميع بالتحديث، فتحيّد الثغرة. ولكن عندما يتم إنشاء "ثغرة" بيولوجية — ولنقل تصميم عامل ممرض لجائحة جديدة — بواسطة نموذج مفتوح الأوزان يعمل على خادم خاص لشخص ما، فلا يوجد تصحيح برمجي، ولا يوجد تحديث، ولا يوجد سحب للمنتج.

لقد خرجت الأوزان، وأصبحت القدرة دائمة.

لقد أثبت الباحثون مفهومًا يسمى الضبط الدقيق الخبيث يوضح هذا الواقع بشكل ملموس. خذ نموذجًا مفتوحًا "محاذيًا للسلامة" — تم تدريبه بعناية لرفض الاستفسارات الضارة. قم بضبطه دقيقًا على ما لا يتجاوز 10 إلى 50 نموذجًا من أزواج الأسئلة والأجوبة الضارة. التكلفة: بضع مئات من الدولارات من وقت وحدة معالجة الرسومات (GPU). النتيجة: تنهار محاذاة السلامة تمامًا، وتتدفق المعرفة الكاملة للنموذج من مرحلة ما قبل التدريب — بما في ذلك كل ما تعلمه عن مسببات الأمراض والسموم وتطوير الأسلحة — عائدةً إلى السطح.

إن آلية الأمان التي يمكن للمهاجم إزالتها ليست آلية أمان على الإطلاق؛ إنها مجرد مطب لتخفيف السرعة.

عرضت هذه الحجة في أحد المؤتمرات، واعترض أحد الحاضرين قائلاً: "لكن المعلومات موجودة بالفعل على الإنترنت". معهم حق في أنه يمكنك العثور على كيفية تخليق الريسين على ويكيبيديا. لكن هذا يغفل النقطة الجوهرية تمامًا. فالخطر ليس في الوصفة، بل في الارتقاء بالقدرات (uplift) — أي قدرة النموذج على توجيه شخص شبه ماهر خلال العملية المعقدة والمعرضة للأخطاء لتنفيذ تلك الوصفة فعليًا، واستكشاف الأخطاء وإصلاحها في الوقت الفعلي، واقتراح كواشف بديلة عندما لا تتوفر الكواشف الخاضعة للرقابة. تلك هي الفجوة التي يسدها الذكاء الاصطناعي، وتلك هي الفجوة الحاسمة.

لقد كتبت عن هذا بمزيد من التفصيل في النسخة التفاعلية من بحثنا، بما في ذلك نموذج التهديد الكامل لأنظمة الذكاء الاصطناعي الوكيلية (agentic AI) القادرة على تخطيط وتنفيذ مسارات عمل بيولوجية متعددة الخطوات بشكل مستقل. إن التحول الوكيلي — حيث ينتقل الذكاء الاصطناعي من كونه روبوت دردشة إلى عالم مستقل — هو النقطة التي يصبح فيها هذا الخطر وجوديًا بحق.

الليلة التي غيرنا فيها مسارنا

كانت هناك لحظة محددة تبلور فيها نهجنا. كنا في اجتماع للفريق، نتجادل حول البنية المعمارية. أراد نصف الفريق بناء مراقبة أفضل — لاكتشاف المطالبات السيئة قبل وصولها إلى النموذج. بينما أراد النصف الآخر التركيز على تصفية المخرجات — لاكتشاف الاستجابات السيئة قبل وصولها إلى المستخدم.

أتذكر وقوفي أمام السبورة البيضاء، أرسم المخطط نفسه للمرة الثالثة، وفجأة شعرت وكأننا نعيد ترتيب المقاعد على ظهر سفينة تغرق. افترض كلا النهجين أن النموذج ينبغي أن يمتلك المعرفة الخطيرة، وأننا نحتاج فقط إلى التحكم في الوصول إليها. لكن هذا هو نفس المنطق القائم على تخزين غاز الأعصاب في المكتب والاعتماد على قفل محكم للغاية.

قال أحدهم: "ماذا لو كان النموذج... لا يعرف ببساطة؟" أعتقد أنه كان باحث قابلية التفسير لدينا. خيم الصمت على الغرفة.

يبدو الأمر بديهيًا في بأثر رجعي. لكن في عالم أمان الذكاء الاصطناعي، كان هذا شبه بدعة. كان الافتراض السائد هو أنك بحاجة إلى النموذج الكامل — بكل معارفه وجميع قدراته — ثم تضع طبقات الأمان فوقه. بدت فكرة الإزالة المتعمدة والجراحية للمعرفة من نموذج مدرب وكأنها عملية فصل فص جبهي (lobotomy)؛ فكرة فجة ومدمرة، وافترضوا أنك ستعطل حتمًا كل شيء آخر في هذه العملية.

أمضينا الأشهر التالية في إثبات خطأ ذلك الافتراض.

كيف تعلم الذكاء الاصطناعي أن ينسى؟

يُطلق على هذا المجال اسم إلغاء تعلم الآلة (Machine Unlearning)، وهو أدق بكثير مما يبدو. لا يمكنك ببساطة حذف بيانات التدريب وإعادة التدريب من جديد — فهذا مكلف للغاية من الناحية الحسابية ولا يضمن زوال المعرفة. بدلاً من ذلك، عليك التدخل على مستوى التمثيلات الداخلية للنموذج — أنماط التنشيط العصبي التي ترمّز المفاهيم.

تقنيتنا الأساسية تسمى توجيه التمثيلات الخاطئ لإلغاء التعلم (Representation Misdirection for Unlearning)، أو RMU. إليكم الفكرة البديهية: عندما يعالج النموذج مطالبة حول، ولنقل، "تعزيز قابلية الانتقال الفيروسي"، تنشط أنماط محددة في طبقاته الخفية. هذه الأنماط هي ما تمثله رياضياً حالة "معرفة تعزيز انتقال الفيروسات". يحدد RMU تلك الأنماط ويعيد توجيهها — ليس نحو الرفض، بل نحو الضجيج العشوائي. وبذلك يتشوش "التفكير" الداخلي للنموذج حول المفهوم الخطير ليتحول إلى تنشيط عديم المعنى.

والنتيجة هي نموذج لا يرفض سؤالك حول صنع السلاح، بل يعجز ببساطة عن التفكير فيه بتماسك. اطلب منه تحسين كائن ممرض، وسيجيب كشخص لم يسمع بهذا المفهوم من قبل — مشوشًا، وغير مترابط، ويتشبث بأفكار لا علاقة لها بالموضوع. إنه لا يمثل، بل إن المعرفة ببساطة غير موجودة.

لكن ها هو الجزء الصعب — والجزء الذي استهلك معظم جهدنا الهندسي: عليك أن تفعل ذلك دون تدمير كل شيء آخر. إذ يتشارك علم الفيروسات والأسلحة البيولوجية قدرًا هائلاً من المعرفة الأساسية. لا يمكنك انتزاع "هندسة مسببات الأمراض" دون المخاطرة بـ "تصميم اللقاحات". يشبه الأمر محاولة إزالة مفهوم "النار كسلاح" من دماغ شخص ما مع ترك مفهوم "النار كأداة للطهي" سليمًا تمامًا.

وهنا أصبحت المشفرات التلقائية المتفرقة (Sparse Autoencoders) مشرطنا الجراحي. تشتهر الشبكات العصبية بكونها "متعددة الدلالات" — فقد يرمز عصبون واحد إلى كل من "القطط" و"المشتقات المالية" (بكل جدية). تتيح لنا المشفرات التلقائية المتفرقة فك تشابك هذه التمثيلات المتداخلة إلى ميزات نظيفة أحادية المفهوم. واستطعنا العثور على الميزة المحددة التي تنشط لـ "أبحاث اكتساب الوظيفة الفيروسية" وتثبيتها عند الصفر، مع ترك الميزة المجاورة لـ "تصميم النواقل الفيروسية للعلاج الجيني" دون مساس.

لن أدعي أن العملية كانت سلسة؛ فالتجارب الأولى كانت قاسية. نموذجنا الأول بعد إلغاء التعلم لم يكن قادرًا على التمييز بين الفيروس والفيتامين! لقد أفرطنا في التصحيح بقوة لدرجة أن النموذج نسي عمليًا البيولوجيا الجزيئية. أتذكر رافي وهو يفتح نتائج التقييم، ويتصفح صفحة تلو الأخرى من الإجابات غير المنطقية لأسئلة البيولوجيا الأساسية، ويقول: "حسنًا، بالتأكيد لم يعد بإمكانه صنع سلاح بيولوجي، لكنه أيضًا لا يستطيع صنع الأسبرين".

واصلنا التحسين. وأضفنا قيودًا على الطلاقة اللغوية من خلال تقنية تسمى محو ذاكرة اللغة (Erasure of Language Memory)، والتي تضمن بقاء النموذج متماسكًا حتى في المناطق "الممحوة". ونفذنا استقراء المعلمات (Parameter Extrapolation) للتعامل مع مشكلة إعادة التعلم — أي خطر قيام شخص ما بضبط نموذجنا الملغى تعلمه على بيانات ذات صلة وإعادة بناء المعرفة الخطيرة. يحدد الاستقراء المفاهيم "المترابطة منطقيًا" ويوسع تدرج إلغاء التعلم ليغطيها، مما ينشئ منطقة عازلة حول المعرفة الممحوة.

للحصول على التفصيل التقني الكامل لهذه الأساليب — RMU، واستئصال ميزات المشفر التلقائي المتفرق، واستقراء معلمات UIPE — راجع ورقتنا البحثية المفصلة.

كيف تبدو "الصدفة العشوائية" في الممارسة العملية؟

نحن نتحقق من صحة نماذجنا مقارنة بـ معيار WMDP — مجموعة بيانات بديلة لأسلحة الدمار الشامل، طوّرها مركز أمان الذكاء الاصطناعي (Center for AI Safety). وتتضمن أكثر من 4000 سؤال متعدد الخيارات صاغها خبراء لاختبار "المعرفة الأولية" — أي المفاهيم التي يجب أن تفهمها لبناء سلاح بيولوجي أو كيميائي.

يسجل نموذج مفتوح المصدر قياسي مثل Llama-3-70B حوالي 75% في قسم الأمن الحيوي. ويسجل GPT-4، بكل تدريبات أمان RLHF الخاصة به، حوالي 72%. بينما يسجل نموذجنا ذو فجوات المعرفة 26% — وهي نسبة لا يمكن تمييزها إحصائيًا عن التخمين العشوائي في اختبار متعدد الخيارات من أربعة خيارات.

وفي الوقت نفسه، في معايير أبحاث الطب الحيوي العامة مثل PubMedQA، يحتفظ نموذجنا بدقة تبلغ حوالي 77% مقارنة بـ 78% للنموذج الأساسي. وفي معيار العلوم الواسع MMLU، انخفضت نتيجتنا من 82% إلى 81% فقط.

إن النموذج ذو فجوات المعرفة هو عمليًا بمثابة "طفل رضيع" فيما يتعلق بالتهديد، بينما يظل "خبيرًا متمرسًا" في العلاج.

إن هذا الفقد في المنفعة بنسبة 1-2% هو تكلفة السلامة الهيكلية. وكل مسؤول تنفيذي في قطاع الأدوية عرضت عليه هذه الأرقام كان له رد الفعل نفسه: "هل هذا كل شيء؟" نعم، هذا كل شيء. فالنموذج كفء بنسبة 98% للأبحاث المشروعة، وقدرته صفر بالمائة تقريبًا على تطوير الأسلحة.

ويوضح معدل نجاح هجمات كسر الحماية بقية القصة: النماذج المفتوحة القياسية تسجل 15-20%، وGPT-4 مع RLHF يسجل 1-5%، أما نموذجنا فيسجل أقل من 0.1%. وتلك النسبة المتبقية الضئيلة ليست إنتاجًا لمحتوى خطير من النموذج — بل هي مجرد ضوضاء قياس.

الجدران التنظيمية تضيق الخناق

لم تعد هذه مجرد حجة تقنية، بل أصبحت حجة قانونية.

الأمر التنفيذي رقم 14110 يستهدف صراحة "نماذج الأساس ذات الاستخدام المزدوج" ويفرض على المطورين الإبلاغ عن نتائج اختبارات الفريق الأحمر (red-teaming) لمخاطر CBRN (المخاطر الكيميائية والبيولوجية والإشعاعية والنووية). معيار ISO/IEC 42001، وهو أول معيار دولي لإدارة الذكاء الاصطناعي، يفرض ضوابط "تتناسب مع المخاطر" — وفي هندسة السلامة، دائمًا ما تأتي إزالة الخطر في مرتبة أعلى من الضوابط الإدارية مثل السياسات والرفض. ويصنف إطار عمل إدارة مخاطر الذكاء الاصطناعي من NIST قدرات CBRN كفئة مخاطر فريدة للذكاء الاصطناعي التوليدي.

بالنسبة لشركات الأدوية، فإن حسابات المسؤولية القانونية واضحة ومباشرة. إذا منحت باحثيك إمكانية الوصول إلى نموذج ذكاء اصطناعي يمكنه تصميم كائن ممرض، وحدث خطأ ما — موظف ساخط، أو نظام مخترق، أو هجوم هندسة اجتماعية متطور — فستُسأل عن الخطوات التي اتخذتها لمنع الضرر المتوقع. القول بأننا "طلبنا من النموذج أن يقول لا" لن يقنع هيئة المحلفين. أما القول بأن "النموذج غير قادر هيكليًا على إنتاج تلك المخرجات" فهو حديث مختلف تمامًا.

وتسعر شركات التأمين ضد المسؤولية السيبرانية هذا الأمر بالفعل؛ إذ بدأت استثناءات الأضرار الناتجة عن الذكاء الاصطناعي تظهر في وثائق التأمين، وترتفع أقساط التأمين للشركات التي تستخدم نماذج غير موثقة في مجالات حساسة. إن السوق يوجه لنا رسالة واضحة.

"ولكن ألا يمكن لشخص ما إعادة تدريبه ببساطة؟"

هذا هو السؤال الذي يُطرح علي كثيرًا، وهو السؤال الصحيح تمامًا. إذا كان بإمكانك إلغاء تعلم المعرفة، ألا يستطيع الخصم إعادة تعلمها عن طريق الضبط الدقيق على بيانات الأسلحة البيولوجية؟

نعم — نظريًا. لكننا صممنا تكلفة إعادة التعلم لتكون باهظة للغاية. من خلال استقراء المعلمات، لا نمحو المعرفة المستهدفة فحسب، بل نمحو أيضًا السقالات المفاهيمية المحيطة بها والتي تجعل إعادة البناء ممكنة. إن استعادة القدرة الخطيرة من نموذجنا تتطلب بيانات وقوة حوسبة تفوق تدريب نموذج جديد من الصفر. وعند تلك النقطة، لن يجني الخصم أي فائدة من البدء بنموذجنا.

نحن نختبر هذا باستمرار. ففي كل أسبوع، تشن هجمات إعادة التعلم الآلية ضغطًا متواصلاً على نماذجنا بمجموعات بيانات الضبط الدقيق العدائي. ولا يحصل النموذج على تصنيف "فجوات المعرفة" إلا عندما تتجاوز تكلفة إعادة التعلم تكلفة التدريب من الصفر.

يسألني الناس أيضًا عما إذا كان هذا النهج قابلاً للتوسع — وما إذا كان يمكن تطبيقه على كل مجال خطير، أم أنه يعمل فقط في علم الأحياء. الإجابة الصادقة هي أن علم الأحياء كان نقطة انطلاقنا لأن المخاطر فيه هي الأعلى وحدود الاستخدام المزدوج هي الأوضح. لكن التقنيات الأساسية — توجيه التمثيلات الخاطئ، واستئصال الميزات، واستقراء المعلمات — غير مرتبطة بمجال محدد. ونحن نستكشف بالفعل تطبيقات في الأمن الكيميائي، والمثير للاهتمام، في حماية الملكية الفكرية، حيث يمكن لأساليب إلغاء التعلم نفسها ضمان عدم حفظ النموذج للبيانات السرية الخاصة بالمنافسين.

الخيار الذي ليس خيارًا حقًا

لقد حضرت اجتماعات يجادل فيها أشخاص أذكياء بأن تقييد قدرات الذكاء الاصطناعي يعادي الابتكار، وأن "السلامة" كلمة سر تعني "إبطاء السرعة"، وأن المخاطر مبالغ فيها والفوائد أهم من أن تُقيد.

أنا أتفهم هذا الدافع؛ فأنا مؤسس شركة، وأبني المنتجات لكسب عيشي، والقيود تبدو دائمًا كعائق.

لكن إليكم ما أعود إليه دائمًا: نحن لا نسمح لشركات الأدوية ببيع الأدوية دون إزالة المنتجات الثانوية السامة، ولا نسمح لشركات الطيران بتسيير طائرات دون إزالة العيوب الهيكلية. إن توقع ألا يحتوي المنتج على بذور كارثة ليس معاداة للابتكار، بل هو الحد الأدنى من الأصول الهندسية.

إن الجدل بين الذكاء الاصطناعي "المفتوح" و"المغلق" هو تشتيت للانتباه في علم الأحياء. فالخيار الحقيقي هو بين نماذج آمنة هيكليًا ونماذج لا يفصلها عن الكارثة سوى ثغرة استغلال واحدة. بين أنظمة تكون فيها السلامة خاصية متأصلة في البنية المعمارية وأنظمة تكون فيها السلامة سياسة مضافة في النهاية.

لقد أمضينا عقودًا في بناء البنية التحتية العالمية للأمن الحيوي — اتفاقية الأسلحة البيولوجية، وضوابط التصدير لمجموعة أستراليا، وبروتوكولات الفحص في شركات تخليق الحمض النووي. كل ذلك يفترض أن الجزء الأصعب في بناء سلاح بيولوجي هو اكتساب المعرفة والمهارة. والذكاء الاصطناعي يمحو هذا الافتراض. وإذا لم نتكيف — وإذا واصلنا الاعتماد على نماذج تعرف كل شيء وتعد فقط بعدم البوح به — فإننا نبني الاقتصاد الحيوي للمستقبل على أساس يمكن لمراهق مصمم يمتلك وحدة معالجة رسومات أن يحطمه.

لا يمكننا بناء الاقتصاد الحيوي للمستقبل على أساس من النماذج غير المستقرة والمزدوجة الاستخدام التي لا يفصلها عن الكارثة سوى كسر حماية واحد.

لا أعتقد أن الحل هو التوقف عن بناء الذكاء الاصطناعي لعلم الأحياء؛ فالإمكانات العلاجية هائلة للغاية، والمعاناة التي يمكن تخفيفها حقيقية جدًا. الحل هو بناء ذكاء اصطناعي عاجز هيكليًا عن إلحاق الضرر الذي نخشاه — نماذج بها فجوات حقيقية في معرفتها، وليست نماذج ترتدي أقنعة يمكن لأي خصم نزعها.

نحن نطلق على هذا اسم الأمن الحيوي البنيوي. ليست السلامة كميزة مضافة، بل السلامة كبنية معمارية. ليس قفلًا على الباب، بل غياب السلاح خلفه.