إطار استراتيجي للذكاء الاصطناعي الحرج للسلامة
إن تسوية أوبر البالغة 8.5 مليون دولار، وتعليق ترخيص كروز من جنرال موتورز، وأكثر من 40 تحقيقاً في تسلا ليست أسباباً للتخلي عن الذكاء الاصطناعي. بل هي أسباب تدعو إلى هندسته بالشكل الصحيح. تُشرح هذه الورقة البيضاء الإخفاقات الهيكلية وتقدم المسار نحو استقلالية ذاتية مؤكدة وقابلة للتحقق.
على جانب: أغلفة LLM سريعة تمنح الأولوية لطلاقة المحادثة. وعلى الجانب الآخر: هندسة Deep AI صارمة مع تحقق شكلي رياضي وأمان حتمي. ومع دخول الأنظمة الذاتية إلى العالم المادي، يصبح هذا التمييز مسألة حياة أو موت.
أربعة حوادث بارزة تكشف الهشاشة المنهجية للذكاء الاصطناعي العشوائي في التطبيقات الحرجة للسلامة.
تيمبي، أريزونا • مارس 2018 • حادث مميت
اكتشف نظام أوبر ATG إيلين هيرزبرغ لأول مرة قبل 5.6 ثانية من الاصطدام على مسافة 378 قدماً. كان هذا وقتاً أكثر من كافٍ للفرملة الطارئة القياسية. لكن منطق الإدراك في النظام عانى من تذبذب التصنيف — حيث أعاد تصنيف المشاة مراراً وتكراراً كـ «جسم غير معروف»، ثم «مركبة»، ثم «دراجة هوائية».
أدت كل إعادة تصنيف إلى إعادة ضبط المسار المتوقع للجسم. لم يتمكن النظام من الاستقرار على هوية ثابتة، ولم يستطع حساب مسار موثوق، ولم يحدد الحاجة إلى الفرملة الطارئة إلا قبل 1.3 ثانية من الاصطدام — عندما جعلت قوانين الفيزياء الاصطدام أمراً لا مفر منه.
كانت أوبر قد عطّلت نظام الفرملة التلقائية الطارئة (AEB) وتفادي الاصطدام الأصلي لسيارة فولفو XC90 لمنع «السلوك غير المنتظم للمركبة». واستبدلوا طبقات الأمان الحتمية التي تم التحقق منها برمز عشوائي تجريبي غير موثوق.
| مكون الإخفاق | الآلية التقنية |
|---|---|
| خط أنابيب الإدراك | تذبذب التصنيف (غير معروف → مركبة → دراجة) |
| كبت المنطق | التعطيل اليدوي لنظام AEB الأصلي للمصنع |
| واجهة التفاعل البشري (HMI) | الاعتماد المفرط على مراقب بشري مشتت الانتباه |
| محرك التنبؤ | افتراض المسار الثابت للأجسام الديناميكية المتحركة |
أدت كل عملية إعادة تصنيف إلى تدمير التنبؤ بمسار الجسم، مما منع التدخل في الوقت المناسب.
سان فرانسيسكو • أكتوبر 2023 • سحب الترخيص
صدمت مركبة يقودها إنسان أحد المشاة، وقذفت بها في مسار سيارة أجرة روبوتية تابعة لشركة Cruise. اصطدمت سيارة Cruise بالمشاة وتوقفت في البداية. لكن منطق كشف الاصطدام في النظام كان غير دقيق بما فيه الكفاية — حيث شخّص حادث دهس أمامي بالخطأ على أنه اصطدام جانبي.
أدى هذا التشخيص الخاطئ إلى إطلاق مناورة «حالة الحد الأدنى من المخاطر» (MRC): التوقف على جانب الطريق. ونظراً لأن طبقة الإدراك كانت قد «نسيت» وجود المشاة بعد الاصطدام، قامت المركبة بسحب الضحية لمسافة 20 قدماً بسرعة 7 أميال/ساعة. ولم تتوقف إلا عندما اكتشفت «انزلاقاً مفرطاً للعجلات» — والذي فسرته على أنه عطل ميكانيكي وليس عائقاً بشرياً.
وكشفت التحقيقات اللاحقة أن القيادة كانت «مهووسة بتصحيح الرواية الإعلامية غير الدقيقة» وفشلت في التحلي بالشفافية مع الهيئات التنظيمية. وتؤكد الغرامة الجنائية البالغة 500,000 دولار لتقديم تقارير كاذبة أن أمان الذكاء الاصطناعي لا يمكن التعامل معه كمشكلة تسويقية.
«اعترف الموظفون بـ 'ترك الفيديو يتحدث عن نفسه' خلال الاجتماعات مع إدارة المركبات، مع علمهم بأن مشاكل الاتصال غالباً ما حالت دون تشغيل مقطع السحب.»
على مستوى الولايات المتحدة • 2024-2025 • أكثر من 40 تحقيقاً لـ NHTSA
يُظهر نظام القيادة الذاتية الكاملة (FSD) من تسلا ما يُعرف بـ «مسرح القدرات» (Capability Theater) — أداء مثالي في الظروف الصحوة ينهار فوراً أمام الحالات البيئية الحدية. وقد فتحت NHTSA أكثر من 40 تحقيقاً تركز على أنماط أعطال محددة ومتكررة.
إن اعتماد تسلا على بنية تعتمد على الرؤية فقط — مع استبعاد الـ LiDAR والرادار — يخلق ثغرة جوهرية تتمثل في تشبع الحساسات. ففي حالات الضباب أو الغبار أو وهج الشمس على الأسفلت الرطب، تنخفض نسبة الإشارة الضوئية إلى الضوضاء إلى ما دون عتبات الملاحة الآمنة. وقد وقع اصطدام مميت في عام 2023 في هذه الظروف تحديداً.
| نمط الفشل | السبب التقني |
|---|---|
| عدم الامتثال للإشارة الحمراء | فشل اكتشاف حالة الإشارة في مكدس الرؤية |
| مخالفة علامات المسار | عدم القدرة على التمييز بين مسارات الانعطاف الإلزامي والمسارات المباشرة |
| حادث تصادم في ظروف الرؤية المنخفضة | تشبع الحساسات البصرية (الوهج/الضباب/الغبار) |
| دخول المسار المعاكس | فشل في إعادة بناء هندسة المسار ثلاثية الأبعاد |
تتطلب هندسة Deep AI تنوعاً في الحساسات. لا يمكنك معالجة القصور المادي في العتاد بواسطة ترقيع برمجي.
لوس أنجلوس / سان فرانسيسكو • 2025 • تحديات ناشئة
سجلت شركة وايمو أكثر من 56 مليون ميل مع معدلات إصابة أقل بكثير من السائقين البشريين. ولكن مع توسع النظام، يواجه فئة جديدة من الإخفاقات: الاحتكاك الاجتماعي التقني (Socio-Technical Friction) — ليس فقط كيف تقود منظومة الذكاء الاصطناعي، بل كيف تتفاعل مع البيئات الاجتماعية البشرية المعقدة والعدائية في كثير من الأحيان.
أثناء انقطاع التيار الكهربائي، علقت العشرات من سيارات وايمو في تقاطعات مظلمة. ولأنها مبرمجة للتعامل مع الإشارات المنطفئة كتقاطعات توقف رباعية، فقد غمرتها طلبات المساعدة عن بُعد المركزة. سيارات روبوتية تعيق سيارات روبوتية أخرى — «جمود متعدد الوكلاء» — عجز مركز القيادة المركزي عن حله.
في أوائل عام 2025، تعرضت مركبات وايمو للهجوم من الحشود أثناء الاضطرابات المدنية في لوس أنجلوس — تم تمزيق الإطارات وإشعال النار في السيارات. ونظراً لبرمجتها على «السلامة السلبية»، توقفت ببساطة عند محاصرتها. كشف هذا عن الحاجة إلى «وضع الهروب من الخطر» (Danger Escape Mode) القادر على التحول من الامتثال السلبي إلى الهروب النشط مع الالتزام التام بعدم التسبب في أي أذى.
تسلط هذه الحوادث الضوء على ما يُعرف بـ «فخ الاستقلالية المنعزلة» — وهو الافتراض بأن المركبة المستقلة يمكن أن تعمل بأمان كوكيل منفرد. يجب أن يدمج Deep AI بروتوكولات V2V (من مركبة لمركبة) وV2I (من مركبة للبنية التحتية) لحل حالات الانسداد التام على مستوى الأسطول.
كل فشل مذكور أعلاه ينبع من نفس الجذر: الفجوة بين ما يدركه الذكاء الاصطناعي وما ينبغي أن يخلص إليه منطقياً. اضبط عتبة الثقة لترى كيف تمنع البوابات الحتمية القرارات الكارثية.
ثقة الإدراك أقل من عتبة السلامة الحتمية. في حين سيستمر النظام الاحتمالي في السير، فإن بوابة الضمان من Veriprajna تُطلق انتقالاً آمناً من الفشل.
بوابة الضمان من Veriprajna: إذا انخفضت أي مدخلات سلامة عن العتبة التي تم التحقق منها، ينتقل النظام إلى حالة الحد الأدنى من المخاطر — ليس بناءً على الاحتمالات، بل على برهان رياضي بأن المخرجات لا يمكن ضمان سلامتها.
الإجابة الهيكلية المعمارية على تذبذب التصنيف، وعمى ما بعد الاصطدام، وتشبع الحساسات.
تتتبع شبكات الإشغال الحجم والفراغ، وليس التصنيفات التسموية. يعرف النظام أن هناك حيزاً مشغولاً حتى لو لم يتمكن من تحديد ما إذا كان الجسم أحد المشاة أو دراجة. وهذا يقضي على خطأ انقلاب التصنيف في أوبر ATG.
تلتقط شبكات الإشغال الهياكل الرأسية والأجسام الموجودة أسفل الهيكل والتي تتجاهلها خرائط BEV ثنائية الأبعاد. كان هذا سيتيح لسيارة Cruise «رؤية» المشاة تحت هيكلها أثناء مناورة ما بعد الاصطدام.
باستخدام بنيات BEVFormer مع الانتباه الذاتي الزمني، يتذكر النظام مكان الجسم حتى أثناء حالات الحجب المؤقتة — يظل المشاة الذين يسيرون خلف شاحنة متوقفة قيد التتبع المستمر.
بنية دمج BEV الموحدة
لا تعمل بنية المحول (Transformer) هنا كأداة محادثة، بل كـ محرك استدلال مكاني يدمج بيانات الحساسات غير المتجانسة في «لوحة مشتركة» واحدة للملاحة.
يسأل الاختبار التقليدي: «هل يجتاز N من الاختبارات؟» بينما يسأل التحقق الشكلي: «هل يوجد أي مدخل يؤدي إلى مخرج غير آمن؟» هذا هو الفارق الجوهري بين الأمل والبرهان.
إذا أعاد حلال SMT مثالاً مضاداً (Counter-Example)، فهذا يعني أنه وجد اضطراباً محدداً يتسبب في فشل الذكاء الاصطناعي — مما يسمح بـ «تقوية» النموذج أثناء التدريب.
الشبكات الضخمة معقدة للغاية بحيث يتعذر تحليلها بالكامل بواسطة الحلالات. تعالج Veriprajna ذلك من خلال تقليم العصبونات (Neuron Pruning) — إزالة العصبونات الزائدة واللاخطية التي لا تسهم في الدقة، مما ينتج نموذجاً يسهل التحقق منه رياضياً دون التضحية بالأداء.
| التقنية | المنهجية | الفائدة |
|---|---|---|
| تضييق الحدود (Bound Tightening) | التحليل الرمزي لنطاقات تنشيط العصبونات | يقلل مساحة بحث حلال SMT بشكل هائل |
| تحليل إمكانية الوصول | حساب جميع المخرجات التي يمكن الوصول إليها لمجموعة مدخلات | يضمن بقاء الذكاء الاصطناعي داخل «المجسم الآمن» |
| التقريب الخطي متعدد القطع | استبدال التنشيطات المعقدة بشرائح ReLU | براهين صحيحة وتامة رياضياً |
| مرشح السلامة الشكلي | المراقبة أثناء التشغيل مقارنة بخط الأساس المعتمد | «استرداد آمن» إذا تصرف الذكاء الاصطناعي بشكل غير عقلاني |
يسد معيار ISO 21448 (SOTIF) الفجوة التي يعجز ISO 26262 عن تغطيتها: المخاطر التي تحدث عندما يعمل النظام تماماً كما تمت برمجته ولكنه يواجه بيئة «غير معروفة/غير آمنة».
هدف Veriprajna: تعظيم الربع المعروف/الآمن مع التقليل المنهجي للسيناريوهات غير المعروفة/غير الآمنة.
مجال تشغيل مصمم (ODD) تم التحقق منه. تم اختباره وإثبات أمانه في ظروف موثقة.
حالات حافة محددة مع انتقالات آمنة من الفشل.
سيناريوهات لم تُختبر بعد ولكنها بطبيعتها منخفضة المخاطر.
مخاطر غير محددة — وهي مصدر جميع الإخفاقات الكبرى للمركبات الذاتية.
يتعامل مع أعطال مكونات العتاد/البرمجيات (عطل الحساس، ماس كهربائي في الرقاقة). ضروري ولكنه غير كافٍ لمخاطر الذكاء الاصطناعي المحددة.
سلامة الأداء الوظيفي المقصود. يعالج المخاطر عندما يكون الذكاء الاصطناعي يعمل وفق ما تمت برمجته ولكنه يواجه بيئات مستجدة وغير مألوفة.
أول معيار عالمي لإدارة دورة حياة الذكاء الاصطناعي الكاملة في قطاع السيارات — من جمع البيانات إلى المراقبة بعد النشر.
ثلاث ركائز هندسية تعالج بشكل مباشر كل نمط فشل هيكلي تم تحديده في هذا التحليل.
نقل العملاء من الإدراك ثنائي الأبعاد عبر كاميرات فردية إلى شبكات الإشغال BEV القائمة على المحولات — مما يضمن ديمومة الكائنات واستقرار التتبع حتى عبر حالات الحجب وتذبذب التصنيف وتشبع الحساسات.
تنفيذ التحقق الشكلي المستند إلى SMT لإثبات رياضياً أن بنيات التحكم المدفوعة بالذكاء الاصطناعي لن تنتهك أبداً خصائص السلامة الأساسية — ليس مجرد اختبار تجريبي، بل تقديم برهان رياضي قاطع على الصحة.
تطوير «أوضاع هروب» متطورة وأطر اتصال V2X لإدارة واقع الاضطرابات المدنية وحالات الجمود متعددة الوكلاء وتعطل البنية التحتية — حيث يصبح الامتثال السلبي خطراً داهماً.
«إن عصر الذكاء الاصطناعي العشوائي يقترب من نهايته. يصبح الغلاف 'الرخيص' أغلى خطأ يمكن أن ترتكبه المؤسسة عندما تصل تكلفة حادث ذاتي واحد إلى عشرات الملايين. لقد بدأ عصر هندسة Deep AI الحقيقية.»
— الإطار الاستراتيجي لـ Veriprajna
اكتشف نظام أوبر ATG إيلين هيرزبرغ قبل 5.6 ثانية من الاصطدام على مسافة 378 قدماً — وهو وقت أكثر من كافٍ للفرملة الطارئة. ومع ذلك، أدى تذبذب التصنيف إلى إعادة تصنيف المشاة مراراً كـ «جسم غير معروف»، ثم «مركبة»، ثم «دراجة»، مما أدى إلى إعادة ضبط التنبؤ بالمسار مع كل تصنيف. ولم يتم تحديد الحاجة إلى الفرملة الطارئة إلا قبل 1.3 ثانية من الاصطدام — عندما جعلت قوانين الفيزياء الاصطدام حتمياً. كما قامت أوبر بتعطيل نظام AEB الأصلي للسيارة. تحل شبكات إشغال BEV هذه المشكلة بتتبع الحجم المشغول بدلاً من التصنيفات — حيث يعرف النظام أن الحيز مشغول بغض النظر عن الفئة.
تسأل الاختبارات التقليدية: «هل يجتاز N من الاختبارات؟» بينما يسأل التحقق الشكلي: «هل يوجد أي مدخل يؤدي إلى مخرج غير آمن؟». باستخدام حلالات SMT مثل Marabou وalpha-beta-CROWN، يثبت النظام رياضياً خصائص الأمان — على سبيل المثال، أنه بالنسبة لجميع المدخلات في ظروف «الرؤية المنخفضة»، ستتجاوز استجابة الفرملة دائماً الحد الأدنى المطلوب. وإذا وجد مثال مضاد، يحدد الحلال الاضطراب الدقيق، مما يتيح تقوية النموذج أثناء التدريب.
يتعامل ISO 26262 مع أعطال مكونات العتاد والبرمجيات (عطل الحساس، ماس في الرقاقة)، ولكنه غير كافٍ لمخاطر الذكاء الاصطناعي. يعالج ISO 21448 (SOTIF) المخاطر عندما يعمل الذكاء الاصطناعي تماماً كما تمت برمجته ولكنه يواجه بيئات مستجدة — وهي السيناريوهات «غير المعروفة/غير الآمنة» التي تسببت في كل فشل كبير للمركبات الذاتية. ويتطلب تحليلاً للمخاطر لأخطاء الإدراك، وتحديد الظروف المحفزة، ومحاكاة عالية الدقة للحالات الحدية. هدف Veriprajna هو تعظيم الربع المعروف/الآمن مع التقليل المنهجي للسيناريوهات غير المعروفة/غير الآمنة.
توفر Veriprajna الخبرة الهندسية العميقة لبناء ذكاء اصطناعي لا يعمل في المختبر فحسب — بل يصمد وينجح في العالم الحقيقي.
شاركنا لتصميم استقلالية ذاتية مؤكدة وقابلة للتحقق لأنظمتك الحرجة للسلامة.
تحليل استراتيجي شامل: أنماط الإخفاق في Uber ATG وGM Cruise وTesla FSD وWaymo. بنية BEV، والتحقق الشكلي، وإطار الامتثال لمعايير ISO، والمسار نحو الضمان الحتمي.