لماذا تفشل أنظمة القيادة الذاتية — وماذا يعني ذلك لك

المشكلة

رصد ذكاء القيادة الذاتية الخاص بأوبر (Uber) وجود أحد المشاة قبل الاصطدام بـ 5.6 ثانية. وكان ينبغي أن يكون ذلك وقتًا أكثر من كافٍ. كانت السيارة تسير بسرعة 43 ميلاً في الساعة، أي على بُعد نحو 378 قدمًا. ولكن بدلًا من الكبح، ظل النظام يغيّر رأيه: صنّف الشخص «جسمًا مجهولًا»، ثم «مركبة»، ثم «دراجة هوائية» — وأعاد تصنيفها ست مرات خلال تلك الثواني الحرجة. ومع كل إعادة تصنيفة كان يُعاد ضبط المسار المتوقع لها. ولأن الذكاء الاصطناعي عجز عن تحديد ماهيتها، عجز كذلك عن تحديد وجهة اتجاهها.

وحين حسم النظام أخيرًا أنه يلزمه الكبح، لم يتبقَّ سوى 1.3 ثانية. فجعلت الفيزياء الاصطدام حتميًا. وماتت إيلين هيرزبرغ (Elaine Herzberg) في شارع بمدينة تيمبي بولاية أريزونا في مارس 2018.

وما يجعل الأمر أسوأ: لقد أوقفت أوبر عمدًا نظام تجنّب الاصطدام المثبَّت مِن المصنع في سيارة فولفو. أراد الفريق «رحلة أكثر سلاسة» لبرمجياته التجريبية، فاستبدل طبقة أمان مجرَّبة وموثوقة برمجية غير موثَّقة. إذا كانت مؤسستك تنشر الذكاء الاصطناعي في أي بيئة مادية أو بالغة الحساسية للسلامة، فينبغي أن تبقيك هذه القضية مستيقظًا في الليل؛ فهي تُظهر ما يحدث حين تؤتمن نظامًا قائمًا على الاحتمالات على قرارات شأنها الحياة والموت، وتنزع في الوقت نفسه شبكات الأمان.

لماذا يهم هذا عملك

ليست هذه مجرد مشكلة تخص المركبات ذاتية القيادة؛ إنها نمط يتكرر كلما دفعت المؤسسات الذكاء الاصطناعي نحو قرارات عالية المخاطر دون معمارية أمان موثَّقة. والعواقب المالية والتنظيمية قاسية:

• دفعت أوبر 8.5 ملايين دولار لتسوية قضية الوفاة عام 2018. ويقتصر هذا الرقم على المسؤولية القانونية وحدها — ولا يشمل الضرر اللاحق بالسمعة، ولا الشراكات الضائعة، ولا تكاليف التوقف التشغيلي.
• ودفعت GM Cruise غرامة جنائية قدرها 500,000 دولار بعد أن جرّت سيارة الروبوتاكسي أحد المشاة لمسافة 20 قدمًا في سان فرانسيسكو. فقد توصلت وزارة العدل إلى أن الشركة قدّمت تقريرًا مضللًا للمحققين الفيدراليين، وسحبت كاليفورنيا تصريح تشغيلها بالكامل.
• وتواجه تسلا تحقيقات من NHTSA تغطي 2.9 مليون مركبة حتى عام 2025. وتستهدف نظام Full Self-Driving الخاص بها أكثر من 40 تحقيقًا منفصلًا في حوادث اصطدام، بينما تصف 18 شكوى مركبات عدَت الإشارات الحمراء.
• ويبلغ متوسط التكلفة العالمية لاختراق بيانات واحد الآن 4.44 مليون دولار. أما حادثة وفاة ناجمة عن مركبة ذاتية القيادة فتدفع المسؤولية إلى عشرات الملايين من الأضرار القانونية والتشغيلية.

مجلس إدارتكم لا يسأل عمّا إذا كنت تستخدمون الذكاء الاصطناعي، بل عمّا إذا كان ذكاؤكم الاصطناعي قابلًا للتدقيق والتفسير والدفاع عنه أمام المحكمة. والجهات التنظيمية تتحول من التقييم الذاتي الطوعي إلى الامتثال الإلزامي لمعايير مثل ISO/PAS 8800 وقانون الاتحاد الأوروبي للذكاء الاصطناعي. وإذا عجز نظام الذكاء الاصطناعي لديكم عن إنتاج مسار قرارات واضح، فأنتم مكشوفون — قانونيًا وماليًا وتشغيليًا. وكل دولار توفره بنشر طبقة ذكاء اصطناعي سريعة وغير موثَّقة يتضاعف لاحقًا في صورة تعرّض أكبر للمخاطر.

ما يحدث فعلًا تحت الغطاء

يتمثل الخلل الجوهري في هذه الحوادث في ما يسميه المهندسون «التذبذب في التصنيف» — لكن يمكنكم تصوره هكذا: تخيّلوا حارس أمن ينظر إلى شخص يقترب من مبناكم وعاجزًا عن البتّ فيما إذا كان موظفًا أم سائق توصيل أم غريبًا. وفي كل ثانية يبدأ الحارس من جديد بتخمين جديد: لا يبني على ما رآه سابقًا، ولا يتتبع مسار الشخص. وحين يقرر التصرف يكون الوقت قد فات.

هذا بالضبط ما حدث مع ذكاء أوبر الاصطناعي؛ فقد عالج كل لحظة شبه مستقلة عن غيرها. ولم يكن لديه «ثبات الكائن» — أي ذاكرة مستمرة تقول: «أيًا كان هذا الشيء، فهو يقترب منا منذ خمس ثوانٍ».

وكشفت حادثة كروز عام 2023 عن نسخة أخرى من الفجوة نفسها. فبعد أن صدمت سيارة الروبوتاكسي شخصًا كان قد أُقذف إلى مسارها، عجز النظام عن التعرف إلى وجود إنسان محشور تحت المركبة، وصنّف الاصطدام «اصطدامًا جانبيًا» لا دهسًا أماميًا. وهو ما استدعى مناورة برمجة مسبقة للانسحاب جانبًا، فجرت السيارة الضحية 20 قدمًا بسرعة 7 أميال في الساعة تقريبًا قبل أن تتوقف — لا لأنها رصدت إنسانًا، بل لأنها سجّلت «انزلاقًا زائدًا في العجلات» وتعاملت معه بوصفه عطلًا ميكانيكيًا.

أما نظام تسلا المعتمد على الرؤية وحدها فيضيف طبقة أخرى من المشكلة. فمن دون LiDAR أو رادار، يعتمد كليًا على الكاميرات. وفي ظروف مثل وهج الشمس على الأسفلت المبلل أو الضباب، تتدهور الإشارة البصرية إلى ما دون المستوى اللازم للقيادة الآمنة. وقد وقعت إحدى حوادث الوفاة عام 2023 في تلك الظروف بعينها؛ لم يستطع النظام ببساطة أن يرى.

هذه ليست أعطالًا عشوائية؛ إنها نقاط ضعف معمارية — نتائج يمكن التنبؤ بها لبناء أنظمة بالغة الحساسية للسلامة على الاحتمال بدلًا من البرهان.

ما الذي ينجح (وما الذي لا ينجح)

ثلاثة مقاربات شائعة تفشل باستمرار:

• «المزيد من الاختبارات سيحل الأمر.» يتحقق الاختبار التقليدي ذو الصندوق الأسود مما إذا كان النظام يجتاز N سيناريوهات. لكنكم لا تستطيعون اختبار كل حالة حدّية على كل طريق في كل ظروف الطقس. فالاختبار يخبركم بما حدث، لكنه لا يثبت ما سيحدث.
• «الاعتماد على الرؤية وحدها كافٍ.» نهج تسلا يستبعد LiDAR والرادار تمامًا. والشكاوى التي تجاوزت 18 شكوى لدى NHTSA بشأن العدْو على الإشارات الحمراء والمناورات في الاتجاه الخاطئ تُظهر حدود الاعتماد على الكاميرات وحدها — لا سيما عند تدنّي الرؤية.
• «سيكتشف الاحتياط البشري الأخطاء.» كان مشغّل السلامة لدى أوبر يراقب النظام لحظة قتل إيلين هيرزبرغ. وتسمي الأبحاث هذا «رضا الأتمتة» — إذ يثق البشر بالآلة فيتوقفون عن الانتباه. واحتياطكم البشري يتدهور مع مرور الوقت.

أما ما ينجح فعلًا فهو معمارية من ثلاث خطوات مبنية على التحقق لا على الأمل:

1. الإدراك ثلاثي الأبعاد الموحد (الإدخال): بدلًا من معالجة كل تغذية كاميرا على حدة، يحوّل النظام جميع بيانات المستشعرات — الكاميرات وLiDAR والرادار — إلى خريطة ثلاثية الأبعاد واحدة من منظور علوي تسمى Bird's-Eye-View (BEV). وشبكات الإشغال (Occupancy Networks) — وهي نماذج تتنبأ بما إذا كان كل مكعب صغير من الفضاء مشغولًا — تتعقب الحجم لا التسميات. وحتى لو عجز الذكاء الاصطناعي عن البتّ فيما إذا كان الجسم مشاة أم دراجة هوائية، فإنه يعلم أن تلك المساحة مشغولة وأن شيئًا ما يتحرك. وهذا يمنع مباشرةً انقلاب التصنيف الذي قتل إيلين هيرزبرغ.

2. التحقق الشكلي (المعالجة): أدوات تسمى حلّالات SMT — محركات رياضية تفحص كل مدخل ممكن إلى شبكة عصبية — تستطيع البرهنة على ما إذا كان ثمة مدخل من شأنه أن يُنتج مخرجًا غير آمن. مثلًا: «في كل مدخل في ظروف الضباب، يجب ألا ينخفض أمر الكبح أبدًا دون حد أدنى». وإذا وجد الحلّال خرقًا، يعالجه المهندسون قبل النشر. ويُسمى هذا التحقق الشكلي وأتمتة البرهان — وهو الفارق بين أن تأمل أن ذكاءك الاصطناعي آمن وأن تُبرهن على ذلك.

3. مرشحات السلامة الحتمية (المخرجات): يفحص مراقب زمن التشغيل كل أمر يصدر عن الذكاء الاصطناعي مقابل خط أساس للسلامة تم التحقق منه. وإذا حاول الذكاء الاصطناعي فعل شيء غير عقلاني — كالتسارع نحو فضاء مشغول أو تجاهل إشارة حمراء — تجاوزه المرشحة فورًا. تصوّروه حقّ نقض مضمونًا رياضيًا.

وبالنسبة لفرق الامتثال والشؤون القانونية لديكم، تُنتج هذه المعمارية شيئًا بالغ الأهمية: مسار تدقيق مقاومًا للعبث؛ فكل قرار يتخذه الذكاء الاصطناعي يُسجَّل بصيغة حتمية. وحين تسألك الجهات التنظيمية لماذا فعل نظامكم ما فعله، يمكنك أن تريها الرياضيات — لا صندوقًا أسود. ويغدو هذا مهمًا بشكل خاص مع معايير سلامة السيارات التي تزداد صرامة بموجب ISO/PAS 8800 وSOTIF (ISO 21448)، والتي تعالج تحديدًا المخاطر الناشئة عن أنظمة ذكاء اصطناعي تعمل كما صُمِّمت لكنها تصطدم ببيئات غير متوقعة.

كما ينبغي لمؤسستكم أن تدرس كيف يدخل دمج المستشعرات والاستخبارات الإشارية في استراتيجية الذكاء الاصطناعي الأوسع لديكم. فالمعماريات متعددة المستشعرات تقلل نقاط الفشل الأحادية — وهي نقطة الضعف بعينها التي يكشفها نهج تسلا المعتمد على الرؤية وحدها.

والتحليل التقني الكامل وراء هذه التوصيات متاح في الورقة التقنية الكاملة، ويمكنكم استكشاف النسخة التفاعلية للحصول على جولة إرشادية عبر حالات الفشل والحلول.