السيارة ذاتية القيادة رأتها قبل 5.6 ثانية من الاصطدام — ولم تستطع رغم ذلك أن تحدد ما هي

كنت جالسًا في قاعة اجتماعات في أواخر عام 2023، أشاهد مقطعًا مصورًا سيغيّر إلى الأبد طريقة تفكيري في سلامة الذكاء الاصطناعي. كانت اللقطات من سيارة روبوتاكسي تابعة لشركة Cruise في سان فرانسيسكو. كانت سيارة يقودها إنسان قد صدمت إحدى المشاة، فقذفتها في مسار المركبة ذاتية القيادة، لتعلق تحتها. توقّف الروبوتاكسي — لبرهة — ثم بدأ يتنحّى نحو جانب الطريق، جارًّا المرأة مسافة 20 قدمًا على الأسفلت.

ساد الصمت الغرفة. قال أحد أفراد فريقي: "ظنّت السيارة أنها تعرّضت لاصطدام جانبي." وتلك الجملة — ظنّت السيارة — أصبحت بذرة كل ما نبنيه في Veriprajna منذ ذلك الحين.

لأن السيارة لم "تظنّ" أي شيء. لقد شغّلت روتينًا فرعيًا للتصنيف، فحصلت على الإجابة الخاطئة، ونفّذت مناورة مبرمجة مسبقًا حوّلت حادثًا كان يمكن النجاة منه إلى ما هو أسوأ بكثير. لم يكن هناك أي استدلال. ولا أي وعي. ولا أي بنية سلامة قادرة على التقاط تشخيص خاطئ كارثي قبل أن يتحوّل إلى كارثة.

هذه هي الفجوة التي أحاول باستمرار شرحها للمستثمرين والعملاء وزملائي المهندسين: المسافة بين ذكاء اصطناعي يؤدّي أداءً جيدًا في العروض التوضيحية وذكاء اصطناعي يتصرّف بأمان عندما يتوقف العالم عن التعاون. لقد بدأت أسمّيها فجوة الإدراك–المنطق — المساحة بين ما يراه النظام ذاتي القيادة وما يفهمه فعليًا. وفي هذه اللحظة، تلك الفجوة تقتل الناس.

ماذا حدث عندما كان أمام الذكاء الاصطناعي ما يقارب ست ثوانٍ وأخفق رغم ذلك؟

حادث Uber ATG في تيمبي بولاية أريزونا في مارس 2018 هو الحالة التي أعود إليها أكثر من غيرها، لأنه أنقى توضيح لكيف يمكن لنظام احتمالي أن يمتلك كل البيانات التي يحتاجها ويرتكب مع ذلك خطأً قاتلًا.

سجّلت مستشعرات المركبة لأول مرة وجود إيلين هيرزبرغ — امرأة تعبر طريقًا مظلمًا وهي تدفع دراجة — قبل نحو 5.6 ثانية من الاصطدام. عند سرعة 43 ميلًا في الساعة، يعادل ذلك مسافة 378 قدمًا تقريبًا. أكثر من كافٍ لأي نظام فرملة كفء لإيقاف السيارة.

لكن الذكاء الاصطناعي لم يستطع أن يقرر ما الذي ينظر إليه. خلال تلك الثواني الـ 5.6، أعاد نظام الإدراك تصنيف هيرزبرغ مرارًا: أولًا بوصفها "جسمًا مجهولًا"، ثم "مركبة"، ثم "دراجة". ولم تكن كل عملية إعادة تصنيف مجرد تغيير في التسمية — بل كانت إعادة تعيين كاملة للمسار المتوقَّع للجسم. لقد أُصيب النظام عمليًا بفقدان الذاكرة في كل مرة غيّر فيها رأيه.

أتذكّر قراءتي لتقرير NTSB لأول مرة وشعوري بغثيان جسدي. ليس بسبب النتيجة — رغم أنها كانت مدمّرة — بل بسبب الآلية. لم يقرر الذكاء الاصطناعي أن الفرملة الطارئة ضرورية إلا قبل 1.3 ثانية من الاصطدام. وتكفّلت الفيزياء بجعل الباقي حتميًا.

الذكاء الاصطناعي الذي يستطيع رؤية عائق لما يقارب ست ثوانٍ ويظل عاجزًا عن تحديد ماهيته لا يعاني من مشكلة في المستشعرات. إنه يعاني من مشكلة في البنية المعمارية.

ما زاد الأمر سوءًا — وما أثار غضبي، بصراحة — هو معرفتي بأن Uber قد عطّلت عمدًا نظام تفادي الاصطدام المثبَّت مصنعيًا في سيارة Volvo XC90. فقد جاءت السيارة من الشركة المصنّعة مزوّدة بنظام الفرملة الطارئة التلقائية. أوقفته Uber لمنع ما أسمته "سلوك المركبة غير المنتظم". لقد أرادوا قيادة أكثر سلاسة لبرمجياتهم التجريبية، فأزالوا طبقة السلامة الحتمية الوحيدة التي ربما كانت لتنقذ حياة.

ذلك القرار يطارد هذه الصناعة. إنه الخطيئة الأصلية المتمثلة في التعامل مع سلامة الذكاء الاصطناعي كمسألة ضبط لا كتخصص هندسي.

لماذا يتكرر الإخفاق نفسه في سيارات مختلفة؟

بعد حادث Uber، توقّعت أن تتعلّم الصناعة. وتحديدًا، توقّعت أن تبني الشركات بنى معمارية لا يمكن فيها لإخفاق في الإدراك أن يتتالى ليصبح إخفاقًا في القرار. بنى فيها حدود سلامة صارمة لا تستطيع أي برمجية تجريبية تجاوزها.

لكن ما حصلنا عليه بدلًا من ذلك كان Cruise.

كانت حادثة أكتوبر 2023 في سان فرانسيسكو مختلفة عن حادثة Uber في تفاصيلها لكنها مطابقة لها في بنيتها المعمارية. صدمت سيارة Nissan يقودها إنسان إحدى المشاة، فقذفتها في مسار سيارة روبوتاكسي تابعة لـ Cruise. صدمتها مركبة Cruise ثم توقّفت. حتى تلك اللحظة، كان النظام يعمل — بشكل غير مثالي، لكن ضمن المعايير.

ثم دخل منطق ما بعد الاصطدام حيّز التنفيذ. لم يكن كشف الاصطدام في النظام دقيقًا بما يكفي للتمييز بين الدهس الأمامي والاصطدام الجانبي. فصنّف الحدث على أنه اصطدام جانبي. وكانت الاستجابة المبرمجة مسبقًا للاصطدام الجانبي هي: التنحّي إلى جانب الطريق لتجنّب إعاقة حركة المرور.

تنحّت السيارة جانبًا. وإنسانة عالقة تحتها. جرّتها مسافة 20 قدمًا بسرعة نحو 7 أميال في الساعة قبل أن ترصد "انزلاقًا مفرطًا في العجلات" — وهو ما فسّرته على أنه عطل ميكانيكي، لا شخص.

أمضيت أسبوعًا بعد تلك الحادثة أجادل فريقي حول ما كان ينبغي أن تكون عليه بنية الاستجابة الصحيحة. أحد مهندسينا — رجل بارع، شديد التوجّه نحو الأساليب الشكلية — ظلّ يصرّ على أن المشكلة قابلة للحل بدمج أفضل للمستشعرات. قال: "لو كان لدى النظام كشف للإشغال أسفل الهيكل، لكان قد عرف."

كان محقًا. لكنه كان أيضًا يغفل عن جوهر المسألة. الإخفاق الأعمق هو أن النظام لم يكن لديه أي مفهوم عن عدم اليقين بشأن تشخيصه الذاتي. لقد صنّف الاصطدام، ثم تصرّف بناءً على ذلك التصنيف بثقة كاملة. لم تكن هناك حالة وسيطة تقول: "لست متأكدًا مما حدث للتو، لذا يجب ألا أفعل شيئًا حتى أتأكد." البنية لم تكن تسمح بالشك.

هذا ما أعنيه حين أتحدث عن فجوة الإدراك–المنطق. الأمر لا يتعلق فقط بالرؤية بشكل أفضل. بل بمعرفة متى لا تعرف.

التستّر كان جزءًا من البنية أيضًا

ما حدث بعد حادثة الجرّ لدى Cruise كان كاشفًا بقدر الحادثة نفسها تقريبًا. وجدت التحقيقات أن الإدارة العليا كانت "مهووسة بتصحيح السردية الإعلامية غير الدقيقة" بدلًا من التحلّي بالشفافية مع الجهات التنظيمية. واعترف موظفون بأنهم عرضوا على الجهات التنظيمية مقطعًا مصورًا للحادث وهم يعلمون أن مشكلات الاتصال بالإنترنت كثيرًا ما كانت تمنع تشغيل الجزء الخاص بالجرّ.

دفعت Cruise في نهاية المطاف غرامة جنائية قدرها 500,000 دولار لتقديمها تقارير كاذبة إلى NHTSA. وأُلغي تصريح تشغيلها في كاليفورنيا.

أذكر هذا لا لأصبّ جام غضبي على Cruise، بل لأنه يكشف شيئًا بنيويًا عن كيفية تعامل الصناعة مع السلامة. عندما يكون نظام الذكاء الاصطناعي لديك صندوقًا أسود — عندما يعجز حتى مهندسوك أنفسهم عن التفسير الكامل لسبب اتخاذه قرارًا بعينه في لحظة بعينها — يصبح إغراء التحكّم في السردية بدلًا من إصلاح البنية طاغيًا.

الشفافية ليست استراتيجية علاقات عامة للمركبات ذاتية القيادة. إنها متطلَّب تقني. إذا لم تكن قادرًا على تدقيق كل قرار اتخذه ذكاؤك الاصطناعي في أزمة، فأنت لا تملك نظام سلامة — أنت تملك مسؤولية قانونية.

في Veriprajna، جعلنا عمليات تدقيق السلامة القابلة للتفسير جزءًا أساسيًا من عملنا المعماري. كل قرار يتخذه الذكاء الاصطناعي، خصوصًا بعد الاصطدام، يُسجَّل بصيغة حتمية غير قابلة للعبث يمكن للجهات التنظيمية تدقيقها في الوقت الفعلي. ليس لأننا أكثر فضيلة من Cruise — بل لأننا رأينا ما يحدث حين يكون البديل هو "دع المقطع المصور يتحدث عن نفسه".

لقد كتبت عن الإطار التقني الكامل وراء هذا النهج في ورقتنا البيضاء التفاعلية، بما في ذلك أنماط الإخفاق المحددة التي وثّقناها من Uber وCruise وTesla وWaymo.

ماذا يعني رهان "الرؤية وحدها" لدى Tesla بالنسبة للسلامة فعليًا؟

نهج Tesla في القيادة الذاتية مختلف فلسفيًا عن نهج Uber أو Cruise، والإخفاقات مختلفة أيضًا. لكنها متشابهة في جوهرها.

يعتمد نظام Full Self-Driving من Tesla اعتمادًا كليًا على الكاميرات — بلا LiDAR وبلا رادار. وقد وصف إيلون ماسك تقنية LiDAR بأنها "عكّاز". والرهان هو أن الشبكات العصبية المتقدمة بما فيه الكفاية قادرة على إعادة بناء فهم ثلاثي الأبعاد كامل للعالم من صور ثنائية الأبعاد وحدها، تمامًا كما تفعل الرؤية البشرية.

إنها فكرة أنيقة. بل أجدها مقنعة فكريًا. لكن NHTSA فتحت أكثر من 40 تحقيقًا في حوادث مرتبطة بـ FSD بين عامي 2024 و2025، تشمل 2.9 مليون مركبة، والنمط دامغ.

ثماني عشرة شكوى منفصلة تتعلق بمركبات تجاوزت الإشارات الحمراء أو أخفقت في رصد حالات الإشارة. وتصف تقارير متعددة سيارات دخلت مسارات السير المقابلة. ووقع اصطدام مميت عام 2023 أثناء وهج الشمس على أسفلت مبلَّل — وهي ظروف تنخفض فيها نسبة الإشارة إلى الضوضاء البصرية إلى ما دون ما يمكن لأي نظام كاميرات تفسيره بموثوقية.

أسمّي هذا مسرح القدرات: يؤدي النظام أداءً رائعًا في الظروف المثالية، مما يخلق وهمًا بالكفاءة ينهار عند الحواف. يوم مشمس، طريق صافٍ، تقاطع اعتيادي؟ أداء بلا عيب. زاوية شمس منخفضة، رصيف مبلَّل، عبور مشاة غير معتاد؟ النظام لا يتدهور بسلاسة. بل يخفق فجأة.

المشكلة ليست أن الاعتماد على الرؤية وحدها لا يمكن أن ينجح نظريًا. المشكلة أن Tesla تنشره على نطاق واسع من دون ما أسمّيه بوابات الضمان — حدود صارمة تمنع الذكاء الاصطناعي من اتخاذ قرارات عالية المخاطر عندما تنخفض ثقته دون عتبة متحقَّق منها. فإذا تجاوز تشبّع الوهج نسبة معينة، ينبغي للنظام أن يرفض القيادة، لا أن يخمّن بجهد أكبر.

كيف تثبت أن ذكاءً اصطناعيًا لن يقتل أحدًا؟

هذا هو السؤال الذي يبقيني مستيقظًا ليلًا. ليس مجازًا — بل حرفيًا. كانت هناك فترة العام الماضي أُجري فيها تجارب تحقّق شكلي حتى الثانية صباحًا، محاولًا إيجاد الحد الفاصل بين "مُختبَر بما يكفي" و"مُثبَت أنه آمن".

اختبار البرمجيات التقليدي هو اختبار الصندوق الأسود: تُشغّل النظام عبر N سيناريو، وإذا اجتازها جميعًا، تطلقه. لكن المركبات ذاتية القيادة لا تواجه N سيناريو. إنها تواجه العالم المادي بأكمله، بكل فوضاه وحالاته الحدّية والبشر الذين يفعلون أشياء لا تُفسَّر. ولا قدر من اختبار السيناريوهات يمكنه تغطية تلك المساحة.

التحقق الشكلي يتّبع نهجًا مختلفًا. فبدلًا من السؤال "هل اجتاز النظام هذه الاختبارات؟"، يسأل: "هل هناك أي مُدخل يمكن أن ينتج عنه مخرج غير آمن؟" أدوات مثل Marabou وα,β-CROWN قادرة على تمثيل الشبكة العصبية كمجموعة من القيود الرياضية ثم البحث — بشكل شامل — عن الانتهاكات.

قد تبدو خاصية السلامة على هذا النحو: لكل مُدخل ممكن ضمن نطاق "الرؤية المنخفضة"، يجب ألا ينخفض أمر الفرملة أبدًا دون حد أدنى معيّن. وإذا وجد المحلّل مثالًا مضادًا — مُدخلًا محددًا ينتهك الخاصية — تكون قد حددت ثغرة قبل أن تقتل أحدًا.

في إحدى الليالي، كنا نُجري تحققًا على نموذج إدراك فأعاد المحلّل مثالًا مضادًا لم يتوقعه أي منا. تركيبة محددة جدًا من زاوية الإضاءة ومسافة الجسم تسببت في انخفاض ثقة الفرملة إلى ما يقارب الصفر. لم يكن سيناريو كان أي منا ليفكر في اختباره. وجده المحلّل لأنه لم يكن يخمّن — بل كان يُثبت.

تلك اللحظة بلورت شيئًا بالنسبة لي. الاختبار يسأل "هل يعمل هذا؟" أما التحقق فيسأل "هل يمكن لهذا أن يخفق؟" إنهما سؤالان مختلفان جوهريًا، والذكاء الاصطناعي الحرج للسلامة يتطلب السؤال الثاني.

الاختبار يخبرك بما يفعله ذكاؤك الاصطناعي. التحقق يخبرك بما لا يمكنه أن يفعله أبدًا. أما بالنسبة للأنظمة الحرجة للسلامة، فالسؤال الثاني وحده هو المهم.

المعضلة أن الشبكات العصبية الحالية ضخمة — بملايين المعاملات — والتحقق الشامل من الشبكات الكبيرة غير قابل للحل حسابيًا. نعالج هذا عبر تشذيب الخلايا العصبية: الإزالة المنهجية للخلايا الزائدة التي لا تسهم في الدقة لكنها تجعل الشبكة معقدة أكثر من أن يُتحقق منها. والنتيجة نموذج أخف وزنًا يجمع بين الأداء العالي وقابلية الإثبات رياضيًا.

للاطلاع على التفصيل التقني الكامل لخط أنابيب التحقق لدينا — بما في ذلك منهجية محلّل SMT ونهج التشذيب — راجع ورقتنا البحثية المفصّلة.

عندما لا تكون المشكلة في الذكاء الاصطناعي — بل في العالم

سجّلت Waymo أكثر من 56 مليون ميل، ولديها معدلات إصابة أقل بكثير من السائقين البشر. ووفق معظم المقاييس، هي رائدة الصناعة. ومع ذلك، كشفت Waymo عن نمط إخفاق لم يكن أحد في صناعة المركبات ذاتية القيادة مستعدًا له: العالم نفسه يرفض التعاون.

خلال انقطاع للتيار الكهربائي في لوس أنجلوس عام 2025، علقت عشرات من سيارات روبوتاكسي Waymo عند تقاطعات مظلمة. كانت المركبات مبرمجة للتعامل مع إشارات المرور المعطّلة كإشارات توقف رباعية الاتجاه — وهي الاستجابة القانونية الصحيحة. لكن حين تصل عشرات المركبات ذاتية القيادة جميعها إلى التقاطع المعطّل نفسه، وكل منها ينتظر بأدب دوره، وكل منها يطلب مساعدة بشرية عن بُعد في الوقت نفسه، تحصل على ما بدأت أسمّيه فخ الاستقلالية: كل مركبة تتصرف بشكل صحيح بمعزل عن غيرها، بينما تخلق جماعيًا اختناقًا مروريًا لا تستطيع أي مركبة منفردة حلّه.

أُغرق مركز المساعدة عن بُعد. وصارت سيارات الروبوتاكسي تسدّ الطريق أمام سيارات روبوتاكسي أخرى. النظام الذي عمل بشكل مثالي مع سيارة واحدة عند تقاطع واحد انهار حين تم توسيعه إلى أسطول في حالة طوارئ على مستوى المدينة.

ثم هناك المشكلة التي لا يريد أحد الحديث عنها علنًا. خلال الاضطرابات المدنية في لوس أنجلوس في أوائل عام 2025، هاجمت الحشود مركبات Waymo — تمزيق الإطارات، وتحطيم النوافذ، وإضرام النار في السيارات. أما المركبات، المبرمجة على "السلامة السلبية"، فكانت ببساطة تتوقف عند إحاطة الناس بها. وهي الاستجابة الخاطئة تمامًا حين يكون الناس المحيطون بك يحاولون تدمير المركبة والركاب بداخلها.

أدى هذا إلى نقاشات جادة حول ما يسميه بعض الباحثين "وضع الهروب من الخطر" — قدرة المركبة ذاتية القيادة على ارتكاب مخالفات مرورية بسيطة (صعود الرصيف، أو المرور عبر إشارة حمراء) لحماية ركابها من العنف. وهذا يتطلب إعادة تفكير جذرية في التسلسل الأخلاقي للذكاء الاصطناعي، وهي مشكلة لا يمكن لأي قدر من المستشعرات الأفضل أو المعالجات الأسرع حلّها.

أثرت هذا في اجتماع مع عميل محتمل، فقال أحدهم: "ألا يمكنك ببساطة استخدام GPT للتعامل مع حالات حدّية كهذه؟" أظن أن تعبير وجهي قال أكثر مما قالته كلماتي. هذه مشكلة في بنية القرار تتطلب استدلالًا أخلاقيًا شكليًا، لا روبوت محادثة.

لماذا لا نستطيع ببساطة أن نختبر طريقنا إلى السلامة؟

يسألني الناس هذا باستمرار: "إذا كان لدى Waymo 56 مليون ميل من البيانات، أليس ذلك اختبارًا كافيًا؟"

لا. والسبب رياضي، لا فلسفي.

مساحة سيناريوهات القيادة الممكنة لا نهائية عمليًا. يمكنك أن تقود 56 مليون ميل ولا تصادف أبدًا التركيبة المحددة من وهج الشمس والأسفلت المبلَّل ومشاة يرتدون ملابس غير معتادة التي تجعل نظام الإدراك لديك يخفق. الحالات الحدّية ليست نسخًا نادرة من السيناريوهات الشائعة — إنها سيناريوهات توجد في الفجوات بين كل ما رأيته بالفعل.

لهذا السبب ينتقل المشهد التنظيمي من "أرِنا نتائج اختباراتك" إلى "أرِنا براهين سلامتك". فمعيار ISO 21448، المعروف بـ SOTIF — سلامة الوظيفة المقصودة — صُمّم تحديدًا لمعالجة المخاطر التي تقع عندما يعمل الذكاء الاصطناعي تمامًا كما بُرمج لكنه يصادف بيئة لا يستطيع التعامل معها. الأمر لا يتعلق بإخفاق العتاد. بل بالقيود المتأصلة في الذكاء الاصطناعي وهي تلتقي بالعالم الحقيقي.

أما ISO/PAS 8800، الذي أصبح المعيار الأساسي للذكاء الاصطناعي في المركبات البرية في أواخر عام 2024، فيذهب أبعد من ذلك: إذ يشترط إدارة دورة حياة الذكاء الاصطناعي بأكملها، من اكتساب البيانات وحتى المراقبة بعد النشر. عصر "أطلقه ولنرَ ما سيحدث" يقترب من نهايته، على الأقل بالنسبة للشركات التي تريد العمل بشكل قانوني في الاتحاد الأوروبي والولايات المتحدة والأسواق الآسيوية الكبرى.

في Veriprajna، نهيكل عملنا حول نقل العملاء إلى ما يسميه SOTIF ربع "المعروف/الآمن" — التحديد المنهجي للظروف المُحفِّزة، ورسم خرائط الحالات البيئية التي تسبب أخطاء الإدراك، واستخدام محاكاة عالية الدقة لحقن حالات حدّية يكون اختبارها على الطرق الفعلية خطرًا أكثر مما ينبغي.

الفرق الحقيقي بين الغلاف والحل

أمضيت السنوات القليلة الماضية أشاهد صناعة الذكاء الاصطناعي وهي تنقسم إلى معسكرين، والانقسام يزداد اتساعًا.

في جانب، هناك اقتصاد الأغلفة — شركات تبني واجهات محادثة فوق نماذج لغوية كبيرة، مُحسِّنةً لسرعة النشر وتجربة المستخدم. بعض هذا العمل مفيد فعلًا. ومعظمه غير ذي صلة بالتطبيقات الحرجة للسلامة.

وفي الجانب الآخر، هناك ما أسمّيه هندسة الذكاء الاصطناعي العميقة: دمج التحقق الشكلي، ومرونة دمج المستشعرات، وبنى السلامة الحتمية. إنها أبطأ. وأصعب. وأقل إبهارًا في العروض التوضيحية. وهي النهج الوحيد القادر على الصمود عند الاحتكاك بالعالم المادي.

المحور التقني لهذا التحوّل هو الإدراك بمنظور عين الطائر مع شبكات الإشغال. فبدلًا من معالجة تغذيات الكاميرات الفردية ومحاولة خياطتها معًا — وهي عملية تفقد بيانات عند كل خيط — يحوّل إدراك BEV بيانات الكاميرات متعددة المناظير وبيانات LiDAR إلى شبكة ثلاثية الأبعاد موحّدة تُرى من الأعلى. وبدلًا من السؤال "ما هذا الجسم؟"، تسأل شبكات الإشغال "هل هذه المساحة مشغولة؟"

هذا التمييز مهم إلى أقصى حد. لو كان نظام Uber ATG يتتبّع المساحة المشغولة بدلًا من محاولة تصنيف الأجسام، لما كان مهمًا أن يظن النظام أن هيرزبرغ كانت مشاة أو دراجة أو جسمًا مجهولًا. كانت المساحة مشغولة. وكانت المساحة في مسار المركبة. افرمل.

وبالمثل، لو كانت مركبة Cruise تُشغّل كشف الإشغال أسفل هيكلها، لكانت قد عرفت أن شيئًا ما تحت السيارة بغضّ النظر عن كيفية تصنيفها للاصطدام. كانت المساحة المشغولة لتتجاوز مناورة التنحّي جانبًا.

السؤال ليس "ما هذا الجسم؟" — بل "هل هذه المساحة مشغولة؟" ذلك التأطير الواحد كان يمكن أن يمنع أكثر كارثتين شهرةً في تاريخ المركبات ذاتية القيادة خلال العقد الماضي.

نستخدم بنى Transformer — التقنية الأساسية نفسها وراء GPT — لكن ليس للمحادثة. نستخدمها كمحركات استدلال مكاني تدمج بيانات مستشعرات غير متجانسة فيما نسمّيه اللوحة المشتركة. يتيح الانتباه الذاتي الزمني للنظام أن يتذكر أين كان الجسم حتى أثناء الحجب المؤقت — فالمشاة الذين يسيرون خلف شاحنة متوقفة لا يختفون من وعي النموذج لمجرد أن الكاميرات لا تراهم لثانيتين.

درس الـ 8.5 مليون دولار

بلغت تسوية Uber ATG 8.5 مليون دولار. وبلغت غرامة Cruise الجنائية 500,000 دولار — رقم لا يقترب من تغطية الإيقاف التشغيلي، أو الضرر بالسمعة، أو المعاناة البشرية. وتحقيق NHTSA بشأن Tesla يشمل 2.9 مليون مركبة. أما متوسط التكلفة العالمية لاختراق بيانات واحد فيبلغ الآن 4.44 مليون دولار.

حين أجمع هذه الأرقام، تكون الخلاصة غير مريحة لأنصار "تحرّك بسرعة واكسر الأشياء": غلاف الذكاء الاصطناعي الرخيص هو أغلى خطأ يمكن لمؤسسة أن ترتكبه. ليس لأنه لا يعمل — فهو يعمل جيدًا في البيئات الخاضعة للسيطرة. لكن في اللحظة التي يصادف فيها العالم غير الخاضع للسيطرة — الطريق المظلم، والارتباك بعد الاصطدام، ووهج الشمس على الأسفلت المبلَّل، والحشد الغاضب — يحوّل غياب بنية السلامة الحتمية قيدًا برمجيًا إلى كارثة بشرية.

يعترض الناس أحيانًا على نهجنا بالقول إن التحقق الشكلي بطيء أكثر مما ينبغي، ومكلف أكثر مما ينبغي، وأكاديمي أكثر مما ينبغي بالنسبة لجداول النشر في العالم الحقيقي. أتفهّم الاعتراض. فالتحقق مكلف حسابيًا. وتشذيب الشبكات لجعلها قابلة للتحقق يستغرق وقتًا. وبناء بنى سلامة ببوابات ضمان صارمة عمل أكبر من تغليف واجهة برمجية.

لكنني أطلب من أولئك الناس أن يشاهدوا مقطع الجرّ لدى Cruise. وأن يقرأوا تقرير NTSB عن وفاة إيلين هيرزبرغ. وأن ينظروا إلى الشكاوى الثماني عشرة بشأن الإشارات الحمراء في تحقيق Tesla FSD. ثم يخبروني أن "بطيء أكثر مما ينبغي" نقد وجيه لنهج صُمّم تحديدًا لمنع تلك النتائج بالذات.

عصر بناء الأنظمة ذاتية القيادة على أمل احتمالي يقترب من نهايته. ليس لأن الجهات التنظيمية تفرض ذلك — رغم أنها تفعل — بل لأن فيزياء العالم الحقيقي تقتضيه. نظام ذكاء اصطناعي يجتاز ألف تقاطع بشكل مثالي ثم يتجاوز إشارة حمراء عند التقاطع الواحد بعد الألف ليس آمنًا بنسبة 99.9%. إنه غير آمن، وانتهى الأمر. السلامة ليست نسبة مئوية. إنها خاصية — إما أن تصمد في كل الظروف المتحقَّق منها أو لا تصمد على الإطلاق.

هذا هو التحوّل الذي أبني Veriprajna حوله. ليس أغلفة أفضل. ولا عروضًا توضيحية أسرع. بل ضمانًا حتميًا لأنظمة لا يكون الإخفاق فيها تقرير خلل — بل عدد ضحايا.