73,000 عداد ذكي انطفأت بين ليلة وضحاها — والبرامج الثابتة كانت قد اجتازت كل اختبارات المختبر

في نوفمبر 2024، دفعت إحدى شركات المرافق في بلانو بولاية تكساس تحديثًا روتينيًا للبرامج الثابتة إلى 88,000 عداد مياه. كان يُفترض أن يعالج التحديث النفاد المبكر للبطارية — إصلاحًا بحسن نية لمشكلة معروفة. في المختبر، نجح. أما في الميدان، فقد انطفأ 73,000 عداد ولم يعد أيٌّ منها للعمل أبدًا.

أعود دائمًا إلى هذا الرقم بسبب ما يعنيه. لم يكن هذا اختراقًا ولا عاصفة ولا عيبًا تصنيعيًا. كان تحديثًا برمجيًا خضع للاختبار والموافقة، وتصرّف تمامًا كما صُمّم — ومع ذلك عطّل 83% من الأسطول بالكامل. تلك الفجوة بين «اجتاز المختبر» و«قتل الميدان» هي المشكلة برمّتها في الذكاء الاصطناعي للعدادات الذكية، ولهذا بنينانظام صيانة تنبؤية لبنية AMI في Veriprajna يراقب الإشارات التي لم تُصمَّم لوحة تحليلات قط لرصدها.

أول مرة جلست فيها مع مسؤول العمليات في إحدى المرافق البلدية ونظرت إلى واجهة AMI المركزية لديهم — النظام الذي يجمع القراءات من كل عداد — كنت أتوقع غرفة تحكم. لكن ما وجدته كان جدول بيانات. أختام زمنية لآخر اتصال، صف واحد لكل عداد، وتمرير بطيء لخلايا تتقادم. كان بإمكانه أن يخبرني بدقة أي العدادات توقفت عن الإرسال. لكنه لم يستطع أن يخبرني أيها سيتوقف تاليًا. ذلك التفاوت — استبصار مثالي للماضي، وانعدام تام للاستشراف — هو السوق بأكمله.

لماذا تُعطّل البرامج الثابتة التي تجتاز المختبر الميدانَ بأكمله؟

إليك ما حدث فعلًا في بلانو، وهي القصة الأكثر فائدة على الإطلاق في هذا المجال.

جرى اختبار البرامج الثابتة على عدادات ذات بطاريات جديدة وإشارة راديو قوية — منضدة نظيفة. لكن الأسطول المنشور كان عمره أربع إلى خمس سنوات، وكانت معظم تلك البطاريات عند 60 إلى 75% من سعتها الأصلية. سحبت إجراءات إدارة الطاقة المحدّثة تيارًا أعلى قليلًا أثناء أول عملية كتابة على الذاكرة الوميضية. على بطارية جديدة، لا يهم ذلك. أما على بطارية متدهورة، فقد كان ذلك السحب الإضافي كافيًا لتشغيل حماية انخفاض الجهد. أُعيد ضبط وحدات الإرسال، وفقدت تسجيلها على الشبكة، ولم تتعافَ أبدًا.

لم تفشل البرامج الثابتة. بل استوفت المواصفات. غاية الأمر أن الأسطول تقادم بعيدًا عمّا كانت تمثّله منضدة الاختبار، ولم يكن أحد ينمذج ذلك.

تلك الجملة هي جوهر كل ما نبنيه. لم يكن العيب في الشيفرة. بل في الافتراض بأن عداد المختبر وعداد الميدان هما الآلة نفسها. إنهما ليسا كذلك، والفرق يتراكم بصمت لسنوات قبل أن يضغط أحد الزر الذي يكشفه.

تتجمّع هذه الأعطال في مجموعات. أنتجت البرامج الثابتة من المورّد نفسه حوادث مماثلة في مينيابوليس وتورونتو ونيويورك. اكتشفت Toronto Hydro نحو 470,000 جهاز إرسال يتدهور مبكرًا، وأنفقت 5.6 مليون دولار على الجولة الأولى من المعالجة وحدها. سجّلت ممفيس معدل عطل نظامي بنسبة 8% وأنشأت صندوق إصلاح بقيمة 9 ملايين دولار. وفي المملكة المتحدة، نحو واحد من كل خمسة عدادات ذكية لا يعمل كما ينبغي؛ وقد أُعيد توصيل أكثر من 600,000 عداد منذ يوليو 2024. لم تكن أيٌّ من هذه المرافق تفتقر إلى منصة تحليلات. كانت لديها جميعًا واحدة. لكن المنصة ببساطة لم تكن تراقب الشيء الذي تعطّل.

الخطأ الذي دافعت عنه لفترة أطول مما ينبغي بكثير

أريد أن أكون صادقًا بشأن النسخة التي أخطأنا فيها من هذا، لأنها الجزء الذي يتجاوزه معظم الناس.

عندما بدأنا، كانت الخطوة البديهية هي كشف الحالات الشاذة. فالعداد الذي على وشك العطل يُفترض أنيبدو غريبًا في بياناته — قراءات استهلاك منحرفة، وفجوات في الإبلاغ، وأنماط شاذة. فبنينا نموذجًا يراقب تدفق الاستهلاك ويرصد الحالات الشاذة. كان نظيفًا. وقدّم عرضًا توضيحيًا رائعًا. دافعت عنه في قاعة تلو الأخرى.

ثم شغّلناه في مواجهة موجة تدهور حقيقية على أسطول تجريبي، فبقي أخضر بينما كانت العدادات تتعطّل بهدوء من تحته. أتذكّر الشعور المحدّد بمشاهدة لوحة التحكم تظل هادئة ويقيني بأن النموذج معطوب. لم يكن النموذج معطوبًا. بل كنت قد وجّهته نحو الإشارة الخطأ.

كشف الحالات الشاذة في الاستهلاك هو تحديدًا ما تفعله بالفعل أنظمة إدارة بيانات العدادات القائمة. أطلقت Oracle كشفًا للحالات الشاذة مدعومًا بالذكاء الاصطناعي لمنصة المرافق لديها في يونيو 2025؛ وSAP رائدة في تصنيف IDC MarketScape في هذه الفئة. هذه الأدوات بارعة فيما تفعله — فهي تلتقط عدادًا يُبلّغ عنأرقام غريبة. المشكلة أن العداد المتّجه نحو موت البرامج الثابتة لا يُبلّغ عن أرقام غريبة. بل يُبلّغ عن أرقام طبيعية تمامًا، حتى اللحظة التي لا يُبلّغ فيها عن أي شيء. كنا قد أعدنا بناء الشيء الموجود بالفعل، وورثنا من جديد نقطته العمياء.

العداد المتعطّل لا يبدو مريضًا في بيانات استهلاكه. بل يبدو سليمًا، ثم يختفي. الإشارة التي تحتاجها تكمن في مكان لا يستطيع تدفق الفوترة رؤيته.

ما لا يستطيع نظام MDMS رؤيته: إشارتان تتنبآن فعلًا بالعطل

جاء التحول حين توقفنا عن السؤال «هل هذه القراءة شاذة؟» وبدأنا نسأل «ما الذي يتآكل فيزيائيًا في العداد، وهل يمكننا قياسه قبل أن يتعطّل؟»

كان لإجابتين أهمية.

الأولى هي حالة شحن البطارية، منمذجة بحسب مجموعة النشر لا كمتوسط للأسطول. درس بلانو هو أن دفع البرامج الثابتة لا يكون خطيرًا إلا في مواجهةتوزيع معيّن لصحة البطارية — وذلك التوزيع قابل للمعرفة. فإذا صنّفت كل نقطة طرفية بحسب تاريخ التركيب وبنيت مدرّجات تكرارية لحالة الشحن لكل مجموعة، أمكنك رؤية حافة انخفاض الجهد قادمة قبل أن تكتب أي برنامج ثابت. بدأنا نرتّب طرح البرامج الثابتة في مواجهة الملف الفعلي للعمر والسعة في الأسطول، لا في مواجهة منضدة مليئة بالوحدات الجديدة.

الثانية هي التآكل الصامت لذاكرة NAND الوميضية، وهذه غيّرت فعلًا طريقة تفكيري في الفئة بأكملها. تسجّل العدادات الذكية البيانات في الذاكرة الوميضية — كل قراءة، وكل حدث، على فترات مدتها 15 دقيقة لأجل الاستجابة للطلب. وكل عملية كتابة تُبلي الخلايا فيزيائيًا. يحدّد المصنّعون أعمارًا افتراضية تبلغ 20 عامًا، لكن التسجيل عالي التردد يستهلك دورات الكتابة أسرع بكثير مما افترضته تلك التوقعات. وهنا الجزء الخبيث: مع تدهور الذاكرة الوميضية، تنحرف قراءات الاستهلاك المخزّنة بنسبة 2 إلى 8%بينما يواصل العداد الإبلاغ بصورة طبيعية. لا يزال الراديو يعمل. ويعرض نظام MDMS نقطة طرفية سليمة ومتصلة. وفي غضون ذلك تكون الأرقام خاطئة بصمت، وتتراكم نزاعات الفوترة، وتتآكل ثقة الجمهور — وبحلول الوقت الذي يصمت فيه العداد تمامًا، تكون الذاكرة الوميضية قد تدهورت لدرجة تمنعها حتى من قبول إصلاح تصحيحي للبرامج الثابتة. تحتاج تلك الوحدة إلى شاحنة واستبدال بتكلفة تتراوح بين 650 و1,400 دولار للوحدة الواحدة.

وهكذا يمكن لعمود «العداد يُبلّغ» في لوحة التحكم وعمود «جودة البيانات» أن يتعارضا لأشهر، ولا يكاد أحد يقرأ العمود الثاني. جعلنا التعارض بين هذين العمودين هو الإنذار الأعلى صوتًا في النظام.

«Oracle تفعل هذا بالفعل. فلماذا تبنونه؟»

صاغها أحد المستشارين الذين أحترمهم بصراحة في وقت مبكر: مجال التحليلات مزدحم، والشركات الراسخة جادّة، فلماذا البناء؟

إنه سؤال وجيه، والإجابة الصادقة هي أن الشركات الراسخة متزاحمة حول مشكلةمختلفة تمامًا. منصة Distributed Intelligence من Itron مبهرة حقًا — أكثر من 16 مليون عداد مُفعَّل، وأكثر من 100 مليون نقطة طرفية تحت الإدارة، وشراكة في مارس 2026 مع NVIDIA لتشغيل الذكاء الاصطناعي عند حافة الشبكة. أما Revelo من Landis+Gyr، بالتعاون مع Sense، فتقوم بفصل الأحمال على مستوى الأجهزة عند تردد 1 ميغاهرتز. وأطلقت Sensus منصة Evolve في أوائل 2026 لإعادة تموضع العدادات بوصفها مستشعرات نشطة للشبكة. والصناعة بأكملها، كما جعله موضوع DistribuTECH لعام 2026 رسميًا، تتحرك «من AMI إلى AI».

لكن كل واحدة من تلك المنظومات التحليلية تعمل فقط مع النقاط الطرفية الخاصة بذلك المورّد. ذكاء Itron يرى عدادات Itron. وذكاء Landis+Gyr يرى Landis+Gyr. أما المرافق الحقيقية فتُشغّل أساطيلمختلطة تراكمت عبر عقد من دورات التوريد — بعضها Aclara، وبعضها Itron، وبعضها Sensus — ولا تغطّيها تحليلات أي مورّد بمفرده. ولا يقدّم أيٌّ منها، سواء كان احتكاريًا أم لا، محاكاة للبرامج الثابتة قبل النشر في مواجهة أسطولك المتقادم تحديدًا. الفجوة التي عطّلت بلانو هي، بنيويًا، بلا مالك.

ستخبرك الشركات الراسخة بأن العداد يُبلّغ. وستخبرك أدوات أمن التقنية التشغيلية بأنه يشغّل برامج ثابتة معرّضة للاختراق. لكن لن تخبرك أيٌّ منهما بأنه على بُعد ثلاثة أشهر من موت العتاد.

يستحق مورّدو الأمن الذكر هنا، لأن الناس يفترضون أنهم يغطّون هذا الأمر. Claroty وNozomi وArmis — تؤدي اكتشافًا ممتازًا للأصول، حتى مستوى إصدار البرامج الثابتة على كل نقطة طرفية، وتفهم البروتوكولات الصناعية. لكنها مصمّمة للعثور على العداد الذي يشغّل نسخة برامج ثابتة قابلة للاستغلال، لا العداد الذي لا تستطيع مجموعة بطاريته النجاة من عملية الكتابة التالية على الذاكرة الوميضية. تنظر الصيانة والأمن إلى الجهاز نفسه لكن تطرح كل منهما أسئلة مختلفة. كنا بحاجة إلى سؤال الصيانة، ولم يكن أحد يطرحه.

المنضدة التي تذهب إليها البرامج الثابتة لتفشل عمدًا

الجزء الذي أفخر به أكثر هو الأقل بريقًا: منضدة محاكاة تفشل فيها البرامج الثابتةقبل أن تصل إلى عداد أحد العملاء.

نُنشئ بيئة QEMU — برنامج يحاكي العتاد الفعلي للعداد — ونكتب صورة برامج ثابتة مرشّحة على نقاط طرفية محاكاة تحمل ملفات البطارية والإشارة الحقيقية للأسطول. مجموعة البطارية المتدهورة، ومجموعة الإشارة الراديوية الضعيفة، ومجموعة دورات الكتابة العالية. في الليلة الأولى التي شغّلنا فيها ملفًا منمذجًا على أسطول متقادم وشاهدنا الوحدة المحاكاة ينخفض جهدها تمامًا كما يحدث في الميدان ولا يحدث أبدًا في المختبر، أدركت أخيرًا أن بلانو لم تكن حادثة عارضة. بل كانت قابلة لإعادة الإنتاج. غير أنها لم يُعَد إنتاجها قطقبل النشر، لأن بيئة الاختبار لم تكن موجودة.

هذا هو الانقلاب. اليوم، الميدان هو بيئة الاختبار، والعملاء هم موضوعات الاختبار. نحن ننقل العطل إلى مختبر يكون فيه تعطيل ألف عداد محاكى بلا تكلفة ويعلّمك كل شيء.

أليست الصيانة التنبؤية مجرد وسيلة لمزيد من الإنذارات الكاذبة؟

أكثر اعتراض أسمعه من أهل العمليات — الذين اكتووا بأدوات تطلق صيحات إنذار كاذبة — هو أن التنبؤ ليس سوى طريقة أكثر أناقة لتوليد الضجيج.

إنه القلق الصحيح. فنموذج تسجيل الصحة الذي يرصد 30% من أسطولك كل أسبوع أسوأ من عديم الفائدة؛ إذ تتعلّم الطواقم تجاهله، وتكون قد أنفقت الميزانية لإعادة خلق إرهاق التنبيهات الذي بدأت منه. لذلك عايرنا في مواجهة التكلفة، لا أعداد الحالات الشاذة. لم يكن المعيار «كم عطلًا اكتشفنا» بل «كم عدد رحلات الشاحنات التيمنعناها مقابل تلك التي تسبّبنا في إطلاقها». تشير بيانات الصناعة حول الصيانة التنبؤية المدفوعة بالذكاء الاصطناعي إلى تخفيضات تصل إلى 30% في تكلفة الصيانة، وخفض ملموس لزمن التعطّل عندما تُنفَّذ في مواجهة الإشارة الصحيحة — والإشارة الصحيحة، مرة أخرى، هي التآكل الفيزيائي، لا غرابة البيانات. التنبؤ الذي لا يغيّر قرار إرسال طاقم ليس تنبؤًا. بل هو إشعار. وهذا، في اعتقادي، سبب أن كثيرًا من المرافق تجرّب صيانة الذكاء الاصطناعي ثم تتعثّر — إذ يسلّط عمل BCG لعام 2026 في قطاع المرافق الضوء صراحةً على فجوة الانتقال من التجربة إلى الإنتاج — فهي تثبت أن نموذجًا يستطيع رصد الأعطال، ثم لا تستطيع تبرير الطرح الكامل لأن الرصدات لم تُربط قط بقرار إرسال يثق به رئيس الطاقم فعلًا.

أصبحت إدارة البرامج الثابتة للتو وثيقة امتثال

ثمة تحول تنظيمي هنا أعتقد أن كثيرًا من المرافق لم تستوعبه بالكامل، وهو يرفع الرهانات بشكل كبير.

اعتبارًا من 1 أبريل 2026، دخل معيار NERC CIP-003-9 حيّز التنفيذ. ويفرض متطلبه R1، الجزء 1.2.6، ضوابط أمنية على الوصول عن بُعد للمورّدين على الأنظمة السيبرانية للشبكة منخفضة التأثير — وهو التصنيف الذي تندرج تحته معظم العدادات الذكية. وبعبارة واضحة: مسار التحديث عبر الأثير الذي تستخدمه لدفع البرامج الثابتة أصبح الآن سطح تحكّم خاضعًا للتنظيم، والغرامات على الخطأ فيه تصل إلى مليون دولار في اليوم. القناة نفسها للتحديث عبر الأثير التي عطّلت بلانو أصبحت الآن أيضًا مُصنَّفًا امتثاليًا يجب أن تقدّم عليه دليلًا.

هذا يغيّر محادثة المشتري بالكامل. كانت إدارة البرامج الثابتة فيما مضى مهمة تشغيلية روتينية. أما الآن، فسجلات الوصول، وسجلات التجهيز، وإجراءات التراجع — كلها تدخل في ملف يقرؤه المدقّق. والنظام الذي يتحقّق من البرامج الثابتة قبل النشر لم يعد يمنع الانقطاعات فحسب؛ بل يولّد الدليل على أنك أدرت مسار التحديث بمسؤولية.

ثمة معيار أكثر هدوءًا تحت هذا المعيار، تسأل عنه فرق التوريد ونادرًا ما تحصل على إجابة مباشرة بشأنه: IEC 62443، معيار الأمن السيبراني الصناعي لبنية AMI. قليل جدًا من مورّدي العدادات سعوا للحصول على شهادة IEC 62443 الكاملة على مستوىالمكوّن — أي البرامج الثابتة نفسها. فمعظمهم يحصلون على الشهادة على مستوى النظام ويتركون البرامج الثابتة للنقطة الطرفية دون شهادة، ما يعني أن الطبقة ذاتها التي عطّلت بلانو هي أيضًا الطبقة صاحبة أضعف إثبات أمني. تلك الفجوة هي سبب قيامنا بتدقيقات أمنية على مستوى المكوّن عبر سلاسل توريد AMI المختلطة، لا واجهة المركز فقط. وعلى الجانب الآخر من الأطلسي، تُلزم معايير Ofgem في المملكة المتحدة الآن بتعويض تلقائي — £40 لكل حالة — عن أعطال العدادات بسبب خطأ المورّد، يُدفع خلال 10 أيام عمل. لم تعد تكلفة العداد الميت مجرد رحلة الشاحنة. بل هي الغرامة، والتعويض، ونتيجة التدقيق.

ما كنت سأقوله لمسؤول العمليات صاحب لوحة التحكم المتقادمة

لو عدت الآن إلى جدول البيانات ذاك المليء بالأختام الزمنية المتقادمة، فإليك ما كنت سأقوله.

الرقم الذي ينبغي أن يقضّ مضجعك ليس العدادات التي صمتت بالفعل. بل هو نسبة 29% — حصة النقاط الطرفية التي اكتشفت بعض المرافق أنها تعطّلتبصمت، بأجهزة راديو معطّلة، دون أن يُطلَق أي تنبيه على الإطلاق، ولا تظهر إلا حين يذهب أحدهم للبحث عنها. منصتك لا تكذب عليك. إنها تجيب عن سؤال أضيق من السؤال الذي تملكه فعلًا. إنها تعرف من توقّف عن الإرسال. أما أنت فتحتاج إلى معرفة من هو على وشك ذلك.

تتّجه سوق العدادات الذكية نحو 112 مليار دولار بحلول عام 2035، وقد تجاوزت القاعدة المُركّبة في أمريكا الشمالية بالفعل 150 مليون وحدة. كل واحدة من تلك النقاط الطرفية حاسوب صغير ببطارية تتقادم وشريحة ذاكرة وميضية تتآكل، جالس على جانب مبنى، ينتظر دفعة برامج ثابتة جرى اختبارها في مكان لا يعيش فيه. بلانو التالية مُهيّأة بالفعل. والسؤال المفتوح الوحيد هو ما إذا كان أحد قد نمذج الأسطول الذي هي على وشك الهبوط عليه. فإن كنت تفضّل أن تكتشف الأمر علىمنضدة اختبار بدلًا من على جدران 73,000 عميل، فهذا هو النظام الذي ينبغي بناؤه.

البرامج الثابتة التي عطّلت بلانو اجتازت كل اختبار خضعت له. غير أننا لم نعطها قط الاختبار الصحيح.