المراقبة المستمرة ومسارات التدقيق

تعمل معظم أنظمة الذكاء الاصطناعي دون رؤية واضحة في بيئة الإنتاج: إذ تثبت لوحات معلومات وقت التشغيل أن الخدمة قيد التشغيل، وليس أن قراراتها صحيحة. ويتمثل نهجنا في بناء الطبقة المفقودة — بنية تحتية للمراقبة تتتبع جودة النماذج، وأصل القرارات، والامتثال التنظيمي في بيئة الإنتاج، ومرتبطة بمسارات تدقيق غير قابلة للتلاعب يمكنها إعادة بناء أي قرار يتخذه الذكاء الاصطناعي بعد أشهر من اتخاذه.

معظم أنظمة الذكاء الاصطناعي تعمل دون رؤية واضحة في بيئة الإنتاج

إليك خط الأساس غير المريح: تتدهور 91% من نماذج تعلم الآلة بمرور الوقت. فالنماذج التي تُترك دون تغيير لمدة ستة أشهر تشهد قفزة في معدلات الخطأ بنسبة 35% على البيانات الجديدة. وفي عام 2025 وحده، سُجلت 362 حادثة ذكاء اصطناعي عالمياً، ارتفاعاً من 233 في العام السابق، ووصل عدد الحوادث الشهري إلى 435 في بداية عام 2026. كما عانت 51% من المؤسسات التي تستخدم الذكاء الاصطناعي من عواقب سلبية ناجمة عن عدم دقة الذكاء الاصطناعي في العام الماضي. وهذه ليست حالات استثنائية — بل هذا ما يحدث عندما تطلق الفرق نماذج دون بنية تحتية للمراقبة تعمل بكفاءة حقيقية.

تتمثل استجابة المؤسسات المعتادة في لوحة معلومات Grafana تعرض النسب المئوية لفترات الكمون ومعدلات الخطأ. وهذا يخبرك بأن النظام قيد التشغيل، لكنه لا يخبرك بأن قرارات النظام صحيحة. ونحن نصمم الطبقة التي تحقق ذلك: بنية تحتية للمراقبة تتتبع جودة النماذج، وأصل القرارات، والامتثال التنظيمي في بيئة الإنتاج، متصلة بأنظمة مسارات تدقيق قادرة على إعادة بناء أي قرار للذكاء الاصطناعي بعد أشهر من حدوثه.

لماذا تغفل أدوات الملاحظة القياسية إخفاقات الذكاء الاصطناعي النوعية

تراقب أدوات APM التقليدية — مثل Datadog وNew Relic وSplunk — البنية التحتية: وحدة المعالجة المركزية، والذاكرة، وفترة الكمون، ومعدلات الخطأ. غير أن أنظمة الذكاء الاصطناعي تخفق بطرق تعجز مقاييس البنية التحتية عن رصدها؛ إذ يُظهر نموذج الإقراض الذي يبدأ بالموافقة على مقترضين أكثر خطورة وقت تشغيل مثالياً وفترة كمون تقل عن 100 مللي ثانية بينما يراكم بصمت مخاطر تنظيمية. كما يحافظ نموذج إدارة المحتوى الذي ينجرف نحو السلبيات الكاذبة على أرقام إنتاجيته بينما يمر المحتوى الضار دون اكتشافه.

إن الإخفاقات الجوهرية في أنظمة الذكاء الاصطناعي هي إخفاقات إحصائية وليست تشغيلية:

• انزياح توزيعات سمات المدخلات.
• تدهور معايرة الثقة في التنبؤات.
• تباعد مقاييس العدالة عبر الفئات المحمية.

يتطلب ذلك آليات رصد مخصصة الغرض: اختبارات Kolmogorov-Smirnov لانزياحات التوزيع، مؤشر Population Stability Index لتتبع سمات المدخلات، ومراقبة خطأ المعايرة، وأهداف مستوى الخدمة (SLOs) لمقاييس العدالة (المفصلة في بحثنا حول النزاهة الخوارزمية في القرارات عالية المخاطر) إلى جانب أهداف مستوى الخدمة (SLOs) التقليدية للتوافر. ويزود نهجنا هذه المقاييس كإشارات إنتاجية من الدرجة الأولى. وعندما ينتهك مقياس العدالة هدف مستوى الخدمة الخاص به، يحمل التنبيه نفس مستوى خطورة انتهاك فترة كمون P99. وعند اكتشاف انحراف في المدخلات، يتتبعه النظام وصولاً إلى مصادر البيانات ومسارات السمات المحددة — وليس مجرد خط يرتفع على لوحة معلومات.

المشهد العام لموردي مراقبة الذكاء الاصطناعي غير مستقر — فخطط وفقاً لذلك

اختفى ثلاثة من أصل سبعة موردين متخصصين في مراقبة الذكاء الاصطناعي خلال اثني عشر شهراً، بينما يقوم الناجون بتحولات جذرية. ولا تزال مكتباتهم مفتوحة المصدر موجودة، ولكن دون دعم تجاري أو خرائط طريق للتطوير.

ما يعنيه هذا للمشترين: الرهان على مورد واحد يمثل مخاطرة ترحيل. ويتمثل نهجنا في بناء بنيات مراقبة على معايير مفتوحة — OpenTelemetry للتتبع، وPrometheus للمقاييس، ومكتبات تقييم مفتوحة المصدر — مع إضافة إمكانات خاصة بموردين معينين فقط عندما تقدم قيمة حقيقية مضافة. وعندما يُستحوذ على مورد أو يغير مساره، تظل القاعدة الأساسية راسخة.

مسارات تدقيق تصمد أمام الفحص التنظيمي

مسار التدقيق لقرارات الذكاء الاصطناعي ليس مجرد ملف سجلات؛ بل هو نظام إعادة بناء جنائي. فعندما يسأل مدقق أو جهة تنظيمية أو طرف في نزاع قضائي "لماذا اتخذ هذا النظام هذا القرار في هذا التاريخ؟"، يجب أن تتضمن الإجابة:

• أي إصدار من النموذج كان قيد التشغيل،
• ما سمات المدخلات التي تم استخدامها،
• ما المعالجة المسبقة التي تم تطبيقها،
• ما هي درجات الثقة المحققة، و
• ما سياسات الحوكمة التي كانت سارية في تلك اللحظة.

نحن نصمم هذه المسارات على وسائط تخزين للإضافة فقط مع تحقق تشفيري. وبعد إحالة Amazon QLDB للتقاعد في يوليو 2025، يفضل نهجنا immudb للفرق التي تحتاج إلى أدلة إثبات غير قابلة للتلاعب على مستوى دفاتر الحسابات، و PostgreSQL مع طبقات تحقق مخصصة بشجرة Merkle للفرق التي ترغب في نزاهة التدقيق دون الحاجة إلى قاعدة بيانات متخصصة. فكل سجل يتم عنونته بالمحتوى وربطه بسلسلة تجزئة بحيث يؤدي التلاعب بأي مدخل إلى إبطال السلسلة اللاحقة بأكملها.

بالنسبة للمسارات متعددة النماذج وأنظمة الذكاء الاصطناعي الوكيلة، يتضاعف التحدي. فعندما يغذي نموذج نموذجاً آخر، أو يربط وكيل استدعاءات الأدوات عبر واجهات برمجة التطبيقات الخارجية، يجب أن يلتقط مسار التدقيق مخطط التنسيق الكامل (وهو تحدٍ نتناوله في بحثنا حول تأمين نزاهة سلسلة توريد الذكاء الاصطناعي عبر دورة حياة تعلم الآلة). ونحن نزود كل خطوة كنطاق (span) في تتبع OpenTelemetry، لنربط استدلالات النموذج باستدعاءات الأدوات وبالمخرجات النهائية في تسلسل واحد قابل لإعادة البناء. وهذا هو الموضع الذي تفشل فيه 63% من المؤسسات: إذ وجدت Deloitte أن هذه النسبة تعجز عن فرض قيود الغرض على وكلاء الذكاء الاصطناعي، ويرجع ذلك إلى حد كبير إلى افتقارها إلى إمكانية رؤية ما يفعله هؤلاء الوكلاء فعلياً.

المادة 12 من قانون EU AI Act أصبحت الآن مشكلة تقنية وليست قانونية

تدخل متطلبات تسجيل السجلات بموجب قانون EU AI Act لأنظمة الذكاء الاصطناعي عالية المخاطر حيز النفاذ الكامل في 2 أغسطس 2026. وتفرض المادة 12 قدرات تسجيل تلقائي مدمجة في النظام نفسه. ويجب أن تلتقط السجلات الأحداث المخصصة لتحديد المخاطر، والمراقبة بعد الطرح في السوق، والتتبع التشغيلي. كما يجب على الجهات الناشرة الاحتفاظ بالسجلات لمدة لا تقل عن ستة أشهر لكل قيد. وتصل عقوبة عدم الامتثال إلى 15 مليون يورو أو 3% من إجمالي الإيرادات السنوية العالمية.

المشكلة العملية هي عدم وجود معيار تقني منسق حتى الآن:

• تخلفت هيئتا CEN/CENELEC عن موعدهما النهائي في أغسطس 2025؛ وتُتوقع أولى المعايير (بما في ذلك prEN 18229-1 المتعلق بحفظ السجلات) في الربع الرابع من عام 2026 على أقرب تقدير.
• تحمل نحو 30 مؤسسة فقط على مستوى العالم شهادة ISO 42001.
• قامت 8 دول فقط من أصل 27 دولة عضواً في الاتحاد الأوروبي بتعيين سلطاتها الوطنية المختصة.

ويعد هذا الفراغ في المعايير الفترة الأكثر خطورة في الواقع؛ إذ يتعين على المؤسسات بناء تسجيل سجلات ممتثل الآن، قبل وضع الصيغة النهائية للمعايير التي تحدد مفهوم "الامتثال". ويقوم نهجنا بمطابقة نص المادة 12 مباشرة مع الضوابط التقنية: ما هي الأحداث الواجب التقاطها، وما بنية الاحتفاظ المستخدمة، وما البيانات الوصفية المرفقة بكل عملية استدلال، وكيفية هيكلة السجلات لتبقى ممتثلة عندما تصدر المعايير في نهاية المطاف — وهي نفس الهندسة العصبية الرمزية (neuro-symbolic) التي تقف وراء النموذج التجريبي العامل للذكاء الاصطناعي للامتثال الضريبي. والبديل هو انتظار توضيحات قد لا تأتي قبل الموعد النهائي للإنفاذ.

ما يبنيه مشروع التعاقد

يبدأ كل مشروع بتدقيق معماري للمراقبة وتسجيل السجلات الحالية لديك. وتمتلك معظم الفرق بالفعل بعض الأجزاء: سجلات التطبيقات، وبعض آليات اكتشاف الانحراف، وربما أداة تتبع للتجارب. وتكمن المشكلة عادةً في أن هذه الأجزاء غير متصلة — فسجل النماذج لا يتواصل مع مخزن السمات، ولا يتواصل مع سجل التدقيق. وتعني إعادة بناء أي قرار مطابقة الطوابع الزمنية يدوياً عبر ثلاثة أنظمة. ويبني المشروع النسيج الرابط بينها. وتتضمن المخرجات النموذجية:

• اكتشاف الانحراف مع تتبع الأسباب الجذرية. ليس مجرد "السمة X انحرفت"، بل "السمة X انحرفت لأن مصدر البيانات Y غيّر مخططه في 3 مارس، مما أثر على المسار Z". نحن ننفذ تنبيهاً متدرجاً: انزياحات معلوماتية إلى لوحات المعلومات، وتحذيرات للمراجعة الأسبوعية، وانتهاكات حرجة تستدعي الفريق المناوب فوراً. هكذا تحل مشكلة إجهاد التنبيهات — وهي الشكوى الأولى من ممارسي تعلم الآلة في استطلاع أُجري عام 2025 وشمل 91 فريق إنتاج.
• أهداف مستوى الخدمة (SLOs) لجودة النماذج. تعد أهداف مستوى الخدمة للتوافر وفترة الكمون متطلبات أساسية بديهية. ونحن نحدد ونزود أهداف مستوى خدمة لخطأ المعايرة، واستقرار مقاييس العدالة، واتساق التفسيرات، وحدود الثقة في التنبؤ. ويؤدي انتهاك هدف مستوى جودة النموذج إلى تفعيل نفس مسار التصعيد الناتج عن انقطاع البنية التحتية.
• تخزين تدقيق غير قابل للتلاعب. مخزن سجلات للإضافة فقط مع سلاسل تجزئة تشفيرية، يخزن سياق الاستدلال الكامل لكل قرار، مستنداً إلى بحثنا حول نزاهة البرمجيات في الأنظمة المرنة. وهو قابل للاستعلام بواسطة معرف القرار، أو النطاق الزمني، أو إصدار النموذج، أو فئة النتيجة. ومصمم للإجابة على تساؤلات المدققين في دقائق معدودة وليس في أسابيع.
• تزويد أنظمة الوكلاء بأدوات القياس. بالنسبة للبنيات متعددة الوكلاء، نتتبع مخطط التنسيق الكامل: استدعاءات الوكلاء، واستدعاءات الأدوات، والتفكير الوسيط، والمخرجات النهائية. وتمثل كل خطوة نطاقاً (span) في تتبع موزع، مرتبطة بمعرفات الارتباط (correlation IDs).
• مطابقة الامتثال التنظيمي. وثيقة حية تطابق بنيتك التحتية للمراقبة والتدقيق مع متطلبات محددة: التزامات المادة 12، وضوابط NIST AI RMF (الحوكمة، والتخطيط، والقياس، والإدارة: Govern, Map, Measure, Manage)، ومعايير SOC 2 Type II، وأي متطلبات قطاعية محددة. وهذه الوثيقة هي ما تقدمه لمدققك.

متى يكون هذا الاستثمار صائباً (ومتى لا يكون كذلك)

تحتاج إلى بنية تحتية مخصصة للمراقبة والتدقيق عندما تتخذ أنظمة الذكاء الاصطناعي لديك قرارات ذات تبعات تنظيمية أو مالية أو تتعلق بالسلامة، وتكون بحاجة إلى إثبات أن تلك القرارات اتُّخذت بشكل صحيح — مثل الخدمات المالية، والرعاية الصحية، والتأمين، والقطاع الحكومي، وأي قطاع لا تكون فيه عبارة "كان النموذج يعمل بشكل جيد" إجابة مقنعة للجهة التنظيمية.

ولا تحتاج إلى ذلك إذا كان نظام الذكاء الاصطناعي لديك محرك توصيات، أو نظام اقتراح محتوى، أو أي تطبيق يكون فيه الخطأ في المخرجات مجرد مشكلة طفيفة في تجربة المستخدم. وإذا كانت احتياجات المراقبة لديك ملباة من خلال الفئة المجانية لـ Arize Phoenix ونموذج Prometheus، فاستخدمهما — وسنخبرك بذلك في محادثتنا الأولى.

فيما يتعلق بالتكلفة: تنفق المؤسسات من 2 إلى 5 ملايين دولار سنوياً على البنية التحتية لمراقبة الذكاء الاصطناعي في الوقت الفعلي. وتكلف معايير الامتثال لقانون EU AI Act أكثر من 50,000 يورو كتكلفة أولية لكل نظام عالي المخاطر بالإضافة إلى 10,000 إلى 25,000 يورو سنوياً للمراقبة المستمرة. وتحقق المؤسسات التي تمتلك أطر عمل رسمية لحوكمة الذكاء الاصطناعي معدل نجاح أعلى بمقدار 2.1x في مشاريع الذكاء الاصطناعي وتحد من المخاطر التنظيمية بنسبة 73%. فقضية عائد الاستثمار لا تتعلق بالمراقبة بحد ذاتها — بل تتعلق بالحوادث والعقوبات والمشاريع الفاشلة التي تمنعها المراقبة. فقد خسرت الشركات التي لا تمتلك أطر حوكمة ما متوسطه 4.4 مليون دولار لكل حادثة في عام 2025.