لوحة المعلومات الخضراء كذبت: ما الذي يجب أن يختبره التحقق من صحة الذكاء الاصطناعي المؤسسي فعلًا
قضيتُ جزءًا كبيرًا من مسيرتي المهنية بصفتي الشخص الموجود في الغرفة والذي تتمثل مهمته في القول: «لا، هذا النموذج لم يُتحقَّق من صحته بعد.» في القطاع المصرفي، يحمل هذا الدور اسمًا جافًا — التحقق المستقل من النماذج بموجب SR 11-7، وهي توجيهات مجلس الاحتياطي الفيدرالي ومكتب مراقب العملة (OCC) التي تحكم مخاطر النماذج منذ عام 2011. والعمل بالضبط بنفس القدر من البريق الذي يوحي به اسمه. تقرأ ملحق القيود الذي لا يقرؤه أحد سواك. تسأل المورّد عن سلوك النموذج في الحالات غير الموجودة في العرض التوضيحي. وبين الحين والآخر تجلس في لجنة تدقيق أمام لوحة معلومات خضراء بالكامل وعلى نحو مطمئن — كل خانة مُعلَّمة، وكل سياسة مُوثَّقة، وكل حالة امتثال ضمن الحدود الطبيعية — بينما تعلم، بشعور غارق في القلق، أن هذا اللون الأخضر لا يخبرك بأي شيء تقريبًا عمّا إذا كان الشيء يعمل فعلًا.
هذه الفجوة هي موضوع هذا المقال بأكمله، وهي السبب الذي دفعنا إلى بناء ممارسة Veriprajna للتحقق من صحة الذكاء الاصطناعي المؤسسي حول فكرة واحدة غير رائجة: عليك أن تختبر الإجابات، لا العملية. فلوحة معلومات الحوكمة تشهد بأن إجراءً ما قد اتُّبِع. لكنها لا تشهد بأن ذكاءك الاصطناعي قدّم الإجابة الصحيحة لحامل الوثيقة هذا، أو لهذا القرض، أو لهذا القانون. وكثيرًا ما يُخلَط بين الأمرين في اجتماعات مجلس الإدارة، وهذا الخلط مكلف.
دعني أُريك مدى تكلفته.
وفّرت Klarna نسبة 40% — ثم خسرت 99 مليون دولار
في عام 2024، أخبرت Klarna العالم بأن مساعدها القائم على الذكاء الاصطناعي حلّ محل 700 موظف خدمة عملاء. وكان المساعد يتعامل مع ما يقارب ثلثي المحادثات عبر 35 لغة. وانخفضت تكلفة المعاملة الواحدة من 0.32 دولار إلى 0.19 دولار — بنحو 40% — وكتبت العناوين الرئيسية نفسها بنفسها. كان هذا هو المستقبل: أنحف وأسرع وأرخص.
وبحلول منتصف عام 2025 كانوا يعيدون تكليف مهندسي البرمجيات والمسوّقين للعمل في مراكز الاتصال. وكانت درجات رضا العملاء (CSAT) قد انخفضت بنسبة 22%. وكان العملاء يصطدمون بما وصفته الصحافة بأنه «حلقة كافكاوية» في الأمور الصعبة — الرسوم المتنازع عليها، والمبالغ المستردة المطعون فيها، وإغلاق الحسابات. وأُغلِق الربع الأول من عام 2025 لدى Klarna بخسارة صافية قدرها 99 مليون دولار، مرتفعةً من 47 مليون دولار في العام السابق، رغم نمو الإيرادات بنسبة 15%. واعترف الرئيس التنفيذي بأن الأتمتة على نطاق واسع قد «أدّت إلى انخفاض في جودة الخدمة.»
وإليك الجزء الذي استغرقني وقتًا لأستوعبه، وهو عكس الدرس الذي استخلصه معظم الناس. لقد نجح الذكاء الاصطناعي لدى Klarna. فقد وفّر بالفعل المال في عمليات إعادة تعيين كلمات المرور وأسئلة حالة الطلبات. لم يكن الفشل في أن الذكاء الاصطناعي كان سيئًا. كان الفشل في أن لا أحد تحقّق مما إذا كان قادرًا على التعامل مع الـ 20% من التفاعلات التي تحمل معظم الثقل المالي والمتعلق بالسمعة — النزاعات، والحالات الاستثنائية، والأمور التي تتحول إلى فقدان للعملاء وشكاوى. كان مرشّح المحتوى المسيء سيُمرِّر كل واحدة من تلك المحادثات الفاشلة. كان الذكاء الاصطناعي مهذبًا بينما كان يفشل.
لم يقل الذكاء الاصطناعي أي شيء مسيء. بل عجز فحسب عن التعامل مع عملية استرداد بعملات متعددة تتضمن رحلة طيران ملغاة ورسمًا متنازعًا عليه — وكان ذلك هو الـ 20% الذي يهم.
ليست Klarna حالة شاذة. بل هي النسخة المرئية من شيء يحدث بهدوء في كل مؤسسة أتحدث إليها. فما بين 70% و85% من مشاريع الذكاء الاصطناعي المؤسسية لا تصل إلى مرحلة الإنتاج على الإطلاق — وهو رقم توصّلت إليه RAND وGartner وBCG وMcKinsey جميعًا بشكل مستقل وبتقارب. وقد وجدت دراسة NANDA الصادرة عن MIT في عام 2025 أن 95% من التجارب الأولية للذكاء الاصطناعي لم تحقق أي أثر ملموس على الأرباح والخسائر. وأفادت McKinsey بأن 42% من الشركات تخلّت عن معظم مبادرات الذكاء الاصطناعي لديها في عام 2025، مرتفعةً من 17% في العام السابق. فالتجارب الأولية تُقدَّم عروضها بشكل رائع. لكنها تموت عند احتكاكها بالحالات التي لم يُظهرها العرض التوضيحي قط.
لقد بنينا الشيء الخطأ أولًا
أريد أن أكون صادقًا بشأن كيف وصلنا إلى اختبار الإجابات بدلًا من العملية، لأننا لم نصل إلى ذلك بذكائنا. وصلنا إليه بأن أطلقنا شيئًا لم ينجح وشاهدناه يفشل أمام عميل.
كانت نسختنا الأولى من طبقة التحقق من صحة الذكاء الاصطناعي، بالنظر إلى الماضي، هي بالضبط الشيء الذي كان السوق يبيعه بالفعل. فقد ركّبنا إطار حواجز حماية محترمًا — الإشراف على المحتوى، والكشف عن المعلومات الشخصية، وفحوص كسر القيود — وأضفنا إليه مراقبة الانحراف والإنصاف، وقدّمنا الأمر كله كعرض امتثال أنيق. المدخلات تُفحَص. والمخرجات تُفحَص بحثًا عن المحتوى المسيء والبيانات الشخصية المسرَّبة. لوحة معلومات تحوّلت إلى الأخضر. كنت فخورًا بها. كانت تبدو كأنها حوكمة.
وضعناها أمام تجربة أولية في سير عمل مالي خاضع للتنظيم، وفي غضون الأسابيع الأولى أنتج الذكاء الاصطناعي إجابة كانت واثقة، وجيدة التنسيق، وخالية من أي محتوى مسيء، ولا تحتوي على أي معلومات شخصية مسرَّبة — وكانت ببساطة خاطئة بشأن قاعدة متخصصة في المجال. ومرّرها نظامنا. وكان كل فحص بنيناه أخضر. كان الخطأ في جوهر الإجابة، في مكان لم تكن أيٌّ من حواجز الحماية لدينا تنظر إليه، لأن أيًّا منها لم يفهم المجال بما يكفي لمعرفة أن الإجابة خاطئة.
كان ذلك الشهر الذي توقفت فيه عن الإيمان بالفئة التي بنينا ضمنها. فقد أمضيت سنوات في التحقق من صحة النماذج وأنا أعرف هذا في السياق المصرفي، ومع ذلك بنيت أداة ارتكبت الخطأ نفسه الذي أمضيت مسيرتي المهنية في اصطياده. الأمن ليس هو الصحة. السلامة ليست هي الصحة. ولوحة المعلومات الخضراء ليست هي الصحة.
فالذكاء الاصطناعي المؤمَّن ضد حقن الأوامر يمكنه مع ذلك أن يحسب احتياطيًا بشكل خاطئ، أو يستشهد بقانون مُلغى، أو يوافق على قرض ينتهك قواعد الإقراض العادل. السلامة والصحة مشكلتان مختلفتان، ولا أحد تقريبًا يختبر الثانية.
لماذا تتوقف الأدوات التي سمعت عنها عند حيث تتوقف؟
يوجد الآن سوق حقيقي جيد التمويل لأدوات الذكاء الاصطناعي، ينمو بمعدل سنوي مركّب يبلغ نحو 45%، ولا أريد أن أكون مجحفًا في حقه. فمعظم هذه المنتجات تؤدي وظائفها الفعلية بشكل جيد. المشكلة أن وظائفها الفعلية ليست هي الوظيفة التي يظن معظم المشترين أنهم يشترونها.
منصات الحوكمة — Credo AI، وwatsonx.governance من IBM، وModelOp — تربط مبادرات الذكاء الاصطناعي لديك بالأطر التنظيمية وتتتبع حالة الامتثال. وقد احتلت Credo AI المرتبة السادسة في مجال الذكاء الاصطناعي التطبيقي على قائمة Fast Company لعام 2026، إلى جانب Google وNvidia وAnthropic؛ وهذا عمل جاد. لكن الامتثال للسياسات ليس صحة المخرجات. فلوحة معلومات السياسات الخضراء تعني أن الأوراق مرتبة، لا أن الذكاء الاصطناعي يقدّم إجابات صحيحة لحالة الاستخدام الخاصة بك.
أدوات المراقبة — Arthur، وGalileo، وArize — تراقب المقاييس على مستوى النموذج في الوقت الفعلي: الانحراف، والإنصاف، وزمن الاستجابة، وتوزيعات الرموز. مفيدة. لكنها تراقب سلوكه في مجمله، لا ما إذا كانت عملية حسابية تأمينية معينة صحيحة بالنظر إلى شروط تغطية حامل وثيقة معين. أما أدوات الأمن فتذهب طبقة أعمق — فقد دفعت Cisco نحو 400 مليون دولار مقابل Robust Intelligence في أكتوبر 2024 ودمجتها في Cisco AI Defense، رابطةً عمليات الكشف بـ OWASP وMITRE ATLAS. وهذا ضروري. لكنه أيضًا لا يزال يتعلق بما إذا كان النموذج قابلًا للهجوم، لا بما إذا كان صحيحًا.
ثم هناك أطر حواجز الحماية، مثل NeMo Guardrails من NVIDIA وما شابهها، وهي جيدة في الإشراف على المحتوى والمعلومات الشخصية وتصفية المواضيع — والتي تحرص NVIDIA نفسها على القول إنها لا يمكنها اكتشاف كل شيء، لأن آليات الفحص الذاتي تعتمد على النماذج نفسها التي تحرسها. وهناك شركات التدقيق الأربع الكبرى، التي ستبيع لك استراتيجية حوكمة بمبلغ يتراوح بين 500 ألف و5 ملايين دولار على مدى 6 إلى 18 شهرًا، وتسلّمك عرض PowerPoint وقائمة قصيرة بالمورّدين في النهاية — إطار عمل، لا نظام يعمل فعليًا ويخبرك بأن ذكاءك الاصطناعي مخطئ يوم الثلاثاء.
كل واحدة من هذه الأدوات لها عمود تتوقف عنده فائدتها. اجمعها كلها فوق بعضها وتكون قد غطّيت السياسات، والأمن، والانحراف، وسلامة المحتوى. ومع ذلك لن تكون قد أجبت عن السؤال الذي يحدد فعليًا ما إذا كان النشر سينجح أو يفشل: هل الإجابة صحيحة لهذه الحالة؟
مشكلة الـ 69%
إذا أردت الرقم الذي جعل هذا الأمر ملموسًا بالنسبة لي، فهو هذا. في مهام العناية الواجبة القانونية، وضع الاختبار المستقل معدلات خطأ الذكاء الاصطناعي بين 69% و88% — أعلى بكثير مما توحي به معايير المورّدين. تأمّل هذا. ليس 6.9%. بل من تسعة وستين إلى ثمانية وثمانين.
وهذه ليست أخطاء يمكن لحاجز حماية اكتشافها، لأنها ليست مسيئة ولا غير آمنة. بل هي خاطئة بالطريقة التي لا يراها إلا من يعرف المجال. فبحلول نهاية عام 2025 كان هناك أكثر من 729 حادثة موثّقة من هلوسات الذكاء الاصطناعي في المرافعات القانونية — مرتفعةً من 280 في العام السابق. وبدأت المحاكم تفرض غرامات على الأشخاص. في إحدى القضايا، Doiban v. OLCC، بلغت العقوبة 500 دولار عن كل استشهاد من 15 استشهادًا مُلفّقًا، بالإضافة إلى 1,000 دولار مقابل وقت محامي الخصم في تعقّب قضايا وهمية لا وجود لها. وسجّلت إحدى أكبر شركات المحاماة في الولايات المتحدة ثلاث حوادث هلوسة منفصلة في غضون ستة أشهر.
هؤلاء محترفون، يراجعون عملهم مرتين، في مجال يترتب فيه على الخطأ عواقب — ومع ذلك لفّق الذكاء الاصطناعي سوابق قضائية بإقناع كافٍ لتصل إلى مرافعة أمام المحكمة. هذه هي طبيعة الفشل. إنه سلس ومعقول وكاذب، ويكمن تحديدًا في المعرفة المتخصصة بالمجال التي لا تملك المراقبة العامة أي وسيلة لتقييمها.
ماذا تتحقق من صحته حين يرفض المورّد فتح الصندوق؟
في الصناعات الخاضعة للتنظيم يتوقف هذا عن كونه مشكلة هندسية مثيرة للاهتمام ويصبح مشكلة قانونية. فإذا كان النموذج يؤثر في الاكتتاب، أو تكوين الاحتياطيات، أو رأس المال، فإن SR 11-7 في القطاع المصرفي الأمريكي — والركيزة الثانية من Solvency II لشركات التأمين الأوروبية — تشترط أن يُتحقَّق من صحته بشكل مستقل، وأن يُوثَّق، وأن يُراقَب باستمرار. وهذا الالتزام ينطبق الآن على النماذج اللغوية الكبيرة أيضًا؛ فالجهة التنظيمية لا يعنيها أن نموذجك مصادفةً هو نموذج لغوي كبير (LLM).
وإليك المأزق الذي ظللت أصطدم به. فالتحقق من الصحة بموجب SR 11-7 يعتمد تقليديًا على فهم النموذج — افتراضاته، وأجزائه الداخلية، وحدوده. لكن مزوّدي النماذج اللغوية الكبيرة لن يخبروك بكيفية عمل النموذج. لديّ البريد الإلكتروني في أرشيفي، بصيغ مختلفة: لا يمكننا الكشف عن الأجزاء الداخلية للنموذج. أنت مُلزَم قانونًا بالتحقق من صحة شيء يرفض المورّد فتحه.
السبيل الوحيد للخروج من ذلك المأزق هو التوقف عن محاولة فحص الأوزان والبدء في تقييم المخرجات استنادًا إلى الحقيقة المرجعية للمجال. فتبني مجموعة من الحالات التي تعرف فيها الإجابة الصحيحة — الطريقة التي ينبغي بها تحديد احتياطي المسؤولية طويل الأمد عندما يتفاعل حد فرعي في وثيقة مع استثناء من التغطية، وماذا يعني قانون مُلغى، وكيف تنطبق قاعدة إقراض عادل — وتختبر ما إذا كان الذكاء الاصطناعي يجيب عنها بشكل صحيح، على نطاق واسع، وباستمرار، في كل مرة يُحدَّث فيها النموذج أو يُعاد ضبطه. تتحقق من صحة السلوك الذي يمكنك رؤيته، لأنه على أي حال السلوك الذي تختبره الجهة التنظيمية ويختبره العميل. هذا هو جوهر ما نبنيه الآن، وهو النهج الوحيد الذي ينجح سواء فتح المورّد الصندوق يومًا أم لا.
حين لا تستطيع الرؤية داخل النموذج، تكون طبقة المخرجات هي المكان الصادق الوحيد المتبقي للتحقق من الصحة — ومن حسن الحظ أنها الطبقة الوحيدة التي يتعامل معها عميلك وجهتك التنظيمية فعليًا.
لماذا لم تعد عبارة «اشترِ منصة فحسب» هي الجواب
ثمة تمرد هادئ يحدث في كيفية بناء المؤسسات للذكاء الاصطناعي، وله صلة مباشرة بالتحقق من الصحة. فقد وجد تقرير Retool لعام 2026 حول «البناء مقابل الشراء» أن 35% من الفرق قد استبدلت بالفعل بأداة SaaS واحدة على الأقل حلًّا مبنيًّا خصيصًا، وأن 78% تتوقع بناء المزيد. وقد أظهرت الحلول المخصصة، المتوائمة مع منطق عمل محدد، عائدًا يفوق بثلاث إلى خمس مرات عائد الأغلفة العامة — ويعود ذلك جزئيًا إلى أن ما يقارب 65% من تكلفة البرمجيات يأتي بعد النشر، في التكامل والصيانة والأشياء التي لم يؤدها الغلاف تمامًا.
لكن هناك مشكلة يتجاهلها أنصار «ابنِه بنفسك فحسب». فبناء تحقق مخصص بشكل صحيح يتطلب فرق بنية تحتية لتعلم الآلة لا تملكها معظم الشركات. لذا فإن المشهد الحقيقي ليس غلافًا مقابل حل مخصص. بل هو ثلاثة خيارات: غلاف عام لا يفهم مجالك، أو مشروع تنجزه بنفسك لست مزوّدًا بالكوادر اللازمة له، أو أنظمة يبنيها خبراء متخصصون في مجالك القطاعي المحدد وقد سبق لهم القيام بعمل التحقق هذا من قبل. ذلك الخيار الثالث هو الفجوة التي قررنا العيش فيها. ليست لوحة معلومات ترخّصها. وليست منصة تزوّدها بالكوادر. بل طبقة تحقق مبنية حول الحقيقة الفعلية لمجالك.
«ألا تغطّي أداة الحوكمة التي اشتريناها بالفعل هذا الأمر؟»
يسألني الناس نسخةً من هذا السؤال باستمرار، وعادةً بنبرة من الأمل، لأنهم قد أنفقوا الميزانية بالفعل. الجواب الصادق هو أن أداة الحوكمة لديك تغطّي الحوكمة — والحوكمة ضرورية حقًا. احتفظ بها. لكنها ببساطة لا تتحقق من الصحة، ولم تُبنَ لذلك قط.
الأمر الثاني الذي يسألون عنه هو الذكاء الاصطناعي الذي لا يمكنهم رؤيته — أي الذكاء الاصطناعي الخفي. هذا الأمر يُبقي مسؤولي المخاطر مستيقظين ليلًا، والأرقام تقول إنه ينبغي أن يفعل: 78% من الموظفين يستخدمون أدوات ذكاء اصطناعي لم يوفّرها صاحب العمل، و77% منهم قد أدخلوا معلومات حساسة أو خاصة إلى تلك الأدوات. اكتشفت كل من Samsung وAmazon شيفرتها الخاصة موجودةً في خدمات ذكاء اصطناعي عامة. ويبلغ متوسط خرق الذكاء الاصطناعي الخفي 4.63 مليون دولار. وصياغة Gartner نفسها هي الصياغة المزعجة — إذ إن الغالبية العظمى من نشاط الذكاء الاصطناعي غير المصرّح به تأتي من انتهاكات السياسات الداخلية، والمشاركة المفرطة، وسوء الاستخدام، لا من المهاجمين الخارجيين. لا تستطيع منصة الحوكمة لديك أن تحكم ما لا تستطيع رؤيته، والتحقق من الصحة يجب أن يبدأ باكتشاف ما يعمل فعليًا.
السؤال الثالث هو الأسرع قدومًا. إذ تتوقع Gartner أن 40% من تطبيقات المؤسسات ستضمّن وكلاء ذكاء اصطناعي مستقلين بحلول نهاية عام 2026 — وكلاء لا يكتفون بالإجابة، بل يتصرفون، فيعدّلون قواعد البيانات، وينفّذون المعاملات، ويرسلون مراسلات للعملاء. ولا يبلّغ سوى نحو ثلث المؤسسات عن وجود حوكمة ناضجة لأي من هذا. فحين يستطيع وكيل اتخاذ إجراء لا رجعة فيه، ينتقل سؤال التحقق من «هل قال الشيء الصحيح» إلى «هل فعل الشيء الصحيح»، والإجراء الخاطئ الذي لا يمكنك التراجع عنه هو فئة مختلفة من المخاطر عن الجملة الخاطئة. والمراقبة المبنية لروبوتات الدردشة لم تُصمَّم لهذا قط.
جدول الغرامات الذي لا يريده أحد على شريحة مجلس الإدارة
سأختم بالرقم الذي يميل إلى إنهاء النقاش، لأنه يجعل تكلفة عدم التحقق من الصحة مفهومة للمدير المالي بطريقة لا تحققها معدلات الخطأ.
اعتبارًا من 2 أغسطس 2026، تدخل معظم الالتزامات المتبقية في قانون الذكاء الاصطناعي الأوروبي حيّز التنفيذ — قواعد الأنظمة عالية المخاطر، ومتطلبات الشفافية بموجب المادة 50. وتصل غرامة الممارسات المحظورة إلى 35 مليون يورو أو 7% من إجمالي الإيرادات العالمية؛ وعدم الامتثال في الفئة عالية المخاطر يصل إلى 15 مليون يورو أو 3%. وأصبحت فنلندا أول دولة عضو تمتلك صلاحيات إنفاذ فعّالة بالكامل في يناير 2026. لم يعد هذا مذكرة مستقبلية. بل هو بند بتاريخ محدد.
اجمع بقية فاتورة تخطّي التحقق من الصحة: 4.63 مليون دولار عن كل خرق للذكاء الاصطناعي الخفي، وأكثر من مليون دولار في الساعة أثناء انقطاع كبير للذكاء الاصطناعي، و99 مليون دولار حين تنهار جودة الخدمة بهدوء، وغرامات من ست خانات عن كل حادثة هلوسة، وغرامة أوروبية تُقاس بنقاط من الإيرادات العالمية. في مقابل كل ذلك، تكون تكلفة التحقق من صحة ذكائك الاصطناعي بشكل صحيح — اختبار الإجابات، استنادًا إلى مجالك، باستمرار — مجرد خطأ تقريب. ومع ذلك لا تزال معظم المؤسسات تعامل التحقق من الصحة كخانة اختيار تؤشّرها مرة واحدة، لا كمنهجية تمارسها.
أخبرتهم لوحة المعلومات الخضراء أن كل شيء على ما يرام. المشكلة أن لوحة المعلومات كانت تقيّم الشيء الخطأ. فقد تحققت من أنهم اتّبعوا العملية — الشيء الوحيد الذي يسهل تدقيقه ويأمن تبنّيه، وهو تحديدًا سبب بقائه في عروض مجلس الإدارة بعد فترة طويلة من توقفه عن أن يعني أي شيء. لم تسأل ولو مرة واحدة عمّا إذا كانت الإجابة صحيحة — وكون الإجابة صحيحة كان الشيء الوحيد الذي اهتم به العميل، والجهة التنظيمية، وعمود الخسائر على الإطلاق. إذا أردت أن ترى كيف نختبر ذلك بدلًا من هذا، فقد شرحنا النهج هنا.
لا أزال أحتفظ بقائمة مراجعة الركائز الأربع لـ SR 11-7 في مكان أراه فيه، والركيزة الرابعة هي المراقبة — التي لا تعني شيئًا إلا إذا كنت تراقب الشيء الصحيح. فلوحة المعلومات التي تقيّم عمليتك ستبقى خضراء بينما يتعثر ذكاؤك الاصطناعي بهدوء في عملية الاسترداد بعملات متعددة، والاحتياطي المتنازع عليه، والقانون المُلغى. كانت لوحة Klarna خضراء أيضًا، حتى الربع الذي خسرت فيه 99 مليون دولار. أما التحقق الذي يحميك فعلًا فهو العمل غير البرّاق الذي أمارسه طوال مسيرتي المهنية: اجمع الحالات التي تعرف فيها الإجابة الصحيحة مسبقًا، وتحقق — مرارًا وتكرارًا، في كل مرة يتغير فيها النموذج — مما إذا كانت الآلة لا تزال تجيب عنها بشكل صحيح.
