روبوت الذكاء الاصطناعي لديكم أصبح موظفاً ملزماً قانونياً الآن

المشكلة

أخبر روبوت الدردشة الخاص بإير كندا مسافراً حزيناً أنه يمكنه شراء تذكرة بسعر كامل والمطالبة باسترداد أموال الوفاة خلال 90 يوماً. تلك السياسة لم تكن موجودة. لقد اخترعها روبوت الدردشة. وعندما طلب المسافر استرداد أمواله، رفضت إير كندا — إذ كانت السياسة الفعلية تحظر الاسترداد بعد السفر. فرفع المسافر دعوى قضائية، وحاولت شركة الطيران أمراً لافتاً: جادلت بأن روبوت الدردشة «كيان قانوني منفصل» مسؤول عن أخطائه هو.

رفضت الهيئة شبه القضائية هذه الحجة رفضاً كاملاً. حكم عضو الهيئة كريستوفر ريفرز بأن «إير كندا لا يمكنها أن تنفصل نفسها عن روبوت الدردشة المدعوم بالذكاء الاصطناعي». وقالت المحكمة إنه لا وجود لفرق ذي مغزى بين وكيل بشري وصفحة ويب ثابتة وروبوت تفاعلي؛ فجميعهم يتحدثون باسم شركتكم، وجميعهم يُلزمون شركتكم.

لم تكن هذه خطأً عابراً يحدث مرة واحدة، بل كانت إخفاقاً يمكن التنبؤ به في طريقة عمل معظم أنظمة الذكاء الاصطناعي المؤسسي اليوم. فروبوت الدردشة لديكم لا «يعرف» سياساتكم، بل يتنبأ بشكل الإجابة الجيدة استناداً إلى أنماط إحصائية. وحين تبدو إجابته واثقة، يثق بها عملاؤكم، وإذا كانت خاطئة فعنتم من يدفع الثمن. وقد أرست قضية Moffatt v. Air Canada أن هلوسات الذكاء الاصطناعي — أي الاستجابات التي يختلقها النموذج بنبرة واثقة سلطوية — تُصنَّف قانونياً بوصفها تحريفاً ناجماً عن الإهمال. فإذا قالها ذكاؤكم الاصطناعي، فقد وقّعت عليها شركتكم.

لماذا يهم هذا أعمالكم

التعرض المالي هنا ليس نظرياً. فقد بلغت الخسائر العالمية الناجمة عن هلوسات الذكاء الاصطناعي 67.4 مليار دولار في عام 2024. ويشمل هذا الرقم المدفوعات المباشرة والغرامات التنظيمية والأتعاب القانونية والضرر الذي يلحق بالعلامة التجارية والتكلفة الخفية المترتبة على قيام الموظفين بمراجعة أعمال الذكاء الاصطناعي يدوياً.

وتلك التكلفة الخفية مذهلة في حد ذاتها. إذ تقدّر مؤسسة Forrester Research أن كل موظف في المؤسسات ينفق نحو 14,200 دولار سنوياً على تخفيف أثر الهلوسات — أي التحقق من مخرجات أنظمة ذكاء اصطناعي لا يمكن الوثوق بها بمفردها.

كانت تعويضات قضية Moffatt صغيرة — نحو 800 دولار. لكن السابقة القضائية هي الأهم. وهذا ما تعنيه لمنظمتكم:

• أي روبوت دردشة يناقش الأسعار أو استرداد الأموال أو الضمانات أو شروط الخدمة أصبح الآن قادراً على إحداث تعديلات ملزمة على العقود. يمكن للذكاء الاصطناعي لديكم أن يعيد صياغة التزامات شركتكم في الوقت الفعلي.
• حجة «الصندوق الأسود» ميتة. لا يمكنكم الجدال بأنكم لم تفهموا كيف وصل الذكاء الاصطناعي إلى إجابته. فالمحكمة لا تهتم بالتعقيد التقني لنظامكم.
• فشلت حجة «المعلومة الصحيحة كانت على موقعنا». أشارت إير كندا إلى صفحاتها الثابتة التي تتضمن السياسة الحقيقية، لكن الهيئة قضت بأن ذلك لا يهم — فتصريح الذكاء الاصطناعي لديكم يُحتسب أيضاً.
• خطر الدعاوى الجماعية آخذ في التصاعد. إذ يرسل هذا الحكم إشارة إلى محامي المدّعين حول العالم بأن مخرجات الذكاء الاصطناعي قابلة للمقاضاة. وهلوسة واحدة عن منتج مالي قد تولّد التزامات بملايين الدولارات.

نما سوق أدوات كشف الهلوسات بنسبة 318% بين عامي 2023 و2025. يعكس هذا النمو صناعة في حالة أزمة. فمنافسوك يتحركون بارتكاز، ومنظموك يراقبون، ومجلس إدارتك يحتاج إلى أن يفهم أن هذه ليست مشكلة في تقنية المعلومات — بل مخاطرة تمس الميزانية العمومية.

ما يحدث فعلاً خلف الكواليس

لفهم سبب تكرار حدوث هذا، عليك أن تفهم أمراً واحداً عن طريقة عمل النماذج اللغوية الكبيرة: فهي تتنبأ بالكلمة التالية. هذا هو كل الأمر. إنها لا تبحث عن سياسة استرداد الأموال لديكم في قاعدة بيانات، ولا تستنتج عبر شروطكم القانونية، بل تولّد نصاً يبدو مرجحاً إحصائياً استناداً إلى الأنماط الواردة في بيانات تدريبها.

تخيل الأمر هكذا. لنفترض أنك وظفت موظفاً جديداً عبقرياً حفظ آلاف من كتيبات سياسات الشركات الصادرة عن مئات شركات الطيران المختلفة. فعندما يسأل عميلٌ عن سياسة استرداد الأموال لديكم، لا يراجع هذا الموظف كتيبكم المحدد، بل يؤلف إجابة تبدو وكأنها شيء قد تقوله سياسة لاسترداد الأموال، مستلهماً كل ما قرأه في حياته. أحياناً يصيب. وفي حالات كثيرة بما يكفي، يخطئ.

حتى أفضل النماذج — مثل Gemini 2.0 من Google وGPT-4o من OpenAI — تحتفظ بمعدل هلوسة أساسي يتراوح بين 0.7% وأكثر من 25% بحسب تعقيد المهمة. معدل خطأ 0.7% يبدو صغيراً، لكن إذا عالج ذكاؤكم الاصطناعي مليون استفسار عميل شهرياً، فذلك يعني 7,000 خرق تنظيمي أو بيان مالي غير صحيح أو وعد استرداد وهمي محتملة.

الخطر الحقيقي: هذه النماذج «واثقة لكنها مخطئة». فهي تصرح باختلاقات بنفس النبرة السلطوية التي تستخدمها مع الحقائق. عملاؤكم لا يستطيعون تمييز الفرق، ولا يقدر على ذلك كذلك موظفو الخطوط الأمامية الذين يراجعون نصوص المحادثات لاحقاً.

يبيع كثير من الموردين تقنية التوليد المعزز بالاسترجاع (RAG) — وهي أسلوب تُطعم فيه الذكاء الاصطناعي بمستندات المصدر الفعلية الخاصة بك — بوصفها الحل. لكن روبوت الدردشة الخاص بإير كندا كان على الأرجح قادراً على الوصول إلى السياسة الصحيحة، بل قدم رابطاً إليها حتى. ومع ذلك لخّص الروبوت السياسة تلخيصاً خاطئاً. فإعطاء الذكاء الاصطناعي المعلومة الصحيحة لا يكفي حين يكون محرك الاستدلال نفسه غير موثوق. إن RAG يوفر المعرفة، لكنه لا يضمن أن يمشي الذكاء الاصطناعي وفقها.

ما ينجح (وما لا ينجح)

قبل الاستثمار في حل ما، ينبغي أن تفهم ما لن يحميك:

هندسة الأوامر وحدها: مطالبة الذكاء الاصطناعي بـ«الإجابة فقط استناداً إلى سياسة الشركة» اقتراح وليست قيداً. يمكن للنموذج أن يتجاهلها في ظروف معينة، وسيفعل حتماً. تعليمات الأوامر ليست حواجز حماية قابلة للإلزام.

إخلاءات المسؤولية والطباعة الدقيقة: كانت لدى إير كندا معلومات صحيحة على صفحاتها الثابتة على الويب، ومع ذلك قضت الهيئة بأن ذلك لم يشكل لها ساتراً. فإخبار العملاء بـ«التحقق من المصادر الرسمية» لن يلغي وعداً ملزماً قد قطعه ذكاؤكم الاصطناعي فعلاً.

RAG الساذجة دون تحقق: مجرد إدخال مستنداتكم في قاعدة بيانات متجهية والأمل في أن يقرأها الذكاء الاصطناعي قراءة صحيحة قد فشل في الحالة نفسها التي أرست هذه السابقة. فالبحث بالتشابه الدلالي قد يسترجع المستند الخطأ — إذ يجلب «مدة معالجة الاسترداد» بينما كان السؤال عن «أهلية الاسترداد».

ما ينجح فعلاً هو طبقة الإجراءات الحتمية (DAL) — نظام يفصل المحادثة عن قرارات الامتثال. وإليك كيف تعمل في الممارسة العملية:

1. تصنيف المدخلات: عندما يرسل العميل رسالة، يحدد موجِّه دلالي — وهو نظام يقرأ القصد الكامن وراء الكلمات — ما إذا كان السؤال يمس موضوعاً مقيَّداً مثل استرداد الأموال أو الأسعار أو الشروط القانونية أو الضمانات. وهذا الموجِّه يقع خارج نموذج الذكاء الاصطناعي، لذا لا تستطيع هجمات حقن الأوامر المصممة لخداع الذكاء الاصطناعي تجاوزه.

2. معالجة حتمية: إذا مسّ الاستفسار موضوعاً مقيَّداً، فلا يُسمح لنموذج الذكاء الاصطناعي بتوليد إجابة. بدلاً من ذلك، ينفذ النظام منطقاً مبرمجاً مسبقاً — شيفرة برمجية فعلية تفحص قاعدة بياناتكم. ففي سؤال عن الاسترداد، يشغّل شيئاً مثل: «إذا كانت حالة التذكرة تساوي 'traveled'، فأعد 'no refund permitted'.» فالقرار يأتي من قواعدكم، لا من الاحتمالات.

3. مخرجات مضبوطة: تُعيد الشيفرة نتيجة موثقة، ومهمة الذكاء الاصطناعي الوحيدة هي تغليف تلك النتيجة في جملة مهذبة. ثم يؤكد التحقق من المخرجات أن الاستجابة النهائية تطابق البيانات التي أعادتها الشيفرة. وإذا صادف النظام سؤالاً لا توجد له قاعدة، فلا يرتجِل، بل يقول: «لا أستطيع الإجابة على ذلك مباشرة، دعني أوصلك بأحد المتخصصين.»

هذا النهج — المسمّى البنية العصبية الرمزية، وهي تجمع بين مهارات الذكاء الاصطناعي اللغوية والمنطق الصارم القائم على القواعد — يمنحك ما لا يمكن لأي غلاف ذكاء اصطناعي خالص أن يمنحه لك: سجل تدقيق كامل. فكل قرار يمكن تتبعه وصولاً إلى قاعدة محددة، واستعلام قاعدة بيانات محدد، ومسار شيفرة محدد. وحين يسألك منظّم أو محكمة «لماذا قال نظامكم ذلك»، يمكنك أن تري بدقة ماذا حدث ولماذا.

وتعالج هذه القدرة على التدقيق بشكل مباشر المادة 22 من اللائحة العامة لحماية البيانات (GDPR)، التي تمنح الأفراد الحق في الحصول على تفسير عندما تتخذ الأنظمة الآلية قرارات تمسهم. كما تستوفي شرط المادة 14 من قانون الاتحاد الأوروبي للذكاء الاصطناعي بشأن الرقابة البشرية، و معايير التوثيق التي تتطلبها ISO 42001 لأنظمة إدارة الذكاء الاصطناعي.

أما بالنسبة إلى منظمات الحكومة والقطاع العام المعنية بالخدمات الموجهة إلى المواطنين، فإن هذه البنية ليست اختيارية. فحين يناقش ذكاؤكم الاصطناعي أهلية الحصول على مزايا أو التزامات ضريبية أو متطلبات تصاريح، فإن كل إجابة تحمل وزن سلطة الحكومة. وهلوسة سياسة من روبوت دردشة حكومي لا تولّد التزامات قانونية فحسب — بل تقوّض ثقة الجمهور في الخدمات الرقمية.

المبدأ الجوهري بسيط: اتركوا اللغة للذكاء الاصطناعي، ولا تتركوا له القرارات أبداً. سياساتكم مكانها في الشيفرة لا في الاحتمالات. ويمكنكم قراءة التحليل الفني الكامل للاطلاع على المخطط الهندسي المفصل، أو استكشاف النسخة التفاعلية للقيام بجولة إرشادية في البنية.

يجب أن يكون ذكاؤكم الاصطناعي مترجماً لا صانع قرار. فهو يترجم أسئلة العملاء إلى استعلامات قاعدة بيانات، وإجابات قاعدة البيانات إلى لغة بشرية. أما اتخاذ القرار فيحدث في شيفرة تتحكمون فيها وتدققونها وتحدّثونها — لا داخل شبكة عصبية لا يمكنكم فحصها.