روبوت المحادثة الذكي لديك أصبح للتو موظفاً مُلزِماً قانونياً. ومعظم الشركات لم تنتبه.
بعد بضعة أشهر من صدور حكم موفات ضد إير كندا، كنت في مكالمة مع عميل محتمل — شركة تكنولوجيا مالية متوسطة الحجم، ربما 200 موظف، تنمو بسرعة. كانوا قد بنوا روبوت محادثة موجّهاً للعملاء باستخدام غلاف GPT شائع. واجهة نظيفة. نبرة ودودة. أحبّه العملاء.
طرحت سؤالاً واحداً: "ماذا يحدث عندما يقتبس روبوتك سعر فائدة خاطئاً؟"
صمت مطبق. ثم قال مديرهم التقني: "لن يحدث ذلك. لدينا مُوجِّهات جيدة."
فتحت الحكم على شاشتي وقرأت لهم السطر الذي قالت فيه المحكمة (هيئة الفصل) إن إير كندا "لا يمكنها فصل نفسها عن روبوت المحادثة الذكي." وأن الشركة مسؤولة عن كل كلمة يولّدها الروبوت، تماماً كما لو أن موظفاً بشرياً قالها. وأن دفاع شركة الطيران — بحجّة أن روبوت المحادثة كان في الأساس "كياناً قانونياً منفصلاً" مسؤولاً عن أخطائه — قد رُفض بما يقارب الازدراء القضائي.
تغيّر وجه المدير التقني. لأن ها هو ما يعنيه ذلك الحكم فعلاً: إذا وعد روبوت المحادثة الذكي الخاص بك عميلاً بسعر 2% في بيئة معدلها 5%، أو اخترع سياسة استرداد غير موجودة، أو هلوس بشرط ضمان — تهانينا، لقد وقّعت شركتك للتو عقداً. ليس مجازياً. بل قانونياً.
والجزء الأكثر رعباً؟ لا أحد تقريباً ممن يبنون الذكاء الاصطناعي المؤسسي قد استوعب هذا.
الحكم الذي أعاد كتابة ملف المخاطر لكل روبوت محادثة ذكي
دعوني أخبركم بما حدث فعلاً في قضية موفات، لأن التفاصيل تهمّ أكثر مما أوحت به العناوين الرئيسية.
توفيت جدة جيك موفات. ذهب إلى موقع إير كندا، ووجد روبوت المحادثة، وسأل عن أسعار تذاكر العزاء. أخبره روبوت المحادثة — بثقة وطلاقة، وبالنبرة المتعاونة التي تُحسَّن هذه الأنظمة من أجلها — أن يشتري تذكرة بالسعر الكامل الآن ويتقدّم بطلب خصم العزاء خلال 90 يوماً للحصول على استرداد جزئي.
تلك السياسة لم تكن موجودة. قواعد شركة الطيران الفعلية، المدفونة في وثائق التعريفة والصفحات الثابتة، قالت العكس: لا استرداد بأثر رجعي بعد أن تكون قد سافرت. كان روبوت المحادثة قد هلوس سياسةً بدت صحيحة لأنه، إحصائياً، أنماط العبارات المحيطة بكلمات "العزاء" و"الاسترداد" و"90 يوماً" تتكرر مجتمعةً بكثرة في وثائق سياسات شركات الطيران عبر القطاع.
عندما طلب موفات استرداده وقالت إير كندا لا، رفعهم إلى المحكمة. قدّم محامو إير كندا حجّة ما زلت أجدها مذهلة: زعموا أن روبوت المحادثة ينبغي أن يُعامَل ككيان قانوني منفصل، مسؤول عن تصريحاته الخاصة. وأن المعلومات الصحيحة كانت متوفرة في مكان آخر على الموقع، فتكون الشركة قد أدّت واجبها.
لم ترفض المحكمة هذا فحسب. قال عضو المحكمة كريستوفر ريفرز جوهرياً: لا يوجد فرق ذو معنى بين وكيل بشري، وصفحة ويب ثابتة، وروبوت تفاعلي. جميعها الشركة تتحدث إلى العميل.
إذا قاله الذكاء الاصطناعي الخاص بك، فقد وقّعته شركتك. أرست المحكمة أن الهلوسات ليست عللاً برمجية — بل هي تحريف تقصيري (negligent misrepresentation).
خرجت من ذلك الحكم ثلاث سوابق ينبغي أن تُبقي كل مدير تقني مستيقظاً في الليل. المسؤولية الموحّدة: لا يهم إن كانت المعلومة تأتي من نص HTML أو من شبكة عصبية — كلها تمثيل للشركة. واجب العناية: نشر نموذج احتمالي غير مُتحقَّق منه لنشر السياسات هو إهمال. والسابقة التي تنسف معظم البنى الحالية: دفاع "الصندوق الأسود" قد مات. التعقيد الداخلي لنظام الذكاء الاصطناعي الخاص بك لا يقدّم أي حماية قانونية.
كانت التعويضات 800 دولار. أما السابقة فتساوي مليارات من التعرّض للمسؤولية المستقبلية.
لماذا لن تنقذك "المُوجِّهات الجيدة"
أحتاج أن أكون صريحاً بشأن أمر لا تريد الكثير من شركات استشارات الذكاء الاصطناعي سماعه: التوليد المعزَّز بالاسترجاع (Retrieval-Augmented Generation) ليس حلاً للامتثال.
عندما بدأت أول مرة أنقّب في تفاصيل قضية موفات، توقّعت أن أجد أن روبوت المحادثة لم يكن لديه وصول إلى السياسة الصحيحة. لكان ذلك فشل استرجاع بسيط — قابل للإصلاح ومفهوم. بدلاً من ذلك، وجدت شيئاً أسوأ. لقد وفّر روبوت المحادثة فعلاً رابطاً إلى صفحة سياسة العزاء الصحيحة. كان لديه الوثيقة الصحيحة. لكنه لخّصها بشكل خاطئ فحسب.
هذا هو نمط الفشل الذي يحطّم رواية "فقط أضِف RAG". استرجع روبوت المحادثة السياق الصحيح ومع ذلك هلوس الإجابة.
وإليكم السبب. نماذج اللغة الكبيرة هي محركات احتمالية. تتنبأ بالرمز (token) التالي المحتمل بناءً على أنماط إحصائية في بيانات التدريب. عندما يقول نموذج لغوي كبير "يتوفّر الاسترداد خلال 90 يوماً"، فهو لا يستعلم عن قاعدة بيانات للقواعد. إنه يُكمل نمط جملة محتمل إحصائياً بناءً على ملايين الوثائق التي استوعبها أثناء التدريب — وثائق تضمّنت عدداً لا يُحصى من سياسات الاسترداد المختلفة من عدد لا يُحصى من الشركات المختلفة.
إعطاء النموذج الوثيقة الصحيحة يساعد. لكن إذا كان النص المُسترجَع معقداً، وإذا كانت اللغة القانونية كثيفة، وإذا كان هناك نفي دقيق مدفون في جملة ثانوية — فقد يتجاهل النموذج السياق المُسترجَع لصالح تحيّزاته المُدرَّبة مسبقاً. هذه ليست حالة حدّية نادرة. إنها نمط فشل معروف يُسمّى هيمنة الذاكرة البارامترية (parametric memory dominance)، ويحدث بشكل أكثر تكراراً مع نوع لغة السياسات المعقّدة تحديداً الذي يهمّ أكثر ما يهمّ للامتثال.
لقد رأيت هذا بأمّ عيني. كنّا نختبر نموذجاً أوّلياً لعميل في مجال الرعاية الصحية، وكان لدى النظام بيانات تفاعل الأدوية الصحيحة في نافذة سياقه — حرفياً هناك في المطالبة. ومع ذلك ولّد النموذج استجابة خفّفت تحذير "تفاعل شديد" إلى "تنبيه خفيف". لأنه في بيانات التدريب، ظهر معظم النص عن هذين الدواءين معاً في سياقات قلّلت من المخاطر. كان الاسترجاع مثالياً. أما التوليد فكان خطيراً.
يوفّر RAG المعرفة، لكنه لا يضمن الالتزام. لا يمكنك حلّ مسألة منطقية صارمة بمحرك احتمالي وحده.
الأرقام تدعم هذا. بلغت الخسائر العالمية المنسوبة إلى هلوسات الذكاء الاصطناعي 67.4 مليار دولار في عام 2024. حتى أفضل النماذج المتقدّمة — GPT-4o وGemini 2.0 — تحتفظ بمعدلات هلوسة أساسية بين 0.7% و3% بحسب تعقيد المهمة. يبدو ذلك ضئيلاً حتى تجري الحساب: مساعد ذكاء اصطناعي لمصرف يتعامل مع مليون استعلام شهرياً بمعدل هلوسة 0.7% يُنتج 7,000 انتهاك تنظيمي محتمل. كل شهر.
والمؤسسات تدفع بالفعل ضريبة خفيّة مقابل عدم الموثوقية هذا. تقدّر Forrester أن تكلفة التخفيف من الهلوسة تبلغ نحو 14,200 دولار لكل موظف سنوياً من الإنتاجية المفقودة — بشر يراجعون مرتين عمل الذكاء الاصطناعي الذي لا يمكن الوثوق به ليقف بمفرده. سوق أدوات كشف الهلوسة نما بنسبة 318% بين عامي 2023 و2025. هذا ليس علامة على مشكلة يجري حلّها. إنه علامة على قطاع يرقّع بشكل محموم نهجاً معيباً في جوهره.
كيف يبدو روبوت محادثة لا يستطيع الكذب؟
كانت هناك لحظة — أتذكّرها بوضوح لأنها حدثت أثناء جلسة معمارية في وقت متأخر من الليل مع فريقي — عندما تبلورت الفكرة الأساسية. كنّا نتجادل حول كيفية جعل نموذج لغوي كبير "أكثر دقة" لحالة استخدام امتثالية. مُوجِّهات أفضل. استرجاع أفضل. ضبط دقيق على بيانات المجال. ثم قالت إحدى مهندساتي شيئاً أوقف المحادثة: "لماذا نطلب من النموذج أن يكون دقيقاً؟ إنه ليس مصمَّماً للدقة. إنه مصمَّم للطلاقة."
كانت محقّة. وذلك التأطير الجديد غيّر كل شيء في طريقة بنائنا.
الإجابة ليست جعل النموذج الاحتمالي أقل احتمالية. الإجابة هي عدم السماح له باتخاذ القرارات على الإطلاق عندما تكون الرهانات عالية.
نسمّي هذا طبقة الإجراء الحتمي (Deterministic Action Layer) — مكوّن وسيط (ميدلوير) يقع بين المستخدم ونموذج اللغة الكبير، ويعمل كمُتحكّم في حركة المرور. عندما يسأل عميل عن الطقس أو يريد مساعدة في صياغة بريد إلكتروني، يفعل نموذج اللغة الكبير ما يبرع فيه: توليد نص طليق ومفيد وإبداعي. لكن في اللحظة التي تلمس فيها المحادثة عمليات الاسترداد أو التسعير أو الشروط القانونية أو الضمانات أو سياسة الخصوصية — أي شيء يخلق فيه الجواب الخاطئ مسؤولية — يبدّل النظام أنماطه بالكامل.
بدلاً من السماح لنموذج اللغة الكبير بتوليد إجابة من أوزانه، تُطلق طبقة الإجراء الحتمي منطقاً مبرمَجاً بشكل ثابت. استعلام قاعدة بيانات. شجرة قرار. قالب استجابة مكتوب مسبقاً ومُدقَّق قانونياً. يتقلّص دور نموذج اللغة الكبير من "مؤلّف" إلى "مترجم" — قد يعيد صياغة النتيجة في جملة مهذّبة، لكنه لا يستطيع إضافة المعلومة أو حذفها أو إعادة تفسيرها.
فكّر في الأمر بهذه الطريقة. لو كان لدى روبوت موفات هذه البنية، فإليك ما كان سيحدث: يكتشف الموجّه الدلالي (semantic router) النية — استرداد_العزاء. بدلاً من السماح للنموذج بالارتجال حول ما يظنّ أن سياسات استرداد العزاء تقوله عادةً، يُنفّذ دالة حتمية: if ticket_status == 'flown' return NO_REFUND. تعود الاستجابة: "سياستنا تحظر الاسترداد بشكل صارم بعد السفر. المرجع: قاعدة التعريفة 45." مملّة. محكمة قانونياً. بالضبط ما كان مطلوباً.
كتبت عن هذه البنية بعمق في النسخة التفاعلية من بحثنا، لكن الرؤية الأساسية بسيطة: افصل المحادثة عن الامتثال. دع الشبكة العصبية تتولّى التنوّع الفوضوي الجميل للغة البشرية. ودع الشيفرة الحتمية تتولّى الأجزاء التي يكلّف فيها الخطأ مالاً.
بروتوكول الصمت
هناك نمط تصميم محدّد نستخدمه أظنّ أنه يجسّد الفلسفة بشكل أفضل من أي مخطط معماري. نسمّيه بروتوكول الصمت.
عندما يسأل مستخدم عن موضوع صنّفناه على أنه "حرج للامتثال"، تُكتم القدرات الإبداعية للذكاء الاصطناعي التوليدي فعلياً. يبدّل النظام من نمط "المؤلّف" إلى نمط "القارئ". يسترجع النص الدقيق من قاعدة البيانات ويقدّمه حرفياً، أو يملأ قالباً صارماً بمتغيّرات من مصدر موثوق.
وإليكم الجزء الذي يجعل بعض مديري المنتجات يشعرون بعدم الارتياح: إذا سأل المستخدم سؤالاً يقع في فجوة سياسية — حيث لا توجد قاعدة حتمية — فإن النظام لا يرتجل. بل يقول: "لا يمكنني الإجابة عن هذا السؤال مباشرة. دعني أوصلك بمختصّ بشري."
اعترض عميل محتمل على هذا بشدّة. قال: "المستخدمون يريدون إجابات فورية. روبوت محادثة يقول 'لا أعرف' يبدو معطّلاً."
سألته أيّهما يبدو أكثر تعطّلاً: روبوت محادثة يقول "دعني أوصلك بشخص بشري،" أم روبوت محادثة يخترع سياسة استرداد، وتُضطر الشركة إلى الالتزام بها، ويقضي الفريق القانوني ستة أشهر في احتواء الأضرار؟
من الناحية القانونية، الإبداع بشأن شروط العقد مرادف للتلفيق. أثمن ميزة في ذكاء اصطناعي مؤسسي ليست ما يمكنه قوله — بل ما يُمنَع من قوله.
نحن نعطّل الإبداع في مواضيع الامتثال لأنه في عالم ما بعد موفات، الذكاء الاصطناعي الذي يرتجل سياسة "بشكل متعاون" هو ذكاء اصطناعي يعيد كتابة عقودك في الوقت الفعلي دون تفويض.
كيف يعرف النظام ما هو خطير؟
هذا هو السؤال الذي أتلقّاه غالباً، وهو السؤال الصحيح. البنية لا تعمل إلا إذا كانت طبقة التوجيه — المُتحكّم في حركة المرور — قادرة على التمييز بشكل موثوق بين "أخبرني عن تاريخ شركتك" (آمن لتوليد نموذج اللغة الكبير) و"هل يمكنني الحصول على استرداد على هذا؟" (يجب التعامل معه حتمياً).
نحن نستخدم التوجيه الدلالي (semantic routing)، وهو مختلف اختلافاً جوهرياً عن المطابقة الهشّة للكلمات المفتاحية في أنظمة روبوتات المحادثة الأقدم. نظام الكلمات المفتاحية الذي يبحث عن "استرداد" سيفوّت "أريد أموالي مسترجعة" أو "هل يمكنك أن تعوّضني." التوجيه الدلالي يحوّل استعلام المستخدم إلى تضمين متجهي عالي الأبعاد (high-dimensional vector embedding) ويقارنه بأمثلة قياسية محدّدة مسبقاً للمواضيع المقيّدة.
التفصيل الأساسي: طبقة التوجيه هذه تقع خارج نافذة سياق نموذج اللغة الكبير. هذا يهمّ بشكل هائل للأمان. هجمات حقن المُوجِّهات (prompt injection) — حيث يصوغ المستخدمون مدخلات مصمَّمة لخداع النموذج لتجاهل تعليماته — هي تهديد حقيقي ومتنامٍ. لكن إذا حدث قرار التوجيه قبل أن يصل الاستعلام إلى النموذج أصلاً، تصبح تلك الهجمات غير ذات صلة بمنطق الامتثال. لا يمكنك اختراق نظام لا يعطي النموذج المفاتيح من الأساس.
بمجرد اكتشاف نية حسّاسة، نستخدم استدعاء الدوال (function calling) — قدرة في نماذج اللغة الكبيرة الحديثة حيث يُخرج النموذج بيانات مهيكلة (كائن JSON يستدعي دالة محدّدة) بدلاً من نص حرّ. يستخرج نموذج اللغة الكبير المعاملات من المحادثة — معرّف التذكرة، تاريخ الشراء، تاريخ السفر — ويمرّرها إلى كتلة شيفرة حتمية. Python. SQL. أياً كان ما يُنفّذ منطق العمل الفعلي. النموذج لا يحسب الاسترداد أبداً. ولا يقرّر الأهلية أبداً. إنه يترجم اللغة الطبيعية إلى استدعاء API، ويترجم استجابة API عائداً إلى لغة طبيعية. القرار تتّخذه الشيفرة، لا الاحتمالية.
للحصول على التفصيل التقني الكامل لبنية التوجيه، وأنماط استدعاء الدوال، ومسار التحقّق لدينا، انظر الغوص التقني العميق لدينا.
الجدران التنظيمية تُطبِق علينا
إذا لم تكن سابقة موفات دافعاً كافياً، فإن المشهد التنظيمي على وشك أن يجعل الضمانات الحتمية غير اختيارية.
يصنّف قانون الذكاء الاصطناعي للاتحاد الأوروبي (EU AI Act) كثيراً من أنظمة الذكاء الاصطناعي الموجّهة للعملاء — خاصة في النقل والمصارف والخدمات الأساسية — على أنها عالية المخاطر. تُلزم المادة 14 بالرقابة البشرية: يجب أن تُصمَّم الأنظمة بحيث يستطيع البشر تفسير المخرجات، والتدخّل، والضغط على زر التوقّف. غلاف نموذج لغوي كبير من نوع الصندوق الأسود لا يُلبّي هذا. أما طبقة الإجراء الحتمي — حيث يكتب مسؤول الامتثال القواعد التي يُنفّذها النظام — فتُلبّيه.
المادة 22 من اللائحة العامة لحماية البيانات (GDPR) تمنح الأفراد الحق في عدم الخضوع لقرارات تستند حصراً إلى المعالجة الآلية عندما تكون لتلك القرارات آثار قانونية أو مهمة. رفض الاسترداد أثر مهمّ. رفض طلب قرض أثر مهمّ. عندما يسأل عميل "لماذا رُفضت؟"، لا يمكن لشبكة عصبية أن تشرح استدلالها لأنها لا تملك استدلالاً — تملك أوزاناً إحصائية. أما شجرة منطق حتمية فيمكنها أن تشير إلى العقدة الدقيقة: "درجة الائتمان أقل من العتبة" أو "حالة التذكرة: مسافر."
ومعيار ISO 42001 — أول معيار عالمي لحوكمة الذكاء الاصطناعي — يتطلّب من المؤسسات رسم خريطة لأماكن استخدام المنطق الاحتمالي مقابل الحتمي، وقياس معدلات الهلوسة، والحفاظ على مسارات تدقيق كاملة. صمّمنا بنيتنا تحديداً لتكون جاهزة للتدقيق وفق هذا المعيار. يُسجَّل كل تفاعل، وكل قرار توجيه، وكل تنفيذ سياسة مع مسار منطقي قابل للتتبّع.
هذا ليس امتثالاً نظرياً. لقد جلست في غرف مع فرق قانونية مؤسسية تعيد بنشاط التفكير في عمليات نشر الذكاء الاصطناعي لديها بسبب هذه الأطر. الشركات التي تبني الضمانات الآن ستنشر الذكاء الاصطناعي بشكل أسرع وأوسع من تلك التي تتدافع لتركيب الامتثال لاحقاً.
"لكن أليس هذا مكلفاً؟"
يسألني الناس هذا دائماً، وأنا أفهم هذا الحدس. بناء التوجيه الدلالي، وطبقات المنطق الحتمي، والرسوم البيانية المعرفية (knowledge graphs)، ومسارات التحقّق — إنه بلا شك أكثر تعقيداً من تغليف استدعاء API بواجهة أنيقة.
لكن دعوني أعيد تأطير السؤال. ما هي تكلفة عدم بنائه؟
كانت تعويضات إير كندا 800 دولار. لكن الأتعاب القانونية جعلت ذلك يبدو ضئيلاً. والضرر السمعي — أصبحت عبارة "شركة طيران تجادل بأن روبوت المحادثة الخاص بها كيان قانوني منفصل" مادة للسخرية عالمياً — لا يمكن حسابه. وكان ذلك تفاعلاً واحداً حول سعر تذكرة عزاء واحد.
الآن تخيّل روبوت محادثة لخدمات مالية يهلوس موافقة على قرض. روبوت رعاية صحية يخفّف تحذير تفاعل دوائي. روبوت تأمين يخترع شروط تغطية. نحن لم نعد نتحدّث عن 800 دولار. نحن نتحدّث عن منطقة الدعاوى الجماعية.
الـ 14,200 دولار لكل موظف سنوياً التي تنفقها المؤسسات حالياً على التخفيف من الهلوسة — بشر يتحقّقون يدوياً من مخرجات الذكاء الاصطناعي لأن لا أحد يثق بها — تلك هي التكلفة الحقيقية للذكاء الاصطناعي "الرخيص". الغلاف رخيص في البناء ومكلف في التشغيل. أما البنية الحتمية فمكلفة في البناء ورخيصة في الثقة بها.
هذا يتعلّق بما هو آتٍ
أريد أن أختم بشيء يتجاوز محادثة روبوتات المحادثة الحالية، لأنني أظنّ أن حكم موفات هو معاينة لتحوّل أكبر بكثير.
نحن ننتقل من عصر روبوتات المحادثة الذكية إلى عصر وكلاء الذكاء الاصطناعي — أنظمة لا تجيب عن الأسئلة فحسب بل تتّخذ إجراءات. تحجز رحلات طيران. تحوّل أموالاً. توافق على مطالبات. توقّع اتفاقيات. الافتراض القانوني القائل إن "على المستخدم أن يتحقّق من المعلومة" كانت ضعيفة أصلاً عند تطبيقها على روبوتات المحادثة. إنها غير قابلة للدفاع عنها تماماً عند تطبيقها على وكلاء يُنفّذون معاملات بشكل مستقل.
كل شركة تنشر ذكاءً اصطناعياً يلمس المال أو العقود أو القرارات الخاضعة للتنظيم تتّخذ خياراً الآن، سواء أدركت ذلك أم لا. فهي إما تبني أنظمة يكون فيها إبداع الذكاء الاصطناعي محدوداً بمنطق حتمي — حيث يمكن للآلة أن تكون طليقة ومفيدة ضمن ضمانات مُنفَّذة بصرامة — أو تنشر وكلاء بليغين وغير خاضعين للإشراف يملكون السلطة القانونية لإعادة كتابة سياسة الشركة هلوسةً تلو الأخرى.
أعرف على أي جانب من ذلك الخط أريد أن أكون. وأعرف أي جانب سيطالب به القانون.
روبوت المحادثة الخاص بك موظف مُلزِم قانونياً. إنه يحتاج إلى التدريب نفسه، والإشراف نفسه، والحدود الصارمة نفسها التي يحتاجها موظف بشري يتعامل مع أموال الشركة. لن تسمح لموظف جديد باختراع سياسات استرداد بناءً على الأمزجة. لا تدع ذكاءك الاصطناعي يفعل ذلك أيضاً.
دفاع الصندوق الأسود قد مات. عصر الغلاف ينتهي. والشركات التي تكتشف طبقات الإجراء الحتمي أولاً لن تتجنّب المسؤولية فحسب — بل ستكون تلك التي توسّع فعلاً نطاق الذكاء الاصطناعي إلى الأجزاء من أعمالها حيث يهمّ أكثر ما يهمّ، لأنها ستكون تلك التي يمكن الوثوق بأنظمتها.
السؤال ليس ما إذا كان ذكاؤك الاصطناعي ذكياً بما يكفي. بل ما إذا كان يعرف متى يصمت.