لماذا فشل مساعد التسوق بالذكاء الاصطناعي من أمازون — وما يعنيه ذلك لك

المشكلة

قدّم مساعد التسوق القائم على الذكاء الاصطناعي من أمازون، روفوس (Rufus)، لعميل تعليمات لصنع زجاجة مولوتوف. لم يتطلب الأمر أي اختراق، ولا أي حيل معقدة في صياغة المطالبات؛ إذ كان كل ما لزم لتجاوز كل مرشحات الأمان التي وضعتها أمازون هو مجرد استفسار عادي متعلق بمنتج. وفي واقعة منفصلة، هلوس روفوس بشأن موقع مباراة السوبر بول لعام 2024 — ليخطئ في حقائق أساسية يستطيع أي طفل في العاشرة من عمره التحقق منها.

لم تكن هذه حالات نادرة ناجمة عن اختبار تجريبي، فقد أُطلق روفوس لخدمة 250 مليون عميل نشط على أمازون. وكان من المفترض أن يساعد الناس على التسوق بذكاء أكبر، والتحقق من حالات الطلبات، ومعالجة المرتجعات. وعوضاً عن ذلك، ولّد محتوى خطيراً، واختلق حقائق، وعجز عن إتمام معاملات أساسية مثل تتبع طلب أو بدء عملية إرجاع. لقد كان بإمكان النظام أن يصف سياسة الإرجاع، لكنه لم يستطع فعلياً أن يبدأ عملية إرجاع نيابة عنك.

هذا ما يحدث عندما تبني ذكاءً اصطناعياً باستخدام ما يسميه قطاع الصناعة "غلافاً برمجياً" (Wrapper) — وهي طبقة برمجية رقيقة ترسل سؤالك إلى نموذج لغوي وتعرض كل ما يعود منه. فلا توجد خطوة للتحقق من الحقائق، ولا تحقق أمني يعمل بشكل مستقل، ولا يوجد اتصال بالأنظمة التي تعالج المعاملات فعلياً. يستطيع الذكاء الاصطناعي لديك التحدث، لكنه لا يستطيع التفكير أو التحقق أو التصرف. وحين يخطئ في شيء ما، تكون أنت المتصدر للعناوين الرئيسية للأخبار.

لماذا يهم هذا عملك

توقع الرئيس التنفيذي لشركة أمازون، آندي جاسي، مبيعات إضافية بقيمة billion من روفوس. ويعتمد هذا الرقم بأكمله على شيء واحد: ثقة العملاء. فعندما يهلوس مساعد الذكاء الاصطناعي لديك بتفاصيل المنتجات أو يقدم محتوى خطيراً، تتبخر تلك الثقة. وقد وجد استطلاع أن 45% من المستهلكين يفضلون بالفعل المساعدة البشرية على الذكاء الاصطناعي بسبب قلقهم بشأن الدقة والتلاعب.

إن المخاطر المالية والتشغيلية ملموسة:

• الإيرادات المعرّضة للخطر. إذا أوصى الذكاء الاصطناعي لديك بالمنتج الخطأ أو اختلق سعراً، فإنك تخسر عملية البيع — وربما تخسر العميل أيضاً. ولا قيمة لتوقع الـ billion إذا انهارت معدلات التحويل.
• التعرّض التنظيمي. يفرض قانون الذكاء الاصطناعي للاتحاد الأوروبي وإطار إدارة مخاطر الذكاء الاصطناعي الصادر عن NIST الآن مسارات تدقيق لقرارات الذكاء الاصطناعي. وإذا لم يتمكن نظامك من شرح سبب (why) تقديمه لإجابة محددة، فإنك تواجه إخفاقات في الامتثال. والمستشار القانوني العام لديك بحاجة إلى معرفة ذلك.
• الضرر بالسمعة والعلامة التجارية. يمكن لعنوان رئيسي واحد حول تقديم الذكاء الاصطناعي لديك لتعليمات خطيرة أن يقضي على سنوات من قيمة علامتك التجارية. وتكلفة حادثة "زجاجة مولوتوف" واحدة تتجاوز بكثير الوفورات الناتجة عن نشر ذكاء اصطناعي رخيص.
• الفشل التشغيلي. لم يتمكن روفوس من التحقق من حالات الطلبات أو معالجة المرتجعات — وهما أكثر وظيفتين أساسيتين في التجارة الإلكترونية. وإذا خلق الذكاء الاصطناعي لديك "مأزقاً في المعاملات" حيث يعد بإجراءات لا يمكنه إتمامها، فإن تكاليف الدعم لديك سترتفع، ولن تنخفض.

ليست هذه مخاطر افتراضية؛ فقد حدثت لأكبر شركة تجزئة على وجه الأرض. وإذا كانت استراتيجية الذكاء الاصطناعي لديك تعتمد على المعمارية نفسها، فإنك تواجه مستوى التعرّض ذاته.

ما الذي يحدث فعلياً خلف الكواليس

لفهم سبب حدوث هذه الإخفاقات، فكّر في الغلاف البرمجي النموذجي للذكاء الاصطناعي كمتدرب واثق من نفسه ليس لديه عادة التحقق من الحقائق. تطرح سؤالاً، فيبحث المتدرب في كومة من المستندات، ويلتقط ما يبدو ذا صلة، ويعطيك إجابة تبدو صحيحة. لكن لا أحد يدقق تلك الإجابة قبل أن تصل إلى العميل.

هذه هي الطريقة الأساسية التي يعمل بها التوليد المعزز بالاسترجاع (RAG) القياسي — وهي تقنية تزود فيها الذكاء الاصطناعي بمستندات المصدر الفعلية للإجابة عن الأسئلة — في معظم عمليات النشر اليوم. يسترجع الذكاء الاصطناعي مقتطفات نصية ويحاول تركيب استجابة. ولكن عندما تتعارض المعلومات المسترجعة مع ما تعلمه النموذج أثناء التدريب، أو عندما يناقض محتوى الويب القديم الحقائق الحالية، فإن النموذج غالباً ما يختار المصدر الذي يبدو أكثر "تجدداً". والنتيجة هي ما يسميه المهندسون "الانجراف الدلالي" (Semantic Drift) — إجابات سليمة نحوياً ولكنها خاطئة من حيث الوقائع.

وتتبع إخفاقات الأمان النمط نفسه. فقد كان لدى روفوس تعليمات على مستوى النظام تنص على "عدم تقديم معلومات ضارة". ولكن عندما سحبت طبقة الاسترجاع محتوى ويب يحتوي على تعليمات خطيرة، تعامل النموذج مع ذلك المحتوى المسترجع على أنه أكثر موثوقية من قواعد الأمان الخاصة به. هذه هي مشكلة "التجاوز السياقي" (Contextual Bypass). فالأمان عبر المطالبات يشبه وضع لافتة "يرجى عدم الدخول" على باب غير مقفل.

كما قامت أمازون بتحسين روفوس من أجل السرعة باستخدام تقنية تسمى فك التشفير المتوازي (Parallel Decoding)، حيث يتنبأ النظام بعدة كلمات في وقت واحد بدلاً من توليدها كلمة تلو الأخرى. وقد ضاعف هذا سرعة الاستدلال لحركة المرور في يوم برايم (Prime Day). ولكن عندما تضبط النظام بشدة لتحقيق السرعة، فإنك تضحي بالدقة؛ إذ أعطى النظام الأولوية لأن يبدو مقنعاً على حساب أن يكون صحيحاً. وتبلغ الموثوقية القياسية لهذه النماذج أحادية الوكيل حوالي 72% — ما يعني أن إجابة واحدة تقريباً من كل أربع إجابات قد تكون خاطئة أو غير مكتملة.

ما ينجح (وما لا ينجح)

أولاً، ثلاثة أساليب تفشل باستمرار في بيئات الإنتاج الفعلية:

«المطالبات الأفضل ستصلح الأمر». إن إضافة المزيد من التعليمات إلى مطالبة النظام لا يخلق أماناً بنيوياً. وكما أثبت روفوس، يمكن لمحتوى الويب المسترجع أن يتجاوز القواعد القائمة على المطالبات دون الحاجة إلى أي كسر حماية.

«سنقوم فقط بتصفية المخرجات». تلتقط المرشحات القائمة على الكلمات المفتاحية الانتهاكات الواضحة، لكنها تفوت الأخطار المعاد صياغتها أو السياقية. والتصفية بعد التوليد هي إجراء انفعالي — فالمحتوى الخطير موجود بالفعل في مسار المعالجة لديك.

«نموذجنا أحدث، لذا فهو أكثر دقة». ليس النموذج الأساسي — سواء كان GPT-4 أو Gemini أو Claude — هو نقطة الفشل الرئيسية لديك، بل المعمارية المحيطة بالنموذج. فالمحرك الأفضل في سيارة بلا مكابح يظل سيارة بلا مكابح.

إليك ما ينجح فعلياً — معمارية ثلاثية الخطوات تعامل النموذج اللغوي بوصفه مكوناً واحداً ضمن نظام تحقق أكبر:

1. مدخلات مهيكلة من خلال رسم بياني للمعرفة. بدلاً من ترك الذكاء الاصطناعي يبحث بحرية عبر مستندات الويب، يمكنك تخزين بيانات المنتجات والسياسات والحقائق الموثقة في رسم بياني للمعرفة (Knowledge Graph) — وهو قاعدة بيانات منظمة للعلاقات المؤكدة. ولا يمكن للذكاء الاصطناعي تقديم ادعاءات إلا إذا تمكن من تتبعها عبر هذا الرسم البياني. وإذا لم يحتوي الرسم البياني على صلة بين منتج وميزة ما، فلن يتمكن الذكاء الاصطناعي من اختلاق واحدة. يُطلق على هذا اسم GraphRAG المعزز بالاستشهادات (Citation-Enforced GraphRAG)، وهو يمنع مشكلة الهلوسة مباشرة.

2. معالجة متعددة الوكلاء بأدوار متخصصة. بدلاً من محاولة ذكاء اصطناعي واحد التعامل مع كل شيء، تقوم بنشر فريق من الوكلاء المتخصصين. يقوم وكيل التخطيط (Planning Agent) بتفكيك ما يريده العميل. ويسحب وكيل الاسترجاع (Retrieval Agent) البيانات الصحيحة. وينفذ وكيل الأدوات (Tool Agent) المعاملات الفعلية — مثل التحقق من حالة الطلب أو بدء عملية إرجاع — من خلال استدعاءات واجهة برمجة تطبيقات (API) موثقة تتبع قواعد سلامة قواعد البيانات. ويدقق وكيل الامتثال (Compliance Agent) المخرجات النهائية وفقاً لإرشادات الأمان والعلامة التجارية لديك. ويرفع هذا النهج موثوقية الإنتاج من حوالي 72% إلى ما يقرب من 88%.

3. تحقق حتمي من المخرجات. قبل أن تصل أي استجابة إلى عميلك، تؤكد طبقة تحقق منفصلة — مبنية على القواعد وليس الاحتمالات — أن الإجابة مستندة إلى حقائق واقعية وآمنة وكاملة. وإذا اكتشف التعرف على النوايا استفساراً يحتمل أن يكون خطيراً، ينهي النظام الجلسة قبل أن تبحث طبقة الاسترجاع حتى. وينقل هذا الأمان من التصفية الانفعالية إلى التعيين الاستباقي للنوايا.

الميزة الحاسمة لفرق الامتثال والمخاطر لديك هي: تولد هذه المعمارية مسار تدقيق كاملاً. إذ يُسجل كل قرار يتخذه الوكيل، وكل استرجاع للبيانات، وكل فحص تحقق. ويمكنك تتبع سبب (why) تقديم الذكاء الاصطناعي لإجابة محددة بدقة. ولم يعد ذلك اختيارياً بعد الآن — بل هو متطلب بموجب الأطر الناشئة مثل قانون الذكاء الاصطناعي للاتحاد الأوروبي وإطار إدارة مخاطر الذكاء الاصطناعي الصادر عن NIST.

يقبل هذا النهج مقايضة؛ إذ ينتقل زمن الاستجابة من حوالي 300 مللي ثانية إلى 500–800 مللي ثانية. أنت تضحي بالسرعة التي تقل عن ثانية لصالح التحقق متعدد الطبقات. وبالنسبة لبيئات التجزئة عالية المخاطر والبيئات الخاضعة للتنظيم، تحمي تلك المقايضة إيراداتك وعلامتك التجارية ومكانتك القانونية.

كما كشفت دراسة أجرتها كورنيل تك (Cornell Tech) أن روفوس قدّم استجابات أقل جودة عندما استخدم العملاء الإنجليزية الأمريكية الأفريقية، أو إنجليزية شيكانو، أو الإنجليزية الهندية. فالأسئلة مثل "this jacket machine washable?" — مع حذف الفعل الرابط، وهو أمر شائع في العديد من اللهجات — غالباً ما أدت إلى إجابات غير صحيحة أو غير ذات صلة. يجب أن يخدم الذكاء الاصطناعي لديك قاعدة عملائك بأكملها بشكل عادل، وهو ما يتطلب اختبارات وتدقيقاً صريحاً متعدد اللهجات مدمجاً في صلب المعمارية.