الادعاء كان صحيحًا. قتلته على أي حال.
أول رسالة إلكترونية رفضت إرسالها كانت دقيقة تمامًا.
أتذكر الجملة لأنني قرأتها نحو أربعين مرة: «رأيت أنكم قد نمّيتم مؤخرًا أسطول One-Way Truckload لديكم إلى 2,735 شاحنة.» كل كلمة فيها كانت صحيحة. Werner Enterprises فعلًا أبلغت عن ذلك الأسطول، في نموذجها 10-K الخاص، المودع لدى SEC. وأنا جالس أمام العرض التوضيحي الذي كنت أبنيه، قتلت الادعاء على أي حال.
بدا ذلك القرار خاطئًا لنحو يوم. ثم بدا وكأنه جوهر الأمر كله.
كنت قد بدأت هذا المشروع مؤمنًا، مثل معظم من يبنون في مبيعات الذكاء الاصطناعي الآن، بأن العدو هو الهلوسة. النموذج يخترع شيئًا، فيدخل الشيء الكاذب في الرسالة، فيلاحظه العميل المحتمل، فتموت مصداقيتك. امسك التلفيقات وتنتصر. هذا الإطار نظيف، ويعرض جيدًا في العروض التوضيحية، وأظن الآن أنه مسؤول بهدوء عن الكثير من نطاقات الإرسال المحترقة. جملة Werner لم يكن فيها أي تلفيق. ومع ذلك كانت ادعاءً لن أسمح له بمغادرة المبنى أبدًا.
هذه مقالة عمّا غيّر رأيي، مروية كما حدث فعلًا، أي ببطء ومع أسبوع محرج في الوسط. إن أردت أن ترى ما انتهيت إلى بنائه، فهو يعيش هنا: veriprajna.com/ar/demos/ai-sales-intelligence. لكن المنتَج هو الجزء الممل. الجزء المثير هو لماذا الجملة الصحيحة ليست جملة آمنة، ولماذا توقفت عن الوثوق بالنموذج ليميّز الفرق.
الأسبوع الذي حاولت فيه جعل النموذج يصحّح واجبه بنفسه
قضيت نحو أسبوع أحاول جعل نموذج اللغة يلتقط استشهاداته المتقادمة بنفسه، وأريد أن أكون صادقًا: لم ينجح ذلك.
كان الإعداد معقولًا على الورق. وكيل باحث يسحب الحقائق. وكيل كاتب يصوغ الرسالة، مقيَّدًا بتلك الحقائق فقط. ثم وكيل مدقّق حقائق يقرأ المسودة مقابل المصادر ويُعلِّم أي شيء لا يصمد. ثلاثة وكلاء، خط أنابيب مرتّب، من نوع المعمارية التي تنال إيماءة موافقة في مراجعة تصميم. كنت أتوقع حقًا أن يكون مدقّق الحقائق الجزء السهل.
كان هو الجزء الذي انكسر. ليس بصخب. تلك كانت المشكلة. كان مدقّق الحقائق يقرأ مسودة Werner، يرى جملة عن 2,735 شاحنة، يجد مصدرًا يقول 2,735 شاحنة، ويوافق بثقة. وهذا صحيح، إن كان السؤال الوحيد هو «هل يدعم مصدر هذا الرقم.» لم يكن لدى النموذج حسٌّ دائم بأن المصدر أكبر من عامين وأن الجملة قالت «مؤخرًا.» عندما دفعته للتفكير في التواريخ، كان يلتقط التقادم أحيانًا ويمرّره أحيانًا، ولم أستطع التنبؤ بأيّهما. المدقّق الذي لا تستطيع التنبؤ به ليس مدقّقًا. إنه رأي ثانٍ.
اللحظة التي رسخت فعلًا كانت مساءً متأخرًا عندما مرّرت المسودة نفسها عبر مدقّق الحقائق ثلاث مرات وحصلت على موافقتين ورفضًا واحدًا، دون أي تغيير في المدخلات. حدّقت في ذلك برهة. كنت أطلب من نظام احتمالي أن يكون البوابة الحتمية على نظام احتمالي آخر.
كنت أطلب من نموذج لغة كبير أن يكون الحَكم الموثوق لنموذج لغة كبير، وأسمّي النتيجة «تحققًا.»
ذلك ليس تحققًا. ذلك نموذجان يتفقان، وهو شيء مختلف وأضعف بكثير. إن كان السبب كله لحاجتك إلى مدقّق هو أن مُخرج النموذج لا يُوثَق به كما هو، فإن مُخرج نموذج ثانٍ لا يمكن أن يكون ما تثق به للتحقق منه. كنت قد بنيت قاعة مرايا وألصقت عليها ملصق امتثال.
أيهما أسوأ، حقيقة مختلقة أم حقيقة صحيحة؟
أكثر ما فاجأني أثناء البناء هو إدراك أن التلفيقات لم تكن يومًا الإخفاقات المخيفة. الادعاءات الصحيحة لكن المُساء استخدامها كانت هي.
فكّر فيما يحدث فعلًا عندما يهلوس مندوب مبيعات بالذكاء الاصطناعي بتفاصيل شركة. غالبًا ما يكون هراءً، واضح الانحراف، من النوع الذي يقرأه العميل المحتمل ويحذفه. محرج، نعم. لكن الادعاء الذي يورطك حقًا هو الادعاء القابل للتحقق والصحيح والخاطئ مع ذلك في السياق. يمرّ بسلاسة من كل فلتر «هل هذا مختلق» تحديدًا لأنه ليس مختلقًا. القواعد النحوية مثالية. الرقم حقيقي. وهو كذبة عن زمن المضارع.
بدأت أسمّي هذا إساءة الاستخدام السياقية، وما إن صار له اسم حتى رأيته في كل مكان في العرض التوضيحي الذي كنت أجمّعه. له أكثر من شكل، لكن كل نسخة تشترك في الخاصية التي تجعله خطرًا: كلٌّ منها بيان صحيح.
الشكل الذي علّمني أكثر من غيره هو المصدر المتقادم، وWerner هو المكان الذي رأيته فيه بوضوح لأول مرة. «نمّيت مؤخرًا إلى 2,735 شاحنة» يستشهد بنموذج 10-K حقيقي، لكن ذلك الإيداع نزل في 2024-02-26، ومقابل تاريخ العمل في العرض التوضيحي عمره أكثر من عامين بكثير. الرقم لم يتوقف عن كونه صحيحًا. كلمة «مؤخرًا» توقفت عن كونها صحيحة. هاتان ليستا الحقيقة نفسها، وفحص مطابقة المصدر يعاملهما وكأنهما متطابقتان.
بنيت الشكل نفسه مرة ثانية بعميل محتمل اصطناعي، شركة لوجستيات متوسطة السوق اسمها Northwind، حتى أستطيع إظهار النمط دون التظاهر بأن شركة حقيقية قالت شيئًا لم تقله. زعمت المسودة أن Northwind قد «توسّعت مؤخرًا في منطقة APAC.» هناك مصدر يبدو حقيقيًا لذلك. المصدر مؤرخ في مارس 2019، وهو في العرض التوضيحي يعادل تقريبًا 2,652 يومًا من العمر، أي أكثر من سبع سنوات. تداخل التأسيس بين الادعاء والمصدر نظيف بنسبة 100%. الكيان يتطابق. ومع ذلك فهي من نوع الجملة التي تجعل العميل المحتمل يظن أنك لم تنظر إليه منذ آخر كأس عالم.
حقيقة صحيحة على مصدر متقادم ما زالت كذبة عن الحاضر. التاريخ جزء من الادعاء، سواء اعترفت الجملة بذلك أم لا.
الشكل الآخر هو تصادم الأسماء المتطابقة، وأبقيته حالة اصطناعية أيضًا. «Northwind Logistics جمعت للتو 40 مليون دولار في الجولة B» له مصدر حقيقي خلفه. المصدر عن Northwind Inc.، شركة ناشئة للأمن السيبراني في أوستن، شركة مختلفة تمامًا تصادف أنها تشترك في الاسم. كل كلمة دقيقة بخصوص أيّ Northwind. ولا شيء منها دقيق بخصوص هذه الشركة.
لاحظ ما تشترك فيه الأمثلة الثلاثة كلها. ليس واحدًا منها هلوسة. لو بنيت قصة السلامة كلها حول التقاط التلفيقات، لشحنت الثلاثة جميعها. هذا نمط الإخفاق وراء انهيارات مندوبي المبيعات بالذكاء الاصطناعي التي يستشهد بها الجميع ولا يشرحها أحد تمامًا. الأدوات أحادية التمرير تهلوس شريحة قابلة للقياس من الادعاءات الخاصة بالعملاء المحتملين، في مكان ما بين 12 و18 بالمئة بحسب أحد حسابات الصناعة (AI SDR Industry Report, 2026)، لكن التلفيقات هي الإخفاقات التي يمكنك على الأقل تخيّل التقاطها. الادعاءات الصحيحة لكن المتقادمة، والصحيحة لكن ذات الكيان الخاطئ، هي التي تبدو نجاحًا حتى اللحظة التي تكلّفك فيها.
ما جعلني أتوقف عن الوثوق بالنموذج وأبدأ بالوثوق بطرح تاريخ من تاريخ
الشيء الذي نجح أخيرًا كان بسيطًا إلى حد الإهانة تقريبًا، وقاومته أطول مما كان ينبغي.
إذا كانت مشكلة ادعاء Werner أن «مؤخرًا» تشير إلى مصدر أقدم من نافذة حداثة معقولة، فالتحقق ليس مهمة استدلال. إنه حساب. خذ تاريخ المصدر، خذ تاريخ العمل، اطرح. إذا استخدم الادعاء لغة حداثة وكانت الفجوة أكبر من 365 يومًا، فالادعاء متقادم ولا يُرسَل. عمر المصدر 2652 يومًا أكبر من 365 يومًا على ادعاء حداثة، إذن فشل. لا يوجد موجّه، ولا معامل حرارة، ولا «بصفتي نموذج لغة بالذكاء الاصطناعي.» هناك رقم وعتبة.
ما إن سمحت لنفسي بكتابة ذلك، حتى أرادت بقية الفحوصات أن تكون كودًا أيضًا. هل الادعاء مستلزم فعلًا من مقتطف مصدر، مقاسًا كتداخل رموز مقابل كلمات المحتوى، مع استبعاد اسم الشركة نفسه حتى لا تحصل جملة على درجة عالية فقط بتكرار «Werner، Werner، Werner»؟ كود. هل المصدر عن هذا الكيان وليس عن آخر بنفس الاسم؟ كود. نموذج اللغة ما زال المؤلف، وهو مؤلف جيد بحق. إنه فقط ليس القاضي.
انتهيت إلى صياغة المبدأ بطريقتين أقولهما الآن باستمرار. الأولى هي «الوكلاء ينصحون، والكود يقرر.» والأخرى هي «ليس نموذج لغة يحكم على نموذج لغة.» الشبكة العصبية تتولى ما تجيده الشبكات العصبية، وهو كتابة مسودة طليقة وبشرية. ومدقّق حتمي مكتوب بـPython الخالص يتولى ما يجيده الكود، وهو تطبيق القاعدة نفسها بالطريقة نفسها في كل مرة. تأليف عصبي، تحقق رمزي. كلمة الصناعة لهذا الاقتران هي العصبي-الرمزي، رغم أنني أهتم بالخاصية التي يشتريها أكثر من اهتمامي بالتسمية.
النماذج الأفضل تكتب جملًا أفضل. وهي لا تجعل إيداعًا عمره عامان حديثًا. ذلك ليس فجوة قدرة. إنه خطأ تصنيف.
والخاصية التي يشتريها هي قابلية إعادة الإنتاج. عندما أشغّل المدقّق على المدخلات نفسها، أحصل على الحكم نفسه، في كل مرة. يبدو ذلك تفصيلة هندسية صغيرة. إنه في الواقع جوهر اللعبة كلها، لأن قابلية إعادة الإنتاج هي ما يجعل القرار قابلًا للتصديق. يمكنني أن أسلّمك الأثر. عمر المصدر 2652 يومًا، أكبر من 365، ادعاء حداثة موجود، الحكم متقادم، الادعاء مُزال. يمكنك إعادة تشغيله والحصول على النتيجة المطابقة. حكم نموذج لغة، حتى الجيد منه، لا يستطيع أن يعدك بذلك. عشت مساء التشغيلات الثلاث والحكمين. لن أبني قصة امتثال فوق ذلك.
أليس هذا مجرد مشكلة هلوسة متنكّرة؟
يُطرح عليّ شكل من أشكال هذا السؤال في كل محادثة تقريبًا، عادة من شخص تقني، وقد قصُر جوابي مع الوقت. لا. وسبب أنه ليس كذلك هو السبب الذي يجعلني أظن أن هذا العمل يعيش أطول من جيل النماذج الحالي.
إطار الهلوسة يفترض بهدوء أن الإصلاح هو نموذج أفضل. سياق أكبر، تدريب أنظف، معدل تلفيق أدنى، وفي النهاية تتقلص المشكلة إلى لا شيء. ربما يصح ذلك للتلفيق الصرف. وهو لا يفعل شيئًا للإخفاقات التي أهتم بها فعلًا. نموذج مثالي، لا يخترع حقيقة واحدة أبدًا، سيكتب بمرح «مؤخرًا» فوق إيداع من 2024، لأن من داخل المسودة تلك الجملة صحيحة وطليقة وهي بالضبط ما طلبته. النموذج لا التزام عليه تجاه التقويم. الفجوة بين «نمّيت إلى 2,735 شاحنة» و«نمّيت مؤخرًا إلى 2,735 شاحنة» ليست فجوة يغلقها التوسّع في الحجم.
هنا يواصل السوق تعليم الدرس بالطريقة الصعبة. فئة مندوبي المبيعات بالذكاء الاصطناعي حسّنت بقوة الحجم والتخصيص القائم على الإشارات، وتجاوزت في الغالب الخطوة التي تعيد فيها التحقق من الادعاء الناتج مقابل مصدر حالي وصحيح الكيان. الاقتصاد لم يكن رحيمًا. معدل تخلّي المؤسسات عن مندوبي المبيعات بالذكاء الاصطناعي يعمل في مكان ما حول 50 إلى 70 بالمئة سنويًا (UserGems, 2026). الحكاية التحذيرية الأكثر استشهادًا، 11x.ai، جمعت 74 مليون دولار ثم تفككت في 2025 بمعدل تخلٍّ مُبلَّغ عنه في نطاق 70 إلى 80 بالمئة (TechCrunch). لا تنشر تلك الأرقام لأن نموذجك هلوس أحيانًا. تنشرها لأن المُخرج بدا مخصصًا ولم يكن موثوقًا، والمشترون يشعرون في النهاية بالفرق حتى حين لا يستطيعون تسميته.
لذا فإن الأطروحة التي أعود إليها باستمرار صريحة. التخصيص ليس تحققًا. مندوب مبيعاتك بالذكاء الاصطناعي لا يعاني أساسًا من مشكلة هلوسة. لديه مشكلة تحقق، ونموذج أساس أفضل لن يصلحها، لأن التحقق وإثبات المنشأ ليسا قدرات نموذج. إنهما خاصيتان للنظام الذي تلفّه حول النموذج.
التخصيص ليس تحققًا. التحقق وإثبات المنشأ ليسا قدرات نموذج. إنهما خاصيتان للنظام الذي تبنيه حول النموذج.
ما الذي يُسمح لـ«100%» أن تعنيه فعلًا
أريد أن أكون حذرًا هنا، لأن هذا تمامًا المكان الذي يُغري فيه المؤسس بالمبالغة في الادعاء، والشركة التي أبنيها مسماة على الغريزة المضادة.
هناك رقمان في العرض التوضيحي وهما ليسا الرقم نفسه. الأول هو Veracity Score، وهو ببساطة الادعاءات المدعومة مقسومة على إجمالي الادعاءات الوقائعية في المسودة. يجيب عن «كم مما كتبه الذكاء الاصطناعي تبين أنه صحيح،» وفي مسودة حقيقية غالبًا ما يكون بعيدًا عن 100، وهذا هو الشيء الصادق والمفيد فيه. رسالة Werner تفقد ادعاءها الرئيسي. رسالة Northwind تفقد اثنين. ذلك هو النظام وهو يعمل، لا وهو يفشل.
الرقم الثاني هو سلامة الإرسال، وهي 100% بحكم البناء كلما بقي أي شيء أصلًا، لأن بوابة السياسة تزيل كل ادعاء غير مدعوم قبل أن يُسمح بإرسال الرسالة. الضمان ليس «الذكاء الاصطناعي كان دائمًا على حق.» الضمان هو «الرسالة التي تخرج تحتوي فقط على ادعاءات مدعومة بمصادر.» هذان وعدان مختلفان جدًا، وقد رأيت أناسًا يخلطون بينهما في وعد أكبر بكثير وأكثر كذبًا بكثير.
وهناك أيضًا معيار مرجعي، وهذه الجملة التي أرفض اختصارها: على مجموعة ذهبية ثابتة وموسومة يدويًا من 25 حالة، يحصل المدقّق الحتمي على 25 من 25 حكمًا صحيحًا. تلك 100% على ذلك المعيار المرجعي الموسوم. ليست ادعاءً عن العالم المفتوح، وليست وعدًا بخصوص صندوق واردك، وليست على الإطلاق «صفر هلوسة،» وهي عبارة أظن أنه لا ينبغي لأحد صادق أن يقولها. النموذج ما زال يصوغ. والمسودات ما زالت تحتوي ادعاءات غير مثبتة. النقطة أن غير المثبتة تُلتقط وتُزال، والالتقاط حتمي بما يكفي للتصديق. أي شخص يبيعك ضمان صفر هلوسة يبيعك الشيء الذي قضيت أسبوعًا أفشل في بنائه.
سأقول أيضًا بصراحة، لأن الموجز الذي أُلزم نفسي به يقتضي ذلك، أن موصلات العرض التوضيحي محاكاة. سحب EDGAR، واسترجاع الأخبار، والكتابة إلى CRM، والإرسال الفعلي، كلها وهمية. ما هو حقيقي هو الآلية: الفحوصات، والبوابة، ومسار التدقيق، ومقتطفات Werner من 10-K، وهي سجل عام أصيل. أعرض عليك كيف يقرر المحرك، لا خط أنابيب إنتاج فيه بياناتك. إن أردت أن تراقبه وهو يقرر، فهو هنا مرة أخرى: veriprajna.com/ar/demos/ai-sales-intelligence.
السؤال الذي بقيتُ معه
وجدت أن آخر ما غيّره هذا البناء فيّ كان أصغر من الأطروحة، وهو ما ثبت أطول من غيره.
هناك عميل محتمل ثالث في العرض التوضيحي، وسيط-تاجر اصطناعي خاضع لتنظيم FINRA، وتخرج مسودته نظيفة تمامًا. كل ادعاء مدعوم، لا شيء مُزال، Veracity Score مثالي. وبوابة السياسة ما زالت توجّهه إلى إنسان، لأنه منظَّم وعلى مستوى الإدارة العليا وصفقة كبيرة، والقاعدة تقول إن إنسانًا ينظر إلى تلك الحالات بغض النظر عن نظافة المسودة. في المرة الأولى التي رأيت فيها رسالة بلا عيب تُحتجز للمراجعة، كان حدسي أن النظام قد أخطأ. لم يفعل. كنت قد افترضت فحسب، دون أن ألاحظ، أن الصواب والسلامة خاصية واحدة.
هما ليستا كذلك. يمكن أن يكون الادعاء صحيحًا وغير آمن. ويمكن أن تكون المسودة نظيفة وما زالت تحتاج شخصًا. تبيّن أن المهمة كلها هي فصل تلك الأفكار والبناء لأجلهما معًا، بدلًا من طيهما في رقم واحد يصنع عنوانًا جيدًا.
لذا فإن السؤال الذي أتركك معه هو السؤال الذي أطرحه الآن قبل أن يغادر أي شيء كتبه الذكاء الاصطناعي يدي. ليس «هل هذا صحيح،» وهو ما أستطيع عادة الإجابة عنه وعادة لا يكفي. الأصعب: هل أستطيع أن أثبت، الآن، أي مصدر حالي يدعم هذا الادعاء بالضبط، وهل سيصمد ذلك الإثبات أمام من أراد له أن يفشل؟
إن كان الجواب لا، فلا يهم مدى تحسّن النموذج. الجملة ليست جاهزة للإرسال.
