التجذير والاستشهاد والتحقق
أنظمة تحقق تضمن إسناد كل ادعاء يخرجه الذكاء الاصطناعي إلى مصدر حقيقي، مع خطوط أنابيب للاستشهاد، وفحص الاستلزام المنطقي (NLI)، وتقييم الدقة الواقعية.
ذكاؤك الاصطناعي يستشهد بالمصادر، لكنه لا يتحقق منها.
أخطر مخرجات الذكاء الاصطناعي هي تلك التي تبدو وكأنها مسندة بمصادر. حيث يعيد نظام التوليد المعزز بالاسترجاع فقرة، وينشئ النموذج إجابة، ويظهر استشهاد بجوارها، فيفترض المستخدم أن الاستشهاد يدعم الادعاء. وفي 57% من الحالات، لا يدعمه.
كشفت دراسة أجريت عام 2025 أن أكثر من نصف الاستشهادات الناتجة عن التوليد المعزز بالاسترجاع (RAG) تُظهر تبريراً لاحقاً: يقرر النموذج إجابته أولاً، ثم يمسح المستندات المسترجعة بحثاً عن تطابقات سطحية في الرموز النصية لاختلاق مرجع. الاستشهاد حقيقي، والمستند موجود بالفعل، والفقرة مأخوذة من ذلك المستند، لكن الفقرة لا تدعم الادعاء في حقيقة الأمر.
ليست هذه مشكلة استرجاع؛ فخط أنابيب الاسترجاع لديك قد يعيد المستندات الصحيحة ومع ذلك تظل استشهاداتك خاطئة. يكمن نهجنا في بناء طبقة التحقق التي تفصل بين توليد الذكاء الاصطناعي ومستخدميك — لا استرجاع أفضل ولا مطالبات أفضل، بل تحقق مستقل مصمم لضمان أن كل ادعاء في المخرجات مدعوم بالفعل بالمصدر الذي يشير إليه — وهي البنية التي بيّناها في ورقتنا البيضاء حول بناء الحقيقة إلى ما وراء غلاف نموذج اللغة الكبير.
لماذا لا يُعدّ الاسترجاع مع التوجيه تحققاً
تتعامل معظم الفِرق مع التجذير باعتباره مشكلة استرجاع: تقسيمات نصوص أفضل، وأداة إعادة ترتيب، وعبارة "أجب فقط من السياق المقدَّم" في موجه النظام. وهذا يتجاهل الخلل الجوهري؛ فالنموذج لا يعصي التعليمات — بل يمتثل بشكل غير مخلص، حيث يعثر على رموز نصية تتطابق سطحياً في السياق ويرفق استشهاداً بها. لكن الفقرة لا تستلزم الادعاء منطقياً.
التحقق نظام مستقل ذو هدف منفصل؛ فمكوّن التوليد ينتج ادعاءات مرشحة مع حواشي المصادر ويستهدف الطلاقة اللغوية، بينما يقيّم مكوّن التحقق بشكل مستقل ما إذا كان كل مصدر مستشهد به يدعم بالفعل الادعاء المرفق بحاشية، مستهدفاً تحقيق الاستلزام المنطقي (entailment): هل يدعم هذا المصدر هذا الادعاء المحدد منطقياً؟ وعندما يعمل هذان النظامان كنظامين فرعيين مستقلين — وهو نمط النظام المزدوج المفصل في أبحاثنا حول التحقق العصبي الرمزي — يجب أن تخدع الهلوسة كلا النظامين حتى تصل إلى المستخدم.
نحن ننفذ هذه البنية ثنائية النظام باستخدام نماذج الاستدلال اللغوي الطبيعي (NLI) المضبوطة دقيقاً لكشف الاستلزام المنطقي، مقترنةً بتفكيك الحقائق الذرية. وقد أظهر نهج SAFE من Google DeepMind أن تفكيك الاستجابات إلى حقائق ذرية فردية قبل التحقق يتفوق بشكل هائل على الفحص على مستوى الجملة: حيث يتفق SAFE مع المراجعين البشريين بنسبة 72% من الوقت، وفي حالات الاختلاف، يكون التحقق الآلي صحيحاً بنسبة 76% من الوقت وبتكلفة أقل بمقدار 20 ضعفاً. ونحن نكيّف هذا مع مجالك التخصصي، لأن تعريف "الحقيقة الذرية" في مذكرة قانونية يختلف عن تعريفها في ملخص سريري أو إفصاح مالي.
ما تفعله واجهات برمجة تطبيقات التجذير من الشركات المزودة في الواقع (وما تعجز عنه)
أطلقت جميع شركات السحابة الكبرى ميزات تجذير خلال الأشهر الثمانية عشر الماضية، ولكن لا توجد واحدة منها تحل المشكلة بأكملها.
| عرض المزود | ما يقدمه | النتيجة المثبتة | حدود إمكانياته |
|---|---|---|---|
| واجهة Citations API من Anthropic | تقسّم المستندات المصدرية إلى جمل وتستشهد بالادعاءات تلقائياً في مخرجات Claude. | أفادت شركة Endex بانخفاض هلوسات المصادر من 10% إلى 0% وزيادة المراجع لكل إجابة بنسبة 20% بعد التكامل — وهو أقوى عرض تجاري للاستشهاد من مستند فردي في مهام الأسئلة والأجوبة المباشرة. | لا تتعامل مع التركيب متعدد المصادر، أو التحقق الزمني، أو فحص الدقة الرقمية. |
| تجذير Google Vertex AI | يوفر وضع الدقة العالية باستخدام نموذج Gemini مضبوط دقيقاً لإجابات تلتزم بالسياق مع إرفاق المصادر على مستوى الجملة. | قوي في التطبيقات المجذرة على الويب. | محدود بالنسبة لمجموعات المستندات الداخلية للمؤسسات. |
| كشف التجذير من Azure AI | يوفر تسجيلاً ثنائياً (مجذر/غير مجذر) في الوضع السريع، أو تفسيرات مفصلة في وضع التفكير المنطقي مع التصحيح التلقائي. | مفيد كمرشح لما بعد مرحلة التوليد. | لا يتحقق من دقة الاستشهاد على مستوى الفقرة. |
| التجذير السياقي من Amazon Bedrock | يولد درجات ثقة مع عتبات قابلة للتهيئة. | يدعي كشف أكثر من 75% من الهلوسات في مهام الاستخراج. | غير مصمم للتحقق على مستوى الاستشهاد. |
تكمن الفجوة المشتركة بين هذه الحلول الأربعة في: أنها تكتشف متى ينحرف النموذج عن السياق المقدم، لكنها لا تتحقق من أن الاستشهاد المحدد المرفق بادعاء معين مدعوم بالفعل بالاستلزام المنطقي. وتلك الطبقة من التحقق هي ما نصممه ونبنيه.
ثلاث بنيات للتحقق، متوافقة مع ملف المخاطر الخاص بك
التحقق من الاستلزام المنطقي القائم على NLI
للفِرق التي تحتاج إلى تحقق لكل ادعاء على حدة دون تكبد تأخير زمني ناتج عن التفكيك الكامل. يُقرن كل ادعاء مولد بفقرته المستشهد بها ويُقيَّم بواسطة نموذج NLI من حيث الاستلزام، أو التناقض، أو الحياد؛ وتوضع إشارة على الادعاءات المصنفة كـ "تناقض" أو "محايد" أو يتم حجبها. يضيف هذا 50–200 مللي ثانية لكل ادعاء، ويتعامل مع أعباء العمل عالية الإنتاجية، ويلتقط نمط الفشل الأكثر شيوعاً: الاستشهادات التي تشير إلى فقرات ذات صلة بالموضوع ولكنها لا تقدم دعماً فعلياً.
نحن نستخدم مجموعات توافقية معايرة من نماذج NLI (نهج HALT-RAG ) بدلاً من النماذج الفردية، لأن نماذج NLI المنفردة تظهر نقاطاً عمياء خاصة بالمجال تنجح المجموعات التوافقية في معالجتها وتسويتها.
تفكيك الحقائق الذرية مع التحقق المعزز بالبحث
للمجالات الحساسة ذات المخاطر العالية حيث يكون الفحص لكل ادعاء غير كافٍ لأن الجملة الواحدة قد تحتوي على تأكيدات متعددة قابلة للتحقق. نحن نفكك كل استجابة إلى حقائق فردية، وننشئ استعلامات تحقق موجهة لكل منها، وندققها مقابل المصادر المستشهد بها والمراجع الخارجية المعتمدة. هذا هو النهج المستمد من SAFE.
إنه يلتقط الأخطاء التي يغفل عنها فحص NLI على مستوى الجملة: فقد تكون الجملة مدعومة جزئياً (حقيقتان صحيحتان وواحدة مختلقة) وغالباً ما يسجل NLI الجملة بأكملها على أنها مستلزمة منطقياً. وتكلف عملية التفكيك 3–5 أضعاف في الاستدلال لكنها تكتشف أخطاء أكثر بكثير. نحن نستخدم هذا للملفات القانونية، والوثائق السريرية، والإفصاحات المالية، وأي مجال يترتب على وجود رقم خاطئ واحد فيه عواقب جوهرية.
التحقق المستمر مع التدقيق الزمني والعددي
للبيئات الخاضعة للتنظيم حيث تتغير صلاحية المصادر بمرور الوقت. ويوسع هذا نهج التفكيك عبر ثلاثة فحوصات إضافية:
- التحقق الزمني — هل كانت هذه اللائحة سارية المفعول في التاريخ الذي يشير إليه الادعاء؟
- التحقق العددي — هل تتطابق هذه النسبة المئوية مع جدول المصدر بدقة تامة، وليس على نحو تقريبي؟
- فحص الاتساق بين الادعاءات المتقاطعة — هل تتناقض ادعاءات مجذرة متعددة في الاستجابة نفسها مع بعضها البعض؟
نحن نحتفظ بفهارس لحداثة المصادر تتبع تاريخ آخر تحقق من المستندات المستشهد بها، مما يطلق إعادة التحقق عند تحديث المادة المصدرية. هذه هي البنية التحتية للمؤسسات التي يترتب فيها الاستشهاد بلائحة ملغاة أو إحصائية قديمة مخاطر امتثال، كما هو مفصل في أبحاثنا حول إنفاذ الاستشهاد التشريعي في الذكاء الاصطناعي الحكومي.
قياس جودة التجذير (المقاييس ذات الأهمية الفعلية)
يشهد مشهد التقييم تشتتاً كبيراً؛ فمقياس HHEM من Vectara يسجل الاتساق الواقعي لكنه يقيس أمانة التلخيص، وليس دقة الاستشهاد. ويفحص RAGAS التجذير ولكن ليس الإسناد. بينما يقيم معيار ALCE دقة واستدعاء الاستشهاد على مجموعات بيانات أكاديمية لا تعكس أنماط المؤسسات. وقد وجد بحث صادر عن معهد ألين أن دقة الاستشهاد في RAG تبلغ في المتوسط 65–70% دون تدريب على الإسناد.
ويتمثل نهجنا في بناء تقييم يقيس ما يهم حقاً، ويعمل بشكل مستمر مع تنبيهات قائمة على عتبات محددة مسبقاً:
- دقة الاستشهاد — هل تدعم الفقرات المستشهد بها ادعاءاتها؟
- استدعاء الاستشهاد — هل تمت نسبة الادعاءات القابلة للتحقق بالشكل الصحيح؟
- دقة الاستلزام — معدل اجتياز فحص NLI.
- خصوصية المصدر — الإسناد على مستوى الفقرة مقابل الإسناد على مستوى المستند.
متى يكون التحقق الكامل مبالغاً فيه
التحقق الكامل مكلف؛ إذ يضيف التفكيك الذري مع الفحص المعزز بالبحث 2–5 ثوانٍ و $0.01–0.05 لكل استجابة وفقاً لأسعار النماذج الحالية. فبالنسبة لروبوت معرفة داخلي يجيب عن 10,000 استفسار يومياً، يمثل ذلك $100–500 يومياً في تكاليف التحقق وحدها، علاوة على تكاليف التوليد والاسترجاع.
ولا تحتاج كل التطبيقات إلى ذلك؛ فنحن نساعدك في مطابقة عمق التحقق مع المخاطر الفعلية — ويشكل هذا التقييم جزءاً من كل مشروع تعاقدي، وسنخبرك عندما يكون النهج الأبسط كافياً لحالة استخدامك.
| التطبيق | المخاطر في حال الخطأ | التحقق ذو الحجم المناسب |
|---|---|---|
| روبوت الدردشة الداخلي للأسئلة الشائعة | الإجابات الخاطئة مزعجة لكنها غير ضارة | من المرجح أن تكون تحسينات جودة الاسترجاع بالإضافة إلى فحص أساسي للتجذير (مثل Azure أو Bedrock) كافية. |
| أداة البحث القانوني | قد يؤدي الاستشهاد المفبرك إلى فرض عقوبات من المحكمة | التفكيك الكامل مع التحقق من الاستلزام المنطقي هو الحد الأدنى المطلوب. |
| دعم القرار السريري | قد يؤدي تفاعل دوائي مهلوس إلى إلحاق الضرر بالمرضى | تحقق مستمر مع فحص زمني وتصعيد للمراجعة البشرية. |
ما نقدمه
يتم تحديد نطاق مشروع التعاقد لتقديم المخرجات التالية — وهي الفئة نفسها من التحقق المعروضة في عرضنا التوضيحي الحي للذكاء الاصطناعي الحكومي المفروض باستشهادات موثقة:
- بنية تحقق متوافقة مع ملف المخاطر الخاص بك، وميزانية التأخير المسموحة، وأنواع المستندات المصدرية.
- خطوط أنابيب تحقق قائمة على NLI أو قائمة على التفكيك، متكاملة مع بنية الاسترجاع الحالية لديك.
- إطار عمل لتقييم جودة الاستشهاد مزود بمقاييس الدقة والاستدعاء ودقة الاستلزام وخصوصية المصدر.
- مراقبة مستمرة مع تنبيهات تستند إلى عتبات محددة مسبقاً.
- التكامل مع سير عمل الامتثال لمتطلبات مسار التدقيق — القياس عن بُعد لـ FINRA، وشفافية قانون الذكاء الاصطناعي للاتحاد الأوروبي (EU AI Act)، وقابلية التتبع لإدارة الغذاء والدواء (FDA).
- حزمة اختبارية من مجسات الهلوسة المعروفة والمعايرة لمجالك التخصصي.
- نموذج تكلفة التحقق، حتى تتمكن من اتخاذ قرارات مدروسة حول مكان نشر التحقق الكامل مقابل الفحوصات الأخف وزناً.
أهم النقاط المستخلصة
- الاستشهاد الذي يبدو صحيحاً ليس استشهاداً موثقاً — إذ إن 57% من استشهادات RAG لا تدعم ادعاءها فعلياً، ويكون الفشل صامتاً لأن المصدر حقيقي بالفعل.
- التحقق نظام منفصل تماماً عن الاسترجاع: إنه فحص مستقل للاستلزام المنطقي يتعين على الهلوسة خداعه للمرة الثانية.
- تكتشف واجهات برمجة تطبيقات التجذير من الشركات المزودة (Anthropic، وGoogle Vertex، وAzure، وBedrock) الانحراف عن السياق، ولكن لا توجد أي منها يتحقق من دقة الاستشهاد على مستوى الفقرة.
- ثلاث بنيات تتدرج مع مستوى المخاطر — استلزام NLI (بين 50 و200 مللي ثانية لكل ادعاء)، وتفكيك الحقائق الذرية (3–5 أضعاف في الاستدلال)، والتحقق المستمر الزمني والعددي.
- يكلف التحقق الكامل ما بين $0.01 و$0.05 لكل استجابة؛ ونحن نطابق عمق التحقق مع تكلفة وصول هلوسة واحدة غير مكتشفة إلى مستخدميك.
التجذير والاستشهاد والتحقق
مشاهدةالدفاع عن المسؤولية عن منتجات الذكاء الاصطناعي | Veriprajna
تنتقل مسؤولية الذكاء الاصطناعي في المؤسسات من الإهمال إلى المسؤولية المشددة عن المنتجات. تبني Veriprajna بنى ذكاء اصطناعي قابلة للدفاع عنها، وسجلّات تدقيق جاهزة للتقاضي، وحزم تموضع تأميني للفرق القانونية التي تواجه حقبة ما بعد المادة 230.
مشاهدةالتحقّق من الذكاء الاصطناعي والامتثال لمكافحة التضليل بالذكاء الاصطناعي | Veriprajna
أثبتوا ادّعاءات ذكائكم الاصطناعي قبل أن تسألكم الجهات التنظيمية. تبني Veriprajna بنية التحقّق من الذكاء الاصطناعي وأنظمة AIBOM وحزم إثبات الادّعاءات لامتثال هيئة الأوراق المالية (SEC) ولجنة التجارة الفيدرالية (FTC) والمدّعين العامّين للولايات.
مشاهدةاكتتاب مخاطر الفيضانات المدعوم بالذكاء الاصطناعي | Veriprajna
أكثر من ثلثي أضرار الفيضانات في الولايات المتحدة تقع خارج المناطق عالية الخطورة التي تحددها FEMA. إذا كان محرك التسعير لديك لا يزال يرتكز إلى المنطقة AE مقابل المنطقة X، فأنت تُسعّر المخاطر بشكل خاطئ على الجانبين معاً: تُحمّل المنزل المرتفع داخل المنطقة أكثر من اللازم، وتُحمّل المنزل المبني على أساس خرساني مستوٍ خارجها أقل من اللازم.
مشاهدةهندسة دقة وموثوقية الذكاء الاصطناعي للتجارة الإلكترونية | Veriprajna
المتسوّقون الذين يتفاعلون مع الذكاء الاصطناعي يُحقّقون معدّل تحويل أعلى بأربعة أضعاف مقارنة بمن لا يتفاعلون. لكن مواصفة منتج واحدة مُختلَقة، أو سياسة إرجاع واحدة مُلفّقة، أو توصية غير آمنة واحدة تُنشَر على وسائل التواصل الاجتماعي، تُكلّف أكثر مما يوفّره المشروع بأكمله. نحن نبني طبقات التحقّق والتأريض والامتثال التي تجعل الذكاء الاصطناعي للتجارة الإلكترونية موثوقًا فعلًا.
مشاهدةالتحقق من صحة الذكاء الاصطناعي للمؤسسات في القطاعات الخاضعة للتنظيم | Veriprajna
استبدلت Klarna 700 موظف خدمة عملاء بالذكاء الاصطناعي. انخفضت التكاليف بنسبة 40%. ثم انهار رضا العملاء، وارتفعت معدلات تكرار التواصل بشكل حاد، وانتهى الربع الأول من عام 2025 بخسارة صافية قدرها 99 مليون دولار.
مشاهدةذكاء اصطناعي حكومي يستند إلى القانون، لا يخترعه | Veriprajna
أخبر روبوت الدردشة MyCity في مدينة نيويورك أصحاب العقارات بأن بإمكانهم رفض قسائم القسم الثامن (Section 8). وأخبر الشركات بأن بإمكانها تجاهل حظر المتاجر التي لا تقبل النقد. وأخبر أصحاب العمل بأن بإمكانهم أخذ إكراميات العمال.
مشاهدةتحديث COBOL القديم بذكاء الرسم البياني المعرفي | Veriprajna
تفشل 70-80% من مشاريع تحديث الحواسيب المركزية. ليس لأن التقنية خاطئة، بل لأن الأدوات تعامل الشيفرة كنص بدلاً من كونها طوبولوجيا. نحن نبني خريطة قاعدة الشيفرة الخاصة بك قبل المساس بسطر واحد، حتى تنجح عملية الترحيل لديك حيث استنزف الآخرون الملايين ولم يقدموا شيئاً.
مشاهدةسلامة نشر تحديثات البرامج ومرونة تقنية المعلومات | Veriprajna
في 19 يوليو 2024، تسبّب ملف إعدادات واحد في تعطّل 8.5 مليون جهاز يعمل بنظام Windows في أقل من 90 دقيقة. لم تكن برمجية خبيثة.
الأسئلة المتكرّرة
كم تبلغ تكلفة تنفيذ التحقق من استشهادات الذكاء الاصطناعي؟
تتدرج تكاليف التحقق حسب عمقه؛ حيث يضيف فحص الاستلزام القائم على NLI ما بين 50 إلى 200 مللي ثانية وأجزاء من السنت لكل ادعاء. بينما يضيف تفكيك الحقائق الذرية مع التحقق المعزز بالبحث ما بين ثانيتين إلى 5 ثوانٍ و0.01 إلى 0.05 دولار لكل استجابة. وبالنسبة لنظام يتعامل مع 10,000 استفسار يومياً، تتراوح تكلفة التفكيك الكامل بين 100 إلى 500 دولار يومياً في تكاليف التحقق وحدها علاوة على التوليد والاسترجاع. تعتمد تكلفة البناء على بنيتك التحتية الحالية: فالفِرق التي تمتلك بنية RAG ناضجة تحتاج إلى عمل تكاملي وإعداد إطار التقييم. أما الفِرق التي تبدأ من الصفر فتحتاج إلى بناء الاسترجاع والتوليد والتحقق معاً. نحدد نطاق كل مشروع تعاقدي بتقديرات تكلفة صريحة لكل استعلام لتكون نفقات التحقق قابلة للتنبؤ، ونساعدك في مطابقة عمق التحقق مع المخاطر الفعلية بدلاً من تطبيق النهج الأكثر كلفة في كل مكان.
لماذا تفشل استشهادات الذكاء الاصطناعي حتى عندما يسترجع نظام الاسترجاع المستندات الصحيحة؟
لأن الاسترجاع والتحقق مشكلتان مختلفتان؛ فالاسترجاع يجد فقرات ذات صلة بالموضوع، بينما يتطلب الاستشهاد أن تستلزم الفقرة المحددة منطقياً الادعاء المحدد المطروح. وقد كشفت دراسة عام 2025 أن 57% من الاستشهادات الناتجة عن RAG تظهر تبريراً لاحقاً: يقرر النموذج إجابته أولاً، ثم يجد تطابقات سطحية في الرموز النصية داخل المستندات المسترجعة لإنشاء استشهاد. الفقرة حقيقية، والاستشهاد يبدو صحيحاً، لكن الفقرة لا تدعم الادعاء في الواقع. ويحدث هذا الفشل بصمت لأن تنسيق الاستشهاد صحيح، والمصدر موجود، والنص مأخوذ من ذلك المصدر. ولا يكشف نمط الفشل هذا سوى التحقق من الاستلزام المنطقي، الذي يفحص ما إذا كان المصدر يدعم الادعاء منطقياً.
ما الفرق بين التجذير والإسناد والأمانة؟
غالباً ما يتم الخلط بين هذه المصطلحات، لكنها تقيس أموراً مختلفة. فالتجذير (Grounding) يسأل عما إذا كانت مخرجات النموذج مبنية على السياق المقدم بدلاً من المعرفة البارامترية المخزنة لديه. والأمانة (Faithfulness) تسأل عما إذا كانت المخرجات تمثل محتوى مصادرها بدقة ودون تشويه. والإسناد (Attribution) يسأل عما إذا كان كل ادعاء قابلاً للتتبع إلى مصدر محدد يمكن الاستشهاد به. يمكن أن تكون الاستجابة مجذرة (مبنية على المستندات المسترجعة) لكنها غير أمينة (تحرّف ما تقوله تلك المستندات). ويمكن أن تكون أمينة ولكن غير مسندة (دقيقة ولكن لا توجد وسيلة للتحقق من المصدر الذي يدعم كل ادعاء). ويتطلب التحقق توافر العناصر الثلاثة معاً: يجب أن تكون المخرجات مجذرة في المصادر المقدمة، وأمينة لما تقوله تلك المصادر، ومسندة على مستوى الادعاء بحيث يكون كل تأكيد قابلاً للتحقق بشكل مستقل.
كيف تقارن واجهة Citations API من Anthropic بتجذير Google Vertex AI؟
إنهما يحلان مشكلتين متجاورتين ولكنهما مختلفتان. تقسم واجهة برمجة تطبيقات Citations من Anthropic مستنداتك المصدرية إلى جمل وتستشهد بالادعاءات تلقائياً في مخرجات Claude. وقد أفادت شركة Endex بانخفاض هلوسات المصادر من 10% إلى 0% بعد التكامل. وهي تعمل جيداً في الأسئلة والأجوبة المستندة إلى وثيقة واحدة مع إسناد واضح على مستوى الفقرة. ويستخدم تجذير Google Vertex AI نموذج Gemini مضبوطاً دقيقاً في وضع عالي الدقة للالتزام عن كثب بالسياق المقدم، مع إرفاق المصادر على مستوى الجملة واسترجاع ديناميكي يوازن بين نتائج البحث ومعرفة النموذج. وتعتبر Vertex أقوى في التطبيقات المجذرة على الويب. ولا يتعامل أي منهما مع التحقق من التركيب متعدد المصادر، أو التدقيق الزمني، أو التحقق من الدقة العددية. كلاهما مكونان مفيدان في مكدس التحقق، لكن أياً منهما لا يُعد نظام تحقق متكاملاً بمفرده.
ما التحقق المطلوب للذكاء الاصطناعي في البيئات القانونية والصحية؟
تمثل البيئات القانونية والصحية أعلى بيئات الاستشهاد خطورة. فقد وجد باحثو ستانفورد أن نماذج اللغة الكبيرة القانونية تقع في الهلوسة بنسبة تتراوح بين 58% و88% من الوقت في الأسئلة القابلة للتحقق، مع هلوسة الأحكام القضائية بنسبة 75% على الأقل من الوقت. وفي مجال الرعاية الصحية، أفاد 91.8% من الأطباء الذين شملهم استطلاع بمواجهة هلوسات طبية، واعتبر 84.7% منهم أنها قادرة على التسبب في ضرر للمرضى. وفي هذه المجالات، ننفذ تفكيك الحقائق الذرية مع التحقق من الاستلزام لكل ادعاء، والفحص الزمني لضمان سريان اللوائح أو الإرشادات المستشهد بها، والتحقق العددي للجرعات والإحصاءات والاستشهادات القانونية، والتصعيد للمراجعة البشرية للادعاءات التي تنخفض فيها الثقة الآلية عن العتبات الخاصة بالمجال. وقد صنفت إدارة الغذاء والدواء (FDA) الهلوسة باعتبارها خطراً مستجداً للأجهزة الطبية القائمة على الذكاء الاصطناعي، ويشترط تقرير الرقابة لعام 2026 الصادر عن FINRA توفير مسارات تدقيق لاستدلال وكلاء الذكاء الاصطناعي.
كيف تقيس جودة الاستشهاد في بيئة الإنتاج؟
نحن نتتبع أربعة مقاييس باستمرار. دقة الاستشهاد (Citation precision): من بين الفقرات المستشهد بها، ما النسبة المئوية التي تدعم بالفعل الادعاء المرتبط بها عبر التحقق من الاستلزام. واستدعاء الاستشهاد (Citation recall): من بين الادعاءات التي ينبغي أن تتضمن استشهادات، ما النسبة المئوية المسندة بشكل صحيح. ودقة الاستلزام (Entailment accuracy): النسبة المئوية لأزواج الادعاء والاستشهاد التي تجتاز تحقق NLI. وخصوصية المصدر (Source specificity): ما إذا كانت الاستشهادات تشير إلى الفقرة الداعمة بدقة مقابل مجرد الإشارة إلى المستند ككل. وقد وجد بحث لمعهد ألين أن دقة استشهاد RAG تبلغ في المتوسط 65-70% دون تدريب على الإسناد. ويقيس HHEM من Vectara أمانة التلخيص على مقياس من 0 إلى 1 لكنه لا يقيم دقة الاستشهاد. ويفحص RAGAS التجذير ولكن ليس الإسناد. نحن نبني إطار تقييم موحداً يربط هذه المقاييس بمدى تحملك للمخاطر، ويعمل ضمن خط أنابيب التكامل والنشر المستمر (CI/CD)، ويرسل تنبيهات عند انخفاض أي مقياس دون العتبة المحددة.
ما تفكيك الحقائق الذرية ومتى يجب استخدامه؟
يقوم تفكيك الحقائق الذرية بتجزئة استجابة النموذج إلى تأكيدات فردية قابلة للتحقق قبل فحص كل منها مقابل مصدره المستشهد به. أظهرت طريقة SAFE من Google DeepMind أن هذا النهج يتفق مع المقيمين البشريين بنسبة 72% من الوقت، وفي الحالات التي يختلفون فيها، يكون النظام الآلي صحيحاً بنسبة 76% من الوقت، وبتكلفة أقل بمقدار 20 ضعفاً من المراجعة البشرية. وتكمن الرؤية الأساسية في أن الجملة الواحدة غالباً ما تتضمن حقائق متعددة، بعضها مدعوم وبعضها مختلق؛ وغالباً ما يصنف نموذج NLI على مستوى الجملة الجملة المدعومة جزئياً بأنها مستلزمة كلياً لأن الحقائق المدعومة تهيمن على الإشارة. ويكشف التفكيك الحقيقة المختلقة داخل جملة دقيقة في بقية أجزائها. استخدم هذا النهج عندما يترتب على تأكيد خاطئ واحد عواقب جوهرية: الإيداعات القانونية، والوثائق السريرية، والإفصاحات المالية، والتقديمات التنظيمية. وبالنسبة للتطبيقات ذات المخاطر الأقل مثل روبوتات الأسئلة الشائعة الداخلية، عادة ما يكون التحقق بنموذج NLI على مستوى الجملة كافياً.
متى يكون التحقق الكامل من الاستشهاد مبالغاً فيه؟
يضيف التحقق الكامل القائم على التفكيك تأخيراً بين ثانيتين و5 ثوانٍ وتكلفة بين 0.01 و0.05 دولار لكل استجابة. فبالنسبة لروبوت معرفة داخلي يتلقى 10,000 استعلام يومياً، فإن ذلك يمثل 100 إلى 500 دولار يومياً في تكاليف التحقق وحدها. وإذا كانت الإجابات الخاطئة مزعجة ولكنها غير ضارة، فإن فحصاً أساسياً للتجذير (مثل كشف سلامة المحتوى في Azure أو التجذير السياقي في Bedrock) مقترناً بتحسينات جودة الاسترجاع يكون كافياً على الأرجح بجزء ضئيل من التكلفة. يستحق التحقق الكامل الاستثمار عندما يترتب على المخرجات الخاطئة عواقب مالية أو قانونية أو سريرية أو تنظيمية. إطار القرار هو: ما تكلفة وصول هلوسة واحدة غير مكتشفة إلى المستخدم؟ إذا كانت الإجابة تُقاس بدولارات المسؤولية القانونية، أو غرامات الامتثال، أو المخاطر على المرضى، فإن التحقق يغطي تكلفته ويزيد. وإذا كانت الإجابة مجرد تذكرة دعم فني، فإن الأساليب الأخف وزناً تكون كافية.
ابنِ ذكاءك الاصطناعي بثقة.
تعاون مع فريق يمتلك خبرة عميقة في بناء الجيل القادم من الذكاء الاصطناعي للمؤسسات. دعنا نساعدك على تصميم استراتيجية ذكاء اصطناعي جديرة بثقتك وبنائها وتطبيقها.
Veriprajna استشارات التقنيات العميقة متخصصة في بناء أنظمة الذكاء الاصطناعي الحرجة للسلامة في مجالات الرعاية الصحية والتمويل والقطاعات التنظيمية. تُقيَّم بنياتنا المعمارية وفق البروتوكولات المعتمدة مع توثيق شامل للامتثال.