القضايا كانت حقيقية. ومع ذلك لم أستطع أن أدع الذكاء الاصطناعي يشهد لها.

في المرة الأولى التي رأيتُ فيها أداتي ترفض أن تُبارك ثلاث قضايا حقيقية للمحكمة العليا، كنتُ متأكداً أنها معطّلة.

كنتُ أشغّل مذكرة نموذجية وسمتُها "سابقة قضائية أُسيء تطبيقها". واستشهدت بـ Erie Railroad v. Tompkins، 304 U.S. 64، لإثبات وجود جسم موحّد من القانون الفيدرالي العام، وهذا قريب من عكس ما Erie حكمت به فعلاً. واستندت إلى Celotex Corp. v. Catrett، 477 U.S. 317، وBaker v. Carr، 369 U.S. 186، لدعم مقولات لا تقوم الآراء عليها. كل واحدة من تلك القضايا حقيقية. توقعتُ أن يُضيء فحص الدعم عندي عليها بالأحمر، ويختمها بـ غير مدعوم، ويُغلق المسألة. لكن الثلاثة عادت بدلاً من ذلك بحكم أهدأ: يحتاج مراجعة. كان حدسي الأول أن نموذج اللغة قد فشل في الجزء السهل.

استغرق الأمر مني مساءً طويلاً إلى حدّ محرج حتى أفهم أن الحدس هو الخطأ، وأنه كان فيّ أنا، لا في النظام.

ختم واثق بـ "غير مدعوم" على قراءة خاطئة دقيقة لـ Erie كان ليكون تمويهاً. الرأي طويل، وإساءة الاستخدام مسألة حكم قانوني، ولا يستطيع النموذج إثبات النفي من مقتطف باليقين التي يوحي بها حكم أحمر. الخطوة الصادقة، تلك التي بنيتُها صدفة ثم كدتُ أحذفها من الكود بدافع الإحباط، كانت توجيهها إلى إنسان مع إرفاق السياق المناقض. الامتناع لم يكن الإخفاق. الامتناع كان جوهر الأمر كله. إن أردت أن تراه يقرر بنفسك، فهو يعيش هنا: veriprajna.com/ar/demos/legal-ai-citation-verification.

هذا مقال عن الافتراض الذي بدأتُ به، والذي يشاركه تقريباً كل من يبني ذكاءً اصطناعياً قانونياً الآن، وعن الطريقة البطيئة والمحددة التي فكك بها بناء العرض التوضيحي ذلك الافتراض. الافتراض هو أن مشكلة الهلوسة تُحلّ بنموذج أفضل. لم أعد أؤمن بذلك، وليس لأنني أشك في أن النماذج ستتحسّن.

الأسبوع الذي حاولتُ فيه أن أجعل نموذجاً يراقب نموذجاً آخر

قضيتُ نحو أسبوع أحاول أن أجعل نموذج لغة حكماً موثوقاً على نموذج لغة آخر، وأريد أن أكون صادقاً: لم ينجح الأمر.

بدا الإعداد معقولاً. نموذجٌ ما يصوغ مذكرة، من Harvey أو Lexis Protégé أو نموذج مفتوح المصدر، لا يهم أيها. ثم يقرأ نموذج ثانٍ كل استشهاد مقابل القضية التي يشير إليها ويحكم فيما إذا كان الرأي يدعم الادعاء. نموذجان، وفحص أنيق، من نوع البنية التي تنجو من مراجعة تصميم. توقعتُ فعلاً أن تكون خطوة الحكم هي الجزء السهل. كانت الجزء الذي لن يثبت.

الإخفاق لم يكن صاخباً، وهذا ما جعله خطيراً. كنتُ أُمرّر المذكرة نفسها عبر فحص الدعم ثلاث مرات فأحصل على اثنين "يحتاج مراجعة" وواحد واضح واثق، دون أي تغيير في المدخلات. على Bell Atlantic Corp. v. Twombly استشهاد، 550 U.S. 544، وهي قضية حقيقية، كان النموذج يقرر أحياناً أن الرأي يثبت المقولة المستشهَد بها بوضوح وأحياناً أنه لا يثبتها تماماً. كلا القراءتين كانتا قابلتين للدفاع. وذلك كان جوهر المشكلة بالضبط. الحكم الذي لا تستطيع إعادة إنتاجه ليس حكماً. إنه رأي ثانٍ يرتدي رداءً.

كنتُ أطلب من نظام احتمالي أن يكون البوابة الحتمية على نظام احتمالي آخر، وأسمّي النتيجة تحققاً.

هذا ليس تحققاً. هذا اتفاق نموذجين، وهو أمر أضعف وأكثر تقلباً بكثير. إذا كان سبب حاجتك إلى فحص هو أن مخرجات النموذج الأول لا يُوثق بها من ظاهرها، فلا يمكن أن تكون مخرجات النموذج الثاني هي ما تثق به لفحصها. كنتُ قد بنيتُ قاعة مرايا وكنتُ على وشك وضع ملصق امتثال عليها. المحكمة في الطرف الآخر لا تهتم بمدى ثقة أيٍّ من النموذجين. إنها تهتم بما إذا كانت القضية موجودة وبما إذا كانت تقول ما ادّعيتَه. هذان سؤالان، وكنتُ أعاملهما كسؤال واحد.

أيهما أخطر، قضية مختلَقة أم قضية حقيقية أُسيء استخدامها؟

ما فاجأني أثناء البناء هو إدراك أن الإخفاقين يحتاجان آليتين مختلفتين تماماً، وأن الصناعة في معظمها تشحن واحدة منهما فقط.

الاستشهاد المختلَق هو، بشكل غريب، الإخفاق الودّي. Halstead v. Ferngate Holdings، 823 U.S. 1199، تظهر في إحدى المذكرات النموذجية، مستشهَداً بها بطلاقة تامة لدعم مقولة أن التعويضات العقابية محظورة قطعاً. إنها غير موجودة. لا يوجد المجلد 823 في United States Reports. يمكنك إثبات ذلك بيقين، لا بسؤال نموذج عمّا يظن، بل بالاستعلام عن سوابق قضائية حقيقية والحصول على بحث بنتيجة صفر. ذلك حساب مقابل سلطة، لا حكم. إنه من نوع ما ينبغي أن يقرره الكود، ويقرره بالطريقة نفسها في كل مرة.

الإخفاق الخطير هو القضية الحقيقية المستشهَد بها للشيء الخطأ. Erie استشهاد حقيقي، مشهور، منسَّق بشكل صحيح. كل فلتر اختلاق في العالم يمرّره، تحديداً لأنه ليس مختلَقاً. المجلد موجود، والصفحة موجودة، والرأي موجود. ما هو خاطئ هو العلاقة بين القضية المستشهَد بها والجملة أمامها، وتلك العلاقة مسألة قراءة قانونية، لا وجود. فحص مطابقة المصدر يعامل "هذه القضية حقيقية" و"هذه القضية تدعم ادّعائي" كحقيقة واحدة. وهما ليستا قريبتين حتى.

لذا تبدأ الأرقام التي يقتبسها الناس عن الذكاء الاصطناعي القانوني في اكتساب معنى. حتى الأدوات المبنية لغرض محدد تُهلوس بمعدلات ينبغي أن توقظك ببرودة: Westlaw Precision بنسبة 33 بالمئة وLexis+ بنسبة 17 بالمئة في دراسة Stanford RegLab المنشورة في Journal of Empirical Legal Studies، 2025. وبحلول أوائل 2026 كان هناك 1,222 قضية محكمة موثَّقة تنطوي على استشهادات هلوسها الذكاء الاصطناعي، وبدأت المحاكم تفرض عقوبات، بما في ذلك غرامة قدرها 30,000 دولار من الدائرة السادسة في مارس 2026. الاختلاقات هي الإخفاقات التي يمكنك على الأقل تخيّل الإمساك بها. أما الاستشهاد الحقيقي لكن المُساء تطبيقه فهو الذي يبدو اجتهاداً حتى يقرأ قاضٍ الرأي الذي استشهدتَ به فيجد أنه يقول العكس.

القضية المختلَقة كذبة تستطيع دحضها. القضية الحقيقية المستشهَد بها لحُكم خاطئ كذبة تمرّ بكل اختبار بُني للإمساك بالنوع الأول.

لماذا قسّمتُ المحرّك اثنين

توقفتُ عن محاولة جعل نظام واحد يؤدي المهمتين مساءَ اليوم الذي قبلتُ فيه أنهما مهمتان مختلفتان.

أصبح فحص الوجود والإمساك بالاختلاق Python حتمياً يعمل مقابل سوابق قضائية حقيقية. بلا prompt، بلا temperature، بلا "بصفتي نموذج لغة ذكاء اصطناعي." خذ الاستشهاد، ابحث عنه في سلطة مستقلة، وإذا كانت القضية غائبة فعلاً، فهي مختلَقة، بشكل قابل للإثبات، ولا يمكنها أبداً أن تمرّ من البوابة. تلك الجملة الأخيرة هي الضمان الوحيد الذي أقبله أن أصرّح به بصراحة، لأنها ثابتة مُختبَرة بالوحدات لا أمل: صفر استشهادات مختلَقة يمكنها أن تمرّ من بوابة السياسة. هناك اختبار مسمّى لذلك بالضبط، وهو جزء من 8 من 8 التي تنجح في العرض التوضيحي المبني.

بقي فحص الدعم خطوة واحدة لنموذج لغة، لأن الحكم فيما إذا كان رأي حقيقي يدعم مقولة هو فعلاً مهمة قراءة، والنموذج قارئ جيد. لكنني منحته إذناً صريحاً بالامتناع، وتوقفتُ عن معاملة الامتناع كخطأ. عندما لا يستطيع تأسيس الادعاء في نص الرأي، يوجّهه إلى إنسان بدل التخمين. النموذج يسدي المشورة. البوابة الحتمية والمحامي يقرران. انتهيتُ إلى قول شيئين باستمرار أثناء بناء هذا. أحدهما هو الوكلاء يسدون المشورة، والكود يقرر. والآخر أنني لن أدع LLM يكون الحكم النهائي على LLM.

أريد أن أكون دقيقاً بشأن التقسيم، لأن الإغراء هو طمسه في وعد أكبر مما هو. الأجزاء الحتمية — الوجود، والاختلاق، وخارج التغطية، والبوابة — دقيقة وقابلة لإعادة الإنتاج. فحص الدعم ليس كذلك. إنه غير حتمي، وبحسب التصميم يمرّر استشهاداً بالأخضر فقط عندما يُثبت نص الرأي الحُكم بوضوح، بالطريقة التي تفعل بها Miranda v. Arizona، 384 U.S. 436، بشأن تحذيرات الاستجواب في الحجز، وإلا فإنه يرسل الاستشهاد إلى المراجعة. أي الاستشهادات الحقيقية تحديداً تمرّ بالأخضر مقابل التوجيه إلى إنسان يمكن أن يختلف من تشغيل إلى تشغيل. ذلك ليس حافة خشنة أخفيها. إنه الشكل الصادق للمشكلة، والتظاهر بخلاف ذلك هو بالضبط الخطوة التي أحاول البناء ضدها.

ما يُسمح فعلاً أن يعنيه "8 من 8"

أُلزم نفسي بقاعدة حول الأرقام، لأن الشركة التي أبنيها اسمها Veriprajna، ومعناها الحكمة الحقّة، واسم كهذا تحدٍّ دائم للمبالغة في الادّعاء.

هناك أرقام إثبات في العرض التوضيحي وهي تعني أشياء ضيّقة. 8 من 8 اختبارات وحدات دون اتصال تنجح، بما في ذلك الذي يُثبت أنه لا يمكن لاستشهاد مختلَق أن يمرّ من البوابة والذي يُثبت أن سلطة لا يمكن الوصول إليها تُعامل كغير مُثبتة لا كمختلَقة. وهناك 20 قضية حقيقية مخزَّنة مؤقتاً من CourtListener كحقيقة مرجعية محلية. تلك تصف نطاق العرض التوضيحي المبني. وليست ادّعاءً عن مذكرتك أو عن العالم المفتوح. ضمان الاختلاق موثوق لأنه يستعلم عن سوابق قضائية حية والقضية الغائبة واقعة. أما تحكيم فحص الدعم فيُعرض بمقياس صغير على قضايا حقيقية، ولن أضخّمه إلى رقم دقة شامل، لأنه ليس كذلك.

إليك السطر الذي أرفض اختصاره، حتى وإن كان إصدار أقصر سيبيع أفضل. مذكرة بلا استشهادات مختلَقة ليست تلقائياً آمنة للتقديم. عندما يبقى حتى استشهاد حقيقي واحد يحتاج إنساناً ليؤكد أنه مستخدَم بشكل صحيح، تُمسك البوابة التقديم عند غير جاهز للتقديم، وهي محقّة في ذلك. رأيتُ الناس يريدون العكس، يريدون مذكرة تبدو نظيفة أن تكسب ضوءاً أخضر من تلقاء نفسها. ذلك هو الحدس نفسه بالضبط الذي يعرّض محامياً للعقوبة.

تلك الشهادة أهمّ عندي من أي نسبة دقة، ولهذا يجب أن تبقى الأجزاء الحتمية وغير الحتمية منفصلة. قابلية إعادة الإنتاج هي ما يجعل القرار قابلاً للشهادة. أستطيع أن أسلّمك الإيصال. فُحص هذا الاستشهاد مقابل CourtListener، المجلد غير موجود، الحكم مختلَق، البوابة تُمسك. يمكنك إعادة التشغيل والحصول على النتيجة ذاتها. حكم LLM، حتى الجيد منه، لا يستطيع أن يعدك بذلك، وقد عشتُ مساء الثلاث تشغيلات والإجابات الثلاث المختلفة. لستُ أبني سجل امتثال فوق رمية عملة.

وسأقول بصراحة أيضاً، لأن المعيار الذي أتمسك به يفرض ذلك، إن هذه طبقة تحقق وليست أداة بحث. إنها لا تصوغ مذكرات ولا تجد قضايا. إنها لا تنافس Harvey أو Westlaw أو Lexis. تجلس حول ما تنتجه أياً كانت وتخبر المحامي بما هو آمن للتقديم وما يحتاج إنساناً بالضبط. التأسيس بالنص الكامل بما يتجاوز مقتطف الرأي العام يحتاج رمزاً مجانياً من CourtListener، وموصّل إدارة المستندات في العرض التوضيحي وهمي، وبعض الميزات مثل شهادة PDF مؤجَّلة. ما هو حقيقي هو الآلية: الفحوصات، والامتناع، والبوابة الحتمية، ومسار التدقيق، كلها تعمل مقابل سوابق قضائية حقيقية.

أليس الامتناع مجرد تهرّب النموذج من القرار الصعب؟

أتلقى نسخةً ما من هذا السؤال في كل محادثة تقريباً، عادة من مهندس، وقد أصبحت إجابتي أقصر وأكثر يقيناً مع الزمن.

لا. الامتناع هو القرار الصعب، مُتخَذاً بصدق، ورفض اتخاذه هو التهرّب الفعلي. البديل المُغري هو نظام يعيد دائماً حكماً حاداً، أخضر أو أحمر، على كل استشهاد. يعرض بشكل جميل. وهو أيضاً يكذب، لأن بعض الاستشهادات لا يمكن فعلاً الفصل فيها من النص المتاح بثقة، والنظام الذي لا يقول ذلك أبداً يصنع يقيناً لا يملكه. أكثر ما يُثمَّن في ذكاء اصطناعي عالي المخاطر أن يخبرك أين ينفد حكمه نفسه. في مجالٍ يكون فيه الخطأ الواثق سبباً لعقوبة عميلك، فإن "لستُ متأكداً، يحتاج إنسان أن ينظر في هذا" المعايَر يساوي أكثر من تخمين فصيح.

لهذا أعتقد أن العمل يعيش أطول من جيل النماذج الحالي. تواصل الصناعة الوعد بإبعاد مشكلة الهلوسة بالنموذج التالي. امنحها كل ذلك: سياقاً أكبر، وتدريباً أنظف، ومعدل اختلاق أدنى. نموذج مثالي لا يختلق قضية قط سيظل بمرح يستشهد بقضية حقيقية لمقولة لا تدعمها، لأن من داخل المسودة تقرأ تلك الجملة كصادقة وكأنها بالضبط ما طلبتَه. الفجوة بين "هذه القضية موجودة" و"هذه القضية تدعم ادّعائي" ليست فجوة يسدّها التوسّع. إنها سؤال حوكمة، والحوكمة خاصية للنظام الذي تبنيه حول النموذج، لا قدرة تنتظر النموذج أن ينموها.

المحكمة لا تهتم بمدى ثقة نموذجك. إنها تهتم بما إذا كان الاستشهاد موجوداً ويقول ما ادّعيتَه. تلك ليست مشكلة نموذج أكبر. إنها مشكلة بناء الطبقة الصحيحة.

المنظّمون يرونها بالفعل بهذه الطريقة، وهذا يستحق التوقف عنده. رأي ABA الرسمي 512 وأكثر من 300 أمر قضائي دائم يطلبون الآن من المحامين التحقق من مخرجات الذكاء الاصطناعي قبل التقديم، وأقل من 20 بالمئة من المكاتب لديها أي سياسة لاستخدام الذكاء الاصطناعي أصلاً. الالتزام ليس "استخدم أداة أذكى". الالتزام هو "أثبت أنك فحصت". الإثبات، والأصل، والامتناع الصادق ليست أموراً يمنحك إياها صائغ أفضل. إنها أمور تمنحك إياها طبقة تحقق، وهي تصمد عند أي جودة نموذج، ولهذا بالضبط أعتقد أنها الجزء الدائم.

السؤال الذي أُبقيه أمامي قبل أن أُقدِّم

وجدتُ أن ما غيّره هذا البناء فيّ كان أصغر من الأطروحة، وقد دام أطول.

توقفتُ عن السؤال عما إذا كان ادّعاء كتبه الذكاء الاصطناعي صحيحاً، لأنني أستطيع غالباً الإجابة عن ذلك ويتبيّن أنه غير كافٍ. Erie استشهاد كان، بمعنى ضيّق، يشير إلى قضية حقيقية. السؤال الأصعب، الذي أسأله الآن قبل أن يغادر أي شيء صاغه الذكاء الاصطناعي يدي، هو ما إذا كنتُ أستطيع أن أُثبت، الآن فوراً، أن هذا المصدر بالذات يدعم هذا الادّعاء بالذات، وما إذا كان ذلك الإثبات سيصمد أمام من أراد إسقاطه أمام قاضٍ.

ذلك سؤال حوكمة، لا سؤال نموذج. لا يصبح أسهل كلما تحسّن النموذج، لأن ما يُسأل ليس "هل يستطيع النموذج كتابة جملة أفضل" بل "هل تستطيع أن تقف خلف هذه". وأفيد إجابة يمنحني إياها نظامي نفسه ليست العلامة الخضراء. إنها اللحظة التي يُمسك فيها قضية حقيقية عند يحتاج مراجعة ويجعلني، أنا الشخص، أذهب لأقرأ الرأي. إن أردت أن ترى أين وصلت، فهو هنا مرة أخرى: veriprajna.com/ar/demos/legal-ai-citation-verification.

وإن فضّلت أن تشاهده على أن تقرأ وصفي له، فها هو الأمر كله يعمل من البداية إلى النهاية، بصوتي.

لذا السؤال الذي أتركك به هو الذي أعاد تنظيم البناء كله. عندما يسلّمك الذكاء الاصطناعي شيئاً واثقاً ونظيفاً، هل لديك طبقة مستعدة أن تقول "لستُ متأكداً، يحتاج إنسان أن ينظر"؟ لأن الثقة رخيصة، وفي العمل الذي يحمل خطراً فعلاً، الامتناع القابل للإثبات هو المنتج.