النظام الأساسي كان حقيقيًا. والإجابة ظلّت غير قانونية.

أول إجابة شاهدتُ روبوت محادثة حكومي يقدّمها بثقة وهي خاطئة كانت عن قسيمة القسم 8.

يسأل مالك عقار، بكلمات بسيطة، عمّا إذا كان يمكنه رفض مستأجر سيدفع الإيجار بقسيمة إسكان. الإجابة الصحيحة هي لا. الرفض تمييز على أساس مصدر الدخل بموجب قانون مدينة نيويورك الإداري § 8-107(5)، ويمكن للجنة حقوق الإنسان في المدينة فرض غرامات مدنية تصل إلى 250,000 دولار على المخالفة العمدية. هذا ليس سؤالًا خادعًا. إنه قانون مستقر. وفي أكتوبر 2023، قال روبوت MyCity الخاص بمدينة نيويورك نفسها، الذي يعمل على Azure AI، لأصحاب الأعمال ومالكي العقارات العكس. وثّقت The Markup ذلك في مارس 2024: قال الروبوت إن بإمكان الملاك رفض حاملي القسائم، وإن بإمكان المتاجر الاستغناء عن النقد، وإن بإمكان أصحاب العمل اقتطاع جزء من إكراميات عمالهم. كل واحدة من تلك الإجابات كانت غير قانونية، وكل واحدة منها حملت ختم المدينة على نطاق .gov.

لم أبنِ CivicCite لأن نموذجًا هلوس. بنيته بسبب الإجابات التي كانت شبه صحيحة، وأريد أن أحكي لكم عن تلك التي غيّرت طريقة تفكيري في المشكلة كلها. إن أردتم أن تروا الشيء نفسه، فهو يعيش هنا: veriprajna.com/ar/demos/government-municipal-ai. المجموعة رسم بياني تجريبي اصطناعي لكنه أمين، وليست مشورة قانونية. لكن الآلية حقيقية، والآلية هي الجزء الذي يستحق الجدال حوله.

اللحظة التي علقت بي لم تكن اختراع الروبوت لقانون. كانت مشاهدة خط أنابيبي الخاص يسحب النظام الأساسي الصحيح ويصوغ مع ذلك الإجابة الخاطئة.

الأسبوع الذي قضيته أضيف الاسترجاع إلى مشكلة لا يمسّها الاسترجاع

بدأت الأمر بالطريقة التي يبدأ بها تقريبًا كل من يعمل في GovTech، مقتنعًا بأن علاج روبوت محادثة كاذب هو استرجاع أفضل. أعطِ النموذج القانون البلدي الفعلي. أرضِ كل إجابة على نصّ حقيقي. التوليد المعزَّز بالاسترجاع، الإجابة القياسية على المخاوف القياسية، وهي أن النموذج يخترع الأشياء. قصة نظيفة، وتعرض بشكل رائع، وآمنت بها أطول مما كان ينبغي.

ثم قرأت أرقام ستانفورد فدمّرت القصة. قاسَ ماغيش وزملاؤه، في دراسة عام 2025 نُشرت عبر JELS، أداتي البحث القانوني المبنيتين لهذا الغرض بالضبط. هلوس Lexis+ AI في 17% من الاستعلامات. وهلوس بحث Westlaw المساعد بالذكاء الاصطناعي في 33%. هذه ليست روبوتات محادثة لعبًا. هذه أنظمة تسترجع النظام الأساسي أولًا ثم تولّد ثانيًا، بناها شركات أعمالها كلها أن تكون على صواب بشأن القانون. تقريبًا إجابة واحدة من كل ثلاث من الأداة الثانية كانت ما تزال خاطئة. الاسترجاع حسّن المسودة. لكنه لم يجعل الإجابة آمنة للإصدار.

أريد أن أكون صادقًا بشأن شعوري حينها، لأنني كنت قد قضيت للتو أسبوعًا أبني المعمارية نفسها وأشعر بالذكاء حيالها. حلّل خط أنابيبي سؤال المواطن إلى أسئلة قانونية فرعية ذرّية، واسترجع أحكامًا مرشّحة من رسم بياني لقانون بلدي، وقيّد النموذج ليصوغ فقط مما استرجعه. في سؤال القسم 8 فعل كل شيء صحيحًا حتى الخطوة الأخيرة. وجد § 8-107(5). النظام الأساسي الصحيح. سحب النص الحرفي عن مصدر الدخل القانوني. ثم صاغ جملة معناها، في جوهرها، نعم، يمكنك رفض القسيمة.

القانون الصحيح. الإجابة الخاطئة. يجلسان فوق بعضهما في المسودة نفسها.

الاسترجاع يسلّم النموذج النظام الأساسي الصحيح. ولا يفعل شيئًا لمنع النموذج من قراءة ذلك النظام الأساسي بالمقلوب.

ذلك كان الأسبوع الذي تغيّر فيه شكل المشكلة بالنسبة لي. كنت أعامل الهلوسة كعدو، والهلوسة حقيقية، لكنها الفشل الذي يمكنك تخيّل الإمساك به. الفشل الذي أصدر فعلًا إجابات MyCity أرقّ وأسوأ: الحكم الصحيح مُستشهد به، والاستنتاج الخاطئ مُصرَّح به. لا تلفيق في أي مكان في الجملة. لا شيء يلتقطه مرشّح «هل اختلقت هذا»، لأن شيئًا لم يُختلق. مجرد قراءة خاطئة واثقة لقانون كان جالسًا هناك تمامًا. نمط الفشل هذا غير مرئي للاسترجاع، لأن الاسترجاع يتحقق فقط من وجود النظام الأساسي، لا من أن الجملة قرأته بالاتجاه الصحيح.

أيهما أسوأ، قانون مخترَع أم قانون حقيقي مقروء بالمقلوب؟

ظللت أعود إلى ذلك السؤال، وصار جوابي أكثر يقينًا. القانون المخترَع هو الفشل الأكثر أمانًا.

فكّر فيما يفعله مواطن بكل منهما. نظام أساسي ملفّق بشكل واضح يقرأ غريبًا، يستشهد بقسم رمز لا يُحلّ، ويشعر بأنه غير سليم. نظام أساسي حقيقي مقروء بالمقلوب يقرأ مثاليًا. لديه استشهاد أصيل. القسم موجود. يقرأ المالك «نعم، يمكنك رفض القسيمة»، يرى رقم رمز حقيقيًا مرفقًا، ويتصرّف بناءً عليه. الآن هناك رفض غير قانوني، ومستأجر لديه دعوى تمييز، ومسار ورقي يعود إلى إجابة حكومية. صحة الاستشهاد هي بالضبط ما يجعل الاستنتاج الخاطئ خطيرًا. إنها الاعتمادية التي تركب عليها النصيحة السيئة.

لذا فإن الفحص الذي اهتممت به أكثر لم يكن أبدًا «هل هذا الاستشهاد حقيقي.» كان «هل يدعم هذا الاستشهاد فعليًا هذه الجملة.» في خط الأنابيب ذلك الفحص هو الاستلزام: بالنظر إلى الادعاء المصوغ والنص الحرفي للحكم المستشهد به، هل يستلزم النص الادعاء، أم يناقضه، أم لا هذا ولا ذاك. في مسودة القسم 8، تُلتقط «نعم» النموذج كمناقضة لـ § 8-107(5)، لأن الحكم يقول صراحة العكس. تموت المسودة هناك. ما يبقى، وما تُفرجه البوابة في النهاية، هو الادعاء المصحَّح: لا يجوز للمالك أن يرفض، وهنا النظام الأساسي الذي يقول ذلك.

ما أصررت عليه، وسبب وجود تلك الشاشة، هو أن الاستلزام ليس صندوقًا أسود عليك أن تصدّقه. يمكنك فتح مرحلة Verify وقراءة مدخلها ومخرجها الخام: الادعاء المصوغ، والنص النظامي الذي فُحص مقابله، والتسمية، والسبب بكلمات الحكم نفسه. حكم لا يمكنك فحصه ليس تحققًا. إنه رأي ثانٍ بقيم إنتاج أفضل. كنت قد تعلّمت بالفعل، بالطريقة المكلفة، أن طلب نموذج واحد ليحكم على نموذج آخر يعطيك فقط نموذجين يتفقان، وهو أمر أضعف مما يبدو.

الخطوة التي نجحت أخيرًا كانت التوقف عن محاولة جعل النموذج جديرًا بالثقة

أتذكر إعادة التأطير بالضبط، لأنها بدت كاستسلام وتبيّن أنها التصميم كله. توقفت عن محاولة جعل النموذج جديرًا بالثقة وبدأت أجعل جدارته بالثقة غير ذات صلة.

التحول هو هذا. نموذج اللغة في CivicCite مستشار. يفكّك السؤال، ويصوغ إجابة مرشّحة، ويقدّم رأيًا في الاستلزام. ولا يُسمح له أبدًا بإصدار أي شيء. خارج إطار الوكيل، بلغة Python حتمية صريحة، يوجد شيء أسمّيه بوابة القرار النظامي، ولا تُفرج عن إجابة فرعية إلا عندما تتحقق أربعة شروط معًا: الاستشهاد موجود، والحكم ساري المفعول، والنص المستشهد به يستلزم الادعاء، ولا شيء يتعارض معه. أفلت أيًّا منها والإجابة لا تُصدر. اثنان من تلك الفحوصات حساب ومنطق خالصان. ساري المفعول مقارنة تواريخ: الحكم بلا تاريخ إلغاء وتاريخ نفاذه في أو قبل تاريخ القطع. التعارض قراءة رسم بياني. لا مُوجَّه، ولا حرارة، ولا إقناع له.

أقول جملتين باستمرار الآن. الأولى هي الوكلاء ينصحون، والبوابة تقرّر. والأخرى أن نموذج لغة كبير لا يمكنه أن يصوّت بنفسه لتجاوز البوابة، مهما بلغت ثقة مسودته. هذا أهم مما يبدو، لأن الفشل المغري في هذا المجال كله هو ترك النموذج يقيّم عمله بنفسه وتسمية الدرجة «تحققًا.» النموذج الذي يصوغ الإجابة لا يمكن أن يكون الشيء الذي يشهد بأن الإجابة آمنة. البوابة أغبى من النموذج عمدًا وخارجه عمدًا، وهذا هو المغزى كله. الذكاء يقترح. والكود يبتّ.

النموذج كاتب جيد وقاضٍ سيئ. لذا أدعُه يكتب، ولا أدعه يقضي أبدًا.

العرض التوضيحي صادق بشأن حدوده، وسأكون كذلك. المجموعة رسم بياني اصطناعي لكنه أمين لقانون بلدي، معاد صياغته من أحكام حقيقية، وليست مصدرًا رسميًا. توجيه تصعيد 311 محسوب ومُعرَض، لكن الموصل إلى نظام قضايا حقيقي مُحاكى. الصياغة المقيَّدة تستخدم مدقّق قائمة مسموح بها وإعادة طلب واحدة بدل فك ترميز على مستوى الرمز في الإنتاج. ما هو حقيقي هو منطق القرار، ومنطق القرار هو المنتَج.

لماذا أثق بالصمت أكثر مما أثق بإجابة جيدة

لم أتوقع أن أفخر برفض العرض التوضيحي الإجابة، والآن هو الشيء المفضّل لديّ مما يفعل. أوضح مثال شاحنة طعام.

يسأل بائع عمّا إذا كان يمكنه ترك شاحنته متوقفة في مساحة بعدّاد طوال اليوم بموجب قاعدة وقوف البائعين العامة. المساعد العادي يجيب بمرح وبخطأ، مستشهدًا بقاعدة كما لو كانت سارية. CivicCite يصوغ مرشّحًا أيضًا، ويستشهد المرشّح بحكم وقوف أُلغي. ثم يعمل فحص الحداثة. للحكم تاريخ إلغاء. يفشل ساري المفعول. وبدل الرجوع إلى قاعدة مجاورة والتبجّح، تحتجز البوابة الإجابة، وتعلّم السؤال بأنه خارج التغطية الموثَّقة، وتوجّهه إلى إدارة حية مع إرفاق النتائج الجزئية.

إجابة خاطئة على نطاق حكومي ليست إحراجًا. إنها مسؤولية تحمل اسم المدينة.

انظر إلى ما ترفض تلك الشاشة فعله. لا تركّب إجابة معقولة من نظام أساسي ميت. تقول، بلغة واضحة، إن الحكم الوحيد الذي يعالج هذا قد أُلغي ولا شيء ساري المفعول حاليًا يحكم السؤال، وتسلّم المواطن بدل التخمين. الامتناع الصادق يهزم إجابة خاطئة واثقة، في الحكومة خصوصًا. وفي الحكومة الرهانات ليست سمعة. المشورة القانونية الحكومية تقع في منطقة الوظيفة الخاصة، مما يعني أنه لا درع حصانة سيادية للاختباء خلفه عندما يتبيّن أن الإجابة خاطئة.

هذا لم يعد قلقًا افتراضيًا، وهو جزء من سبب بنائي الشيء الآن بدلًا من لاحقًا. كان هناك 78 مشروع قانون متعلقًا بروبوتات المحادثة عبر 27 ولاية في 2026. وصل S7263 في نيويورك إلى قاعة مجلس الشيوخ في 26 فبراير 2026. تصبح التزامات المخاطر العالية في الملحق الثالث من قانون الذكاء الاصطناعي للاتحاد الأوروبي قابلة للإنفاذ في 2 أغسطس 2026، بغرامات تصل إلى €15M أو 3% من رقم الأعمال العالمي. السؤال التنظيمي يتحوّل من «هل ذكاؤك الاصطناعي مفيد» إلى «هل يمكنك إثبات أن ذكاءك الاصطناعي كان مسموحًا له أن يقول ذلك.» صمت يمكنك الدفاع عنه. إجابة خاطئة واثقة لا يمكنك.

الرقم الذي يمكن لمنظّم أن يتصرّف عليه فعليًا

كنت أظن أن المقياس الرئيسي لنظام كهذا هو معدل هلوسة، وأظن الآن أن ذلك الحدس معكوس تمامًا. النسبة المئوية الشيء الخطأ لتسليمه لمنظّم.

تخيّل أنك إدارة القانون في المدينة، المكتب الذي يملك المسؤولية عندما تخطئ إجابة. «روبوت محادثتنا يهلوس فقط 4% من الوقت» ليس مطمئنًا. إنه اعتراف بأن أربعة من كل مئة مواطن يحصلون على إجابة بسلطة المدينة خلفها ولا شيء يقف خلف الإجابة. الرقم الذي يعني شيئًا ليس عن كم مرة يخطئ النموذج. إنه عن ما إذا سُمح لأي شيء غير موثَّق بالخروج من الباب. لذا فالمقياس الذي بنيت المعيار حوله هو هذا: على مجموعة ذهبية ثابتة ومعلَّمة من 12 استعلامًا، تُمرَّر عبر خط الأنابيب الحقيقي، عدد الإجابات المُفرَج عنها بلا أساس نظامي موثَّق وساري المفعول. الهدف صفر من اثني عشر.

معدل هلوسة يخبر منظّمًا كم مرة فشلت. ولا يمكنه أن يخبرهم أنك أمسكت بها.

أريد أن أكون دقيقًا بشأن ما هو ذلك الرقم وما ليس هو، لأن المبالغة فيه تخون الفرضية كلها. إنه نتيجة على مجموعة معلَّمة ثابتة، وليس ضمانًا بعالم مفتوح وليس «هلوسة صفر»، عبارة أظن أنه لا ينبغي لأي شخص نزيه أن يبيعها. النموذج ما يزال يصوغ ادعاءات غير مثالية. النقطة أن غير الموثَّقة تُحتجز، لا أنها لا تُصاغ أبدًا. إلى جانب ذلك الرقم يجلس اثنان آخران: تغطية سجل تدقيق 100%، بمعنى سجل واحد قابل للإيداع لكل استعلام سواء أُصدر أو رُفض، واتفاق تصرّف مع الحقيقة المرجعية المعلَّمة. خط أساس RAG العادي، معمارية MyCity بلا بوابة، كان سيُصدر الإجابات غير القانونية الموثَّقة على هذه المجموعة نفسها. ذلك المقارنة سياق، لا العنوان.

السجل هو الجزء الذي أدافع عنه بأشدّ ما أستطيع.

كل استعلام، مُفرَج عنه أو مرفوض، يُنتج سجل القرار النظامي: التصرّف، والاستشهاد، ونتائج الفحوصات الأربعة كلها، والقرار، كبيانات منظمة يمكنك إيداعها وإعادة تشغيلها. يسمّي تسجيل NIST AI RMF والمراقبة المستمرة لـ FedRAMP وStateRAMP كالمعايير التي يُبنى نحوها. أنا حذر في تلك الجملة. «يُبنى نحو» اتجاه، لا شهادة، ولن أدّعي أن CivicCite معتمد مقابل أي منها. لكن المدقّق لا يريد وعدًا بأن النموذج ذكي. المدقّق يريد سجلًا، لكل تفاعل، يُظهر بالضبط لماذا سُمح لإجابة أن توجد، بصيغة تصمد لمن يحاول كسرها. القابلية لإعادة الإنتاج هي ما يحوّل القرار إلى دليل، والدليل هو ما يمكن لمنظّم أن يتصرّف عليه.

وإن فضّلت أن تشاهده بدل أن تقرأ وصفي، فها هو العرض التوضيحي كله يعمل من البداية إلى النهاية.

السؤال الذي بقي معي

أظل أعود إلى شيء فاجأني في ردّ فعلي الخاص. في المرة الأولى التي شاهدت فيها CivicCite يرفض سؤالًا ويوجّهه إلى إدارة، قرأ جزء مني ذلك على أنه فشل النظام.

لم يكن يفشل. كان يفعل الشيء الوحيد الذي لا تستطيعه الروبوتات الواثقة، وهو معرفة حدّ ما يمكنه إثباته والتوقف هناك. قضيت وقتًا طويلًا أحسّن من أجل إجابة جيدة حتى افترضت بهدوء أن الإجابة الجيدة هي الهدف. ليست كذلك. في الحكومة، الهدف إجابة قابلة للدفاع، والمسافة بين هاتين الكلمتين هي السبب كله لوجود هذا المنتَج. إجابة قابلة للدفاع تبدو أحيانًا كاستشهاد مُفرَج عنه. وغالبًا ما تبدو كسؤال موجَّه وسجل مودع.

لذا فالسؤال الذي أتركه مع أي شخص يبني ذكاءً اصطناعيًا لحكومة، أو يشتريه، ليس «ما مدى دقة نموذجك.» النماذج الأفضل ستظل تتحسّن في كتابة إجابات طليقة خاطئة في السياق، لأن الطلاقة لم تكن القطعة الناقصة أبدًا. السؤال الذي أطرحه قبل أن يخرج أي شيء من البوابة أضيق وأصعب. هل يمكنك أن تثبت، الآن، أن هذه الإجابة بالضبط تعود إلى نظام أساسي موجود وساري المفعول حاليًا، وهل يصمد ذلك الإثبات أمام محكمة أرادت أن يفشل؟ إن كانت الإجابة لا، فلا يهم مدى جودة النموذج. ينبغي أن يبقى النظام صامتًا. يمكنك أن تشاهده يقرّر، في الحالين، هنا: veriprajna.com/ar/demos/government-municipal-ai.

الثقة لا تنتمي إلى نموذج عليك أن تصدّقه. تنتمي إلى كود يمكنك تدقيقه.