أخطر رقم في الذكاء الاصطناعي الآن هو 99.999%

كنتُ في مكالمة مع مدير المعلومات في أحد المستشفيات العام الماضي عندما فتح عرضاً تقديمياً لأحد المورّدين وشارك شاشته. الشريحة السابعة كانت تحمل رقماً واحداً فقط، في المنتصف، بخط حجمه 72 نقطة: معدل هلوسة <0.001%. وتحته، بخط أصغر: "مُثبَت سريرياً".

نظر إليّ عبر كاميرا الويب وقال: "أشوتوش، هل ينبغي أن أصدّق هذا؟"

أخبرته أنني لا أعرف — لكن الرقم نفسه ينبغي أن يُقلقه، لا أن يطمئنه. معدل هلوسة أقل من واحد في المئة ألف، لنظام يلخّص ملاحظات سريرية فوضوية ومتناقضة، مكتوبة بخط اليد ومُملاة، عبر عشرات التخصصات؟ هذا ليس ادعاءً بالدقة. إنه خدعة سحرية. ومن واقع خبرتي، عندما يعرض عليك أحدهم خدعة سحرية في اجتماع مبيعات، فعليك أن تتفقّد جيوبك بعد ذلك.

بعد بضعة أشهر، جعل المدعي العام لولاية تكساس ذلك الحدس رسمياً. في سبتمبر 2024، توصّلت الولاية إلى تسوية تاريخية مع شركة Pieces Technologies، وهي شركة ذكاء اصطناعي للرعاية الصحية مقرها دالاس، بشأن ما زعم المدعي العام أنه ادعاءات دقة مضلِّلة — بما في ذلك معدل الهلوسة الحرجة البالغ 0.001% بالتحديد. كانت أول إجراء إنفاذي من نوعه ضد شركة ذكاء اصطناعي توليدي في مجال الرعاية الصحية، ولم تتطلب أي قانون جديد خاص بالذكاء الاصطناعي. مجرد قانون تكساس القديم البسيط للممارسات التجارية الخادعة، وهو القانون نفسه المستخدم لملاحقة وكالات بيع السيارات المشبوهة.

غيّرت تلك التسوية طريقة تفكيري في كل ما نبنيه في VeriPrajna. ليس لأننا كنا نفعل أي شيء خاطئ، بل لأنها بلورت شيئاً كنت أكافح للتعبير عنه للعملاء: مشكلة الذكاء الاصطناعي المؤسسي ليست أن النماذج تُهلوِس. المشكلة أن الصناعة بنَت استراتيجية طرح كاملة في السوق قائمة على التظاهر بأنها لا تفعل.

ماذا يعني معدل هلوسة 0.001% في الواقع؟

دعني أشرح لك الحسابات، لأن الحسابات هي حيث تنهار الخدعة السحرية.

النماذج اللغوية الكبيرة أنظمة احتمالية. إنها لا "تعرف" الأشياء بالطريقة التي تعرف بها قاعدة البيانات الأشياء. إنها تتنبأ بالكلمة التالية — أو بتعبير أدق، بالرمز (token) التالي — بناءً على أنماط تعلّمتها أثناء التدريب. احتمالية أي مخرجات مُولّدة هي حاصل ضرب احتماليات كل رمز على حدة في التسلسل. كل رمز رهانٌ صغير، والمخرجات النهائية سلسلة طويلة من الرهانات الصغيرة مضروبة معاً.

الآن، ادعاء معدل هلوسة حرجة أقل من 0.001% يعني أن أقل من 1 من كل 100,000 مخرجات تحتوي على خطأ خطير بما يكفي للتسبب في ضرر سريري. للتحقق من هذا الادعاء بأي ثقة إحصائية، ستحتاج إلى مجموعة بيانات معيارية ذهبية ضخمة ومُوسَّمة بدقة تامة — عشرات الآلاف من الملخصات السريرية، كل منها راجعه خبراء في المجال يتفقون على ما يُعدّ "حرجاً". تلك المجموعة من البيانات غير موجودة. لا لدى Pieces Technologies، ولا لدى أي أحد. الملاحظات السريرية شديدة التفرّد، وشديدة الخصوصية للتخصص، وشديدة الاعتماد على أسلوب الطبيب الفردي وتاريخ المريض.

عندما يدّعي أحدهم دقة 99.999% في مهمة يختلف فيها حتى الخبراء البشر على شكل "الصواب"، فإنهم لم يحلّوا المشكلة. لقد ألغَوها بالتعريف.

خلص تحقيق المدعي العام لتكساس إلى أن المقاييس التي استخدمتها Pieces كانت "على الأرجح غير دقيقة" وربما مضلِّلة للمستشفيات التي تنشر الأداة — والتي شملت Houston Methodist وParkland Hospital وChildren's Health System of Texas وTexas Health Resources. أربعة أنظمة كبرى. مرضى حقيقيون. ملاحظات سريرية حقيقية يلخّصها نظام لم تستطع ادعاءات دقته الصمود أمام التدقيق التنظيمي.

الليلة التي توقفت فيها عن الوثوق بالمعايير المرجعية

أريد أن أحدّثك عن لحظة أعادت تشكيل تفكيري في هذا الأمر.

كنا نُجري تقييماً داخلياً لخط معالجة لتلخيص البيانات السريرية — ليس لعميل، بل لأبحاثنا وتطويرنا فحسب. كان فريقي قد بنى ما ظنناه نظاماً متيناً قائماً على RAG. التوليد المعزز بالاسترجاع (Retrieval-Augmented Generation)، لغير المطّلعين، تقنية تقوم فيها، بدلاً من مطالبة النموذج بالإجابة من الذاكرة، باسترجاع المستندات ذات الصلة أولاً من قاعدة معرفة وتغذيتها للنموذج كسياق. من المفترض أن تُرسي المخرجات على أساس من الحقائق.

بدت مقاييسنا الداخلية رائعة. درجات الأمانة تتجاوز 95%. دقة الاسترجاع في نطاق التسعينيات العالية. كنا نشعر بالرضا. ثم اقترحت إحدى مهندساتنا — بريا، التي لديها تلك العادة المُثيرة للجنون في أن تكون على حق بشأن أشياء لا يريد أحد سماعها — أن نفعل شيئاً مختلفاً. فبدلاً من القياس مقابل مجموعة الاختبار الخاصة بنا، سحبت خمسين ملخص خروج حقيقياً من مجموعة بيانات عامة، وطلبت من طبيبين مراجعة النسخ المولّدة بالذكاء الاصطناعي بشكل مستقل.

عادت النتائج مساء يوم خميس. أتذكّر ذلك لأنني كنت أُعِدّ العشاء، واهتزّ هاتفي برسالة على Slack من بريا تقول فقط: "ينبغي أن تنظر إلى هذا قبل الغد."

أشار الطبيبان إلى مشكلات في 23 من أصل 50 ملخصاً. لم تكن أخطاءً كارثية في معظم الحالات — جرعة دواء مأخوذة من دخول سابق بدلاً من الحالي، تفصيل في التاريخ العائلي منسوب إلى قريب خاطئ، قيمة مخبرية كانت صحيحة في اتجاهها لكنها خاطئة رقمياً. لكن في السياق السريري، قد تعني عبارة "صحيحة في الاتجاه لكنها خاطئة رقمياً" الفرق بين خروج آمن وإعادة دخول.

لقد فوّتت مقاييسنا الآلية كل ذلك تقريباً. كان النظام يولّد نصاً سلساً لغوياً ومتشابهاً دلالياً مع المادة المصدر — وهو بالضبط ما كانت المقاييس تقيسه. لكنه لم يكن يولّد نصاً آمناً سريرياً، وهو ما كان يهمّ فعلاً.

كانت تلك هي الليلة التي توقفت فيها عن الوثوق بالمعايير المرجعية كبديل عن الجودة. ولهذا أثّرت فيّ قضية Pieces بشدة حين انفجرت. كنت أعرف تماماً كيف يمكن لشركة أن تنظر إلى أرقامها الخاصة، وتصدّقها بإخلاص، وتظل مخطئة على نحو خطير.

لماذا استخدمت تكساس قانون حماية المستهلك — لا قانوناً للذكاء الاصطناعي؟

هذا هو الجزء الذي ينبغي أن يُسهر كل مورّد ذكاء اصطناعي ليلاً.

لم ينتظر المدعي العام لتكساس أن يُصدر الكونغرس لائحة تنظيمية للذكاء الاصطناعي. ولم يستند إلى أي نظرية قانونية مبتكرة. لقد استخدم قانون تكساس للممارسات التجارية الخادعة وحماية المستهلك — وهو قانون قائم منذ عقود — وطبّقه على ادعاءات دقة الذكاء الاصطناعي بالطريقة نفسها التي يُطبَّق بها على شركة تكذب بشأن كفاءة استهلاك الوقود في سيارة.

يُلزم تعهّد الامتثال الطوعي الناتج شركة Pieces Technologies بفترة مدتها خمس سنوات من الشفافية المشددة. يجب على الشركة الآن أن تكشف عن التعريفات وطرق الحساب وراء أي مقاييس دقة تُعلن عنها. ويجب أن تُخطر العملاء بـ"الاستخدامات الضارة أو المحتمل أن تكون ضارة، المعروفة أو التي يمكن معرفتها بشكل معقول" لمنتجاتها. ويجب أن تقدّم توثيقاً لبيانات تدريبها وأنواع نماذجها. ويجب أن تستجيب لطلبات المعلومات من مكتب المدعي العام خلال 30 يوماً.

هذا ليس مجرد توبيخ خفيف. هذا نموذج يُحتذى.

أول إجراء إنفاذي كبير للذكاء الاصطناعي في الرعاية الصحية لم يتطلب تشريعاً جديداً. كان قانون حماية المستهلك القائم كافياً — وكل ولاية لديها واحد.

تحدثت مع فرق قانونية مؤسسية افترضت أنها في مأمن لأنه "لا يوجد قانون للذكاء الاصطناعي بعد." ذلك الافتراض خاطئ. إذا قدّمت ادعاءً بشأن أداء نظام الذكاء الاصطناعي لديك، وكان ذلك الادعاء مضلِّلاً، فأنت معرّض للمساءلة بالفعل بموجب القانون القائم. تسوية Pieces أثبتت ذلك للتو.

كتبتُ عن التبعات التنظيمية الكاملة — بما في ذلك الالتزامات المحددة بموجب التسوية — في النسخة التفاعلية من بحثنا. إذا كنت تعمل في المشتريات أو الشؤون القانونية أو الامتثال، فإنه يستحق قراءة متأنية.

مشكلة الغلاف

إليك ما أعتقد أنه حدث خطأً فعلياً، من الناحية المعمارية — ولماذا يهمّ ذلك إلى أبعد بكثير من Pieces Technologies.

معظم منتجات الذكاء الاصطناعي المؤسسية التي تُطرح اليوم هي ما تسمّيه الصناعة "أغلفة". يأخذ الغلاف مُدخلات المستخدم، ويرسلها إلى واجهة برمجة تطبيقات نموذج أساسي — GPT-4 أو Claude أو Gemini — ويعرض الاستجابة بشيء من التنسيق البسيط وربما بعض حواجز الحماية المُضافة. إنه سريع البناء، سريع الطرح، سريع البيع. وهو أيضاً هش في جوهره.

الغلاف لا يفهم بياناتك. ولا يحافظ على السياق عبر السجل الطولي للمريض. ولا يعرف أن الدكتور راميريز في قسم القلب يكتب الملاحظات بطريقة مختلفة عن الدكتور تشين في قسم الأورام. ولا يملك وصولاً إلى المعرفة المؤسسية التي تحملها ممرضة ذات عشرين عاماً من الخبرة في رأسها. إنه يتنبأ بالرموز فحسب.

خُضتُ جدالاً مع مستثمر حول هذا ذات مرة — جدالاً محتدماً. كان قد شاهد عرضاً توضيحياً لأداة توثيق سريري قائمة على غلاف واقتنع بأنها "جيدة بما يكفي". كلماته بالحرف: "أشوتوش، استخدم GPT فحسب. اضبطه قليلاً. اطرحه. السوق لن ينتظر."

أخبرته أن السوق لن ينتظر، لكن الجهات التنظيمية ستنتظر. والمرضى سينتظرون. والدعاوى القضائية ستنتظر.

لم يستثمر. ولا أندم على تلك المحادثة.

البديل — ما نبنيه في VeriPrajna وما أعتقد أن على الصناعة أن تتجه نحوه — هو التكامل العميق. وهذا يعني دمج النموذج في نسيج البيانات الفعلي للمؤسسة. يعني استخدام RAG ليس كميزة صورية بل كآلية إرساء حقيقية، مع خطوط استرجاع مضبوطة للمجال المحدد. يعني الضبط الدقيق على متون خاصة بالمجال. يعني إشرافاً بشرياً متعدد الطبقات حيث يملك البشر فعلاً السلطة والسياق لالتقاط الأخطاء.

الأبحاث تدعم هذا. تُظهر الدراسات أن 65% من المطورين يفيدون بأن الذكاء الاصطناعي "يفقد السياق ذا الصلة" أثناء المهام المعقدة — وذلك في هندسة البرمجيات، حيث تكون المخاطر بناءً معطلاً، لا مريضاً متضرراً. في الرعاية الصحية، فقدان السياق ليس خللاً. إنه حادثة سلامة.

ما الذي ينجح فعلاً: الذكاء الاصطناعي التخاصمي ومشكلة الـ3.7 ساعة

سأنسب إلى Pieces Technologies فضلاً في أمر واحد: تضمّنت بنيتها وحدة كشف تخاصمية. الفكرة سليمة — استخدام نموذج ذكاء اصطناعي ثانٍ لمراقبة الأول، عبر فحص الملخصات المولّدة بحثاً عن تعارضات مع البيانات السريرية المصدر. أظهرت ورقتها التقنية أن الوحدة التخاصمية كانت أكثر فعالية بـ7.5 مرة في التقاط الهلوسات ذات الأهمية السريرية مقارنة بأخذ العينات العشوائي.

تلك نتيجة حقيقية. لكنها أيضاً ليست كافية.

إليك السبب. عندما كانت الوحدة التخاصمية تُشير إلى خطأ، كان الملخص المُشار إليه يُحال إلى طبيب معتمد من المجلس للمراجعة. الوقت الوسيط للمعالجة؟ 3.7 ساعة. بالنسبة لملاحظة تقدّم تُودَع في نهاية النوبة، ربما يكون ذلك مقبولاً. أما بالنسبة لملخص خروج يحدد ما إذا كان المريض سيذهب إلى المنزل اليوم أم يبقى ليلة أخرى، فإن 3.7 ساعة دهرٌ كامل. وبالنسبة لأداة دعم قرار سريري في الوقت الفعلي — من النوع الذي يتسابق الجميع لبنائه — فهي عديمة الفائدة.

هذا ما أسمّيه مشكلة سرعة التدخل، وهي مشكلة لم تحلّها الصناعة. يمكنك بناء أفضل نظام لكشف الهلوسة في العالم، لكن إذا كانت حلقة التصحيح أبطأ من سير العمل السريري، فإن المخرجات غير المصححة هي ما يراه الطبيب حين يكون الأمر مهماً.

الكشف من دون تصحيح في الوقت المناسب ليس سوى توثيق للفشل.

في VeriPrajna، بدأنا نفكر في هذا على شكل مستويات. ليست كل حالة استخدام للذكاء الاصطناعي تحمل المخاطر نفسها، وليست كل حالة استخدام تحتاج إلى السرعة نفسها في التدخل البشري. جدولة إدارية؟ دقّقها أسبوعياً. توثيق سريري؟ راجعه قبل أن يدخل السجل. دعم قرار في الوقت الفعلي؟ يجب أن يكون الإنسان ضمن الحلقة قبل توليد المخرجات، لا بعده.

إطار مستوى سلامة الذكاء الاصطناعي الناشئ في الرعاية الصحية يجسّد هذا جيداً — من المستوى 1 (المهام الإدارية منخفضة التأثير) وصولاً إلى المستوى 5 (التفاعل المستقل مع المريض). معظم المؤسسات التي أتحدث إليها تنشر أدوات من المستوى 3 و4 بإشراف من المستوى 1. تلك هي الفجوة التي ستواصل الجهات التنظيمية إغلاقها.

لماذا تحصل 5% فقط من الشركات على قيمة حقيقية من الذكاء الاصطناعي؟

ثمة إحصائية من أبحاث الذكاء الاصطناعي المؤسسي تلازمني: 5% فقط من الشركات تحقق قيمة تجارية قابلة للقياس من الذكاء الاصطناعي على نطاق واسع. لا 50%. ولا 25%. خمسة بالمئة.

الشركات ضمن تلك الـ5% تتشارك نمطاً. تنفق 70% من جهد تنفيذها على التحول التنظيمي — إعادة تصميم سير العمل، وإعادة تعريف الأدوار، وتغيير كيفية اتخاذ القرارات. عشرون بالمئة تذهب إلى حزمة التكنولوجيا. وعشرة بالمئة تذهب إلى الخوارزمية نفسها.

أما الجميع سواهم فيعكسون تلك النسبة. يقضون أشهراً في اختيار النموذج المناسب، وأسابيع في بناء خط المعالجة، ووقتاً يقارب الصفر في التفكير فيما إذا كان البشر في المراحل اللاحقة يثقون فعلاً في مخرجات الذكاء الاصطناعي أو يفهمونها أو يستطيعون الإشراف عليها بفعالية.

رأيت هذا بأم عيني. عملنا مع فريق كان قد بنى نظاماً أنيقاً تقنياً — بنية جميلة، وشيفرة نظيفة، ومعايير مرجعية مبهرة. لكن الأطباء الذين بُني من أجلهم لم يستخدموه. ليس لأنه كان سيئاً، بل لأن أحداً لم يسألهم عمّا يحتاجون إليه. كانت الأداة تولّد الملخصات بتنسيق لا يتطابق مع سير عملهم القائم. كانت تُبرز معلومات يعرفونها بالفعل وتدفن معلومات يحتاجون إليها فعلاً. كان حلاً لمشكلة عرّفها المهندسون، لا الأشخاص الذين يؤدون العمل.

قضينا ثلاثة أسابيع لمجرد الجلوس مع الطاقم السريري، نراقبهم وهم يعملون، قبل أن نكتب سطراً واحداً من الشيفرة لإعادة التصميم. تلك هي الـ70% التي تهمّ.

للاطلاع على التفصيل التقني الكامل لأطر التقييم، وبُنى الكشف التخاصمي، وأنماط العائد على الاستثمار التي تفصل الـ5% عن الـ95%، راجع ورقتنا البحثية المفصّلة.

كيف ينبغي للمؤسسات أن تقيّم فعلاً ادعاءات دقة الذكاء الاصطناعي؟

يسألني الناس هذا باستمرار، لذا دعني أكون مباشراً.

أولاً، اطلب التعريفات. عندما يخبرك مورّد أن معدل الهلوسة لديه هو X%، اسأل: ما الذي يُعدّ هلوسة؟ من وسم مجموعة الاختبار؟ ما حجمها؟ هل قيّمها خبراء في المجال أم نموذج ذكاء اصطناعي آخر؟ إذا لم يستطيعوا الإجابة عن هذه الأسئلة بوضوح، فالرقم لا معنى له.

ثانياً، انظر إلى إطار التقييم. أفضل ما رأيته للرعاية الصحية هو Med-HALT — اختبار الهلوسة في المجال الطبي. إنه لا يقيس فقط ما إذا كان النموذج يحصل على الإجابة الصحيحة. بل يختبر ما إذا كان النموذج قادراً على مقاومة إعطاء إجابة خاطئة بثقة. أحد اختباراته الفرعية، اختبار الثقة الزائفة، يعرض على النموذج سؤالاً وإجابة "صحيحة" مقترحة لكنها في الواقع خاطئة، ثم يتحقق مما إذا كان النموذج سيسايرها. واختبار آخر، يُسمى "لا شيء مما سبق"، يتحقق مما إذا كان النموذج قادراً على إدراك متى لا يكون أيٌّ من الخيارات المتاحة صحيحاً — وهي مهارة بالغة الأهمية، لأنه في الطب، غالباً ما تكون "لا أعرف" هي الإجابة الأكثر أماناً.

ثالثاً، أصرّ على ما يسمّيه إطار FAIR-AI "بطاقة الذكاء الاصطناعي" — إفصاح موحّد يخبر المستخدم النهائي بالبيانات التي دُرِّب عليها النموذج، وأنماط فشله المعروفة، والإصدار المنشور حالياً. اعتبره أشبه ببطاقة القيمة الغذائية للذكاء الاصطناعي. إذا رفض مورّد أن يمنحك واحدة، فاسأل نفسك عمّا يخفيه.

السؤال ليس "ما مدى دقة ذكائك الاصطناعي؟" بل "كيف تعرف ذلك — وهل يمكنك إثباته لجهة تنظيمية؟"

التسوية غيّرت كل شيء. لم يلاحظ معظم الناس ذلك بعد.

إليك ما أعتقد أنه سيحدث خلال العامين المقبلين، وأقول هذا بصفتي شخصاً يبني الأنظمة التي ستخضع لهذه القواعد.

تسوية تكساس ستتكرر. مدّعون عامون في ولايات أخرى يراقبون. لجنة التجارة الفيدرالية تراقب. لقد ترسّخ النمط: لست بحاجة إلى قانون للذكاء الاصطناعي لتنظيم ادعاءات الذكاء الاصطناعي. تحتاج فقط إلى قانون لحماية المستهلك ومورّد قطع وعوداً مبالغاً فيها.

المشتريات المؤسسية ستتغير. ستبدأ أنظمة المستشفيات والمشترون الكبار في اشتراط عمليات تدقيق مستقلة من طرف ثالث لادعاءات دقة الذكاء الاصطناعي قبل توقيع العقود. تسمح التسوية بذلك صراحةً كبديل عن الإفصاح الذاتي، والمشترون الأذكياء سيطالبون به.

نموذج الغلاف سيموت — ببطء، ثم دفعةً واحدة. ليس لأن الأغلفة لا تعمل مع التطبيقات منخفضة المخاطر (فهي تعمل)، بل لأن التكلفة التنظيمية لنشر نظام غير مُرسى في بيئة عالية المخاطر على وشك أن تصبح باهظة. الشركات التي ستنجو هي تلك التي استثمرت في التكامل العميق حين كان صعباً، لا تلك التي طرحت بسرعة وأملت ألا يتحقق أحد.

وماذا عن ادعاء الـ0.001%؟ سيصبح قصة تحذيرية — نظير "قطرة الدم الواحدة" لشركة Theranos في عالم الذكاء الاصطناعي المؤسسي. رقمٌ مثالي إلى حد كان ينبغي أن يكون تحذيراً.

أفكّر في مدير المعلومات ذاك في المستشفى أحياناً. ذاك الذي أراني الشريحة ذات الرقم الكبير. لم يشترِ ذلك النظام. أخبرني لاحقاً أن شيئاً ما في دقة الادعاء أزعجه — فقد كان مفرطاً في النظافة، ومفرطاً في الثقة بالنسبة لتقنية عرف أنها احتمالية في جوهرها.

كان محقاً في انزعاجه. أصعب شيء في الذكاء الاصطناعي المؤسسي ليس بناء نظام يعمل. بل بناء نظام يخبرك بصدق حين لا يعمل. هذا هو المعيار الآن. ليس 99.999%. ولا رقماً على شريحة. المعيار هو: هل يمكنك أن تُظهر عملك، وتقف خلفه، وتتقبّل العواقب حين تكون مخطئاً؟

هذا ما نبني نحوه. ليس ذكاءً اصطناعياً مثالياً. بل ذكاءً اصطناعياً صادقاً. وأعتقد أن ذلك سيهمّ أكثر بكثير من معدل هلوسة أي أحد.