ادعاءات دقة الذكاء الاصطناعي في الرعاية الصحية: ما تعنيه نسبة 0.001% في الواقع

المشكلة

في سبتمبر 2024، أجبر المدعي العام لولاية تكساس شركة متخصصة في الذكاء الاصطناعي للرعاية الصحية تُدعى Pieces Technologies على إبرام تسوية تاريخية. وكانت الشركة قد صرحت للمستشفيات بأن برمجيات التوثيق السريري الخاصة بها تتمتع بـ «معدل هلوسة حرجة» يقل عن 0.001% — أي أقل من خطأ واحد لكل 100,000 مخرج. ووصفت الولاية ذلك الادعاء بأنه غير دقيق ومضلل في آن واحد.

وهنا يكمن الجزء الذي ينبغي أن يثير قلقكم البالغ؛ فقد كانت أربعة مستشفيات كبرى في تكساس قد نشرت هذه البرمجيات بالفعل. واستخدمتها كل من Houston Methodist وChildren's Health System of Texas وTexas Health Resources وParkland Hospital. قام الذكاء الاصطناعي بتلخيص سجلات المرضى، وصياغة الملاحظات السريرية، وتتبع معوقات الخروج من المستشفى. وليست هذه مهام هينة؛ فالأخطاء في التوثيق السريري يمكن أن تؤثر مباشرة على سلامة المرضى.

لم يكن المدعي العام لولاية تكساس بحاجة إلى قانون جديد خاص بالذكاء الاصطناعي لاتخاذ هذا الإجراء؛ إذ كانت قواعد حماية المستهلك المعمول بها — وتحديداً قانون تكساس للممارسات التجارية الخادعة وحماية المستهلك (Texas Deceptive Trade Practices–Consumer Protection Act) — كافية. وخلصت الولاية إلى أن مقاييس الدقة التي سوقتها شركة Pieces Technologies كانت «غير دقيقة على الأرجح» ومضللة محتملة. ولا يلزم أن تكون مؤسستكم عاملة في مجال الرعاية الصحية لتشعر بوطأة هذا التأثير؛ فإذا كنتم تنشرون أنظمة ذكاء اصطناعي وتقدمون ادعاءات بشأن دقتها، فإن المدعي العام في ولايتكم يمتلك بالفعل الأدوات اللازمة للتحقيق معكم.

لا تقتصر هذه القضية على شركة واحدة فحسب، بل تمثل طلقة تحذيرية لكل مؤسسة تشتري أو تبني أنظمة ذكاء اصطناعي تمس القرارات الخاضعة للتنظيم.

لماذا يهم هذا أعمالكم

لم يعد التعرض المالي والقانوني الناجم عن ادعاءات الذكاء الاصطناعي غير المؤكدة أمراً نظرياً. فقد فرضت تسوية Pieces Technologies التزام امتثال لمدة خمس سنوات مع ولاية تكساس. ويعني ذلك خمس سنوات من الإفصاحات الإلزامية، والمراقبة المستمرة، وإمكانية الخضوع لعمليات تدقيق مستقلة من أطراف ثالثة. فكروا فيما يمكن أن يسببه هذا النوع من التدقيق الصارم لعملياتكم التشغيلية.

ترسم الأرقام صورة واضحة وصادمة عبر قطاع الصناعة:

• 5% فقط من الشركات تحقق قيمة تجارية قابلة للقياس من الذكاء الاصطناعي على نطاق واسع. بينما تنفق الـ 95% المتبقية دون تحقيق عوائد واضحة.
• أفاد 65% من المطورين بأن الذكاء الاصطناعي «يفقد السياق ذي الصلة» أثناء المهام المعقدة، مما يؤدي إلى أخطاء دقيقة أو تناقضات.
• تسجل الشركات التي تشتري أدوات ذكاء اصطناعي متخصصة من الموردين معدل نجاح يبلغ 67%، في حين تنجح الشركات التي تبني أدوات داخلية من الصفر بنسبة 33% فقط من الوقت.

تلزم التسوية الآن شركة Pieces Technologies بالإفصاح عن البيانات والنماذج المحددة المستخدمة في تدريب منتجاتها. كما تتطلب الكشف عن المنهجية الكامنة وراء أي مقاييس أداء. وإذا لم يتمكن مورد الذكاء الاصطناعي لديكم من إظهار كيفية حسابه لادعاءات الدقة، فإنكم تشاركونه مخاطره.

بالنسبة لمجلس إدارتكم وفريق الامتثال لديكم، فإن الدرس المستفاد مباشر. فالمعيار التنظيمي ليس «هل عمل الذكاء الاصطناعي في معظم الأوقات»، بل المعيار هو: هل يمكنكم إثبات ذلك، وهل أخبرتم عملاءكم بالحقيقة حول كيفية قياسه؟ وإذا كانت مؤسستكم تنشر الذكاء الاصطناعي في أي وظيفة خاضعة للتنظيم — سريرية كانت أو مالية أو قانونية — فإن هذه التسوية هي معياركم المرجعي الجديد للعناية الواجبة.

ما الذي يحدث فعلياً خلف الكواليس

لكي تفهموا سبب الشك الكبير في ادعاء نسبة هلوسة تبلغ 0.001%، يتعين عليكم معرفة كيفية عمل أنظمة الذكاء الاصطناعي هذه في الواقع.

إن النماذج اللغوية الكبيرة — وهي التقنية الكامنة وراء أدوات مثل GPT-4 — هي محركات تنبؤ؛ إذ تولد النصوص عبر تخمين الكلمة التالية الأكثر احتمالاً بناءً على الأنماط التي تعلمتها أثناء التدريب. فكروا فيها كخاصية الإكمال التلقائي على هواتفكم، ولكن بنطاق موسع لكتابة فقرات كاملة. فالنظام لا «يفهم» الحقائق، بل يتنبأ بما يبدو صحيحاً ومقنعاً.

تحدث الهلوسة عندما يعين الذكاء الاصطناعي احتمالية عالية لكلمة أو عبارة تبدو صحيحة لكنها خاطئة من حيث الوقائع. وفي البيئة السريرية، قد يعني هذا توليد اسم دواء يتناسب مع بنية الجملة ولكنه لا يتطابق مع السجل الفعلي للمريض.

إن قياس هذه الأخطاء بدقة تصل إلى 0.001% يتطلب مجموعة بيانات ضخمة وموسومة بدقة متناهية من الملخصات السريرية. وهذه المجموعة من البيانات غير موجودة أصلاً؛ إذ إن التوثيق السريري مجزأ للغاية وخاص بكل مريض وطبيب على حدة لدرجة تحول دون وجود أي معيار ذهبي عالمي.

هذه هي المشكلة الجوهرية فيما تطلق عليه الورقة البيضاء نموذج «الغلاف» (wrapper). فالغلاف يرسل بياناتكم إلى نموذج ذكاء اصطناعي عام الأغراض عبر واجهة برمجة التطبيقات (API) ويعرض كل ما يعود منها دون إضافة سوى الحد الأدنى من الفحوص المتخصصة في المجال. يتيح هذا النهج طرح المنتجات في السوق بسرعة، ولكنه يفتقر إلى الضمانات التقنية اللازمة لاكتشاف الهلوسة، أو منع تسرب البيانات، أو مقاومة هجمات حقن التوجيهات (prompt injection attacks). ولا يمكن لاستدعاء بسيط عبر API لنموذج عام أن يراعي التاريخ الطبي الكامل للمريض أو أسلوب التوثيق الخاص بالطبيب. فالسرعة في الوصول إلى السوق لا تعني السلامة في التطبيق العملي.

ما الذي ينجح (وما الذي لا ينجح)

أولاً، دعونا نستبعد الأساليب التي تمنحكم شعوراً زائداً بالأمان:

• الاعتماد على مقاييس الدقة المبلغ عنها من الموردين وحدها. أثبتت قضية تكساس أن هذه المعايير المرجعية قد تفتقر إلى الصرامة والاستقلالية المطلوبة للتحقق من الصحة على مستوى المؤسسات. ويحتاج فريق المشتريات لديكم إلى إثبات مستقل.
• الوثوق بنموذج ذكاء اصطناعي واحد لمراقبة وضبط نفسه. إن نموذجاً عام الأغراض يطبق ضماناته العامة ليس كافياً للقرارات السريرية أو المالية عالية المخاطر.
• توسيع نطاق المشروعات التجريبية للذكاء الاصطناعي دون استراتيجية لجودة البيانات. تُظهر الأبحاث أن الشركات الرائدة تتبع قاعدة «70:20:10»: حيث يُوجه 70% من جهد التنفيذ نحو التحول التنظيمي، و20% نحو الحزمة التقنية، و10% فقط نحو الخوارزمية. بينما تقوم معظم الشركات المتأخرة بتوسيع نماذج مبنية على بيانات غير منظمة أو معزولة.

إليكم ما ينجح فعلياً — نهج ثلاثي الخطوات مبني على مخرجات قابلة للتحقق:

1. تأصيل كل استجابة للذكاء الاصطناعي في بياناتكم الفعلية. إن التوليد المعزز بالاسترجاع (RAG) — وهو أسلوب يسترجع فيه الذكاء الاصطناعي وثائق المصدر الحقيقية لديكم ويستشهد بها قبل توليد الإجابة — يبقي المخرجات مرتبطة بحقائق تقع تحت سيطرتكم. وبدلاً من ترك الذكاء الاصطناعي يخمن من بيانات تدريبه، تقومون بتزويده بسجل المريض الفعلي أو العقد أو وثيقة السياسات. ويعزز هذا النهج الاحتفاظ بالسياق من خلال استرجاع البيانات في الوقت الفعلي والتخزين المتجهي (vector storage) طويل الأمد.

2. إضافة طبقة كشف تخاصمية. يعني هذا نشر نظام ذكاء اصطناعي ثانٍ مهمته الوحيدة هي مراجعة عمل النظام الأول. وفي البنية الهندسية لشركة Pieces Technologies، كانت وحدة الكشف لديهم أكثر فعالية بمقدار 7.5 أضعاف في التقاط الهلوسة ذات الدلالة السريرية مقارنة بأخذ العينات العشوائية. ويبقى هذا المبدأ مهماً حتى لو كانت النسبة الإجمالية محل نزاع: فالفحص المؤتمت يلتقط أخطاء يغفلها البشر.

3. إبقاء العنصر البشري في حلقة اتخاذ القرارات عالية المخاطر. ينبغي للذكاء الاصطناعي أن يصيغ المسودات لا أن يقرر. وبالنسبة لشركة Pieces، أُحيلت الملخصات التي رصدها نظام الكشف إلى أطباء معتمدين من البورد لمراجعتها. وكان الوسيط الزمني لتصحيح الخطأ المرصود 3.7 ساعات. وفي بيئة الرعاية الحرجة، قد يكون هذا التأخير مقبولاً للملاحظات التطورية، ولكنه قد يكون خطيراً في دعم اتخاذ القرار في الوقت الفعلي. لذلك، يتعين عليكم تصنيف حالات استخدام الذكاء الاصطناعي إلى مستويات وفقاً للمخاطر وسرعة الاستجابة المطلوبة.

تربط ميزة مسار التدقيق كل ذلك معاً لصالح فِرق الامتثال والشؤون القانونية لديكم. توصي أطر عمل مثل FAIR-AI بإنشاء «ملصق ذكاء اصطناعي» ("AI Label") لكل أداة يتم نشرها؛ حيث يفصح هذا الملصق عن بيانات التدريب، وإصدار النموذج، وأنماط الفشل المعروفة للمستخدم النهائي. وعندما يسأل جهة تنظيمية أو مدقق عن كيفية اتخاذ الذكاء الاصطناعي لقرار معين، يمكنكم أن توضحوا لهم بدقة وثائق المصدر التي استند إليها، والفحوصات التي اجتازها، والشخص الذي اعتمد المخرج النهائي. وهذه الشفافية هي ما يميز النشر القابل للدفاع عنه قانونياً عن المسؤولية القانونية.

بالنسبة للمؤسسات العاملة في مجال الرعاية الصحية وعلوم الحياة، فإن هذا النوع من التأصيل والتحقق من الاستشهادات ليس خياراً إضافياً — بل هو المعيار الناشئ. وتُعد بنية GraphRAG التي تربط الذكاء الاصطناعي لديك بمخططات المعرفة المهيكلة وسجلات المصادر المعتمدة هي الأساس التقني الذي يجعل هذا ممكناً.

يمكنكم قراءة التحليل التقني الكامل أو استكشاف النسخة التفاعلية للاطلاع على التفاصيل الهندسية الدقيقة الكامنة وراء هذه التوصيات.