هل يمكن الوثوق بالذكاء الاصطناعي في الموافقة على مطالبات الرعاية الصحية الخاصة بك؟

المشكلة

رفضت خوارزمية الذكاء الاصطناعي التابعة لمجموعة يونايتد هيلث تقديم الرعاية للمرضى المسنين — وكانت مخطئة في 90% من الحالات. تسعة من كل عشرة قرارات رفض أُلغيت عندما راجعها حكم بشري فعلياً. لكن يونايتد هيلث كانت تعلم أمراً مدمّراً: 0.2% فقط من المرضى كانوا يملكون الموارد الكافية للمحاربة من جديد.

الخوارزمية التي تقع في قلب هذه الأزمة تسمى nH Predict. استحوذ قسم Optum التابع لشركة يونايتد هيلث عليها في عام 2020 مقابل أكثر من مليار دولار. كان من المفترض أن تتنبأ بالمدة التي يحتاجها مرضى Medicare من الرعاية اللاحقة للحالات الحادة، مثل الإقامات في مرافق التمريض الماهر. لكنها تحوّلت بدلاً من ذلك إلى آلة لخفض التكاليف تتجاهل ما إذا كان المرضى بحاجة فعلية إلى المساعدة.

خذ حالة كارول كليمنز. بعد نجاتها من الميتهيموغلوبينيميا — وهو اضطراب دم يهدد الحياة — احتاجت إلى رعاية تمريض ماهرة مكثفة. كانت الأدلة السريرية تدعم استمرار حاجتها إلى إعادة التأهيل. لكن توقعات nH Predict أنهت تغطيتها التأمينية على أي حال. ودفعت عائلتها أكثر من 16,768 دولاراً من جيبها الخاص لمنع خروجها المبكر من المنشأة. وتزعم الدعوى أن يونايتد هيلث «راهنت» على أن مرضى مثل كليمنز كانوا أكثر مرضاً أو أكبر سناً أو أفقر من أن يتمكنوا من الاستئناف.

في فبراير 2025، قضت قاضية فيدرالية بأن دعوى الفئة الجماعية يمكن أن تمضي قدماً. إن عصر الاختباء خلف قرارات الذكاء الاصطناعي الصندوق الأسود يقترب من نهايته. وإذا كانت مؤسستك تستخدم الذكاء الاصطناعي لاتخاذ قرارات تمس حياة الناس أو معيشتهم، فإن هذه القضية هي إنذارك.

لماذا يهم هذا عملك

هذه ليست مجرد قصة عن الرعاية الصحية. إنها قصة عن حوكمة الشركات، والتعرّض المالي لها هائل.

تحقق مجموعة يونايتد هيلث إيرادات سنوية تبلغ نحو 300 مليار دولار. وتواجه الشركة الآن دعوى فئة فيدرالية قد تعيد تشكيل الطريقة التي ينشر بها كل مؤسسة خاضعة للتنظيم الذكاء الاصطناعي. إليك ما تخبرك به الأرقام عن مخاطرك أنت:

• قفزت معدلات الرفض بأكثر من 100%. ارتفعت حالات رفض الرعاية اللاحقة للحالات الحادة من نحو 10% إلى 22.7% بعد نشر الذكاء الاصطناعي. وزادت حالات رفض مرافق التمريض الماهر بنسبة 800%. ينبغي أن يسأل مجلس إدارتك: هل تنتج أنظمة الذكاء الاصطناعي لديك نتائج شاذة إحصائياً يمكن للجهات التنظيمية رصدها؟

• تكشف الآن 72% من شركات مؤشر S&P 500 عن مخاطر جوهرية للذكاء الاصطناعي في إفصاحاتها السنوية لدى SEC. ويأتي الضرر بالسمعة في مقدمة المخاوف المُبلَّغ عنها. إن فشلاً واحداً للذكاء الاصطناعي ينتشر بسرعة يمكن أن يثير دعاوى قضائية تكلف أضعاف ما كان من المفترض أن يوفره الذكاء الاصطناعي.

• تصل غرامات قانون EU AI Act إلى 7% من حجم الأعمال العالمي. تُصنَّف أنظمة الذكاء الاصطناعي للرعاية الصحية ضمن فئة «المخاطر العالية» بموجب هذا القانون، بما يتطلب تقييمات مطابقة إلزامية، وإفصاحات شفافية، وإشرافاً بشرياً. وإذا كنت تمارس أعمالاً في أوروبا، فإن عدم الامتثال يمثل تهديداً مالياً على مستوى مجلس الإدارة.

• مسودة إرشادات FDA الصادرة في يناير 2025 تضع الآن إطاراً إلزامياً من 7 خطوات لمصداقية نماذج الذكاء الاصطناعي المستخدمة في القرارات الطبية والتنظيمية. لم تعد الجهات التنظيمية تقترح أفضل الممارسات؛ بل إنها تكتب القواعد.

الخلاصة بالنسبة لبيان أرباحك وخسائرك: تكلفة حوكمة الذكاء الاصطناعي كما ينبغي هي جزء ضئيل من تكلفة الدفاع عن دعوى فئة جماعية، أو دفع غرامات تنظيمية، أو إعادة بناء علامتك التجارية بعد فشل علني.

ما الذي يحدث فعلاً تحت الغطاء

إليك سبب فشل nH Predict، مشروحاً بدون مصطلحات تقنية معقدة.

عملت الخوارزمية عبر المطابقة التقاطعية مع قاعدة بيانات تضم 6 ملايين سجل للمريض. كانت تبحث عن أنماط: المرضى ذوو التشخيصات المشابهة بقوا تاريخياً عدداً معيناً من الأيام. ثم كانت تولّد «تاريخ خروج» مستهدفاً لكل مريض جديد.

فكّر فيها كنظام تحديد مواقع (GPS) لا يعرف إلا متوسطات حركة المرور. يخبرك أن الرحلة تستغرق 30 دقيقة. لكنه لا يرى الحادث أمامه، ولا إغلاق الطريق، ولا حتى أن إطار سيارتك مثقوب. ويظل يصرّ على أنك كان يجب أن تصل منذ زمن.

كان لدى nH Predict نفس النقطة العمياء ذاتها. فقد اعتمدت على الارتباط — ما يحدث عادةً — بدلاً من السببية — ما كان يحرّك حالة كل مريض فعلياً. لم تستطع أن تأخذ في الحسبان ما إذا كان المريض يملك مقدّم رعاية في المنزل، أو يواجه عدم استقرار مالياً، أو يعاني من مضاعفات سريرية محددة. هذه العوامل هي التي تحدد الضرورة الطبية وفق قواعد Medicare، لكن النموذج تجاهلها تماماً.

لهذا النمط من الفشل اسم: إنه الفرق بين طرح سؤال «ماذا يحدث عادةً» وسؤال «لماذا يحتاج هذا المريض إلى وقت إضافي». النموذج المدفوع بالارتباط — الذي يلتقط الأنماط دون فهم الأسباب — يخبرك أن المرضى المصابين بتشخيص معين يغادرون عادةً بعد 14 يوماً. أما النموذج السببي فيسأل ما العوامل التي تجعل المريض يحتاج إلى وقت أكثر، وماذا يحدث عندما تسحب التغطية قبل الأوان.

وساءت المشكلة لأن يونايتد هيلث حوّلت أداة تنبؤ معيبة إلى توجيه إلزامي. فقد أوصى المديرون الداخليون مديري الحالات بإبقاء إقامة المرضى في حدود 3% من توقع الخوارزمية. ثم ضيّقوا هذا الهدف إلى 1% فقط. وكان الأطباء الذين انحرفوا لتلبية الاحتياجات الفعلية للمرضى يواجهون إجراءً تأديبياً أو إنهاء خدمة. وهكذا تحوّل إجراء الأمان «الإنسان في الحلقة» إلى ختم مطاطي.

ما الذي ينجح (وما الذي لا ينجح)

لنبدأ بما لا ينجح، لأن مؤسستك قد تكون تنفّذ أحد هذه الأمور بالفعل.

إضافة طبقة روبوت محادثة فوق ذكاء اصطناعي قائم. هذا هو نهج «الغلاف» — وضع واجهة مخصصة فوق محرك ذكاء اصطناعي من جهة خارجية مثل GPT. هذه الأغلفة لا تقدّم منطقاً ملكياً، وترث كل التحيزات من نموذجها الأساسي، وتنتج مخرجات صندوق أسود لا يمكنك تدقيقها. وفي القطاعات الخاضعة للتنظيم، فهي التزامات قانونية عليك.

افتراض أن المراجعة البشرية تحل كل شيء. كان لدى يونايتد هيلث من الناحية الفنية بشر يراجعون قرارات الذكاء الاصطناعي. لكن حين تعاقب الموظفين على تجاوز الخوارزمية، يصبح الإنسان في حلقتك وهمًا. تصميم العملية أهم من صياغة السياسات.

التعامل مع حوكمة الذكاء الاصطناعي كمشروع تقنية معلومات. إذا كانت حوكمة الذكاء الاصطناعي لديك تعيش بالكامل داخل قسم تكنولوجيا المعلومات، فأنت تفوّت الأبعاد القانونية والسريرية والمالية التي تصنع المسؤولية الفعلية. وقد نجحت قضية فبراير 2025 لأن القاضية وجدت أن يونايتد هيلث خرقت وعدها التعاقدي بأن تتخذ قرارات التغطية «طواقم خدمات سريرية» و«أطباء» — لا خوارزميات.

إليك ما ينجح فعلاً، في ثلاث خطوات:

1. المدخلات: نمذجة سببية بدلاً من الارتباط. ينبغي أن يُبنى نظام الذكاء الاصطناعي لديك على النمذجة السببية ومضادة الوقائع — وهو منهج تخطط فيه لعلاقات السبب والنتيجة الفعلية في مجالك، لا الأنماط التاريخية فحسب. وفي الرعاية الصحية، يعني ذلك نمذجة سبب حاجة المريض إلى الرعاية، لا مجرد المدة التي بقى فيها مرضى مشابهون.

2. المعالجة: ذكاء اصطناعي قابل للتفسير مع تقييم الثقة. كل قرار يتخذه نظام الذكاء الاصطناعي لديك ينبغي أن يأتي مصحوباً بشرح بلغة مباشرة للعوامل التي أسهمت فيه. أدوات مثل SHAP وLIME — وهي طرق تُظهر نقاط البيانات التي أثّرت في مخرج معين — تتيح للمدققين معرفة ما إذا كانت حالات الرفض مدفوعة بالأدلة السريرية أم بمتغيرات وكيلة مثل الرمز البريدي. وعندما يصطدم الذكاء الاصطناعي بحالة تقع خارج بيانات تدريبه، ينبغي لتقييم الثقة أن يشير إلى حالة عدم اليقين وأن يحيل الحالة إلى مراجع بشري.

3. المخرجات: سجل تدقيق كامل مع ضوابط مفتاح إيقاف. كل مخرجات الذكاء الاصطناعي يجب تسجيلها ووسمها بطابع زمني وإتاحة تتبّعها. ويجب أن يتضمن برنامج حوكمة الذكاء الاصطناعي والامتثال سجلاً مركزياً للذكاء الاصطناعي يفهرس كل نموذج في منظومتك، وإدارة تغييرات النماذج مع خيارات تراجع، وسلطة واضحة للجنة متعددة الوظائف بإيقاف أي نموذج إذا تدهور أداؤه.

سجل التدقيق هذا هو ما يقنع فريق الامتثال لديك بهذا المنهج. فحين تطلب جهة تنظيمية أو محامي المدّعي «أرِني كيف اتُّخذ هذا القرار»، فلديك إما مسار منطقي موثّق وإما دعوى قضائية. إن إطار FDA ذا الخطوات السبع لمصداقية يتطلب الآن صراحةً «تقرير مصداقية» يوثّق استراتيجيات التحقق والمقاييس وأي انحرافات. وإذا لم يستطع نظام الذكاء الاصطناعي لديك إنتاج ذلك التقرير، فهو يرسب في الاختبار التنظيمي قبل أن يصل يوم القضاء أصلاً.

المؤسسات التي تبني حلول الذكاء الاصطناعي للرعاية الصحية وعلوم الحياة تحتاج إلى أنظمة تشرح منطقها، وتنبّه إلى حالة عدم اليقين الخاصة بها، وتُبقي البشر في موقع السيطرة الفعلية. رسالة المحكمة في قضية يونايتد هيلث كانت لا لبس فيها: إذا كان نظام الذكاء الاصطناعي لديك معطوباً جذرياً، فلن تُلزم المحاكم الضحايا بالمشاركة في مهزلة عملية استئناف مزوَّرة.

يمكنك قراءة التحليل التقني الكامل أو استكشاف النسخة التفاعلية لإلقاء نظرة أعمق على الأطر التنظيمية والمتطلبات المعمارية.