الخوارزمية التي رفضت الرعاية عن مرضى يحتضرون — وما علّمتني إياه عن بناء ذكاء اصطناعي لا يقتل

كنت جالساً في قاعة اجتماعات في أواخر عام 2024 حين فتحت زميلة إحصائية على حاسوبها المحمول وأدارت الشاشة نحوي. "هل رأيت هذا؟"

كان ذلك معدل عكس الاستئنافات لخوارزمية nH Predict التابعة لـ UnitedHealth Group — نظام الذكاء الاصطناعي الذي كانت شركتها الفرعية NaviHealth تستخدمه لتقرير متى يجب قطع الرعاية اللاحقة للمرحلة الحادة عن مرضى Medicare. الرعاية التمريضية الماهرة. إعادة التأهيل. ذلك النوع من الرعاية الذي يمنع إرسال مسنّ في الثانية والثمانين إلى شقة فارغة بعد سكتة دماغية.

كان الرقم 90%.

تسع مرات من أصل عشر، حين كان قاضٍ بشري يراجع فعلياً قرار الخوارزمية برفض التغطية، كان يعكسه. كان الذكاء الاصطناعي مخطئاً تسع مرات من أصل عشر. وكانت UnitedHealth تعلم. كانت تعلم لأن 0.2% فقط من المرضى — وهم مسنّون ومعاقون ومصابون بضعف إدراكي — تمكنوا يوماً من تقديم استئناف. لم يُصمَّم النظام ليكون دقيقاً. بل صُمِّم ليكون غير قابل للاستئناف.

أغلقت حاسوبي المحمول تلك الليلة ولم أستطع النوم. لا لأن التقنية فاجأتني — فقد أمضيت سنوات في بناء أنظمة ذكاء اصطناعي وأفهم كيف تفشل النماذج المدفوعة بالارتباط. ما أبقاني مستيقظاً كان شيئاً أبشع: لم يكن هذا خللاً. كان نموذج عمل. وكان النقطة المنطقية النهائية لفلسفة كاملة عن الذكاء الاصطناعي المؤسسي ظل قطاعي يروّج لها بمرح طوال نصف عقد.

أدير Veriprajna، وهي شركة قائمة على فرضية أن الذكاء الاصطناعي في المجالات عالية المخاطر يجب أن يكون مختلفاً جوهرياً عن روبوتات الدردشة ومولّدات المحتوى التي تهيمن على النقاش. أزمة UnitedHealth لم تكتفِ بتأكيد تلك الفرضية. بل جذّرتها.

خوارزمية بمليار دولار لم تستطع أن ترى امرأة تحتضر

دعوني أحدثكم عن كارول كليمنس، لأن الأرقام لا تعني شيئاً من دونها.

كانت كارول مصابة بميتهيموغلوبينيميا — اضطراب دموي مهدد للحياة يعجز فيه دمك عن حمل الأكسجين بشكل سليم. بعد نوبة حادة، كانت في مرفق تمريض ماهر تتلقى إعادة التأهيل التي تحتاجها للبقاء على قيد الحياة. ذلك النوع من الرعاية الذي يُفترض أن يغطيه Medicare.

ثم أنتجت nH Predict "تاريخ خروج مستهدف". فالخوارزمية، المدربة على 6 ملايين سجل مريض، قارنت تشخيص كارول بالنتائج التاريخية وقررت أنها انتهت. لا يهم أن مستويات الأكسجين في دمها كانت لا تزال منخفضة بشكل مهدد للحياة. لا يهم أن أطباءها قالوا إنها تحتاج مزيداً من الوقت. لقد تكلّم النموذج.

دفعت عائلتها $16,768 من مالها الخاص لإبقائها تحت الرعاية. كانوا محظوظين — كان لديهم الموارد. لكن معظم المرضى في وضع كارول لم يكونوا كذلك.

إليكم ما يطاردني في هذه القضية: لم تكن nH Predict تجربة مارقة. فقد دفع قسم Optum التابع لـ UnitedHealth أكثر من مليار دولار للاستحواذ على NaviHealth وخوارزميتها. كان هذا منتجاً رائداً في شركة تتوقع إيرادات بقيمة 340 مليار دولار لعام 2025. أغلى نشر للذكاء الاصطناعي في تاريخ الرعاية الصحية، ولم يستطع التمييز بين متوسط إحصائي وامرأة كانت تختنق.

لماذا أخطأت الخوارزمية في 90% من الحالات؟

هذا هو السؤال الذي يطرحه الجميع، والإجابة بسيطة على نحو خادع. كانت nH Predict محرك ارتباط يتظاهر بأنه أداة سريرية.

لقد استوعبت سجلات المرضى ووجدت أنماطاً: المرضى المصابون بتشخيص X يبقون عادةً Y يوماً. هذا كل شيء. هذه هي الحيلة كلها. لم تكن تنمذج لماذا يحتاج المرضى إلى مدد رعاية مختلفة. لم تأخذ في الحسبان ما إذا كان لدى شخص ما مقدّم رعاية في المنزل، أو ما إذا كان مستقراً مالياً بما يكفي لإدارة العلاج الخارجي، أو ما إذا كانت لديه مضاعفات محددة تجعل حالته مختلفة عن المتوسط الإحصائي.

النموذج الذي يخبرك "المرضى مثل هذا يغادرون عادةً خلال 14 يوماً" ليس كالنموذج الذي يفهم لماذا يحتاج هذا المريض المحدد إلى 21 يوماً. الأول جدول بيانات بخطوات إضافية. الثاني ذكاء.

لقد خضت هذا الجدال مع مؤسسين آخرين مرات لا أستطيع عدّها. "لكن النموذج دقيق في المتوسط!" يقولون. بالتأكيد. والنهر عمقه أربعة أقدام في المتوسط، وهو ما لا يعزّي من غرق في القسم البالغ ثمانية أقدام.

المصطلح التقني لما افتقرت إليه nH Predict هو الاستدلال السببي — القدرة على الانتقال من "ما يحدث عادةً" إلى "ما الذي سيحدث لو غيّرنا هذا المتغير". النموذج السببي يسأل: ماذا يحدث لمسار تعافي كارول كليمنس إذا أزلنا الرعاية التمريضية الماهرة في اليوم الرابع عشر؟ هل تنتكس؟ هل تموت؟ النموذج القائم على الارتباط لا يسأل. لا يستطيع. لم يُبنَ ليفعل ذلك.

لقد كتبت عن هذا التمييز بتعمق في النسخة التفاعلية من بحثنا، لأنني أعتقد أنه أهم مفهوم منفرد يحتاج قادة المؤسسات إلى فهمه عن الذكاء الاصطناعي الآن.

قاعدة الـ 3% إلى 1% — أو، كيف تحوّل الممرضين إلى أختام مطاطية

كان عدم دقة الخوارزمية سيئاً بما يكفي. لكن ما فعلته UnitedHealth بها كان أسوأ.

كشفت شهادة أحد المبلّغين عن مخالفات أن مديري NaviHealth وضعوا أهداف امتثال صارمة لطاقمهم السريري. فقد أُبلغ مديرو الحالات — الممرضون والأطباء، أشخاص أمضوا عقوداً في تعلّم تقييم احتياجات المرضى — بأن يبقوا مدد إقامة المرضى الفعلية ضمن انحراف 3% عن أي تاريخ تتوقعه nH Predict.

ثم شدّدوها إلى 1%.

فكّروا فيما يعنيه ذلك عملياً. أنت ممرض. لقد فحصت مريضاً. تعلم، من سنوات الخبرة ومن الدليل السريري أمامك، أن هذا الشخص ليس مستعداً للعودة إلى المنزل. لكن الخوارزمية تقول اليوم الرابع عشر، ومديرك يقول إن عليك بلوغ اليوم الرابع عشر زائد أو ناقص جزء من يوم، وإلا واجهت إجراءً تأديبياً. وربما الفصل.

ماذا تفعل؟

امتثل معظم الناس. لا لأنهم كانوا أطباء سيئين، بل لأن النظام صُمّم ليجعل الامتثال الخيار الوحيد القابل للنجاة. فقد أُوعز إلى منسّقي الرعاية بتوقيت مراجعات تقدّمهم لتتزامن تماماً مع تاريخ الخروج الذي تتوقعه الخوارزمية — بهندسة الجدول الزمني السريري ليلائم النموذج بدلاً من المريض.

أتذكر أنني وصفت هذا لصديق يعمل في سلامة الطيران، فامتقع لونه. "هذا أشبه بإخبار الطيارين بالهبوط بناءً على خطة الطيران بصرف النظر عن الظروف الجوية،" قال. "لن تحلّق مجدداً أبداً."

حين يُعاقَب الأطباء على تجاوز خوارزمية معيبة، فأنت لا تملك "إنساناً في الحلقة". بل تملك ختماً مطاطياً على هيئة إنسان.

هذا ما أسميه الإكراه الخوارزمي، وهو نمط الفشل الذي يرعبني أكثر من أي شيء — لا لأن الذكاء الاصطناعي مستقل، بل لأنه يخلق بيئة يكون فيها البشر معاقَبين على ممارسة الحكم الذي يفتقر إليه الذكاء الاصطناعي.

ماذا حدث في المحكمة في 13 فبراير 2025؟

الدعوى الجماعية — Estate of Gene B. Lokken v. UnitedHealth Group — بلغت نقطة تحوّل حين حكم قاضي المقاطعة الأمريكي John Tunheim بأنه يمكن للقضية أن تمضي قدماً. هذا مهم للغاية، وليس فقط بالنسبة إلى UnitedHealth.

وجدت المحكمة أن وثائق سياسة UHC الخاصة بها وعدت بأن قرارات التغطية ستُتخذ من قبل "موظفي الخدمات السريرية" و"الأطباء". وباستبدال هؤلاء البشر بخوارزمية أملت النتائج فعلياً، يُحتمل أن UnitedHealth قد أخلّت بعقدها مع كل حامل وثيقة تأمين.

والأهم من ذلك: القاضي أعفى من شرط استنفاد المرضى للاستئنافات الإدارية قبل رفع الدعوى. عادةً، على المستفيدين من Medicare أن يجتازوا مستويات متعددة من المراجعة البيروقراطية قبل أن يتمكنوا من اللجوء إلى المحكمة. لكن Tunheim نظر إلى معدل الخطأ البالغ 90%، ونظر إلى معدل الاستئناف البالغ 0.2%، وقال جوهرياً: لن نجبر أناساً يحتضرون على المشاركة في نظام متلاعَب به ضدهم.

ينبغي أن يكون ذلك الحكم قراءة إلزامية لكل مسؤول تنفيذي ينشر ذكاءً اصطناعياً في صناعة منظّمة. لم يعد النظام القانوني مستعداً لمعاملة الخلل الخوارزمي كمشكلة إجرائية على المرضى حلّها بأنفسهم.

لماذا يُعدّ "الذكاء الاصطناعي الغلاف" قنبلة موقوتة في الرعاية الصحية

هنا حيث أحتاج أن أكون صريحاً بشأن قطاعي، لأن قصة UnitedHealth ليست حادثة معزولة. إنها العرض الأكثر وضوحاً لمشكلة بنيوية.

على مدى السنوات الثلاث الماضية، غُمر سوق الذكاء الاصطناعي المؤسسي بما أسميه حلول الغلاف — شركات تأخذ نموذجاً لغوياً كبيراً موجوداً، وتغلّفه بواجهة مخصصة، وربما تضبطه بدقة على بعض البيانات الخاصة بمجال معين، وتبيعه كمنتج ذكاء اصطناعي للرعاية الصحية. أو منتج ذكاء اصطناعي للتأمين. أو منتج ذكاء اصطناعي للامتثال.

هذه الأغلفة تتشارك كل ثغرة جعلت nH Predict خطيرة:

إنها صناديق سوداء. لا يمكنك تدقيق المنطق وراء أي قرار فردي، ما يعني أنك لا تستطيع اكتشاف التحيّز المنهجي حتى يكون قد آذى بالفعل آلاف الناس.

إنها ترث التحيّزات من نماذجها الأساسية. إذا كانت بيانات التدريب تعكس أنماطاً تاريخية من التمييز — وفي الرعاية الصحية، تفعل ذلك دائماً — فإن الغلاف يعيد إنتاج تلك الأنماط بأمانة.

إنها لا تملك أي فهم سببي. فهي تتنبأ بناءً على الارتباط الإحصائي، ما يعني أنها تُحسّن من أجل "ما يحدث عادةً" بدلاً من "ما ينبغي أن يحدث لهذا المريض".

والأهم من ذلك، إنها غير قابلة للدفاع عنها. يمكن لأي منافس أن يبني الغلاف نفسه على النموذج الأساسي نفسه. لا يوجد ذكاء مملوك، ولا رؤية فريدة — مجرد طبقة رقيقة من الأتمتة فوق محرّك شخص آخر.

اقتصاد الغلاف في ذكاء الرعاية الصحية الاصطناعي مبني على الرمال. حين يرتفع مدّ التنظيم — وهو قادم بسرعة — ستُجرَف الشركات التي تفتقر إلى أنظمة عميقة وقابلة للتفسير وقائمة على السببية.

لا أقول هذا لأن Veriprajna تنافس شركات الغلاف (رغم أننا نفعل). أقوله لأنني رأيت ما يحدث حين تفشل هذه الأنظمة في الإنتاج، والفجوة بين "جاهز للعرض التوضيحي" و"آمن سريرياً" هوّة لا تستطيع الأغلفة عبورها.

كيف تريد الـ FDA من الذكاء الاصطناعي أن يثبت جدارته بالثقة؟

في يناير 2025، أصدرت الـ FDA إرشادات مسودة تنشئ إطار تقييم مصداقية من 7 خطوات لنماذج الذكاء الاصطناعي المستخدمة في اتخاذ القرارات الطبية والتنظيمية. لقد أمضيت أسابيع مع هذه الوثيقة، وهي أهم قطعة من تنظيم الذكاء الاصطناعي رأيتها.

يطالب الإطار بأن يحدد كل نشر للذكاء الاصطناعي بوضوح السؤال المحدد الذي يجيب عنه، وأن يعيّن دوره في سير العمل السريري، وأن يقيّم ما يحدث إذا كان مخطئاً، ثم يثبت — باختبار صارم — أنه مناسب لذلك الغرض المحدد.

كانت nH Predict ستفشل في كل خطوة. لم يكن لديها تعريف واضح لدورها السريري. تجاهل تقييمها للمخاطر العواقب المهدِّدة للحياة للرعاية المرفوضة. "تحقّقها" حسّن من أجل احتواء التكاليف، لا نتائج المرضى.

في هذه الأثناء، صنّف قانون الذكاء الاصطناعي في الاتحاد الأوروبي (EU AI Act) الذكاء الاصطناعي في الرعاية الصحية على أنه "عالي المخاطر" في 2025، مشترطاً إفصاحات شفافية إلزامية وإشرافاً بشرياً. تصل غرامات عدم الامتثال إلى 7% من الإيرادات العالمية. بالنسبة إلى شركة بحجم UnitedHealth، ذلك ليس غرامة — إنه تهديد وجودي.

ذهبت منظمة الصحة العالمية إلى أبعد من ذلك، مستهدفةً تحديداً ما تسميه انحياز الأتمتة — ميل الأطباء إلى الإذعان لخوارزمية حتى حين تتناقض مع حكمهم السريري الخاص. هذا بالضبط ما حدث في NaviHealth. تحذّر إرشادات منظمة الصحة العالمية لعام 2024 من أن الاعتماد المفرط على الذكاء الاصطناعي قد يؤدي إلى "تدهور المهارات" لدى الأطباء الذين يتوقفون عن ممارسة التقييم النقدي.

للاطلاع على التحليل التقني الكامل لهذه الأطر التنظيمية وكيفية تطبيقها على نشر الذكاء الاصطناعي المؤسسي، انظر ورقتنا البحثية.

الليلة التي أدركت فيها أن القابلية للتفسير ليست اختيارية

هناك لحظة في رحلة كل مؤسس يتحول فيها مبدأ مجرد إلى شيء ملموس. بالنسبة لي، كانت أمسية متأخرة أختبر فيها نسخة مبكرة من أحد نماذجنا على مجموعة بيانات للرعاية الصحية.

كان النموذج قد علّم حالة للرفض. طلبت من فريقي تشغيل SHAP — SHapley Additive exPlanations، أداة تُظهر أي الخصائص دفعت تنبؤاً محدداً. لم يكن العامل الأبرز تشخيص المريض أو مساره السريري. بل كان رمزه البريدي.

حدّقت أنا وكبير المهندسين لدي في الشاشة. كلانا يعرف بماذا يرتبط الرمز البريدي في بيانات الرعاية الصحية الأمريكية. لم نكن ننظر إلى متغير سريري. كنا ننظر إلى وكيل عن العرق والدخل متنكّراً في خمسة أرقام.

ألغينا الخاصية تلك الليلة. لكن التجربة بلورت شيئاً كنت أفهمه فكرياً لكنني لم أشعر به في صميمي: إذا كنت لا تستطيع أن تفسّر لماذا اتخذ ذكاؤك الاصطناعي قراراً، فلن تستطيع اكتشاف القرارات التي لا يمكن الدفاع عنها.

لهذا نبني بالقابلية للتفسير كبنية معمارية، لا كفكرة لاحقة. أدوات مثل SHAP تمنحك رؤية شاملة لما يقود نموذجك. LIME — Local Interpretable Model-Agnostic Explanations — تُظهر لك المنطق وراء أي قرار مفرد. بالنسبة لمريضة مثل كارول كليمنس، كانت LIME ستجعل مرئياً أن الخوارزمية كانت تتجاهل انخفاض الأكسجين الخطير في دمها لصالح متوسط إحصاءات التعافي لرمز تشخيصها.

ثم هناك تقييم الثقة — الجزء الذي تتخطاه معظم حلول الغلاف كلياً. حين يأتي مريض بحالة نادرة ممثَّلة تمثيلاً ضعيفاً في بيانات التدريب، يحتاج النظام أن يقول، صراحةً: "لا أعرف ما يكفي لاتخاذ هذا القرار. حوّل هذا إلى إنسان". ليس اقتراحاً. بل توقّفاً قاطعاً.

لماذا لم يعد بإمكان هذا أن يكون "مشكلة تقنية معلوماتية" بعد الآن

يعترض الناس عليّ دائماً حين أقول إن حوكمة الذكاء الاصطناعي تنتمي إلى مجلس الإدارة. "أليس هذا ما يوجد فريق الهندسة من أجله؟" لا. قطعاً لا. وقضية UnitedHealth هي الدليل.

لم يضع مهندسو NaviHealth تفويض انحراف الـ 1%. كان ذلك قراراً إدارياً. لم يقرّر المهندسون معاقبة الأطباء الذين تجاوزوا الخوارزمية. كان ذلك قراراً سياسياً. لم يختر المهندسون نشر نموذج قائم على الارتباط لقرارات تغطية حياة أو موت من دون تحقّق سببي. كان ذلك قراراً استراتيجياً.

بحلول عام 2025، 72% من شركات S&P 500 أفصحت عن مخاطر ذكاء اصطناعي جوهرية في إيداعاتها لدى الـ SEC. باتت المخاطر السمعية الشاغل الأكثر ذكراً. يمكن لإخفاق خوارزمي واحد أن يُطلق تقاضياً وإجراءً تنظيمياً وسخطاً عاماً في آنٍ واحد — والمجلس الذي يقول "لم نكن نعلم" سيكتشف أن الجهل ليس دفاعاً.

في Veriprajna، ندفع كل عميل نحو تأسيس لجان حوكمة ذكاء اصطناعي متعددة الوظائف تضم قادة سريريين ومستشارين قانونيين وممثلين عن سلامة المرضى — لا مجرد مهندسين ومديري منتجات. تحتاج هذه اللجان إلى صلاحية الحفاظ على سجل مركزي لكل نموذج ذكاء اصطناعي في منظومة المؤسسة، وإنفاذ خيارات التراجع حين يتدهور الأداء، و— وهذا الجزء الذي يُشعر المسؤولين التنفيذيين بعدم الارتياح — إيقاف نموذج مربح حين يسبب ضرراً.

حوكمة الذكاء الاصطناعي ليست مركز تكلفة. إنها الفرق بين شركة تنشر الذكاء الاصطناعي بمسؤولية وشركة تصبح العبرة التحذيرية التالية في تحقيق يجريه مجلس الشيوخ.

الجدال الذي أخوضه باستمرار

هناك محادثة أخوضها في كل مؤتمر تقريباً، وتسير هكذا:

"أشوتوش، أنت تعقّد هذا أكثر من اللازم. يمكننا ضبط GPT-4 بدقة على بياناتنا السريرية وشحن شيء خلال ستة أسابيع. نهجك يستغرق أشهراً."

لا أختلف بشأن الجدول الزمني. أختلف بشأن تعريف "منجَز".

يمكنك بالتأكيد شحن غلاف خلال ستة أسابيع. يمكنك عرضه بجمال. سيولّد ملخصات سريرية تبدو معقولة ويُسعد مستثمريك. ثم، بعد ستة أشهر، حين يموت مريض لأن نموذجك أوصى بثقة بمسار عمل خاطئ ولم يستطع أحد تفسير السبب، ستكتشف أن الأسابيع الستة التي وفّرتها كلّفتك كل شيء.

لم تنجم أزمة UnitedHealth عن مهندسين سيئين أو نية خبيثة. نجمت عن منظمة عاملت الذكاء الاصطناعي كمشكلة تحسين إنتاجية — تقليل وقت المراجعة بمقدار ست إلى عشر دقائق لكل حالة — بدلاً من مشكلة حكم سريري. قاست النجاح بسرعة المعالجة ومعدلات الرفض، لا بنتائج المرضى.

التحوّل من الأغلفة التنبؤية إلى ما أسميه الذكاء الاصطناعي العميق لا يتعلق باستخدام نماذج أكثر فخامة. بل يتعلق بطرح سؤال مختلف جوهرياً. ليس "كيف نؤتمت هذا القرار؟" بل "كيف نجعل هذا القرار أفضل وأكثر شفافية وأكثر قابلية للمساءلة مما يستطيعه إنسان بمفرده؟"

إلى أين نمضي من هنا

أريد أن أختم بشيء ظل يزعجني منذ أن بدأت كتابة هذا.

قصة nH Predict صادمة، لكن لا ينبغي أن تكون مفاجئة. لقد أمضينا سنوات في بناء منظومة ذكاء اصطناعي تكافئ السرعة على السلامة، والارتباط على السببية، والأتمتة على التعزيز. هياكل الحوافز — جداول رأس المال المخاطر الزمنية، ودورات المشتريات المؤسسية، والضغط الدؤوب للشحن — كلها تدفع نحو نهج الغلاف. ابنِ بسرعة، بِعْ بسرعة، واقلق بشأن الحوكمة لاحقاً.

لا يوجد "لاحقاً". حكم فبراير 2025 أوضح ذلك. إطار مصداقية الـ FDA أوضح ذلك. غرامة الـ 7% في قانون الذكاء الاصطناعي الأوروبي أوضحت ذلك. وفاتورة كارول كليمنس الطبية البالغة $16,768 أوضحت ذلك بأكثر العبارات إنسانيةً ممكنة.

المسار إلى الأمام ليس ذكاءً اصطناعياً أقل. إنه ذكاء اصطناعي يكسب السلطة التي نمنحها له — عبر التحقّق السببي الذي يفهم لماذا، وعبر البنية المعمارية القابلة للتفسير التي تُظهر عملها، وعبر هياكل الحوكمة التي تمكّن البشر من تجاوز الآلة من دون خوف من العقاب، وعبر التواضع المؤسسي الأساسي للاعتراف حين لا يعرف النموذج ما يكفي لاتخاذ القرار.

لم يكن السؤال قط "هل يستطيع الذكاء الاصطناعي اتخاذ قرارات الرعاية الصحية؟" لطالما كان "هل ينبغي أن نترك الذكاء الاصطناعي يتخذ قرارات رعاية صحية لا يستطيع تفسيرها ولا تبريرها ويخطئ فيها 90% من الوقت؟" الإجابة، أخيراً، هي لا.

بنينا Veriprajna لأننا آمنّا بأن تلك الإجابة قادمة. أتمنى فقط لو أنها لم تتطلب مرضى يحتضرون لإثبات صحتنا.