انحياز الذكاء الاصطناعي في الرعاية الصحية يودي بحياة المرضى

المشكلة

تموت الأمهات ذوات البشرة السمراء بمعدل 3.5 أضعاف معدل الأمهات ذوات البشرة البيضاء أثناء الحمل والولادة. وتزيد أنظمة الذكاء الاصطناعي المصممة لإنقاذهن من تفاقم الأزمة. لقد أغفلت أنظمة الإنذار المبكر المؤتمتة في مستشفيات كاليفورنيا 40% من المضاعفات الشديدة والمهددة للحياة لدى المرضى ذوي البشرة السمراء. كما أن أحد أكثر نماذج التنبؤ بالإنتان انتشاراً — نموذج إنتان إبيك (Epic Sepsis Model)، المثبت في مئات المستشفيات — أغفل 67% من حالات الإنتان الفعلية في اختبارات مستقلة. وأطلق الكثير من الإنذارات الكاذبة لدرجة أن 88% من تنبيهاته كانت خاطئة.

هذا ليس شاغلاً نظرياً. إنها إخفاقات تحدث الآن بالفعل، في مستشفياتكم أو في المستشفيات التي تؤمنها مؤسستكم، أو تمولها، أو تشاركها. والسبب الجذري أعمق بكثير من مجرد برمجيات معيبة. فالأجهزة المادية التي تغذي الذكاء الاصطناعي بالبيانات — مثل مقاييس التأكسج النبضي (pulse oximeters) — تحتوي على انحياز عرقي متجذر في فيزيائها ذاتها. ونماذج الذكاء الاصطناعي المبنية على تلك البيانات ترث كل عيب، وتضخمه، ثم تغلفه بقناع من السلطة الخوارزمية.

إذا كانت مؤسستكم تنشر الذكاء الاصطناعي السريري أو تشتريه أو تعتمد عليه، فيتعين عليكم فهم كيف تتفاقم هذه الإخفاقات على نحو متسلسل — وما يتطلبه إصلاحها قبل أن تتحول إلى مسؤولية قانونية تقع على عاتقكم.

لماذا يهم هذا أعمالكم

إن المخاطر المالية والقانونية الناجمة عن الذكاء الاصطناعي السريري المنحاز هائلة. وتُقدر ماكنزي (McKinsey) أن معالجة التفاوتات الصحية للأمهات ذوات البشرة السمراء وحدها كفيلة بتوفير 385 مليون دولار سنوياً من تكاليف الرعاية الصحية التي يمكن تجنبها وإضافة 24.4 مليار دولار إلى الناتج المحلي الإجمالي للولايات المتحدة من خلال استعادة سنوات الحياة الصحية. وهذا يعني أن النظام الحالي ينزف أموالاً طائلة بينما يقدم رعاية أسوأ.

إليكم ما ينبغي أن يثير قلق فريقكم القيادي:

• المخاطر التنظيمية تتسارع. تفرض اللائحة العامة لحماية البيانات الأوروبية (GDPR) بالفعل على الأنظمة المؤتمتة تقديم سلاسل استدلال شفافة. وتتجه اللوائح الصحية الأمريكية في الاتجاه ذاته. وإذا لم يتمكن الذكاء الاصطناعي لديكم من توضيح سبب تنبيهه بشأن مريض وتجاهله لمريض آخر، فإنكم تواجهون مخاطر عدم الامتثال.
• التفاوتات في معدلات الوفيات تجعلكم عرضة للتقاضي. النساء ذوات البشرة السمراء أكثر عرضة للوفاة بمقدار 1.79 مرة بمجرد حدوث مضاعفة شديدة مقارنة بالنساء ذوات البشرة البيضاء. وحين يخفق نظام الذكاء الاصطناعي في تنبيه الأطباء، ويقع الضرر الناتج بشكل غير متناسب على فئة عرقية بعينها، فإن الحجة القانونية تصبح واضحة بذاتها.
• إجهاد التنبيهات يدمر استثماركم. إن معدل الإنذارات الكاذبة البالغ 88% لنموذج إنتان إبيك يعني توقف الأطباء عن الوثوق بالنظام. لقد دفعتم مقابل أداة يتعلم كوادركم في الخطوط الأمامية تجاهلها. وتلك ضربة مباشرة لعائد استثماركم (ROI) ومقاييس سلامة المرضى لديكم.
• مخاطر تلحق بالسمعة على مستوى مجلس الإدارة. تبلغ واحدة من كل ثلاث نساء من ذوات البشرة السمراء عن تعرضها لسوء المعاملة أثناء رعاية الأمومة. وإذا كان الذكاء الاصطناعي لديكم يسهم في تكريس هذا النمط بدلاً من تصحيحه، فقد يكون الضرر اللاحق بالسمعة جسيماً وطويل الأمد.

يتعين على مديركم المالي معرفة ما يلي: تكلفة الإخفاق في هذا الأمر تُقاس بالأرواح، والدعاوى القضائية، وفقدان الثقة.

ما الذي يحدث فعلياً خلف الكواليس

تبدأ المشكلة قبل أن يعمل أي نموذج ذكاء اصطناعي أصلاً. تبدأ من المستشعر المثبت على إصبع المريض.

تعمل مقاييس التأكسج النبضي عن طريق تسليط الضوء عبر الجلد وقياس كمية الأكسجين التي يحملها الدم. ولكن الميلانين — وهو الصباغ الذي يمنح الجلد لونه — يمتص هذا الضوء أيضاً. وعندما تمت معايرة هذه الأجهزة في الغالب على أشخاص ذوي بشرة أفتح، يُساء تفسير الامتصاص الإضافي للضوء في البشرة الداكنة. فيسجل الجهاز مستويات أكسجين طبيعية بينما يكون المريض في خطر فعلي.

فكروا في الأمر كما لو كان ميزان حمام تمت معايرته باستخدام أشخاص تتراوح أوزانهم بين 120 و160 رطلاً فقط. فإذا وقفتم عليه ووزنكم 200 رطل، قد يُظهر 170. يبدو الرقم جيداً، لكنه خاطئ على نحو خطير.

المرضى من ذوي البشرة السمراء أكثر عرضة بثلاثة أضعاف تقريباً لمواجهة أزمة نقص الأكسجين الخفية هذه — التي تسمى نقص تأكسج الدم الخفي (occult hypoxemia) — مقارنة بالمرضى ذوي البشرة البيضاء. ولدى الأطفال ذوي البشرة الأكثر قتامة، أغفلت مقاييس التأكسج النبضي الشائعة انخفاض الأكسجين الخطير في 7% من الحالات، بينما لم تغفل أي حالة لدى ذوي البشرة الأفتح لوناً.

الآن ضعوا الذكاء الاصطناعي فوق ذلك كطبقة إضافية. إذا كانت خوارزمية الفرز الطبي لديكم تطلق تنبيهاً عالي الأولوية عندما ينخفض الأكسجين عن 92%، فإنها ستغفل منهجياً المرضى ذوي البشرة السمراء الذين يبلغ مستوى الأكسجين الحقيقي لديهم 88% لكن جهازهم يقرأ 93%. يرث الذكاء الاصطناعي عمى المستشعر، ثم يضيف مشكلاته الخاصة: فالنماذج المدربة على سجلات سريرية منحازة تتعلم ربط «الإنتان» بأنماط بيانات المرضى ذوي البشرة البيضاء. وإذا كان الأطباء تاريخياً أبطأ في طلب مزارع الدم للمرضى ذوي البشرة السمراء، فإن الذكاء الاصطناعي يتعلم نقطة العمى تلك أيضاً. ويتحول الأمر إلى حلقة ارتجاع قاتلة — مدخلات بيانات منحازة تُنتج قرارات منحازة.

ما الذي ينجح (وما الذي لا ينجح)

قبل استكشاف ما يعالج هذا الأمر، إليكم ما لا يجدي نفعاً:

• روبوتات الدردشة العامة بالذكاء الاصطناعي وأغلفة النماذج اللغوية الكبيرة (LLM wrappers). هذه طبقات برمجية رقيقة فوق نماذج لغوية عامة الأغراض مثل GPT أو Gemini. وهي تعالج احتمالات الكلمات، لا المنطق السريري. وقد وجدت الدراسات أن النماذج اللغوية الكبيرة حققت دقة بنسبة 16.7% فقط في تعديل الجرعات للمرضى الذين يعانون من مشكلات كلوية عندما كانت الصورة السريرية معقدة. وهي غير مصممة لاتخاذ قرارات ترتبط بالحياة أو الموت.
• ادعاءات دقة الموردين دون بيانات المجموعات الفرعية. لا معنى لقول المورد إن نموذجه «دقيق بنسبة 95%» إذا كانت حساسيته 80% للمرضى ذوي البشرة البيضاء و40% للمرضى ذوي البشرة السمراء. أنتم بحاجة إلى تفصيل الأداء حسب العرق والعمر والجنس — وليس مجرد رقم واحد متوسط.
• التحقق من صحة النموذج لمرة واحدة. النموذج الذي يُثبَت التحقق من صحته في مستشفى ما غالباً ما ينهار في مستشفى آخر. ادعى نموذج إنتان إبيك داخلياً أن المساحة تحت منحنى الخصائص التشغيلية للمستقبِل (AUC) — وهو مقياس قياسي لدقة التنبؤ — تتراوح بين 0.76 و0.83. لكن الاختبارات الخارجية في مستشفى ميتشيغان ميديسن (Michigan Medicine) وجدت أنه انخفض إلى 0.63. فمجتمع المرضى لديكم ليس هو نفسه مجتمع التدريب لدى المورد.

ما ينجح فعلياً هو نهج متعدد الطبقات يعالج المشكلة في كل مرحلة:

1. إصلاح المدخلات. لا تتعاملوا مع أي مستشعر منفرد بوصفه الحقيقة المطلقة. ادمجوا قراءات التأكسج مع تقلب معدل ضربات القلب، ومعدل التنفس، والنتائج المخبرية. وعندما تتعارض هذه الإشارات — على سبيل المثال، ارتفاع معدل ضربات القلب وارتفاع حمض اللاكتات مع استقرار قراءات الأكسجين — يضع النظام علامة على وجود تباين ويطلب إجراء اختبار غازات الدم الشرياني بوصفه المعيار الذهبي (gold standard). وهذا يكشف الحالات التي قد يغفلها مستشعر منحاز.

2. إصلاح عملية التدريب. دربوا النماذج على تصنيفات راجعها خبراء سريريون، وليس على رموز الفوترة أو اختصارات التوثيق التي تحمل انحيازات تاريخية. وطبقوا قيود العدالة أثناء التدريب — وهي قواعد رياضية تجبر النموذج على تقديم أداء متساوٍ عبر المجموعات العرقية والديموغرافية، حتى وإن أدى ذلك إلى خفض طفيف في متوسط الدرجة الإجمالية.

3. إصلاح النشر التشغيلي. قبل إطلاق النظام في مؤسستكم، أجروا تدقيقاً محلياً للتحقق من الصحة. قيسوا مدى اختلاف مجتمع المرضى لديكم عن بيانات تدريب النموذج باستخدام مقياس يُدعى مؤشر استقرار السكان (Population Stability Index). ثم أعيدوا المعايرة. وكرروا هذا التدقيق باستمرار، لأن تركيبة مرضاكم وبروتوكولاتكم السريرية تتغير بمرور الوقت.

إن ميزة الامتثال هنا بالغة الأهمية. فكل خطوة — من تصحيح المستشعر إلى قيود العدالة وصولاً إلى التدقيق المحلي — تُنتج مساراً موثقاً. وحين يسأل جهة تنظيمية أو مدعٍ قضائي عن سبب اتخاذ نظامكم لقرار معين، يمكنكم أن تبينوا بدقة نقاط البيانات التي استدعت التنبيه، وفحوص العدالة التي طُبقت، وكيف تم التحقق من صحة النموذج لمجتمع مرضاكم المحدد. وهذا المسار التدقيقي هو ما يفصل بين الذكاء الاصطناعي القابل للدفاع عنه قانونياً والذكاء الاصطناعي الخطير.

ينبغي لمستشاركم القانوني العام ومسؤولي إدارة المخاطر لديكم المطالبة بهذه الوثائق من كل مورد ذكاء اصطناعي تقومون بتقييمه. وإذا لم يتمكن المورد من تقديم مقاييس أداء المجموعات الفرعية، ومنحنيات المعايرة، وأدلة على التحقق المستقل من الصحة والمحكَّم من قبل الأقران، فهذه إشارتكم للانسحاب والرفض.