مقياس التأكسج النبضي على إصبع ابنتي كان يكذب — وكذلك يكذب الذكاء الاصطناعي في مستشفاك

أُصيبت ابنتي بحُمّى بلغت 103 درجات في الربيع الماضي. كنّا في قسم الطوارئ، وثبّتت الممرّضة مقياس تأكسج نبضي على إصبعها البنّي الصغير. أظهرت الشاشة تشبّع أكسجين بنسبة 97%. طبيعي. ابتسمت الممرّضة. أمّا أنا فلم أبتسم.

كنت أعلم — لأنّني أمضيت شهوراً منغمساً في الأدبيات السريرية من أجل مشروع في Veriprajna — أنّ الجهاز الموضوع على إصبعها كان يُبالغ على الأرجح في تقدير نسبة الأكسجين في دمها. وليس بمقدار ضئيل، بل بما يكفي لأن يكون ذا أهمية. فالأبحاث المنشورة في مجلة New England Journal of Medicine ومجلة British Medical Journal قد أظهرت أنّ المرضى السود أكثر عُرضةً بنحو ثلاث مرّات تقريباً لأن يعانوا مما يسميه الأطباء "نقص الأكسجة الخفي" — وهي حالة يقول فيها الجهاز إنّك بخير بينما تكون مستويات الأكسجين الفعلية لديك منخفضة بشكل خطير. وجدت دراسة أجرتها جامعة فاندربيلت عام 2024 أنّ أجهزة قياس التأكسج النبضي الشائعة أخفقت في اكتشاف انخفاض الأكسجين لدى 7% من الأطفال ذوي البشرة الأغمق. ولم تُخطئ ولا حالة واحدة لدى الأطفال ذوي البشرة الأفتح.

نظرت إلى ذلك الرقم الصغير المتوهّج على الشاشة وفكّرت: من هنا يبدأ كل شيء. ليس بخوارزمية خبيثة، ولا بمجموعة بيانات متحيّزة، بل بقطعة عتاد بقيمة 30 دولاراً عُيِّرَت على البشرة البيضاء وظلّت تكذب بشأن أي شخص آخر طوال ثلاثين عاماً.

غيّرت تلك الليلة طريقة تفكيري في كل ما نبنيه في Veriprajna. وهي السبب في أنّني كتبت بحثنا حول الإنصاف الخوارزمي في الذكاء الاصطناعي السريري، وهي السبب في أنّني أكتب هذا الآن.

لماذا يعمل مقياس التأكسج النبضي لديك بشكل مختلف على البشرة الداكنة؟

الفيزياء وراء ذلك بسيطة إلى حدّ يكاد يكون مُهيناً. يُسلّط مقياس التأكسج النبضي ضوءاً أحمر وأشعة تحت حمراء عبر إصبعك ويقيس مقدار ما يُمتَص منه. يمتصّ الهيموغلوبين المُؤكسَج والهيموغلوبين غير المُؤكسَج الضوء بنسب مختلفة، ويستخدم الجهاز هذه النسبة لتقدير مستوى الأكسجين في دمك.

وهنا تكمن المشكلة: فالميلانين أيضاً يمتصّ الضوء عبر تلك الأطوال الموجية نفسها. وإذا عُيِّر الجهاز بصورة أساسية على أشخاص ذوي بشرة أفتح — وهو ما فعله المصنّعون، وحتى وقت قريب لم تكن إدارة الغذاء والدواء تشترط إجراء الاختبار إلا على عشرة أشخاص إجمالاً — فإنّ الامتصاص الإضافي الناتج عن الميلانين في البشرة الأغمق يُقرأ بشكل خاطئ. يُفسّره الجهاز على أنّه هيموغلوبين مُؤكسَج أكثر مما هو موجود فعلاً. فيبدو رقمك أعلى مما هو عليه في الواقع.

هذه ليست نتيجة أكاديمية دقيقة عابرة. فمعدّل النتائج السلبية الكاذبة في اكتشاف انخفاض الأكسجين يتراوح بين 1.2% و26.9% لدى ذوي البشرة الأفتح. أمّا لدى ذوي البشرة الأغمق، فيقفز إلى 7.6% إلى 62.2%. وهذا ليس خطأ تقريب. إنّه واقع طبي مختلف تماماً.

حين يقول الجهاز الموضوع على إصبعك 97%، ويكون أكسجينك الشرياني الفعلي 88%، فإنّك لا تحصل على أكسجين إضافي، ولا تحصل على رعاية مُصعَّدة. بل يُصرَف لك بالعودة إلى المنزل.

أذكر أنّني كنت جالساً في اجتماع للفريق بعد أن جمعت هذه البيانات، فقال أحد مهندسينا — وهو رجل بارع أثق به ثقة تامة — "لكن من المؤكّد أنّ نماذج الذكاء الاصطناعي في المراحل اللاحقة تُصحّح هذا الأمر؟". وأدركتُ أنّ ذلك بالضبط هو الافتراض الذي كان يقتل الناس. فالذكاء الاصطناعي لا يُصحّحه. بل إنّ الذكاء الاصطناعي يُضخّم ذلك.

التتابع الذي لا يتحدّث عنه أحد

إليك ما يحدث في مستشفى حديث. يصل مريض. تُسجَّل العلامات الحيوية — بما في ذلك قراءة مقياس التأكسج النبضي تلك. وتتدفّق هذه العلامات الحيوية إلى السجل الصحي الإلكتروني. وبشكل متزايد، يراقب نظام ذكاء اصطناعي تدفّق البيانات هذا، باحثاً عن أنماط تدلّ على تدهور الحالة: الإنتان، والفشل التنفّسي، والأحداث القلبية.

إذا كانت عتبة الذكاء الاصطناعي لإطلاق تنبيه "عالي الأولوية" هي قيمة SpO₂ أقل من 92%، وأظهر مقياس التأكسج لمريض أسود 93% بينما أكسجينه الشرياني الحقيقي 88%، فإنّ التنبيه لا يُطلَق أبداً. ولا تُوضَع علامة على المريض. والطبيب، الذي يتولّى رعاية خمسة عشر مريضاً آخر وتعلّم أن يثق بالنظام، لا يتدخّل.

هذا ليس افتراضاً نظرياً. إنّها بنية مئات المستشفيات في هذه اللحظة.

أمضيت أمسية طويلة أعمل على استيعاب تبعات هذا الأمر مع شريكي المؤسّس. وظللنا نعود إلى الإدراك المُقلق نفسه: التحيّز ليس في الخوارزمية. إنّه في المُدخَلات. وإذا بنيت أكثر نماذج الذكاء الاصطناعي تطوراً وإدراكاً للإنصاف ودقّةً في المعايرة في العالم، ثم غذّيته ببيانات من مقياس حرارة عنصري، فستحصل على ذكاء اصطناعي عنصري يحمل شهادات ممتازة.

ماذا يحدث حين يُغفل أكثر أنظمة الذكاء الاصطناعي استخداماً لكشف الإنتان 67% من الحالات؟

إذا كانت قصة مقياس التأكسج النبضي تتعلّق بتحيّز العتاد المتدفّق إلى البرمجيات، فإنّ قصة نموذج Epic لكشف الإنتان تتعلّق بما يحدث حين لا يُبنى البرنامج نفسه أصلاً ليعمل للجميع.

نموذج Epic لكشف الإنتان، أو ESM، مُدمَج في أنظمة السجلات الصحية الإلكترونية لمئات المستشفيات الأمريكية. وقد جرى تسويقه باعتباره إنجازاً كبيراً — ذكاءً اصطناعياً قادراً على التعرّف على الإنتان قبل أن يتبيّنه الأطباء، بما يُنقذ الأرواح عبر التدخّل المبكّر. وأفاد المطوّر بمساحة تحت المنحنى (وهي مقياس أداء معياري) تتراوح بين 0.76 و0.83. أرقام محترمة.

ثم أجرى باحثون في Michigan Medicine تحقّقاً خارجياً مستقلاً. فانخفضت المساحة تحت المنحنى إلى 0.63. وكانت الحساسية — أي قدرة النموذج فعلياً على التقاط حالات الإنتان — 33%. فأغفل حالتين من كل ثلاث حالات. وبلغت القيمة التنبّؤية الإيجابية 12%، أي أنّ 88% من تنبيهاته كانت إنذارات كاذبة. ولم يُشِر إلى المرضى قبل الأطباء إلا في 6% من الحالات.

أريد أن أتوقّف عند هذا لحظة. نظام مُنشَر في مئات المستشفيات، ومُدمَج في سير العمل الذي يعتمد عليه الأطباء كل يوم، كان مُخطئاً نحو تسع مرّات من أصل عشر حين يُطلق إنذاراً، وأغفل الحالات الحقيقية في ثُلثَي الأوقات.

نموذج للإنتان بحساسية 33% ليس شبكة أمان. إنّه إحساس زائف بالطمأنينة مقابل رسم اشتراك يشمل المستشفى بأكمله.

لكنّ أرقام الأداء، على سوئها، ليست الجزء الأسوأ. الجزء الأسوأ هو مَن يخذلهم.

لماذا يُخفق كشف الإنتان بالذكاء الاصطناعي مع المرضى السود تحديداً؟

يعاني المرضى السود واللاتينيّون من نحو ضعف معدّل الإصابة بالإنتان مقارنةً بالمرضى البيض، وكثيراً ما تظهر لديهم الإصابة في أعمار أصغر. قد تظنّ أنّ ذلك يجعلهم الفئة الأعلى أولويةً بالنسبة لنظام كشف بالذكاء الاصطناعي. لكن بدلاً من ذلك، وجدت الدراسات أنّ نماذج مثل ESM تُظهر معايرة ضعيفة عبر هذه الفئات.

والسبب شيء يُسمّى تحيّز التسميات، وما إن تفهمه حتى يستحيل عليك أن تتجاهله بعد ذلك.

تُدرَّب معظم نماذج الإنتان على تعريفات سريرية أو رموز فوترة. وهذه الرموز يُنشئها أطباء بشر يتّخذون قرارات بشرية. وإذا كان الأطباء تاريخياً أبطأ في طلب مزارع الدم للمرضى السود — سواء بسبب تحيّز ضمني أو حواجز في التواصل أو عوامل نُظُمية — فإنّ بيانات التدريب تعكس ذلك التأخّر. فيتعلّم الذكاء الاصطناعي أنّ "الإنتان" يبدو مثل البصمات البيانية للمرضى البيض، لأنّ هؤلاء هم المرضى الذين شُخِّصوا على الفور. فيصبح، في الواقع، أعمى عن مظاهر الإنتان لدى المرضى السود.

ثم تُغلَق حلقة التغذية الراجعة المميتة: يُغفل الذكاء الاصطناعي المريض لأنّ البيانات التاريخية كانت متحيّزة. ويُغفل الطبيب المريض لأنّه وثق بذكاء اصطناعي لم يُطلق أي تنبيه.

دخلت في نقاش مع مستثمر محتمل حول هذا الأمر. قال: "ألا يمكنك ببساطة إعادة تدريب النموذج على بيانات أفضل؟"، وكأنّ "البيانات الأفضل" مركونة في مستودع ما، تنتظر أن تُوصَل. فالبيانات هي التاريخ نفسه. والتاريخ هو التحيّز نفسه. لا يمكنك إصلاح مجموعة بيانات متحيّزة بإضافة مزيد من البيانات المتحيّزة نفسها. عليك أن تُغيّر البنية ذاتها.

50.3 وفاة لكل 100,000: الرقم الذي ينبغي أن يُطارد الذكاء الاصطناعي في الرعاية الصحية

كل ما وصفته حتى الآن — أكاذيب مقياس التأكسج، وإخفاقات نموذج الإنتان، وتحيّز التسميات — يتلاقى بأشدّ صوره تدميراً في صحة الأمومة.

تُفيد مراكز مكافحة الأمراض والوقاية منها (CDC) بأنّ النساء السود يواجهن معدّل وفيات مرتبط بالحمل يبلغ 50.3 لكل 100,000 ولادة حيّة. أمّا النساء البيض: 14.5. هذه ليست فجوة. إنّها هُوّة سحيقة — أعلى بـ 3.5 مرّات. وتظلّ قائمة حتى عند ضبط عاملَي التعليم والدخل. فالمرأة السوداء الحاصلة على شهادة جامعية أكثر عرضةً للوفاة أثناء الولادة من امرأة بيضاء لا تحمل شهادة الثانوية.

وجد مركز بيانات الأمومة في كاليفورنيا، وهو من أغنى بيئات صحة الأمومة بالبيانات في البلاد، أنّ أنظمة الإنذار المبكّر الآلية أغفلت 40% من حالات الاعتلال الشديد لدى المريضات السود. أربعون بالمئة. هذه مضاعفات مهدِّدة للحياة — نزيف، وتسمّم الحمل، وإنتان — تحدث بمعدّل يفوق وفاة الأمومة بمئة مرّة. كان يُفترَض أن يلتقطها الذكاء الاصطناعي. لكنّه لم يفعل.

وجزء من السبب يتعلّق بما يسمّيه الباحثون تأثير "التآكل" (weathering) — أي الثمن الفسيولوجي للإجهاد المزمن الناجم عن العنصرية النُّظُمية. فكثيراً ما تظهر لدى النساء السود ضغوط دم أساسية أعلى واستجابات قلبية وعائية متغيّرة. وقد يُفسّر ذكاء اصطناعي مُدرَّب على متوسّطات السكان هذه المؤشرات على أنّها "طبيعية لهذه المريضة" بدلاً من إدراكها كعلامات تحذير في جسد يرزح تحت ضائقة مزمنة.

حين يُغفل نظام إنذار مبكّر بالذكاء الاصطناعي 40% من المضاعفات الشديدة لدى الأمهات السود، فهذا ليس خللاً تقنياً. إنّه نظام يؤدّي عمله تماماً كما علّمته بيانات تدريبه — أي، بشكل غير مُنصف.

وإليك الرقم الذي ينبغي أن يجعل كل مسؤول تنفيذي في قطاع الرعاية الصحية ينتبه: تُقدّر McKinsey أنّ سدّ فجوة صحة الأمومة لدى السود يمكن أن يضيف 24.4 مليار دولار إلى الناتج المحلي الإجمالي الأمريكي ويوفّر 385 مليون دولار من تكاليف الرعاية الصحية السنوية القابلة للتجنّب. هذه ليست أزمة أخلاقية فحسب. إنّها أزمة اقتصادية أيضاً.

النساء السود أكثر عرضةً للوفاة بمقدار 1.79 مرّة بمجرّد حدوث مضاعفة شديدة مقارنةً بالنساء البيض. والأمر لا يتعلّق بمعدّل الإصابة — بل بـ"الإخفاق في الإنقاذ". تحدث المضاعفة، وتُفتَح نافذة التدخّل، ثم يُخفق النظام في التصرّف في الوقت المناسب. وحين لا يُطلق الذكاء الاصطناعي تنبيهاً، ويكون الطبيب منشغلاً برعاية عشرات المرضى الآخرين، تُغلَق تلك النافذة.

لماذا لا يستطيع ChatGPT إصلاح هذا؟

يُطرَح عليّ هذا السؤال باستمرار، بصيغةٍ ما مثل: "لماذا لا تستخدم ببساطة GPT-4 مع مُوجّهات طبية؟ فهو يعرف الكثير عن الطب."

إنّه يعرف بالفعل الكثير عن الطب بالطريقة نفسها التي يعرف بها شخص قرأ كل كتاب دراسي لكنّه لم يلمس مريضاً قط الكثير عن الطب. فالنموذج اللغوي الكبير محرّك إحصائي مُدرَّب على احتمالات اللغة. إنّه لا يفهم الفيزيولوجيا المرضية. ولا يعالج بيانات الموجات في الزمن الحقيقي من شاشة مراقبة بجانب السرير. ولا يستطيع أن يخبرك ما إذا كانت قراءة SpO₂ معيّنة جديرة بالثقة بالنظر إلى لون بشرة المريض وطراز الجهاز المُستخدَم تحديداً.

وجدت الدراسات أنّ النماذج اللغوية الكبيرة لم تحقّق سوى دقّة بنسبة 16.7% في تعديلات الجرعات لحالات الخلل الكلوي حين تكون المتغيّرات الخاصة بالمريض معقّدة. فهي تُهلوِس — إذ تُولّد بثقة معلومات سريرية تبدو موثوقة وهي مُختلَقة تماماً. ولا تستطيع أن توفّر سلسلة الاستدلال الشفافة التي يحتاجها الطبيب للتحقّق من توصية ما، وهو ما بات على نحو متزايد شرطاً تنظيمياً بموجب اللائحة العامة لحماية البيانات (GDPR) واللوائح الصحية الأمريكية المتطوّرة.

سوق الذكاء الاصطناعي في الرعاية الصحية مُغرَق بما أسمّيه تطبيقات "الغلاف" (wrapper) — واجهات رفيعة فوق واجهات برمجة تطبيقات عامة مُعمَّمة. وهي جيّدة لصياغة ملخّصات الخروج أو تلخيص ملاحظات السجل الطبي. لكنّها غير كافية على نحو جوهري لتقرير ما إذا كانت امرأة سوداء في الثانية والثلاثين من عمرها تظهر لديها علامات حيوية حدّية بحاجة إلى تدخّل فوري أم يمكنها الانتظار.

هذا التمييز مهمّ. فالغلاف يأخذ نموذجاً لغوياً عام الغرض ويوجّهه نحو سؤال طبي. أمّا نظام الذكاء الاصطناعي العميق — وهو ما نبنيه في Veriprajna — فيُدمِج الإشارات الفسيولوجية في الزمن الحقيقي، ومجموعات البيانات المُصنّفة بمعرفة الخبراء، والقيود الرياضية المدركة للإنصاف في بنية النموذج من الأساس.

أحد هذين النهجين يستطيع كتابة فقرة مُقنِعة عن الإنتان. أمّا الآخر فيستطيع فعلاً اكتشافه بإنصاف.

كيف تبني فعلياً ذكاءً اصطناعياً سريرياً لا يُميّز؟

هنا عليّ أن أدخل في بعض التفاصيل التقنية، لأنّ الحلّ ليس فلسفياً — بل رياضياً. والرياضيات هي ما يفصل الذكاء الاصطناعي العميق عن المنتجات الوهمية حسنة النيّة.

يُقلّل التحسين التقليدي في تعلّم الآلة متوسّط الخطأ عبر مجموعة البيانات بأكملها. يبدو ذلك معقولاً إلى أن تُدرك أنّ "المتوسّط" ينحاز بطبيعته إلى فئة الأغلبية. فإذا كان 70% من بيانات تدريبك يأتي من مرضى بيض، فسيُحسِّن النموذج أداءه من أجل المرضى البيض. أمّا معدّلات الخطأ لأي شخص آخر فهي مجرّد... خسائر مقبولة ضمن المتوسّط.

نحن لا نقبل بذلك. ففي Veriprajna، نطبّق ما يُسمّى تحسين خسارة أسوأ فئة. فبدلاً من تقليل متوسّط الخطأ، نُقلّل الحدّ الأقصى للخطأ عبر جميع الفئات الديموغرافية الفرعية. ورياضياً، نحن نحلّ المسألة التالية: تقليل الخسارة في أسوأ الحالات عبر السود والبيض واللاتينيّين وسائر الفئات السكانية في آنٍ واحد. وقد أظهرت الأبحاث في الكشف الآلي عن الاكتئاب أنّه في حين قد يخفض هذا النهج الدقّة الإجمالية قليلاً، فإنّه يُحسّن بشكل كبير النتائج للفئات المُمثَّلة تمثيلاً ناقصاً التي كانت لولا ذلك تُصنَّف تصنيفاً خاطئاً بشكل منهجي.

كما نفرض تكافؤ الاحتمالات — بما يتطلّب أن يكون كلٌّ من معدّل الإيجابيات الحقيقية ومعدّل الإيجابيات الكاذبة متساوياً عبر الفئات الديموغرافية. فإذا كان لنموذج إنتان حساسية 80% للمرضى البيض لكن 40% فقط للمرضى السود، فهو يقدّم مستوى رعاية مختلفاً بناءً على العِرق. وانتهى الأمر. هذه ليست مسألة أداء نموذج. إنّها مسألة حقوق مدنية.

وللاطّلاع على الإطار الرياضي الكامل — بما في ذلك دوال الخسارة المدركة للإنصاف، وإزالة التحيّز التخاصمية، ونهجنا في دمج الإشارات متعدّدة الوسائط — فقد عرضت التفاصيل التقنية في ورقتنا البحثية.

لكنّ الرياضيات ليست سوى طبقة واحدة. وإليك كيف تبدو البنية الكاملة في الممارسة العملية:

عليك إصلاح المُدخَلات. نحن لا نتعامل مع قراءة مقياس التأكسج النبضي باعتبارها حقيقة مؤكّدة. فنماذجنا تدمج قياس التأكسج مع تغيّر معدّل ضربات القلب، ومعدّل التنفّس، واتّجاهات اللاكتات. فإذا كان معدّل ضربات قلب المريض واللاكتات لديه في ارتفاع بينما تبقى قيمة SpO₂ ثابتة على نحو مُريب، يرصد النظام تبايناً في الإشارات ويحثّ الطبيب على طلب فحص غازات الدم الشرياني — المعيار الذهبي. فنحن نُثلّث تقدير الحالة الحقيقية للمريض بدلاً من الوثوق بمستشعر واحد متحيّز.

عليك إصلاح التسميات. نحن نستخدم حقيقة مرجعية مُحكَّمة من الخبراء بدلاً من رموز الفوترة. فحين يراجع ثلاثة خبراء في الإنتان حالةً بشكل مستقل ويتّفقون على الجدول الزمني للتشخيص، يكون ذلك إشارة تدريب مختلفة اختلافاً جوهرياً عن رمز فوترة أُنشِئ بعد ست ساعات من دخول المريض بالفعل إلى وحدة العناية المركّزة.

عليك التحقّق محليّاً. يبدأ كل نشر بتدقيق رجعي لبيانات المؤسّسة نفسها. ونقيس ما يُسمّى مؤشّر استقرار السكان لتحديد مدى اختلاف مجموعة المرضى المحلية عن مجموعة التدريب لدينا كمّياً. وإذا كانت الفجوة كبيرة جداً، نُعيد المعايرة قبل التشغيل الفعلي. والانهيار الكارثي في أداء نموذج Epic لكشف الإنتان — من 0.83 للمساحة تحت المنحنى داخلياً إلى 0.63 خارجياً — هو ما يحدث حين تتخطّى هذه الخطوة.

"لكن ألن يُبطئ هذا تبنّي الذكاء الاصطناعي؟"

يسألني الناس هذا، وأنا أتفهّم الدافع وراءه. فهناك إلحاح حقيقي لإدخال الذكاء الاصطناعي إلى سير العمل السريري. فالناس يموتون بينما نتجادل حول مقاييس الإنصاف.

لكن إليك ما تعلّمته: نشر نظام ذكاء اصطناعي متحيّز بسرعة لا يُنقذ مزيداً من الأرواح. إنّه يُنقذ بعض الأرواح — بشكل غير متناسب أرواح البيض، وبشكل غير متناسب أرواح الأثرياء — بينما يخلق إحساساً زائفاً بالطمأنينة يُلحق فعلياً الضرر بكل من عداهم. لقد نُشِر نموذج Epic لكشف الإنتان بسرعة. ونُشِر على نطاق واسع. وأغفل ثُلثَي حالات الإنتان بينما كان يُولّد إنذارات كاذبة في 88% من الأوقات. السرعة دون إنصاف ليست تقدّماً. إنّها إهمال على نطاق واسع.

والاعتراض الآخر الذي أسمعه: "قيود الإنصاف تُقلّل الدقّة." وهذا صحيح تقنياً بأضيق المعاني — فالتحسين من أجل أداء أسوأ فئة قد يخفض المقياس الإجمالي قليلاً. لكنّ "الدقّة الإجمالية" هي الخدعة الإحصائية نفسها التي سمحت لأزمة مقياس التأكسج النبضي بالاستمرار ثلاثين عاماً. فحين تعني دقّتك البالغة 95% نسبة 95% للمرضى البيض و62% للمرضى السود، يكون الرقم الإجمالي كذبة.

إنّ التحسين من أجل متوسّط الدقّة في الذكاء الاصطناعي الصحي أشبه بالإبلاغ عن متوسّط درجة الحرارة في مستشفى — فهو لا يخبرك بشيء عن المريض الذي يحترق.

ما الذي أفكّر فيه في الثانية صباحاً

أفكّر في حقيقة أنّ واحدة من كل ثلاث نساء سود تُفيد بتعرّضها لسوء المعاملة أثناء رعاية الأمومة. أفكّر في الـ40% من حالات الاعتلال الشديد التي أغفلتها أنظمة الذكاء الاصطناعي في كاليفورنيا لدى المريضات السود. أفكّر في إصبع ابنتي داخل مِشبك مقياس التأكسج ذاك، وفي ابتسامة الممرّضة، وفي الرقم الظاهر على الشاشة الذي كنت أعلم أنّه على الأرجح خاطئ.

وأفكّر في حقيقة أنّنا نملك الأدوات الرياضية لإصلاح هذا. فدوال الخسارة المدركة للإنصاف موجودة. ودمج الإشارات متعدّدة الوسائط موجود. وأُطر التحقّق المحلي موجودة. وتحسين أسوأ فئة موجود. لا شيء من هذا نظري. لقد بنيناه. وفِرَق أخرى تبنيه. المعرفة متاحة هنا.

ما ينقص هو الإرادة. فأنظمة صحية كثيرة جداً تشتري حلول الغلاف لأنّها رخيصة وسريعة. وموّردو ذكاء اصطناعي كثيرون جداً يُبلّغون عن الدقّة الإجمالية لأنّ تفصيلها حسب الفئات الفرعية سيكون مُحرِجاً. وجهات تنظيمية كثيرة جداً تختبر الأجهزة على عشرة أشخاص وتَعُدّ ذلك كافياً.

الطريق إلى الأمام ليس معقّداً. اطلب مقاييس أداء حسب الفئات الفرعية من كل مورّد ذكاء اصطناعي — الحساسية، والنوعية، والقيمة التنبّؤية الإيجابية، مُفصَّلة حسب العِرق والعمر والجنس. ارفض ادّعاءات "دقّة 99%" التي لا تُظهر لك المقام. اشترط تحقّقاً خارجياً مستقلاً، لا أوراقاً بيضاء من المورّدين. وتوقّف عن معاملة الإنصاف كطلب ميزة. إنّه شرط تصميمي.

الأمهات السود يمُتن بمعدّل يبلغ 3.5 أضعاف معدّل الأمهات البيض. وأنظمة الذكاء الاصطناعي المبنية على عتاد متحيّز وتسميات متحيّزة تزيد الأمر سوءاً. وفي كل يوم ننشر فيه حلّ غلاف آخر دون أن نسأل لمن يعمل ولمن لا يعمل، نكون نختار الراحة على حساب الأرواح.

لم أُؤسّس Veriprajna لبناء روبوت دردشة آخر بمفردات طبية. أسّستها لأنّني أؤمن بأنّ الذكاء الاصطناعي العميق — النوع الذي يستجوب مُدخلاته الخاصة، ويفرض الإنصاف رياضياً، ويتحقّق محليّاً قبل أن يمسّ مريضاً واحداً — هو التقنية الوحيدة التي تستحقّ أن تكون في الغرفة حين تكون حياة أحدهم على المحكّ.

السؤال ليس ما إذا كان الذكاء الاصطناعي ينتمي إلى الرعاية الصحية. إنّه ينتمي إليها بالفعل. السؤال هو ما إذا كنا نملك النزاهة لبنائه على الوجه الصحيح.