تسعون بالمئة من الأطباء يثقون بالذكاء الاصطناعي السريري لديهم. وهم يكتشفون ثلث أخطائه الخطيرة فقط.
عملت النسخة الأولى من أداتنا لسلامة الذكاء الاصطناعي السريري بشكل رائع. تلك كانت المشكلة.
كنّا قد بنيناها لتؤدي المهمة البديهية: اكتشاف الهلوسات. وجّهها نحو أداة تدوين محيطية أو أداة صياغة في بوابة المرضى، وأطعمها مخرجات الذكاء الاصطناعي، ودعها تُشير إلى العبارات الخاطئة واقعياً. اكتشفت أسماء الأدوية الخاطئة. اكتشفت القيم المخبرية المستحيلة. اكتشفت جرعة كانت مغلوطة بمقدار رتبة عشرية. أتذكّر أنني شعرت بارتياح حقيقي حيالها — كنّا نعثر على الأخطاء، ونجح العرض التوضيحي، وبدت الأرقام نظيفة.
ثم أطلعني مستشار سريري في المشروع، وهو طبيب مستشفيات أمضى عقدين في الأجنحة، على مثال ما زلت أفكّر فيه. كان الذكاء الاصطناعي قد صاغ رداً عبر MyChart لمريض يسأل عن دوائه. قالت المسودة بمواصلة الميتفورمين وأشارت بمرح إلى أن آخر قيمة لـ HbA1c كانت 6.8%. كانت كل حقيقة فيها صحيحة. كانت الملاحظة متعاطفة، وجيدة البنية، تماماً كما قد يكتب طبيب بارع. أجازتها أداتنا دون أي إشارة تحذير.
كان الكرياتينين لدى المريض في ارتفاع عبر ثلاث زيارات. ارتفاع الكرياتينين يعني تراجع وظيفة الكلى، وتراجع وظيفة الكلى يجعل الميتفورمين خطيراً. لم يكن الذكاء الاصطناعي يعلم أن عليه التحقّق. و — هذا هو الجزء الذي أعاد ترتيب طريقة تفكيري في سلامة الذكاء الاصطناعي السريري — ولا كان الطبيب المراجِع ليعلم، وهو يتصفّح مسودة سلسة وودودة ومتّسقة واقعياً في العشر أو الخمس عشرة ثانية التي يمنحها إياها طبيب مشغول قبل النقر على إرسال.
كان كاشف الهلوسة لدينا يحلّ المشكلة الخاطئة. الأخطاء التي تؤذي المرضى ليست عادةً تلك الخاطئة بوضوح. بل تلك الصحيحة موضعياً والقاتلة سياقياً. لا يمكنك بلوغ السلامة عبر التحقّق من الحقائق وحده، لأن الخطر يكمن فيما لم يقله الذكاء الاصطناعي.
ذلك الإخفاق هو سبب توقّف Veriprajna عن بناء كاشف هلوسة وبدئها في بناء بنية تحتية مستقلة للسلامة تغطي كامل حزمة الذكاء الاصطناعي التي يشغّلها النظام الصحي فعلياً. يدور هذا المقال حول ما وجدناه حين نظرنا بصدق إلى تلك الحزمة.
الرقم الذي ينبغي أن يُقلق كل مدير معلومات طبية
في أبريل 2024، The Lancet Digital Health نشرت دراسةً أراها أهمّ اكتشاف وأقلّه استيعاباً في مجال الذكاء الاصطناعي الصحي. طلب الباحثون من أطباء مراجعة ردود صاغها الذكاء الاصطناعي على رسائل المرضى. 7.1% من تلك المسودات شكّلت خطراً جسيماً بإيذاء المريض. و0.6% شكّلت خطر الوفاة.
وإليك الجزء الأهمّ من معدّل الخطأ نفسه. الأطباء، وهم يفعلون تماماً ما نطلبه منهم — مراجعة عمل الذكاء الاصطناعي — أغفلوا 66.6% من المسودات الضارة. وخرج ما بين الثلث وقرابة النصف من المسودات الخاطئة دون أي تعديل على الإطلاق. وعند استطلاعهم، قال 90% من هؤلاء الأطباء أنفسهم إنهم يثقون بأداء الأداة.
تسعون بالمئة ثقة، وثلث الأخطاء الخطيرة يُكتشف. تلك الفجوة ليست مشكلة تدريب. إنها النتيجة المتوقّعة لأن تطلب من إنسان تدقيق آلة تكتب بطلاقة أكبر منه.
هذا هو انحياز الأتمتة، وهو ليس عيباً في شخصية الأطباء. إنه خاصية من خصائص التفاعل. حين تكون المسودة جيدة الصياغة ومتعاطفة، تحلّ جودة النثر محلّ التحقّق المستقل في ذهن القارئ. كلما كتب الذكاء الاصطناعي أفضل، قلّ تدقيق الإنسان. إننا ننشر أدوات تكمن أعظم نقاط قوّتها — اللغة السلسة الواثقة — في كونها بالضبط الآلية التي تُبطل شبكة الأمان التي بنيناها حولها.
صنّفت ECRI، المنظمة غير الربحية لسلامة المرضى التي تنشر القائمة السنوية لأبرز مخاطر التكنولوجيا الصحية، الخطر التشخيصي المدفوع بالذكاء الاصطناعي بوصفه الخطر رقم واحد لعامَي 2025 و2026 كليهما. ليس ضمن العشرة الأوائل. بل رقم واحد، لعامين متتاليين.
"قُرِئَ وروجِع" وهمٌ قانوني
يُلزِم قانون كاليفورنيا AB 3030، الساري منذ يناير 2025، الأنظمة الصحية بالإفصاح عند استخدام الذكاء الاصطناعي في التواصل السريري مع المرضى. ويحمل استثناءً يبدو معقولاً: إذا قرأ مقدّم رعاية مرخّص مخرجات الذكاء الاصطناعي وراجعها، فلا حاجة إلى الإفصاح. والمنطق هو أن وجود إنسان في الحلقة يجعل مساهمة الذكاء الاصطناعي غير مرئية وآمنة.
تُقوّض بيانات The Lancet ذلك المنطق. فإذا كان الأطباء يُغفلون ثلثَي الأخطاء الضارة، فإن "قُرِئَ وروجِع" ليست، في جزء كبير من الحالات، سوى ختم مطاطي. يفترض الاستثناء جودةً في المراجعة يجعلها انحياز الأتمتة مستحيلة على نطاق واسع. وتصل الغرامات إلى 25,000 دولار لكل واقعة بالنسبة للمنشأة، إضافة إلى تعرّض الطبيب الذي يحمل اسمه الملاحظة للمساءلة التأديبية.
أقضي وقتاً طويلاً مع كبار مسؤولي المعلومات الطبية، وهنا عادةً ما يتحوّل الحديث إلى مرحلة غير مريحة. يفترض الإطار القانوني أن مراجعة الإنسان ذات معنى. أما الواقع السريري فهو أن المراجعة ذات المعنى تتطلّب سقالة تقنية لم يبنِها معظم موردي الذكاء الاصطناعي — إبراز عدم اليقين، وربط الاستشهادات بالمصدر، وسير عمل تأكيد فعّالة تجعل الطبيب يتوقّف عند الادعاءات المهمّة. بدأ عدد قليل من الموردين ببنائها — فميزة Linked Evidence من Abridge تتتبّع كل سطر في ملاحظة مُولّدة رجوعاً إلى المقطع الصوتي الدقيق الذي أنتجه — وهذا لا يثبت سوى أن القدرة موجودة وأن معظم الأدوات ما زالت لا تعطيها الأولوية. بدون تلك السقالة، فإن "راجعها إنسان" هي خانة امتثال، لا ضابط سلامة.
قال المورّد 0.001%. وقال المدّعي العام في تكساس: أثبِت ذلك.
يتصدّر كل مورّد للذكاء الاصطناعي السريري عرضَه برقم دقة. وأول ما تعلّمته من تدقيق هذه الأدوات هو أن الرقم مجرّد صنيعة تسويقية إلى أن تعرف كيف جرى حسابه.
في سبتمبر 2024، أبرم المدّعي العام في تكساس تسويةً مع شركة Pieces Technologies بشأن ادعائها التسويقي بأن "معدّل الهلوسة الحرجة" دون 0.001%. كان برنامج Pieces منشوراً في أربعة مستشفيات كبرى في تكساس — Houston Methodist وChildren's Health وTexas Health Resources وParkland. والمثير في القضية أن المدّعي العام لم يحتج إلى أي قانون خاص بالذكاء الاصطناعي. فقد كان قانون حماية المستهلك القائم كافياً للطعن في ادعاء دقة عجزت الشركة عن إثباته.
والتسوية — وهي تعهّد بالامتثال الطوعي لمدة خمس سنوات — تُلزِم Pieces الآن بأن تُفصح، لكل عميل، عن كيفية تعريف مقاييسها وحسابها، وعن البيانات التي دُرِّب عليها النموذج، وعن الاستخدامات الضارة التي تعلمها. وهذا نموذج يُحتذى للصناعة بأكملها.
معدّل الهلوسة بلا مقام ليس قياساً. إنه إعلان.
قارِن 0.001% بما نجده نحن وغيرنا فعلياً في الميدان. في تجربة رائدة خلال الربع الأول من 2025، أوصى مساعد خروج يعمل بالذكاء الاصطناعي بدواء لمريض مُدرَج صراحةً على أنه يعاني حساسية تجاه تلك الفئة الدوائية. وكان معدّله الحقيقي للتصريحات الخاطئة القابلة للتنفيذ سريرياً 0.98% — أي اثني عشر ضعف نسبة 0.08% التي ادّعاها المورّد. الفئة نفسها من المنتجات، وفجوة بمقدار رتبة عشرية بين الشريحة العرضية والمريض. وجد MIT Media Lab أنه دون تخفيف، تبلغ النماذج معدّلات هلوسة تفوق 60% في الحالات السريرية. الجواب الصادق هو أن رقم أحدٍ البارز لا يعني شيئاً إلى أن تسأل: مَحسوب على أي مجموعة بيانات، ومُتحقَّق منه من قِبل مَن، وعلى أي مدة زمنية، و — وهو السؤال الذي لا يطرحه أحد تقريباً — عبر أي فئات ديموغرافية للمرضى؟
تبيّن أن ذلك السؤال الأخير هو الذي تقف وراءه جثث.
الانحياز الذي لا تراه لأن الجهاز يُخفيه
ثمة حقيقة أتمنّى لو كانت أشهر خارج نطاق الرعاية الحرجة. مقياس التأكسج النبضي — ذلك المشبك الصغير على إصبع المريض الذي يقرأ تشبّع الأكسجين في الدم، وهو من أكثر الأرقام موثوقية في الطب — أقلّ دقةً بشكل منهجي على البشرة الداكنة.
المرضى السود أكثر عرضةً بنحو ثلاثة أضعاف للإصابة بنقص الأكسجة الخفي: انخفاض خطير في أكسجين الدم يقرأه الجهاز على أنه طبيعي. ويتراوح مقدار المبالغة في التقدير بين 0.6 و1.5 نقطة مئوية، وهو ما يبدو تافهاً إلى أن يكون الفرق بين "الإدخال إلى العناية المركّزة" و"الإرسال إلى المنزل". في بيانات الأطفال، أغفل الجهاز انخفاض الأكسجين لدى 7% من الأطفال ذوي أغمق درجات البشرة و0% من ذوي أفتحها. أصدرت FDA توجيهاً أولياً في يناير 2025 يوصي المصنّعين بالاختبار على ما لا يقل عن 150 مشاركاً متنوعاً باستخدام مقياس Monk Skin Tone، ارتفاعاً من عُرف سابق لا يتجاوز عشرة.
الآن أضِف طبقة من الذكاء الاصطناعي فوق قياس منحاز أصلاً عند المستشعر. يرث النموذج الانحياز ويغسله عبر مخرَج واثق. هذا هو الجزء من سلامة الذكاء الاصطناعي السريري الذي يكون الموردون أقلّ تجهيزاً لاكتشافه في أنفسهم، لأن اكتشافه يتطلّب تقسيم الأداء عمداً حسب العرق والجنس والعمر — ثم نشر الفجوات.
نموذج Epic للإنتان هو الحكاية التحذيرية التي أطرحها في كل نقاش حَوكمة. أبلغ المطوّر عن قيمة AUC — وهي مقياس معياري للدقة التنبؤية حيث 1.0 مثالي و0.5 يعادل رمي عملة — تتراوح بين 0.76 و0.83. وعندما تحقّقت جامعة ميشيغان منه خارجياً على مرضاها، حصلوا على 0.63. كانت الحساسية 33%، بما يعني أنه أغفل ثلثَي حالات الإنتان. وكانت قيمته التنبؤية الإيجابية 12%، بما يعني أن 88% من تنبيهاته كانت إنذارات كاذبة. وكان ضعيف المعايرة للمرضى السود واللاتينيين، الذين يبلغ معدّل إصابتهم بالإنتان ضعف غيرهم تقريباً. النموذج المُدرَّب على الحكم السريري التاريخي يتعلّم النقاط العمياء السريرية التاريخية، ثم يُطلقها في وجه الأطباء متدثّراً بسلطة الخوارزمية. أعادت Epic هيكلة النموذج في 2022، ونُشِر تحقّق استباقي متعدّد المراكز من نسخته الثانية في JAMA Network Open في فبراير 2026 — وهذا هو المغزى بالضبط. فالتحقّق الخارجي بعد النشر هو ما يكشف الفجوة التي يُخفيها ادعاء AUC الأصلي، وهنا استلزم الأمر سنوات وباحثين من الخارج لفرضه.
تظهر أشدّ صور هذا في رعاية الأمومة. تموت النساء السود أثناء الولادة بمعدّل يتراوح بين 42.8 و50.3 لكل 100,000 ولادة حية، مقابل 13 إلى 14.5 للنساء البيض. وجدت إحدى المراجعات في كاليفورنيا أن أنظمة الإنذار المبكر بالذكاء الاصطناعي أغفلت 40% من حالات الاعتلال الشديد لدى المريضات السود. حين يكون نظام الإنذار أعمى تجاه الفئة الأكثر عرضةً للخطر، فإنه لا يُخفق على نحو محايد فحسب — بل يوسّع الفجوة التي بِيع بحجّة سدّها.
لماذا لا يمكنك ببساطة اختبار النموذج بحثاً عن الانحياز والمضيّ قُدُماً؟
يسألني الناس لماذا لا تُجري الأنظمة الصحية ببساطة فحص إنصاف وتعتمد النموذج. كنت أظنّ أنها مشكلة موارد. لكنها أعمق من ذلك، وهي رياضية.
ثمة نتيجة تُدعى نظرية الاستحالة لـ Chouldechova. وببساطة: تعريفان معقولان للإنصاف — التكافؤ الديموغرافي (يُشير النموذج إلى كل مجموعة بالمعدّل نفسه) وتساوي الاحتمالات (النموذج متساوي الدقة داخل كل مجموعة) — لا يمكن تحقيقهما معاً في آن واحد إلا في الحالات التافهة. عليك أن تختار أي نوع من الإنصاف تُحسّنه، ولذلك الاختيار عواقب سريرية.
عبارة "اختبرنا الانحياز" بلا معنى دون تسمية المعيار. أي مورّد لا يستطيع أن يخبرك بأي تعريف للإنصاف اختاره قد اختار واحداً ولا يخبرك به.
لهذا فإن تدقيق الانحياز الحقيقي ليس شهادةً تُمنح لمرة واحدة. بل هو جداول أداء مقسّمة حسب المجموعات الفرعية، ومنحنيات معايرة بحسب الفئة الديموغرافية، ومؤشّر استقرار السكان — وهو مقياس انحراف — يُتتبَّع لكل موقع نشر، لأن نموذجاً كان مُنصفاً في بوسطن قد ينحرف عن المعايرة في هيوستن مع تغيّر تركيبة المرضى. وتُكلّف تسميات الحقيقة الأرضية التي يفصل فيها خبراء لهذا العمل ما بين 50 و200 دولار لكل حالة. إنها بنية تحتية باهظة ومتخصّصة ومستمرة. وهي أيضاً الشيء الوحيد الفاصل بين قرار شراء وتقرير طبيب شرعي.
لا أحد يملك الحزمة كاملةً
المشكلة البنيوية التي ظللت أصطدم بها هي هذه: يشغّل النظام الصحي المتوسط إلى الكبير ما بين خمس وخمس عشرة أداة ذكاء اصطناعي في آنٍ واحد. أداة تدوين محيطية (Abridge عبر أكثر من أربعين مستشفى تابعة لـ UPMC، أو DAX Copilot من Nuance المرتبطة بالسجل الصحي الإلكتروني)، ونموذج إنتان من Epic، وأداة صياغة في بوابة المرضى، وخوارزمية فرز، ومساعد ترميز. لكلٍّ منها ادعاء دقة خاص بها، وملف سلامة خاص بها، ونقاط عمياء خاصة بها، ولوحة تحكّم خاصة بها. لا يوفّر أي مورّد حَوكمةً تشمل جميع الأدوات، لأنه لا يوجد مورّد يبيعها كلها.
والحَوكمة الموجودة فعلاً أوهن مما توحي به الهياكل التنظيمية. تُظهر بيانات Censinet لعام 2026 أن 84% من الأنظمة الصحية لديها لجنة حَوكمة للذكاء الاصطناعي — لكن 59% فقط لديها عملية اعتماد رسمية موثّقة قبل تشغيل أداة الذكاء الاصطناعي. ويشارك مديرو المعلومات (CIO) في 63% من تلك اللجان؛ أما مدير المعلومات الطبية (CMIO)، وهو الشخص المسؤول سريرياً عندما تُخطئ الأداة، فلا يشارك إلا في 45%. وفي الوقت نفسه يتبنّى الأطباء الأدوات بأنفسهم — ذكاء اصطناعي ظلّي — بوتيرة أسرع مما يمكن لأي لجنة مراجعته.
هذه هي الفجوة التي أُنشئت Veriprajna لسدّها، وهي السبب الذي جعلني أتوقّف عن وصف ما نفعله بـ "اكتشاف الهلوسة". نحن نُجري تقييماً مستقلاً محايداً تجاه الموردين للذكاء الاصطناعي الذي نشره النظام الصحي فعلياً: باختبار الأدوات بأسلوب الفريق الأحمر كما قد يفعل خصم أو يوم عصيب، والتحقّق من ادعاءات دقة الموردين في مقابل المقام الحقيقي، وإجراء تدقيقات الانحياز التي لا تملك معظم فرق تقنية المعلومات القدرة على إجرائها، وتحويل AB 3030 وقانون الذكاء الاصطناعي في كولورادو وقواعد المخاطر العالية في قانون الذكاء الاصطناعي الأوروبي إلى ضوابط تشغيلية بدلاً من مخاوف قانونية. طبقة سلامة واحدة تمتدّ عبر كل أداة.
"أليس هذا مجرّد إبطاء للابتكار؟"
إنه الاعتراض الذي أسمعه أكثر من غيره، وعادةً من شخص شهِد التوثيق المحيطي وهو يصبح فئة بقيمة 600 مليون دولار في عام واحد، ولا يريد أن يكون المسؤول التنفيذي الذي قال لا.
أرى العكس. فالسلامة المستقلة هي ما يجعل التبنّي السريع قابلاً للنجاة منه. الأنظمة الصحية التي تكتوي بالنار ليست الحذِرة منها — بل تلك التي نشرت اعتماداً على شرائح عرض المورّد واكتشفت الفجوة بين 0.08% و0.98% بعد أن تأذّى مريض. يُحقّق متوسّط الاستثمار في الذكاء الاصطناعي الصحي عائداً يبلغ نحو 3.20 دولار عن كل دولار، يتحقّق خلال 14 شهراً. ويتبخّر ذلك العائد على الاستثمار أول مرة تُنتج فيها أداة غير مُتحقَّق منها دعوى إهمال طبي — والدعاوى المتعلّقة بالذكاء الاصطناعي ارتفعت بالفعل بنسبة 14% منذ 2022، متركّزةً في الأشعة والقلب والأورام. التحقّق ليس ضريبةً على الابتكار. إنه التأمين الذي يتيح لك مواصلة الابتكار بعد أن يقع أول خطأ.
الاعتراض الثاني: ألا يستطيع فريق المعلوماتية لدينا التعامل مع هذا؟ أحياناً، وجزئياً. لكن قيمة التقييم المستقل تكمن بالضبط في كونه مستقلاً — للسبب نفسه الذي يجعلك لا تسمح لشركة بتدقيق حساباتها المالية بنفسها. لن يمارس مورّد أسلوب الفريق الأحمر على نفسه ليصل إلى رقم أسوأ مظهراً، والفريق الداخلي الذي دافع عن عملية شراء لديه مصلحة خفية في نجاحها. من لا موقع له في الصفقة هو من يطرح الأسئلة التي لدى كل الآخرين سبب لعدم طرحها.
ما كنت لأقوله لمدير معلومات طبية اليوم
السؤال الذي كنت أظنّه المهمّ هو هل يعمل هذا الذكاء الاصطناعي؟ كنت مخطئاً. كل مورّد سيُريك أنه يعمل. السؤال المهمّ هو هل يمكنك أن تُثبت أنه يعمل — عبر كل فئة ديموغرافية من المرضى — في اليوم الذي يطلب منك فيه جهة تنظيمية أو محامي مدّعٍ أو صحفي ذلك؟
في الوقت الراهن لا تستطيع معظم الأنظمة الصحية ذلك. لديها أرقام دقة لا تستطيع إعادة إنتاجها، ولجنة حَوكمة بلا القائد السريري فيها، وأسطول من الأدوات لم يختبرها أي طرف مستقل معاً قط. ستظل المسودة السلسة يُنقر عليها بالموافقة. وسيظل تنبيه الإنتان يُطلق إنذاراً كاذباً في 88% من الأوقات. وسيظل مقياس التأكسج النبضي يقرأ نتيجة طبيعية لدى المريض الذي حاله ليست كذلك.
بنيتُ ممارسة Veriprajna لسلامة الذكاء الاصطناعي في الرعاية الصحية لأن مثال الميتفورمين لم يفارقني قط. كانت الملاحظة مثالية. كان كل ما فيها صحيحاً. وكان يمكن أن تقتل شخصاً — ليس لأن الذكاء الاصطناعي كان غبياً، بل لأنه كان مقنعاً، ولم يكن أحد مجهّزاً للتحقّق مما لم يقله. السلامة في الذكاء الاصطناعي السريري ليست اكتشاف الخطأ الواضح. بل هي بناء البنية التحتية لاكتشاف الخطأ الخفي، قبل أن يكتشفه المريض.
