سجلت رسائل المرضى بالذكاء الاصطناعي نسبة أذى جسيم بلغت 7%

المشكلة

صاغ نظام ذكاء اصطناعي رداً على مريض كان يصف عَرَضاً يهدد حياته. وبدلاً من توجيه المريض إلى قسم الطوارئ، أرسل رداً هادئاً وروتينياً. صُنِّفت تلك الرسالة الفردية لاحقاً على أنها تشكل خطراً مباشراً بالوفاة.

لم يكن هذا فشلاً هامشياً أو حالة شاذة. ففي دراسة نُشرت في أبريل 2024 في دورية The Lancet Digital Health، اختبر باحثون من كلية الطب بجامعة هارفارد وجامعة ييل وجامعة ويسكونسن قدرة نموذج GPT-4 على صياغة رسائل بوابة المرضى. وأجروا 156 محادثة محاكاة مع المرضى عبر الذكاء الاصطناعي داخل نظام محاكاة للسجلات الصحية الإلكترونية. وكانت النتائج مقلقة للغاية: 7.1% من المسودات التي أنشأها الذكاء الاصطناعي شكلت خطراً بوقوع أذى جسيم بالمرضى. و0.6% — أي رسالة واحدة في المحاكاة — حملت خطراً مباشراً بالوفاة.

لكن إليك الجزء الذي ينبغي أن يقضّ مضجعك. فقد راجع عشرون طبيب رعاية أولية ممارساً تلك المسودات التي صاغها الذكاء الاصطناعي. وفاتهم في المتوسط ثلثا الأخطاء الخطيرة. ولم يكتشف سوى طبيب واحد فقط من أصل عشرين جميع الرسائل الأربع التي احتوت على أخطاء مقصودة. وأُرسل ما بين 35% و45% من المسودات الخاطئة إلى المرضى دون أي تعديل على الإطلاق. لقد وثق الأطباء بالذكاء الاصطناعي؛ إذ أفاد 90% منهم بأنهم يثقون في أداء الأداة، وقال 80% إنها قللت من عبء العمل الذهني لديهم. كتب الذكاء الاصطناعي بأسلوب جيد، وبدا متعاطفاً، وضبط النبرة بدقة؛ لكنه أخطأ في الطب — ولم يلاحظ الأطباء ذلك.

إذا كانت منظومتك الصحية تستخدم الذكاء الاصطناعي لصياغة مراسلات المرضى، فهذا هو ملف المخاطر الخاص بك في الوقت الراهن.

لماذا يهم هذا عملك

التعرّض المالي والقانوني هنا ليس نظرياً؛ بل هو قابل للقياس ويتزايد باستمرار.

دخل مشروع قانون الجمعية العامة لولاية كاليفورنيا رقم 3030 (AB 3030) حيز التنفيذ في 1 يناير 2025. وهو يُلزم كل منشأة صحية وعيادة وممارسة طبية بإخطار المرضى كلما استُخدم الذكاء الاصطناعي التوليدي لنقل معلومات سريرية. ويعني ذلك إخلاءات مسؤولية مكتوبة في أعلى رسائل البريد الإلكتروني، وإخلاءات مسؤولية شفهية في بداية المكالمات الهاتفية ونهايتها، وإخلاءات مسؤولية مستمرة طوال التفاعلات عبر الفيديو والمحادثات النصية. وإذا تخلفت عن الامتثال، فستواجه منشآتك غرامات وإجراءات ترخيصية، بينما يواجه أطباؤك الأفراد إجراءات تأديبية تمس تراخيصهم الطبية.

يتضمن القانون AB 3030 استثناءً: إذا قام مقدم رعاية مرخص له بـ«قراءة ومراجعة» مخرجات الذكاء الاصطناعي، فلست ملزماً بالإفصاح عنها. لكن تأمل بيانات دراسة دورية Lancet:

• 7.1% من المسودات المُولَّدة بالذكاء الاصطناعي شكلت خطراً بوقوع أذى جسيم
• 66.6% من تلك المسودات الخطيرة غابت عن ملاحظة الأطباء المراجعين
• 35%–45% من المسودات الخاطئة أُرسلت دون أي تعديلات على الإطلاق
• 90% من الأطباء أفادوا بثقتهم في أداء أداة الذكاء الاصطناعي

يفترض هذا الاستثناء أن المراجعة البشرية تعمل بفعالية في الواقع. إلا أن الأدلة تشير إلى أنها غالباً لا تؤدي الغرض. وإذا تضرر مريض بسبب رسالة صاغها الذكاء الاصطناعي واعتمدها طبيبك دون مراجعة حقيقية، فستواجه دعوى سوء ممارسة طبية في وقت يتطور فيه معيار الرعاية بسرعة فائقة. فالمحاكم تتساءل الآن عما إذا كان مقدمو الرعاية قد قبلوا توصيات الذكاء الاصطناعي بشكل أعمى، وباتت تعترف بالانحياز الخوارزمي مصدراً لضرر حقيقي يلحق بالمرضى. وقد تطلب شركة التأمين ضد سوء الممارسة لديك سجلات تدقيق موثقة تُبيّن إصدار النموذج، وخطوات الاستدلال، والتعديلات المحددة التي أجراها الطبيب.

تغطي منتجات تأمينية جديدة الآن مطالبات هلوسة الذكاء الاصطناعي — لكنها تأتي بحدود تغطية منخفضة ومتطلبات توثيق ورقابة صارمة. وإذا لم تتمكن من تقديم تلك الوثائق، فقد لا تصمد تغطيتك التأمينية.

ما الذي يحدث فعلاً خلف الكواليس

إن معظم أدوات الذكاء الاصطناعي في الرعاية الصحية اليوم هي ما يُطلق عليه في هذا القطاع «أغلفة النماذج اللغوية الكبيرة» (LLM wrappers). فكّر فيها كغلاف برمجي رقيق يحيط بنموذج ذكاء اصطناعي للأغراض العامة مثل GPT-4 أو Google Gemini. يُرسل نظام السجلات الصحية الإلكترونية لديك رسالة المريض إلى الذكاء الاصطناعي، ويُعيد الذكاء الاصطناعي مسودة. وهذا هو النظام بالكامل جوهرياً.

وإليك سبب خطورة ذلك: تتنبأ هذه النماذج بالكلمة التالية في الجملة بناءً على أنماط إحصائية. فهي لا تستدل طبياً، ولا تتحقق من التفاعلات الدوائية، ولا تُقيّم ما إذا كان عَرَض المريض مجرد انزعاج عابر في صباح يوم الثلاثاء أم حالة طوارئ ليلة السبت. ووجدت دراسة دورية Lancet أن أخطر إخفاقات الذكاء الاصطناعي نشأت من عجزه عن تقييم مدى إلحاح حالة المريض وحرجها.

تخيّل موظفاً يكتب مذكرات عبر نسخ عبارات من آلاف المذكرات القديمة؛ القواعد النحوية مثالية، والنبرة مهنية، لكن الموظف ليس لديه أي فكرة عما تعنيه تلك الكلمات في الواقع. هكذا تماماً يتعامل الذكاء الاصطناعي العام مع رسائل مرضاك.

تمتلك هذه النماذج أيضاً تواريخ انقطاع للمعرفة — وهي تواريخ محددة لا تعرف النماذج شيئاً بعدها. ولا يمكنها الرجوع إلى أحدث نتائج التحاليل المخبرية لمريضك أو أحدث الإرشادات السريرية ما لم يقم أحد ببناء ذلك الربط. وغالباً ما تعجز عن معالجة الصور الطبية، أو مخططات كهربية القلب (ECG)، أو البيانات الجينومية. ودون اتفاقية شريك أعمال محددة وفق قانون HIPAA وبروتوكولات لحجب البيانات، فإن إرسال بيانات المرضى عبر واجهة برمجة تطبيقات (API) لذكاء اصطناعي عام يُنشئ مخاطر خصوصية جسيمة. علاوة على ذلك، يمكن لهجمات حقن الأوامر العدائية أن تخدع هذه النماذج لتكشف عن معلومات حساسة تخص المرضى.

النتيجة: يبدو ذكاؤك الاصطناعي واثقاً، ويأتمنه أطباؤك، ولا أحد يكتشف الأخطاء حتى يتضرر مريض.

ما الذي ينجح (وما الذي لا ينجح)

أولاً، إليك ثلاثة مناهج لا تحل هذه المشكلة:

«مجرد تدريب الأطباء ليكونوا أكثر حذراً». يُعد الانحياز للأتمتة تأثيراً نفسياً موثقاً جيداً؛ فعندما ينتج الذكاء الاصطناعي نصوصاً مصقولة ومتعاطفة، يتخلى حتى الأطباء السريريون ذوو الخبرة عن حذرهم. وقد أثبتت دراسة دورية Lancet ذلك بدلالة إحصائية (p < 0.001).

«الضبط الدقيق لنموذج ذكاء اصطناعي طبي». تُظهر الأبحاث أن النماذج الطبية المتخصصة مثل MedGemma حققت دقة تتراوح بين 28% و61% فقط في بعض اختبارات الهلوسة. فالضبط الدقيق للمجال بمفرده لا يعالج فجوة الاستدلال الكامنة.

«إضافة إخلاء مسؤولية والمضي قُدماً». الامتثال للقانون AB 3030 ضروري لكنه غير كافٍ. فإخلاء المسؤولية لا يمنع الضرر، بل يُخبر المريض فقط بمن يقع عليه اللوم.

إليك ما ينجح فعلياً — بنية معمارية مؤصلة قائمة على ثلاث خطوات:

الخطوة 1: الاسترجاع قبل التوليد. قبل أن يكتب ذكاؤك الاصطناعي كلمة واحدة، يجب عليه استدعاء المواد المصدرية ذات الصلة. يُطلق على هذا «التوليد المعزز بالاسترجاع» (RAG) — وهي تقنية تُغذّي فيها الذكاء الاصطناعي بوثائق موثوقة مثل الملاحظات السريرية للمريض، وإرشادات العلاج الحالية، والبروتوكولات المؤسسية. ومن ثم يُنشئ الذكاء الاصطناعي استجابته بناءً على تلك المعلومات المسترجعة وحدها، لا على بيانات تدريبه العامة.

الخطوة 2: هيكلة معرفتك في شكل رسم بياني. يرسم «الرسم البياني للمعرفة الطبية» (Medical Knowledge Graph) المفاهيم السريرية كعلاقات مترابطة — فالدواء يرتبط بموانع استعماله، والتي ترتبط بدورها بحالات محددة لدى المريض. وتستخدم أنظمة مثل MediGRAF قواعد بيانات الرسم البياني لتحويل الأسئلة البسيطة إلى استعلامات دقيقة. ويحقق ذلك استرجاعاً بنسبة 100% في الاستعلامات السريرية الواقعية؛ لأن النظام يتتبع علاقات موثقة، لا تخمينات إحصائية.

الخطوة 3: الاستشهاد بكل ادعاء. يجب أن ترتبط كل عبارة في مخرجات الذكاء الاصطناعي بوثيقتها المصدرية. وبذلك لا يضطر طبيبك المراجع إلى التخمين عما إذا كان الذكاء الاصطناعي محقاً، بل يمكنه التحقق من كل ادعاء مقابل المصدر المُستشهد به في ثوانٍ معدودة. يُحوّل هذا المراجعة السلبية إلى تحقق نشط وفعّال.

إن ميزة مسار التدقيق هي ما يجعل هذا النهج قابلاً للدفاع عنه قانونياً وتقنياً. فكل مسودة يُنشئها الذكاء الاصطناعي تحمل سجلاً بالوثائق التي استُرجعت، ومسارات الرسم البياني المعرفي التي تُموضِع فيها، والمصدر الذي يدعم كل عبارة. وعندما يسأل فريق الامتثال لديك، أو شركة التأمين، أو محامي الادعاء عن كيفية إنشاء رسالة معينة، يمكنك أن تعرض لهم مسار المنطق الكامل. وهذا هو الفارق بين عملية قابلة للدفاع عنها وبين مسؤولية قانونية.

بالنسبة إلى برامج الامتثال والسلامة للذكاء الاصطناعي في الرعاية الصحية، فإن هذه البنية المعمارية ليست اختيارية — بل هي معيار الرعاية الناشئ. وتنطبق المبادئ نفسها على بنية التوليد المعزز بالاسترجاع (RAG) والرسم البياني المعرفي وعلى الاختبار العدائي واختبارات التحقق التي ينبغي أن تختبر إجهاد أنظمتك يومياً.

يمكنك قراءة التحليل التقني الكامل للاطلاع على المواصفات الهندسية المفصلة، أو استكشاف النسخة التفاعلية للحصول على جولة إرشادية في البنية المعمارية.