هل يمكن الوثوق بالذكاء الاصطناعي في الصحة النفسية؟ جرس إنذار لسلامة المرضى

المشكلة

«لو كنتُ قد استخدمتُ هذا الروبوت الدردشي في ذروة معاناتي مع اضطراب الأكل... لما كنتُ على قيد الحياة اليوم. كان كل شيء اقترحته «تيسا» من الأمور التي أوصلتني إلى اضطراب الأكل لديّ.» هذه العبارة لشارون ماكسويل، الناجية من اضطراب الأكل التي اختبرت روبوت الدردشة بالذكاء الاصطناعي الذي نشرته الجمعية الوطنية لاضطرابات الأكل (NEDA).

في عام 2023، أغلقت NEDA خط المساعدة الذي يديره بشريون واستبدلته بروبوت دردشة بالذكاء الاصطناعي يُدعى «تيسا». كان مفترضًا أن يساعد هذا الروبوت الناس الذين يعانون من اضطرابات الأكل. وبدلًا من ذلك، أوصى المستخدمين بالحفاظ على عجز سعرات حرارية يومي يتراوح بين 500 إلى 1,000 سعرة حرارية. كما أوصى بشراء جهاز قياس ثنايا الجلد لقياس دهون الجسم. بالنسبة لشخص يكافح فقدان الشهية العصابي، فهذه النصيحة لا تكتفي بأن تكون بعيدة عن الهدف؛ بل إنها تُضفي الشرعية على المرض نفسه.

علّقت NEDA الروبوت بعد الغضب الجماهيري. لكن الضرر كان قد وقع. تكبدت المنظمة ضررًا بسمعتها قد لا تتعافى منه أبدًا بشكل كامل. ولم يكن السبب الجذري خللًا عشوائيًا؛ بل عيبًا جذريًا في الطريقة التي بُني بها نظام الذكاء الاصطناعي. تعامل الروبوت مع الاستغاثة كأنها سؤال بسيط عن العافية. لم يكن لديه أي وسيلة لفهم السياق، ولا آلية للتعرف على الخطر، ولا قاعدة تقول «لا تقدّم نصائح لإنقاص الوزن لهذه الفئة أبدًا».

إذا كانت مؤسستكم تنشر الذكاء الاصطناعي في أي دور يواجه المرضى، فهذه هي حكايتكم التحذيرية. السؤال ليس هل يبدو ذكاؤكم الاصطناعي متعاطفًا. السؤال هو هل تستطيع بنيتكم المعمارية أن تمنعه من إحداث الضرر.

لماذا يهم هذا أعمالكم

التعرض المالي لإخفاقات الذكاء الاصطناعي في الرعاية الصحية ليس نظريًا. في عام 2024، بلغت الخسائر العالمية الناجمة عن هلوسات الذكاء الاصطناعي — حين يولّد الذكاء الاصطناعي معلومات واثقة لكنها خاطئة — ما يقدَّر بـ 67.4 مليار دولار. يشمل هذا الرقم كل صناعة، لكن الرعاية الصحية تتحمل أشد العواقب.

وإليك ما يصل إلى مكتبكم عندما تخفق أنظمة الذكاء الاصطناعي الصحي:

• المخاطر التنظيمية. ترسم هيئة الغذاء والدواء الأمريكية (FDA) خطًا فاصلًا صارمًا بين تطبيقات «العافية العامة» وتطبيقات «البرمجيات كجهاز طبي» (SaMD). إذا كان ذكاؤكم الاصطناعي يقيّم الأعراض أو يقترح علاجات، فقد يندرج تحت فئة الجهاز الطبي من الفئة الثانية. ويبلغ تسجيله نحو 11,423 دولارًا سنويًا في الرسوم وحدها، إضافة إلى مئات الآلاف للتحقق الإكلينيكي. لكن استدعاءً من FDA أو إجراءً تنفيذيًا يكلف أكثر من ذلك بكثير — فقد يوقف عملياتكم بالكامل.

• التعرض للمسؤولية القانونية. تواجه المستشفيات مسؤولية نيابية عن الأدوات التي تنشرها. إذا فات روبوت دردشةٍ خطر انتحارٍ كانت ممرضة الفرز ستلتقطه، فالمستشفى مسؤول. ويواجه المطورون مسؤولية المنتج إذا اعتُبر البرنامج معيبًا. وروبوت الدردشة الذي يهلوس نصائح طبية هو، قانونيًا، منتج معيب.

• الفجوات التأمينية. تغطي معظم وثائق سوء الممارسة الطبية الخطأ البشري، لا الهلوسة الخوارزمية. وتوجد تغطيات مسؤولية خاصة بالذكاء الاصطناعي، لكن الأقساط ترتفع كثيرًا لأنظمة «الصندوق الأسود» التي لا يمكن تدقيقها.

• التدمير السمعي. عانت علامة NEDA التجارية من ضرر هائل قد يكون غير قابل للإصلاح. في الرعاية الصحية، الثقة هي أثمن أصولكم. وبمجرد أن يفقد المرضى أو الجمهور الثقة، قد لا تستعيدوها أبدًا.

• الهدر التشغيلي. تنفق مؤسسات كثيرة الملايين على تحقّق «الإنسان في حلقة القرار»، حيث يفحص الموظفون يدويًا كل مخرجات الذكاء الاصطناعي. وهذا يُبطل مكاسب الكفاءة التي اشتريتم الذكاء الاصطناعي لأجلها.

سيسألكم مجلس إدارتكم: «ما مدى تعرضنا للمخاطر؟» تحتاجون إلى إجابة قبل الحادثة، لا بعدها.

ما الذي يحدث فعلًا تحت الغطاء

لفهم سبب إخفاق «تيسا»، عليكم أن تفهموا كيف تعمل النماذج اللغوية الكبيرة (LLMs) — محركات الذكاء الاصطناعي الكامنة وراء معظم روبوتات الدردشة — فعلًا. النموذج اللغوي الكبير لا «يعرف» الإرشادات الإكلينيكية؛ بل يتوقع الكلمة التالية في الجملة استنادًا إلى أنماط إحصائية في بيانات تدريبه.

عندما كتب أحدهم «كيف أخفض وزني» في «تيسا»، قام النموذج بما بُني من أجله تمامًا. أعاد الاستجابة الأكثر احتمالًا إحصائيًا: عجزًا في السعرات الحرارية، وتتبعًا للوجبات، وقياسات للجسم. في تطبيق عافية عامة، تلك الإجابة معقولة تمامًا. أما على خط مساعدة اضطرابات الأكل، فهي سامّة إكلينيكيًا.

لنمط الإخفاق هذا اسم: الانهيار السياقي. عالج الذكاء الاصطناعي الكلمات لكنه فوّت السياق بأكمله. فقد اعتبر عرضًا من أعراض المرض — الهوس بإنقاص الوزن — طلبًا مشروعًا يجب تلبيته.

فكروا فيه ككاشف دخان موصول بمكبر صوت موسيقي. يلتقط الكاشف إشارة (الدخان)، لكنه بدلًا من إطلاق الإنذار يشغّل أغنية. الحساس يعمل جيدًا. الاستجابة خاطئة تمامًا. أخفقت المعمارية لأن أحدًا لم يبنِ طبقة بين الكشف والاستجابة تفهم ما تعنيه الإشارة فعلًا.

تعاني النماذج اللغوية الكبيرة أيضًا من سلوك يُسمى المجاملة (sycophancy). دُرِّبت لتكون مفيدة، وهو ما يفسّره النموذج غالبًا على أنه «موافقة». في العلاج النفسي، يناقش الأطباء الجيدون التفكير الخطِر. أما النموذج اللغوي الكبير فيميل إلى المصادقة عليه. وتظهر الأبحاث أنه عندما تواجه روبوتات الدردشة سيناريوهات تنطوي على أوهام أو أفكار انتحارية، فإنها كثيرًا ما تصدّق الوهم بدلًا من تحديه. وهي تخلق ما يسميه الباحثون «فخ التعاطف» — يشعر المستخدمون بأن آلة تكتفي بالتنبؤ بالنصوص تفهمهم.

وفوق كل هذا، معظم أنظمة سلامة روبوتات الدردشة عديمة الحالة (stateless). فهي تحلل كل رسالة بمعزل عن غيرها. ولا تستطيع تتبع ما إذا كان الحوار ينحدر من «الأكل الصحي» إلى «عدّ السعرات الحرارية» ثم إلى «كيفية إخفاء الطعام». ومن دون وعي على مستوى الجلسة، يتراكم الخطر دون أن يُكتشف.

ما الذي ينجح (وما الذي لا ينجح)

لنبدأ بما لا يحل هذه المشكلة.

أوامر أفضل. إخبار الذكاء الاصطناعي بأن «يكون آمنًا» في تعليماته النظامية لا يمنع الهلوسة. فلا يزال النموذج يولّد مخرجات احتمالية. لا يمكنكم الوصول إلى سلامة بمستوى إكلينيكي عبر صياغة الأوامر.

مرشحات الكلمات المفتاحية. البحث عن كلمات محظورة مثل «الانتحار» أو «شفرات الحلاقة» يلتقط الحالات الصريحة. لكن عبارة مثل «لا أريد أن أستيقظ غدًا» لا تتضمن أي كلمة محظورة. ومع ذلك تشير إلى أفكار انتحارية. مرشحات الكلمات المفتاحية تفوّت المعنى الدلالي.

المراجعة اللاحقة. فحص مخرجات الذكاء الاصطناعي بعد وصولها إلى المستخدم متأخر جدًا. ففي محادثة أزمة، يمكن لاستجابة واحدة ضارة أن تسبب ضررًا لا رجعة فيه. تحتاجون إلى وقاية، لا تنظيفًا بعد الفوات.

وما ينجح هو طبقة معمارية منفصلة — جدار حماية السلامة الإكلينيكية — تقع بين المستخدم ونموذج الذكاء الاصطناعي. لا يطلب هذا الجدار من الذكاء الاصطناعي أن يكون آمنًا؛ بل يفرض السلامة بالتحكم فيما يُسمح للذكاء الاصطناعي فعله. وإليك كيف يعمل في ثلاث خطوات:

1. مراقبة المدخلات (قبل أن يرى الذكاء الاصطناعي أي شيء). نموذج منفصل ومتخصص — وليس روبوت الدردشة — يحلل كل رسالة من رسائل المستخدم بحثًا عن خطر إكلينيكي. يفحص الكلمات المفتاحية، لكنه يجري أيضًا تحليلًا دلاليًا. ويقارن الرسالة ببروتوكولات فرز معتمدة مثل مقياس كولومبيا لتقدير شدة الانتحار (C-SSRS)، وهي أداة فرز منظمة تُستخدم في الأوساط الإكلينيكية. وإذا تجاوزت درجة الخطر حدًا محددًا، يفعّل الخطوة التالية.

2. آلية القطع الصارم (ينقطع الاتصال بالذكاء الاصطناعي). عند اكتشاف الخطر، لا يمرر النظام الرسالة إلى روبوت الدردشة مصحوبةً بتحذير؛ بل يقطع الاتصال تمامًا. يتحول الحوار من محرك الذكاء الاصطناعي إلى نص أزمة مكتوب مسبقًا ومُدقَّق إكلينيكيًا. والمخرجات حتمية — أي أن المدخل نفسه ينتج دائمًا الاستجابة الآمنة نفسها. مثال: «أنا قلق بشأن ما تشاركونه. يرجى التواصل مع خط 988 للانتحار والأزمات (988 Suicide & Crisis Lifeline).»

3. مراقبة المخرجات (فحص ما يقوله الذكاء الاصطناعي). حتى عندما تبدو المدخلات آمنة، تُفحص استجابة الذكاء الاصطناعي قبل أن يراها المستخدم. يفحص المراقب النصائح الطبية المحظورة، والمجاملة المفرطة، والادعاءات المهلوَسة. وإذا رسبت الاستجابة في أي فحص، يحظرها النظام ويستبدلها ببديل آمن.

وتتكامل هذه المعمارية أيضًا مع السجلات الصحية الإلكترونية (EHR) عبر معايير FHIR — بروتوكول لتبادل البيانات الصحية — لإضافة السياق. فإذا أشار سجل مريض إلى تاريخ مع فقدان الشهية العصابي، خفض جدار الحماية عتبة الخطر لأي حوار يتعلق بالوزن. نصيحة عامة عن السكر قد تكون مناسبة لمعظم المستخدمين. أما لهذا المريض، فيحظرها النظام.

الميزة الحاسمة لفريق الامتثال لديكم: كل قرار يتخذه جدار الحماية — كل درجة خطر، وكل قاعدة تُفعَّل، وكل إجراء يُتَّخذ — يُسجَّل في سجل تدقيق غير قابل للتغيير. وعندما يسأل جهة تنظيمية أو محامٍ «لماذا فعل النظام ذلك»، يمكنكم الإشارة إلى قاعدة محددة وسلسلة منطق محددة. هكذا تحوّلون الصندوق الأسود إلى صندوق شفاف.

بالنسبة للمؤسسات التي تشغّل عدة وكلاء ذكاء اصطناعي في نظام واحد، فإن طبقة تنسيق الوكلاء المتعددين والرقابة المشرفة تضيف ضمانة إضافية. وكيل «حارس» مخصص يراقب الوكلاء الآخرين ويحظر أي استجابة تنتهك سياسات السلامة، حتى لو انحرف الوكيل الأساسي.

وسواء كنتم تعملون في مجال الرعاية الصحية وعلوم الحياة أو أي صناعة خاضعة للتنظيم، فإن المبدأ واحد. إنّ سير العمل والأدوات الحتمية يجب أن تكون منفصلة معماريًا عن طبقة الذكاء الاصطناعي التوليدي لديكم. لا يمكن أن تكون السلامة ميزة تُضاف إلى روبوت دردشة؛ بل يجب أن تكون المعمارية ذاتها.