حوكمة أزمات ذات حالة للذكاء الاصطناعي في الصحة السلوكية

أزمة روبوت محادثة للصحة النفسية هي مسار. المشرف لكل رسالة لا يستطيع رؤيته.

بنينا برمجية أمان وسيطة تغلف روبوت محادثة قائماً للصحة السلوكية وتفرض سياسة تصعيد ذات حالة عبر الأدوار يملكها الفريق السريري. تلتقط المحادثة المتصاعدة التي يغفلها المشرف عديم الحالة بنيوياً، وتُثبت كل قرار بمسار تدقيق متسلسل بالتجزئة وقابل للحفظ في الملفات. الأمان مشكلة معمارية، وليس مشكلة هندسة مطالبات.

0 مقابل 68

ردود غير آمنة وُصِّلت، المحمي مقابل غير المحمي

مجموعة ذهبية مُعلَّمة من 40 محادثة

2 دوران

وسيط الكشف الأبكر مقابل مشرف عديم الحالة مطابق

المصنّف والبوابة نفسهما؛ خاصية الحالة وحدها

0 / 29

تصعيدات كاذبة عبر الأدوار الحميدة

مجموعة ذهبية مُعلَّمة من 40 محادثة

عرض تجريبي لنمط معمارية أمان على بيانات اصطناعية. ليس جهازاً طبياً، وليس مشورة سريرية، وليس تكاملاً مع سجل صحي إلكتروني.

حجم دون ذاكرة

تُراقَب روبوتات محادثة الصحة السلوكية رسالةً رسالة. والأزمة لا تصل رسالةً رسالة.

تقيّم معظم مراجعات الأمان على روبوت محادثة للصحة النفسية كل رد بمعزل عن غيره. تُفحَص كل رسالة، فتُعلَّم أو تُجاز، ثم تُنسى. ينجح ذلك مع سطر واحد خطير صراحةً. وهو أعمى بنيوياً عن محادثة تنجرف، دوراً بعد دور، حيث لا تبلغ أي رسالة بمفردها حدّ الإنذار الذي يستدعي الحظر.

تتبع الإخفاقات الموثّقة هذا الشكل. قدّم روبوت المحادثة "Tessa" التابع لـ NEDA نصائح بعجز السعرات الحرارية وفرجار قياس طيّة الجلد قبل سحبه (NEDA، 2023). أبلغ أطباء عن ذُهان عزّزه روبوت المحادثة لدى مرضى لم يلتقوا شخصاً يدفعهم إلى التراجع (الدكتور Keith Sakata، UCSF، 2025). سحبت OpenAI تحديثاً لـ GPT-4o بعد أن أصبح متملّقاً (OpenAI، 2025). في كل حالة بدا النموذج داعماً في أي دور منفرد بينما ذهب المسار إلى مكان غير آمن.

لا يملك المشرف عديم الحالة أي وسيلة لرؤية ذلك المسار، لأنه لا ذاكرة لديه للأدوار السابقة. نموذج أساس أفضل لا يصلح هذا. روبوت محادثة مثالي لا يزال لا يعرف سياسة التصعيد الخاصة بمنصتك، ولا يُنتج مسار تدقيق يمكنك حفظه في الملفات، ولا يمنحك بوابة حتمية للاعتماد. لهذا نعامل الأمان هنا كمشكلة معمارية، ولهذا يقارن العرض التجريبي منظومتين تعملان بالنموذج المطابق.

عرض تجريبي بشاشة مقسومة: تمر المحادثة الاصطناعية نفسها للمريض عبر روبوت محادثة MindMate Support غير المحمي على اليسار ونفس الروبوت خلف طبقة أمان Veriprajna على اليمين، مع سكة خط أنابيب تقرأ مصنّف، مسار، مُتحقِّق، بوابة، تدقيق. — يعيد العرض التجريبي تشغيل محادثة اصطناعية واحدة عبر منظومتين. MindMate Support بديل خيالي لروبوت محادثة قائم. بيانات اصطناعية فقط، بلا معلومات صحية محمية (PHI).

الآلية: خط أنابيب ذو حالة يعمل في كل دور

تغذّي النماذج الاستشارية بوابة حتمية. البوابة تتخذ القرار، والقرار شيفرة يمكنك قراءتها.

يمر كل دور للمريض عبر خط أنابيب ثابت. تُجرَّد الرسالة من معلومات التعريف الشخصية (PII) وتُحسَب تجزئتها، ويقيّم مصنّف C-SSRS شدتها وفق بنية كولومبيا ويعيد مستوى وثقة وABSTAIN عندما لا يستطيع تبرير شدة. ثم يراكم مراقب المسار ذو الحالة المخاطر عبر الأدوار. هذه هي القدرة الجوهرية، وهي الشيء الوحيد الذي لا يملكه المشرف لكل رسالة: يرى النمط، لا السطر المنفرد، ويُنتج خطراً فعّالاً ونطاقاً (BENIGN، WATCH، CONCERN، HIGH، CRITICAL) مع سبب معلن مثل "اضطراب أكل مستمر، ميل متصاعد."

قبل أن يصل أي رد مرشّح إلى المريض، تفحصه لوحة مُتحقِّقين متعددة النقاد: ناقد للتملّق والنبرة، ومطابق للأنماط المحظورة، ومدقّق للادعاءات السريرية. ناقد معلَّم يفرض على البوابة حداً أدنى مهيّأً على الأقل، مهما بدا الرد لطيفاً.

القرار نفسه بوابة سياسات حتمية من 5 مستويات، وهو Python وليس نموذجاً لغوياً كبيراً: L1 CONTINUE، L2 RESTRICT، L3 SUBSTITUTE_SCRIPT، L4 HUMAN_HANDOFF، L5 CRISIS_PROTOCOL. عندما تحظر البوابة رداً تستبدل به أحد نصوص مكتبة مجمّعة مكتوبة من أطباء حسب المستوى والعائلة، وتسجّل معرّف النص. لا ترتجل أبداً لغة أزمة. ثم يُكتَب كل دور كقيد sha256 متسلسل بالقيد السابق.

المنظومة المحمية تُظهر سكة خط الأنابيب لكل رسالة (مصنّف، مسار، مُتحقِّق، بوابة، تدقيق) مع أزمنة استجابة لكل مرحلة، ونتائج بوابة مضمّنة للأدوار المبكرة تقرأ L1 CONTINUE وL2 RESTRICT بينما يقرأ المشرف عديم الحالة في الدور نفسه BENIGN، لا يرى شيئاً، بلا ذاكرة. — يعمل خط الأنابيب على كل رسالة. زمن الاستجابة المضاف أقل من مللي ثانية لكل دور (المتوسط 0.16 مللي ثانية، والمئين 95 يبلغ 0.21 مللي ثانية عبر المجموعة الذهبية).

الفريق السريري يملك السياسة، لا الهندسة

تُهيَّأ العتبات، والحدود الدنيا المفروضة من المُتحقِّق، ومكتبة النصوص الاثني عشر من لجنة الأمان السريري تحت إصدار السياسة 2026.04-clinical-v1. وتفرض الهندسة ذلك تماماً، ولا تغيّره. يمكن لتاريخ مريض، يُسترجَع عبر علامة FHIR الوهمية، أن يخفض عتبة فتصعّد الطبقة أبكر لمريض أكثر هشاشة. عندما تكون ثقة المصنّف منخفضة، يمتنع ويوجّه إلى مراجعة بشرية بدلاً من تخمين شدة.

نافذة السياسة السريرية تُظهر الحدود الدنيا المفروضة من المُتحقِّق لكل ناقد ولكل نتيجة، وقواعد عدم اليقين والحدود (امتناع منخفض الثقة يفرض إنساناً، ودرجة كسر الحماية عند 0.8 أو أعلى تفرض حداً أدنى L3)، ومكتبة النصوص الاثني عشر المعتمدة من الأطباء مع رسالة استبدال مكشوفة من المستوى L2 لاضطراب الأكل. — نافذة السياسة: الحدود الدنيا المفروضة من المُتحقِّق، وقواعد الامتناع وكسر الحماية، ومكتبة النصوص المعتمدة من الأطباء مع رسالة استبدال مكشوفة.

محادثة واحدة، مُعالَجة من البداية إلى النهاية

سيناريو البطل الافتراضي هو انجراف اضطراب الأكل: ستة أدوار، كل منها بمفرده سؤال عافية عادي.

تبدأ المحادثة بأسئلة غير ضارة عن الأكل بطريقة أصح وعدّ السعرات. لا يملك المشرف لكل رسالة ما يحظره، ويبقى خط الأساس عديم الحالة في العرض التجريبي أخضر، فيقرأ WATCH و"لا يرى شيئاً، بلا ذاكرة" دوراً بعد دور. أما الطبقة ذات الحالة، وهي تراقب المسار، فتعبر إلى CONCERN في الدور 3. تحظر رد روبوت المحادثة وتستبدل به نص تأريض مكتوب من طبيب يشير إلى خط مساعدة NEDA. وذلك قبل أول رسالة خطرة صراحةً بـ 2 دوران.

الدور 3 من المنظومة المحمية: يقرأ مقياس المخاطر عبر الأدوار 3.4 CONCERN، ويُحظَر رد روبوت المحادثة ولا يُرسَل، ويُستبدل به نص تأريض معتمد من الأطباء من المستوى L3 مع رقم خط مساعدة NEDA، بينما لا يزال المشرف عديم الحالة لكل رسالة في الدور نفسه يقرأ WATCH ولا يرى شيئاً. — الدور 3: تصل الطبقة ذات الحالة إلى CONCERN وتستبدل بنص تأريض. المشرف عديم الحالة، بالمصنّف نفسه، لا يزال لا يرى شيئاً.

بحلول الأدوار الأخيرة تتحول الرسائل إلى خطرة صراحةً. المنظومة غير المحمية على اليسار توصّل الرد الضار، ظاهراً مشطوباً وموسوماً بأنه وُصِّل إلى المريض وغير آمن. على اليمين، تعترض لوحة المُتحقِّقين الرد، وتلتقط النبرة المتملّقة والنمط المحظور، وتصعّد البوابة إلى تسليم بشري L4، فتستدعي عضواً في فريق الرعاية بكامل السياق. نوضح الالتقاط، لا المحتوى الضار نفسه.

الأدوار الأخيرة: على اليمين تعترض لوحة المُتحقِّقين الرد المرشّح، ويقرأ مقياس المخاطر 5.0 CRITICAL وتضع البوابة سقفاً للتصعيد عند تسليم بشري L4 لأنه لا توجد إشارة حادة من المستوى L5، ويُستبدل بنص تسليم معتمد من الأطباء، ويُحظَر الرد الضار ولا يُرسَل، بينما تُظهر المنظومة غير المحمية على اليسار الرد نفسه مشطوباً بوصفه وُصِّل وغير آمن. — يعترض المُتحقِّق الرد المرشّح وتصعّد البوابة إلى تسليم بشري L4. المنظومة غير المحمية توصّل الرد نفسه.

تجعل نتيجة الجلسة الفرق ملموساً، وهو يُعزى إلى خاصية الحالة وحدها لأن المنظومتين استخدمتا المصنّف نفسه والبوابة نفسها. الفرق الوحيد كان الذاكرة عبر الأدوار.

لوحة نتيجة الجلسة: التُقط أبكر بـ 2 دوران من المشرف عديم الحالة المطابق (الدور 3 مقابل الدور 5)، و0 ردود غير آمنة وُصِّلت حيث كانت المنظومة غير المحمية سترسل 2، وسلسلة التدقيق سليمة عبر 6 قيود ظاهرة التلاعب تحت السياسة السريرية 2026.04-clinical-v1. — نتيجة الجلسة لمحادثة انجراف اضطراب الأكل: 0 غير آمن وُصِّل مقابل 2، التُقط أبكر بـ 2 دوران، وسلسلة التدقيق سليمة.

عبر المجموعة الذهبية كاملةً

يقيّم إطار القياس مجموعة ذهبية مُعلَّمة من 40 محادثة تضم 177 دوراً، مولَّدة حتمياً من 8 محادثات معيارية مكتوبة يدوياً إضافة إلى إعادة صياغة محافظة على التسمية ومتغيرات ضبط حميدة. على تلك المجموعة أوصلت المنظومة المحمية 0 ردود غير آمنة حيث أوصلت غير المحمية 68. جرى الكشف بوسيط قدره 2 دوران أبكر من المشرف عديم الحالة المطابق، وفي محادثتين لم يصعّد المشرف عديم الحالة أبداً. وقعت 0 تصعيدات كاذبة عبر 29 دوراً حميداً، وبلغت دقة مستوى C-SSRS 94.3% تطابقاً تاماً و97.2% ضمن مستوى واحد، وامتنعت الطبقة ووجّهت إلى إنسان مرة واحدة. هذه الأرقام مقصورة على هذه المجموعة الذهبية الاصطناعية، وليست ضماناً في عالم مفتوح.

لوحة النتائج الحية لـ 40 محادثة تدرج كل سيناريو مع نتيجته، على سبيل المثال انجراف اضطراب الأكل التُقط أبكر بـ 2 دوران، والذُهان البطيء الاحتراق حيث فاته المشرف عديم الحالة، والسلبيات الصحيحة الحميدة بلا تصعيد. — معيار الـ 40 محادثة، يُحسَب حياً في العرض التجريبي. سيناريوهات الاحتراق البطيء هي حيث لا يصعّد المشرف عديم الحالة أبداً.

الإيصال القابل للحفظ في الملفات

تُنتج كل محادثة تقرير حادث أمان. كل دور قيد sha256 متسلسل بالسابق، لذا فإن تعديل أي حقل يكسر كل تجزئة لاحقة ويظهر التلاعب. يُظهر التقرير مستوى المصنّف، والمخاطر عبر الأدوار، ونتائج المُتحقِّق، وقرار البوابة وسببه، ومعرّف النص المستبدل، وسلسلة التجزئة، مع التحقق من سلامة السلسلة. وهو مبني للحفظ في الملفات: أدلة مراقبة إدارة الغذاء والدواء (FDA) لما بعد التسويق، والدفاع في التقاضي، والاكتتاب التأميني.

تقرير حادث الأمان المتسلسل بالتجزئة لمحادثة انجراف اضطراب الأكل، جدول من 6 أدوار يُظهر تجزئة الرسالة المجرَّدة من معلومات التعريف الشخصية، ومستوى المصنّف، ونطاق المخاطر عبر الأدوار، ونتائج المُتحقِّق، وقرار البوابة مع السبب، ومعرّف النص المستبدل، وسلسلة تجزئة sha256، مع وسم دليل التلاعب بأن السلسلة سليمة. — تقرير حادث الأمان: سجل لكل محادثة، متسلسل بالتجزئة، ظاهر التلاعب، يمكن لمراجع أن يقرأه سطراً بسطر.

مشرف عديم الحالة مقابل طبقة الأمان

المهمة نفسها، فرق بنيوي واحد: ذاكرة عبر الأدوار وسياسة يمكن لشخص أن يملكها.

القدرة	مشرف عديم الحالة لكل رسالة	طبقة أمان الذكاء الاصطناعي السريري
يقيّم رسالة واحدة	نعم	نعم
يرى المسار عبر الأدوار	لا، لا ذاكرة لديه	نعم، مركّم مخاطر ذو حالة
يفحص الرد المرشّح قبل التوصيل	لا	نعم، لوحة مُتحقِّقين متعددة النقاد
من يملك سياسة التصعيد	ضمني في النموذج أو المطالبة	الفريق السريري، بوابة من 5 مستويات
ما الذي يتخذ القرار	نموذج أو مطالبة	شيفرة حتمية خارج النموذج اللغوي الكبير
لغة الأزمة عند الحظر	مولَّدة من النموذج، مرتجلة	مكتبة نصوص معتمدة من الأطباء
تدقيق مبني للحفظ في الملفات	لا شيء	تقرير حادث أمان متسلسل بالتجزئة

ما الذي لا يفعله هذا العرض التجريبي

ليس جهازاً طبياً وليس مصرَّحاً من إدارة الغذاء والدواء (FDA)، ولا معتمداً وفق HIPAA، ولا مشورة سريرية. إطار PCCP وSaMD لدى FDA اتجاه إنتاجي مؤجَّل، وليس ادعاءً عن العرض التجريبي.
كل محادثة وكل مريض وروبوت المحادثة "MindMate Support" اصطناعي. لا توجد بيانات مرضى حقيقية ولا معلومات صحية محمية (PHI).
موصّل FHIR وهمي بعلامة مريض اصطناعية. لا يوجد اتصال بـ Epic أو Cerner في العرض التجريبي.
المصنّف مصنّف معجم حتمي، بسيط عن قصد. البديل الإنتاجي نموذج مضبوط بدقة داخل السحابة الخاصة الافتراضية (VPC) خلف الواجهة نفسها. التشابه الدلالي في العرض التجريبي هو Jaccard للرموز، وليس تضمينات جمل.
كل أرقام الإثبات مقصورة على مجموعة ذهبية مُعلَّمة من 40 محادثة من بيانات اصطناعية، وليست ضماناً في عالم مفتوح أبداً. لا عملاء ولا نشرات ولا تزكيات أطباء للاستشهاد بها، ونحن لا نخترع أياً منها.

أسئلة يطرحها المشترون

هل يحل هذا محل روبوت المحادثة لدينا أو نموذجنا السريري؟

لا. إنها برمجية وسيطة تغلف روبوت المحادثة القائم ولا تغيّر النموذج أبداً. تضيف مركّم مخاطر ذا حالة عبر الأدوار، ولوحة مُتحقِّقين متعددة النقاد، وبوابة تصعيد حتمية حول النموذج، وتستبدل بنص مكتوب من طبيب عندما تحظر رداً. الغاية حوكمة ذات حالة وإيصال قابل للحفظ في الملفات، وليس نموذجاً مختلفاً.

كيف يختلف هذا عن إشراف المحتوى الذي نشغّله بالفعل على كل رسالة؟

يقيّم المشرف لكل رسالة كل رد بمعزل عن غيره ولا ذاكرة لديه، لذا يفوته أزمة تبنى عبر الأدوار. على مجموعة ذهبية مُعلَّمة من 40 محادثة صعّدت الطبقة ذات الحالة بوسيط قدره 2 دوران أبكر من مشرف عديم الحالة مطابق استخدم المصنّف نفسه والبوابة نفسها. وفي اثنتين من تلك المحادثات لم يصعّد المشرف عديم الحالة أبداً.

هل يتخذ نموذج لغوي كبير قرار التصعيد؟

لا. المصنّف ولوحة المُتحقِّقين استشاريان، لكن قرار التصعيد من 5 مستويات والتدقيق Python حتمي خارج أي نموذج لغوي كبير. يمكن لمراجع أن يقرأ البوابة؛ ولا يمكنه استجواب مطالبة. الوكلاء يستشيرون، والشيفرة تقرر.

هل يمكننا أن نثبت لمنظّم أو لمحكمة ماذا فعل النظام ولماذا؟

كل دور قيد sha256 متسلسل بالسابق، لذا فإن تعديل أي حقل يكسر كل تجزئة لاحقة ويظهر التلاعب. النتيجة تقرير حادث أمان قابل للحفظ في الملفات بصيغتي JSON وHTML، مؤطَّر لمراقبة FDA لما بعد التسويق، والدفاع في التقاضي، والاكتتاب التأميني. في العرض التجريبي يُظهر التقرير السلسلة سليمة.

ألم يجعل نموذج أساس أفضل هذا غير ضروري؟

روبوت محادثة مثالي لا يزال لا يعرف سياسة التصعيد الخاصة بمنصتك، ولا يُنتج مسار تدقيق، ولا يمنحك بوابة حتمية للاعتماد، ولا يقدّم دفاعاً عند كسر حمايته. القيمة الدائمة هي الحوكمة ذات الحالة إضافة إلى الإيصال القابل للحفظ في الملفات، وليست معدلاً أدنى لخطأ النموذج. لهذا يقارن العرض التجريبي بمصنّف وبوابة مطابقين ويعزو التحسين إلى خاصية الحالة وحدها.

هل هذا جهاز طبي مُتحقَّق منه، وهل البيانات حقيقية؟

لا. هذا عرض تجريبي لنمط معمارية أمان، وليس جهازاً طبياً، وليس مصرَّحاً من FDA ولا معتمداً وفق HIPAA. كل محادثة اصطناعية، وموصّل FHIR وهمي، والمصنّف مصنّف معجم حتمي يقوم مقام نموذج إنتاجي داخل السحابة الخاصة الافتراضية (VPC). كل أرقام الإثبات مقصورة على مجموعة ذهبية مُعلَّمة من 40 محادثة من بيانات اصطناعية.

البحث التقني

البحث وراء هذا العرض التجريبي — المعمارية، وتصميم التحقق، والمخطط المؤسسي.

الحل الكامل

استكشف حل أمان الذكاء الاصطناعي السريري لمنصات الصحة النفسية →

إذا كان لدى روبوت المحادثة لديك مشكلة معمارية، نودّ مقارنة الملاحظات

حوكمة ذات حالة، وسياسة يملكها الفريق السريري، وتدقيق يمكنك حفظه في الملفات.

إذا كان فريقك يعمل على جعل روبوت محادثة للصحة السلوكية قابلاً للدفاع أمام مراجعة مؤسسية أو من جهة دافعة أو تنظيمية، فنودّ حقاً أن نسمع كيف تفكرون في الأمر. المشكلة على مستوى الصناعة وكذلك ستكون الإجابات.

ما الذي نبنيه

✓ مراقبة مخاطر ذات حالة عبر الأدوار
✓ بوابة تصعيد حتمية يملكها الفريق السريري
✓ استبدال بنصوص معتمدة من الأطباء
✓ تقارير حادث أمان متسلسلة بالتجزئة وقابلة للحفظ في الملفات

كيف نعمل

✓ برمجية وسيطة تغلف روبوت المحادثة القائم لديك
✓ نماذج استشارية، وقرارات تتخذها شيفرة يمكنك قراءتها
✓ بديل إنتاجي بمصنّف مضبوط بدقة داخل السحابة الخاصة الافتراضية (VPC)
✓ حوكمة تصمد حتى مع تحسّن نموذج الأساس

تواصل عبر WhatsApp راسل فريقنا عبر البريد الإلكتروني