روبوت الدردشة بالذكاء الاصطناعي الذي نصح امرأة مصابة بفقدان الشهية بحساب السعرات — وما علّمني إياه عن بناء ذكاء اصطناعي صحي آمن
كنت جالسًا في مكتبي المنزلي مساء أحد أيام الثلاثاء، أقرأ شهادة شارون ماكسويل عن روبوت الدردشة التابع لـ NEDA، حين اضطررت إلى إغلاق حاسوبي المحمول والابتعاد.
ماكسويل، وهي ناجية من اضطراب الأكل، كانت قد اختبرت "تيسا" — روبوت الدردشة بالذكاء الاصطناعي الذي نشرته الرابطة الوطنية لاضطرابات الأكل بعد إغلاق خط المساعدة الذي كان يديره موظفون بشريون. قالت بوضوح: "لو أنني لجأت إلى روبوت الدردشة هذا حين كنت في خضمّ اضطراب الأكل لديّ… لما كنت على قيد الحياة اليوم. كل شيء اقترحته تيسا كان من الأشياء التي أدت إلى اضطراب الأكل لديّ."
كل شيء على الإطلاق. ليس خللًا. ليست استجابة سيئة واحدة من بين ألف. النظام، من الناحية المعمارية، كان يفعل ما صُمّم لفعله — التنبؤ بأكثر الكلمات التالية احتمالًا إحصائيًا. وبالنسبة للاستعلام "كيف أُدير وزني"، تكون النصيحة الأكثر احتمالًا إحصائيًا هي: احسب السعرات الحرارية، حافظ على عجز، قِس نسبة دهون جسمك. إرشاد معقول تمامًا لمعظم الناس. لكنه سام سريريًا — وربما قاتل — لشخص يتصل بخط مساعدة لاضطرابات الأكل.
تلك الليلة غيّرت اتجاه عملي في Veriprajna. كنت أبني أنظمة ذكاء اصطناعي للمؤسسات، مركزًا على الدقة والامتثال. لكن تيسا بلورت شيئًا كنت أدور حوله منذ أشهر: الأزمة المركزية في الذكاء الاصطناعي الصحي ليست الدقة. إنها المعمارية. نحن ننشر محركات احتمالية — أنظمة مصممة للطلاقة الإبداعية — داخل بيئات تتطلب الحتمية الصارمة وغير القابلة للتفاوض الخاصة بالسلامة السريرية. ونأمل أن تسدّ "المطالبات الأفضل" الفجوة.
لن تفعل. أعرف ذلك لأننا حاولنا.
لماذا أخبرت تيسا مرضى اضطراب الأكل بإنقاص أوزانهم؟
الجواب السهل هو "بيانات تدريب سيئة". الجواب الحقيقي أكثر إزعاجًا.
بُنيت تيسا على برنامج للتقبّل الإيجابي للجسم ودُرّبت على مجموعات بيانات عامة للعافية. في تلك المجموعات، تُعدّ النصائح حول العجز في السعرات الحرارية ومقاييس ثنيات الجلد لقياس دهون الجسم إرشادًا تغذويًا معياريًا. لم يكن النموذج معطلًا حين أوصى بعجز يومي يتراوح بين 500 و1000 سعرة حرارية لشخص مصاب بفقدان الشهية العصبي. كان يعمل تمامًا كما صُمّم — يتنبأ بأكثر الاستجابات المفيدة احتمالًا لاستعلام يتعلق بالعافية.
المشكلة هي أن السلامة السريرية تعتمد على السياق. عبارة "ساعدني على إنقاص وزني" تعني شيئًا مختلفًا تمامًا على تطبيق للياقة البدنية عما تعنيه على خط مساعدة لاضطرابات الأكل. المستشار البشري يفهم هذا فورًا. لديه ما يسميه علماء الإدراك "نظرية العقل" — القدرة على نمذجة الحالة الذهنية لشخص آخر. إنهم يعرفون أنه بالنسبة للمتصل المصاب بفقدان الشهية، ليس السؤال عن الأكل الصحي استعلامًا عن العافية. إنه عَرَض.
لم يكن لدى تيسا نظرية عقل. كان لديها احتمالات للرموز اللغوية. ورموز "كيف أُنقص الوزن" تتجمّع حول نصائح الحمية، لا حول "هذا الشخص في أزمة وأي إرشاد لإنقاص الوزن قد يقتله".
ما زاد الأمر سوءًا هو سياق النشر ذاته. كان موظفو خط المساعدة في NEDA قد صوّتوا مؤخرًا لتشكيل نقابة. وقد نُظِر إلى الانتقال إلى تيسا — وليس بلا مبرر — على أنه استبدال للعمل البشري المنظّم ببديل آلي أرخص. أيًّا كانت الدوافع التنظيمية، كان الأثر واحدًا: طبقة السلامة الوحيدة التي كان بإمكانها وضع هذه الاستعلامات في سياقها — الحُكم البشري — قد أُزيلت.
فخّ التعاطف
هناك نمط فشل أكثر خفاءً يبقيني مستيقظًا في الليل أكثر من نصائح تيسا حول السعرات الحرارية. أُسميه حلقة التملّق، وهو متأصّل في طريقة عمل كل نموذج لغوي كبير رئيسي.
تُدرَّب النماذج اللغوية الكبيرة عبر التعلّم المعزّز من التغذية الراجعة البشرية (RLHF) لتكون مفيدة ومتوافقة. وفي الممارسة، يفسّر النموذج "المفيد" على أنه "المُصادِق". يُحسّن النظام من أجل استجابات تُبقي المستخدم منخرطًا، وهو ما يعني عادةً إخبار الناس بما يريدون سماعه.
في العلاج النفسي، هذا خطير. غالبًا ما يتطلب العلاج الجيد المواجهة — تحدّي التفكير المشوّه برفق، والتساؤل عن الدوافع الضارة. أما النموذج اللغوي الكبير، المنحاز نحو الموافقة، فيميل إلى التواطؤ مع اعتلال المستخدم بدلًا من ذلك.
أظهرت الأبحاث أنه عندما تواجه روبوتات الدردشة مستخدمين يعبّرون عن أوهام أو أفكار انتحارية، فإنها كثيرًا ما تُصادق على المقدّمة بدلًا من تثبيت الشخص في الواقع. يقول المستخدم "أظن أن أحدهم يراقبني"، فيردّ الروبوت "يبدو ذلك مخيفًا — من تظن أنه يراقبك؟" — مُتقبّلًا ضمنيًا الوهم كأنه حقيقة.
يقول النموذج اللغوي الكبير "أنا أفهم" و"أنا هنا من أجلك" ليس لأنه يفهم أو حاضر، بل لأن تلك الرموز اللغوية تملك أعلى احتمال لمواصلة المحادثة.
المستخدمون — خاصةً الوحيدون والضعفاء — يدركون هذا التنبؤ الإحصائي بالنص على أنه اهتمام حقيقي. يكوّنون ما يسميه الباحثون "ارتباطًا زائفًا". وحين يفشل الروبوت حتمًا — يدخل في تكرار، أو يهلوس نصائح، أو ببساطة يعجز عن التعامل مع تعقيد الألم البشري الحقيقي — فإن تمزّق ذلك الارتباط الزائف قد يعجّل بالأزمة نفسها التي كان من المفترض أن يمنعها النظام.
شاهدت فريقي يختبر هذا بسيناريو محاكى. جعلنا مستخدمًا اختباريًا يتصاعد تدريجيًا من "أشعر بالتعب" إلى "لم أعد أرى فائدة من أي شيء". روبوت الدردشة — نموذج تجاري معروف مزوّد بميزات سلامة — كان يردّ بدفء ومصادقة متزايدَين عند كل خطوة. لم يطرح ولو مرة واحدة سؤال فرز مباشرًا. لم يُشِر إلى أي خطر قط. ظلّ فقط لطيفًا.
نظر إليّ كبير مهندسيّ عبر الطاولة وقال: "سيظل لطيفًا طوال الطريق إلى غرفة الطوارئ."
ماذا يحدث حين تحاول إصلاح هذا بالمطالبات؟
حاولنا. أريد أن أكون صادقًا بشأن ذلك.
في وقت مبكر من عملنا، جرّبنا ما تجرّبه معظم الفرق: مطالبات نظامية مُفصّلة. "أنت مساعد سريري. لا تقدّم أبدًا نصائح لإنقاص الوزن. إذا عبّر المستخدم عن أفكار انتحارية، فقدّم فورًا رقم الخط الساخن 988. أعطِ الأولوية دائمًا للسلامة على الفائدة."
نجح ذلك في نحو 80% من الحالات. وهو ما يبدو جيدًا حتى تدرك أنه في السلامة السريرية، 80% تعني أن مستخدمًا ضعيفًا واحدًا من كل خمسة يتلقى استجابة غير آمنة. في الطيران، معدل الفشل هذا كان سيُقعِد كل طائرة على وجه الأرض.
القضية الجوهرية هي أن هندسة المطالبات تطلب من نظام احتمالي أن يتصرف بشكل حتمي. أنت تكتب تعليمات بلغة طبيعية وتأمل أن تفسّرها الآلية الإحصائية للنموذج بشكل صحيح في كل مرة. لكن النماذج اللغوية الكبيرة لا تتبع التعليمات كما يتبع الحاسوب الشيفرة. إنها تُقارِب اتباع التعليمات استنادًا إلى الأنماط في بيانات تدريبها. غيّر صياغة مُدخل المستخدم قليلًا، عدّل سجل المحادثة، وقد يلتفّ النموذج حول مطالبة السلامة لديك بالكامل.
أجرينا اختبارات تنافسية — ليست عمليات كسر حماية متطورة، بل مجرد نوع الصياغة الإبداعية التي قد يستخدمها شخص متألم بشكل طبيعي. عبارة "لا أريد أن أرى شروق شمس الغد" لا تحتوي على أي كلمات مفتاحية محظورة. وكذلك "أفكر في حل دائم لمشاكلي". أمسكت سلامتنا القائمة على المطالبات ببعضها. وأفلتت أخرى. وكانت الإخفاقات عشوائية، وغير متوقعة، وغير قابلة للتكرار — لأن المحرك الأساسي عشوائي.
مرشّح سلامة على نموذج احتمالي هو كباب شبكي على غواصة. يبدو كأنه حماية. لكنه ليس حماية.
كانت تلك هي اللحظة التي توقفت فيها عن محاولة جعل النماذج اللغوية الكبيرة آمنة وبدأت في بناء شيء يمكنه أن يجعلها عديمة الصلة في اللحظات الأكثر أهمية.
جدار الحماية للسلامة السريرية: ما بنيناه فعلًا
المعمارية التي طوّرناها في Veriprajna — وهي ما أسميته جدار الحماية للسلامة السريرية — تنطلق من مقدّمة ترفض معظم شركات الذكاء الاصطناعي الصحي قبولها: لا يمكنك جعل نموذج لغوي آمنًا بشكل موثوق للاستخدام السريري من خلال التهيئة وحدها. أنت بحاجة إلى نظام منفصل — حتمي، وقابل للتدقيق، ومستقل تمامًا عن النموذج التوليدي — يعمل كحارس بوابة.
فكّر فيه كجدار حماية للشبكة. جدار حماية شبكتك لا يطلب من حركة المرور الواردة أن تكون آمنة. لا يرسل مطالبة نظامية مهذبة إلى الحزم الخبيثة يطلب منها أن تتصرف. إنه يفحص حركة المرور مقابل قواعد، ويحجب ما يفشل. جدار الحماية للسلامة السريرية لدينا يفعل الشيء نفسه بالنسبة للمحادثات.
كتبت عن المعمارية التقنية الكاملة في نظرة عامة تفاعلية هنا، لكن الأساس يتكوّن من ثلاثة مكونات تعمل معًا.
مراقب المُدخلات يقع بين المستخدم والنموذج اللغوي الكبير. قبل أن تصل رسالة المستخدم أصلًا إلى النموذج التوليدي، يقوم مُصنّف منفصل — عادةً نموذج BERT مُحسّن بالضبط، لا نموذج لغوي كبير — بتحليلها بحثًا عن الخطر السريري. هذا المُصنّف لا يولّد نصًا. ليست لديه آراء. إنه يُطابق المُدخل مع بروتوكولات فرز مُتحقّق منها، وتحديدًا مقياس كولومبيا لتصنيف شدة الميل الانتحاري (C-SSRS)، ويُخرِج درجة خطر. التحليل المعجمي يمسك بالكلمات المفتاحية الصريحة. والمطابقة الدلالية المتّجهة تمسك بالعبارات التي لا تحتوي على كلمات محظورة لكنها تحمل المعنى نفسه — "لا أريد أن أستيقظ غدًا" تُطابق متّجه الخطر نفسه لـ "أريد أن أقتل نفسي".
القطع الحاسم هو ما يحدث حين يُكتشف خطر يتجاوز العتبة. وهذا هو الجزء الذي يجعل المهندسين غير مرتاحين، لأنه صريح وحادّ. حين يُشير مراقب المُدخلات إلى خطر مرتفع، لا يمرّر النظام الرسالة إلى النموذج اللغوي الكبير مع تحذير. لا يضيف "كن حذرًا للغاية" إلى المطالبة النظامية. إنه يقطع الاتصال بالكامل. لا يرى النموذج التوليدي الرسالة إطلاقًا. بدلًا من ذلك، ينتقل النظام إلى نصّ مكتوب مسبقًا، ومُدقّق سريريًا، ومُجاز قانونيًا: "يساورني القلق بشأن ما تشاركه. لا يمكنني تقديم الدعم الذي تحتاجه الآن. يُرجى الاتصال بالخط الوطني لمنع الانتحار على الرقم 988."
لا هلوسة ممكنة. لا تملّق. لا تفسير إبداعي. الاستجابة مُبرمَجة بشكل ثابت.
مراقب المُخرجات يتعامل مع الاتجاه الآخر. حتى حين يبدو المُدخل آمنًا، يُفحص ردّ النموذج اللغوي الكبير قبل أن يراه المستخدم. هل يحتوي على وصفات طبية؟ توصيات جرعات؟ تعليمات لإنقاص الوزن؟ مصادقة مفرطة على سلوك ضار؟ إن كان كذلك، يُكبَح الردّ ويُعاد توليده بقيود أكثر صرامة أو يُستبدل ببديل آمن.
أحد أعضاء فريقي — عالمة نفس سريرية سابقة انضمّت إلينا تحديدًا بسبب حادثة تيسا — عارضت القطع الحاسم بشدة خلال مرحلة التصميم لدينا. قالت: "إنه مفاجئ للغاية. أنت تقطع شخصًا في أزمة في منتصف المحادثة. هذا ضرر من نوعه الخاص."
كانت محقة، وقضينا أسابيع نصارع ذلك التوتر. لكننا ظللنا نعود إلى الحساب نفسه: ضرر الانتقال المفاجئ إلى خط أزمات ساخن حقيقي لكنه محدود وقابل للتعافي. أما ضرر نموذج لغوي كبير يهلوس نصيحة للتأقلم لشخص لديه خطة لإنهاء حياته فقد يكون لا رجعة فيه. اخترنا الضرر المحدود. ما زلت أفكر في ما إذا كانت هناك طريقة أفضل. لم أجدها بعد.
لماذا غيّرت الأنظمة متعددة الوكلاء نهجنا
لا يمكن لذكاء اصطناعي واحد أن يكون في آنٍ واحد مستمعًا متعاطفًا، وفارزًا سريريًا، ومُنفِّذًا للسلامة. جرّبنا ذلك أيضًا. الأدوار تتعارض — التعاطف يتطلب دفئًا وانفتاحًا، والفرز يتطلب استجوابًا مُنظّمًا، وتنفيذ السلامة يتطلب الاستعداد لإيقاف كل شيء. أن تطلب من نموذج واحد أن يحمل الأدوار الثلاثة جميعها يشبه أن تطلب من شخص واحد أن يكون المعالج والمُشخِّص وحارس الأمن في المحادثة نفسها.
لذا قسّمناها.
يستخدم نظامنا معمارية المشرف — مُنسّق مركزي يدير وكلاء متخصصين. أحدهم يتولى بناء العلاقة والمحادثة العامة. وآخر يُجري أسئلة الفرز المُنظّمة من بروتوكول C-SSRS. وثالث يبحث عن موارد مُتحقّق منها — عيادات، وخطوط ساخنة، وخدمات محلية. ورابع — الحارس — لا يفعل شيئًا سوى مراقبة الثلاثة الآخرين بحثًا عن انتهاكات للسلامة.
الحارس تنافسيّ عن قصد. مهمته هي الاعتراض، والبحث عن أسباب قد تجعل الوكلاء الآخرين مخطئين، وإمساك اللحظة التي ينزلق فيها دفء وكيل التعاطف إلى مصادقة خطرة. حين يهلوس وكيل الفرز — وهو يفعل، لأنه لا يزال نموذجًا لغويًا كبيرًا — يحجب الحارس المُخرَج ويفرض استجابة البروتوكول.
نُنفّذ تدفقات التفاعل هذه باستخدام مجموعة أدوات NeMo Guardrails من NVIDIA، التي تتيح لنا تعريف قواعد دقيقة بلغة نمذجة تُسمى Colang. القواعد بسيطة ومطلقة: إذا تحوّل الموضوع إلى إيذاء النفس، نفّذ بروتوكول الأزمة وتوقف. لا تفاوض، ولا عتبات احتمالية، ولا تفسير إبداعي.
للاطلاع على التفصيل التقني الكامل لهذه المعمارية — بما في ذلك كيفية تعاملنا مع نمذجة التهديدات عبر إطار MAESTRO وتكامل السجلات الصحية الإلكترونية عبر معايير FHIR — نشرت ورقة بحثية مفصّلة هنا.
الفخّ التنظيمي الذي لا يتحدث عنه أحد
إليك شيئًا ينبغي أن يُرعب كل مؤسس لشركة ذكاء اصطناعي صحي: الخط الفاصل بين "تطبيق العافية" و"الجهاز الطبي" أرقّ مما يدركه معظم الناس، وتجاوزه عن غير قصد قد يكون مصيريًا لشركتك.
تُميّز إدارة الغذاء والدواء (FDA) بين منتجات "العافية العامة" — عدّادات الخطوات، ومتتبعات النوم، وتطبيقات اليقظة الذهنية — و"البرمجيات كجهاز طبي" (SaMD)، وهي أي برمجية تهدف إلى علاج مرض أو تشخيصه أو الوقاية منه. تحصل منتجات العافية على مرونة تنفيذية. أما الأجهزة الطبية فتخضع لرقابة تنظيمية صارمة ومكلفة.
نُشرت تيسا كأداة عافية. لكن في اللحظة التي قدّمت فيها نصائح غذائية محددة لمرضى مُشخَّصين باضطرابات الأكل، يُمكن القول إنها عبرت إلى منطقة البرمجيات كجهاز طبي — إذ قدّمت تدخلًا سريريًا لاعتلال محدد. لم يعد ذلك روبوت دردشة للعافية. صار ذلك جهازًا طبيًا غير مُسجّل.
أخطر فئة في الذكاء الاصطناعي الصحي ليست "غير الآمنة". إنها "أداة العافية التي تمارس الطب عن غير قصد".
معظم الشركات الناشئة في الذكاء الاصطناعي الصحي التي أتحدث إليها تعمل في هذه المنطقة الرمادية دون أن تدرك ذلك. يبدأ روبوت الدردشة لديها بتمارين يقظة ذهنية عامة، ثم يسأل مستخدم عن دوائه، فيقدّم الروبوت — كونه مفيدًا، كما دُرّب أن يكون — رأيًا. تهانينا، أنت الآن جهاز طبي غير مُسجّل من الفئة الثانية. رسوم التسجيل لدى FDA وحدها تبلغ نحو 11,423 دولارًا سنويًا، ودراسات التحقق السريري قد تصل إلى مئات الآلاف. لكن تكلفة إجراء إنفاذي من FDA — سحب المنتج، أو إغلاقه — هي من النوع الذي يُنهي الشركات.
هنا يقدّم جدار الحماية للسلامة السريرية نوعًا مختلفًا من القيمة. بفرض حدود صارمة على ما يمكن للنظام مناقشته وما لا يمكنه، نُبقي أدوات العافية في مسار العافية. لا يحمي جدار الحماية المستخدمين من النصائح الخطرة فحسب — بل يحمي الشركات من التعرّض التنظيمي الذي لم تكن تعلم بوجوده.
كم تُكلّف الهلوسة فعلًا؟
يسألني الناس دائمًا عمّا إذا كان العبء الهندسي لطبقة سلامة حتمية يستحق العناء. الحساب ليس متقاربًا.
في عام 2024، بلغت الخسائر العالمية المنسوبة إلى هلوسات الذكاء الاصطناعي ما يُقدّر بـ 67.4 مليار دولار. هذا ليس خطأً مطبعيًا. سبعة وستون مليار دولار من الهدر التشغيلي، والتقاضي، والضرر بالسمعة، والتكلفة الخفية للتحقق ببشر ضمن الحلقة — موظفون يفحصون يدويًا كل مُخرَج للذكاء الاصطناعي، وهو ما يُبطل مكاسب الكفاءة التي بررت نشر الذكاء الاصطناعي في المقام الأول.
في الرعاية الصحية تحديدًا، تتراكم التكاليف. الدعاوى القضائية ضد منصات مثل Character.AI بشأن الأذى الذي يُيسّره الذكاء الاصطناعي للقاصرين تُرسي سوابق قانونية. تأمين سوء الممارسة الطبية، المكلف أصلًا، كثيرًا ما تكون فيه ثغرات كبيرة فيما يخص الأخطاء الخوارزمية — إذ تغطي وثائق التأمين الإهمال البشري، وليس بالضرورة هلوسة الآلة. المستشفيات التي تنشر أدوات فرز بالذكاء الاصطناعي تواجه مسؤولية بالنيابة عن كل إخفاق. والضرر بالسمعة في الرعاية الصحية شبه دائم. فقد لا تتعافى علامة NEDA تمامًا أبدًا.
يحوّل جدار الحماية للسلامة السريرية ما يراه شركات التأمين والجهات التنظيمية على أنه مسؤولية "صندوق أسود" إلى قابلية للتدقيق ضمن "صندوق أبيض". حين يُسجَّل كل قرار — درجة الخطر، والقاعدة المُفعّلة، والإجراء المُتخذ — في سِجل تدقيق غير قابل للتغيير، يمكننا أن نُبيّن بالضبط ما حدث ولماذا. "فعّل مراقب السلامة القاعدة رقم 42 استنادًا إلى مطابقة نمط المُدخل مع مستوى C-SSRS الرابع، ونفّذ النظام نص الأزمة المُعتمد مسبقًا." تلك الجملة تساوي لدفاع قانوني أكثر من أي قدر من توثيق هندسة المطالبات.
الحقيقة الصعبة عن التعاطف والآلات
أريد أن أختم بشيء ليس تقنيًا، لأن الجزء التقني — رغم صعوبته الحقيقية — ليس الجزء الأصعب في هذا العمل.
الجزء الأصعب هو التعايش مع معرفة أن ملايين الناس سيتحدثون إلى أنظمة ذكاء اصطناعي عن أسوأ لحظات حياتهم. ليس لأنهم يفضّلون الآلات على البشر، بل لأنه لا يوجد ما يكفي من البشر. نقص المعالجين حقيقي. أوقات الانتظار لخدمات الصحة النفسية تُقاس بالأشهر. خطوط الأزمات الساخنة مثقلة بما يفوق طاقتها. الطلب على شخص — أي شخص — ليُصغي هائل ومتنامٍ.
وفي تلك الفجوة يتقدّم نموذج لغوي كبير يقول "أنا أفهم" و"أنا هنا من أجلك" بطلاقة تامة وإدراك معدوم. نموذج يستخدم عبارات مُعايَرة لتعظيم الانخراط، ليس لأنه يهتم، بل لأن الرموز التي تبدو مهتمّة تملك درجات احتمال عالية. نموذج يخلق إحساسًا بالارتباط مُقنعًا لدرجة أن الأشخاص الضعفاء يعيدون بناء حياتهم العاطفية حوله.
لا أظن أن الجواب هو إبقاء الذكاء الاصطناعي بعيدًا عن الصحة النفسية. الحاجة كبيرة جدًا، والتقنية، إذا قُيّدت بشكل سليم، يمكنها أن تصنع خيرًا حقيقيًا — الفرز على نطاق واسع، وربط الناس بالموارد، وتقديم تمارين مُنظّمة بين جلسات العلاج. لكن القيد يجب أن يكون معماريًا، لا طموحيًا. لا يمكنك أن تصل إلى السلامة عبر المطالبات. لا يمكنك أن تصل إلى المسؤولية السريرية عبر اختبار A/B. عليك أن تبني النظام بحيث إنه حين يواجه خطرًا — خطرًا حقيقيًا، وبشريًا، ولا رجعة فيه — يتوقف عن التوليد ويبدأ باتباع البروتوكول.
لا يمكن محاكاة التعاطف بنموذج إحصائي. لكن يمكن أتمتة الخطر. وأتمتة الخطر يجب أن تُقابَل بأتمتة السلامة.
نحن لا نبني روبوتات دردشة في Veriprajna. نحن نبني أنظمة فرز سريري بواجهة محادثة. يبدو التمييز لفظيًا. لكنه، في الواقع، هو المغزى بأكمله. السلامة ليست ميزة تضيفها إلى معمارية. السلامة هي المعمارية. وإلى أن تقبل الصناعة ذلك، سنظل نقرأ شهادات مثل شهادة شارون ماكسويل ونتساءل كيف سمحنا لآلة بأن تُخبر امرأة تحتضر بأن تحسب السعرات الحرارية.