الذكاء الاصطناعي عند طبيبك يكتب لك رسالة قد تكون مميتة — ولم يخبرك أحد

كنت في مكالمة مع مدير التكنولوجيا في أحد الأنظمة الصحية العام الماضي عندما قال شيئًا جمّدني في مكاني.

"لدينا الآن GPT يصوغ رسائل بوابة المرضى. الأطباء يعشقونه. يوفّر لهم ساعات في الأسبوع. لقد انتهينا عمليًا من طرح الذكاء الاصطناعي."

انتهينا. جثمت هذه الكلمة على صدري كحجر. لأنني كنت قد فرغت للتو من قراءة دراسة — نُشرت في The Lancet Digital Health في أبريل 2024، أجراها باحثون من كلية الطب بجامعة هارفارد وييل وجامعة ويسكونسن — روت قصة مختلفة تمامًا. في تلك الدراسة، صاغ GPT-4 عدد 156 رسالة من رسائل بوابة المرضى داخل سجل صحي إلكتروني محاكى. 7.1% من تلك المسودات شكّلت خطر ضرر جسيم. واحدة — 0.6% — شكّلت خطرًا مباشرًا على الحياة.

وإليك الرقم الذي جعلني أضع فنجان قهوتي وأعيد قراءة الفقرة ثلاث مرات: أطباء الرعاية الأولية العشرون الممارسون الذين راجعوا مسودات الذكاء الاصطناعي تلك أغفلوا في المتوسط 66.6% من الأخطاء الخطيرة.

لم يكن مدير التكنولوجيا مهملًا. كان يفعل ما يفعله القطاع بأكمله — يلفّ نموذجًا لغويًا عام الغرض في طبقة برمجية رفيعة، ويوجّهه نحو رسائل المرضى، ويثق بأن عيني الطبيب في نهاية المسار ستلتقطان أي خطأ يحدث.

قضيت السنوات العديدة الماضية في بناء أنظمة ذكاء اصطناعي في Veriprajna مصمّمة لتكون مؤصَّلة — مرتكزة على معرفة موثّقة، وليس على مجرد الاحتمال الإحصائي. وقد بلورت هذه الدراسة شيئًا كنت أدافع عنه في غرف لم يرد فيها الناس سماعه: "العنصر البشري في الحلقة" ليس آلية أمان. إنه دعاء.

ماذا يحدث عندما يكتب الذكاء الاصطناعي ردّ طبيبك؟

دعني أرسم لك الصورة الكاملة لسبب وجود هذه التقنية أصلًا، لأن الحاجة حقيقية وملحّة.

يقضي أطباء الرعاية الأولية في الولايات المتحدة في المتوسط 10 ساعات شهريًا فقط في الرد على رسائل بوابة المرضى. وهذا عمل بلا أجر، بالمناسبة — غير قابل للفوترة تاريخيًا. إنه أحد المحرّكات الرئيسية لأزمة الاحتراق الوظيفي التي تدفع الأطباء إلى الخروج من مهنة الطب كليًا.

لذا عندما ظهرت أدوات ذكاء اصطناعي قادرة على صياغة ردود متعاطفة ومفصّلة ومصقولة نحويًا على أسئلة المرضى — ردود غالبًا ما سجّلت أعلى في الجودة المُدركة مما كان يكتبه الأطباء المُنهَكون في الحادية عشرة ليلًا — كان التبنّي سريعًا. دمجت MyChart من Epic صياغة الذكاء الاصطناعي. جمعت الشركات الناشئة مئات الملايين. احتفلت الأنظمة الصحية بمكاسب الكفاءة.

وأنا أتفهّم ذلك. حقًا أتفهّمه. مشكلة الاحتراق الوظيفي ليست تجريدية بالنسبة لي. جلست قبالة أطباء وصفوا صندوق بريدهم بأنه وظيفة ثانية بدوام كامل، وظيفة جعلتهم يستاؤون من المرضى الذين دخلوا الطب لمساعدتهم.

لكن الكفاءة بلا دقّة في الرعاية الصحية ليست ابتكارًا. إنها إهمال ينتظر مدّعيًا.

دراسة The Lancet التي كان يجب أن تكون جرس إنذار حريق

لم تكن دراسة أبريل 2024 تجربة صغيرة أو مقال رأي. كانت محاكاة مقطعية بمشاركة أطباء ممارسين يراجعون مسودات مولّدة بالذكاء الاصطناعي في بيئة سجل صحي إلكتروني واقعية. زرع الباحثون عمدًا في بعض المسودات أخطاء — من النوع الذي تنتجه النماذج اللغوية الكبيرة فعليًا — ثم راقبوا ما يحدث.

ما حدث كان مُدينًا.

أبلغ 90% من الأطباء المراجعين عن ثقتهم بأداء أداة الذكاء الاصطناعي. وجدوا أنها قلّلت من عبئهم المعرفي — اتفق 80% على هذه النقطة. كانت المسودات سلسة ومتعاطفة وجيدة البنية. بدت صحيحة.

لكن طبيبًا واحدًا فقط من أصل عشرين التقط جميع المسودات الأربع الخاطئة عمدًا. واحد. وبين 35% و45% من المسودات الخاطئة أُرسلت إلى المرضى دون أي تعديل على الإطلاق.

عندما تُقرأ مسودة الذكاء الاصطناعي أفضل مما قد يكتبه طبيب مُنهَك في نهاية مناوبة مدتها 12 ساعة، لا تكون الغريزة هي التدقيق فيها. بل النقر على إرسال.

لهذه الظاهرة اسم: التحيّز نحو الأتمتة — الميل الموثّق جيدًا لدى البشر إلى الإفراط في الاعتماد على الاقتراحات الآلية، إذ يطبّقون تدقيقًا نقديًا أقل مما يطبّقونه على عملهم الخاص أو عمل زميل. وجد باحثو The Lancet أن الارتباط كان ذا دلالة إحصائية (p < 0.001): كلما بدت مسودة الذكاء الاصطناعي أفضل على السطح، زاد احتمال أن يغفل الطبيب خطأً سريريًا مدفونًا فيها.

لم تكن الأخطاء أخطاءً مطبعية. كانت إخفاقات في التفكير السريري. اختلق الذكاء الاصطناعي معلومات طبية. أشار إلى بروتوكولات قديمة. في الحالة المصنّفة كخطر على الحياة، أخفق في إخبار مريض يعاني من عرَض يهدد حياته بالتوجه إلى غرفة الطوارئ — وبدلًا من ذلك ولّد ردًا هادئًا مطمْئنًا خاطئًا خطأً مميتًا وغير عاجل.

أظل أعود إلى تلك الحالة تحديدًا. الأرجح أن الرسالة كانت مصوغة ببراعة. دافئة. متعاطفة. مفصّلة. ولو أن مريضًا اتّبع نصيحتها، ربما كان قد مات في منزله منتظرًا موعدًا يوم الإثنين.

لماذا يستمر "الطبيب في الحلقة" في الإخفاق؟

دار بيني وبين زميل يبني أدوات ذكاء اصطناعي سريرية جدال حول هذا. كان موقفه واضحًا ومباشرًا: "الطبيب يراجع كل شيء. تلك هي شبكة الأمان."

طرحت عليه سؤالًا: "لو أعطيت طبيبًا كومة من 50 رسالة، 48 منها سليمة تمامًا، وأخبرته أن الذكاء الاصطناعي كتبها جميعًا — فما مدى دقة قراءته للرسالة رقم 37 في تقديرك؟"

توقّف برهة.

هذه هي المشكلة الجوهرية. يفترض نموذج العنصر البشري في الحلقة أن الانتباه البشري ثابت، وأن الإرهاق لا يُضعف اليقظة، وأن جودة نثر الذكاء الاصطناعي لا تؤثر على عمق المراجعة. كل واحد من هذه الافتراضات خاطئ، وبيانات The Lancet تثبت ذلك.

"العنصر البشري في الحلقة" ليس آلية أمان حين يكون الإنسان قد هُيّئ نفسيًا للثقة بالآلة.

وهناك مشكلة معمارية أعمق أيضًا. النماذج اللغوية الكبيرة القياسية انحدارية ذاتية — تتنبأ بالكلمة التالية بناءً على الاحتمال الإحصائي، وليس على تفكير طبي منظّم. إنها لا "تفهم" أن عرَضًا ما عاجل. إنها لا "تعرف" أن إرشادًا ما جرى تحديثه الشهر الماضي. إنها تولّد نصًا يبدو كأنه من طبيب واسع المعرفة لأنها دُرّبت على ملايين الأمثلة لأطباء واسعي المعرفة يكتبون. لكن أن تبدو صحيحًا وأن تكون صحيحًا أمران مختلفان بشكل خطير في الطب.

كتبت عن هذه الفجوة المعمارية بتعمّق في النسخة التفاعلية من بحثنا، لكن الخلاصة المختصرة هي: النموذج اللغوي الكبير لا يملك نموذجًا للمريض. إنه يملك نموذجًا للغة. وهذان ليسا الشيء نفسه.

كاليفورنيا للتوّ جعلت هذه مشكلة الجميع

بينما كان المجتمع البحثي يطلق نواقيس الخطر، كان المجلس التشريعي في كاليفورنيا يصوغ قانونًا. مشروع قانون الجمعية 3030، الذي وُقّع في سبتمبر 2024، يدخل حيّز التنفيذ في 1 يناير 2025. وهو يلزم كل منشأة صحية وعيادة وممارسة طبية في كاليفورنيا بإخطار المرضى كلما استُخدم الذكاء الاصطناعي التوليدي للتواصل بشأن معلومات سريرية.

تحتاج الرسائل المكتوبة إلى إخلاء مسؤولية في أعلاها. وتحتاج الرسائل الصوتية إلى إفصاح شفهي في البداية و النهاية. وتحتاج اتصالات الفيديو والدردشة إلى عرض إخلاءات مسؤولية طوال مدتها.

وهنا يصبح الأمر مثيرًا للاهتمام — وحيث أظن أن معظم الأنظمة الصحية تسيء قراءة القانون.

يتضمّن AB 3030 استثناءً: إذا كان مقدّم خدمة مرخّص قد "قرأ وراجع" التواصل المولّد بالذكاء الاصطناعي، فلا تنطبق متطلبات الإفصاح. على الورق، يبدو هذا بطاقة "اخرج من السجن مجانًا". أبقِ الطبيب في الحلقة، وتجاوز إخلاء المسؤولية، وحافظ على وهم أن كل رسالة مصوغة شخصيًا.

لكن اقرن ذلك الاستثناء ببيانات The Lancet — 66% من الأخطاء أُغفلت، و35-45% من المسودات الخطيرة أُرسلت دون تعديل — وسيكون لديك قنبلة قانونية موقوتة. فالنظام الصحي الذي يزعم أن أطباءه "قرأوا وراجعوا" مسودات الذكاء الاصطناعي بينما يُغفل هؤلاء الأطباء بشكل قابل للإثبات ثلثي الأخطاء ليس ممتثلًا. إنه مكشوف قانونيًا.

قلت لمدير التكنولوجيا في تلك المكالمة: "الاستثناء ليس درعًا. إنه مُسرّع للمسؤولية القانونية — ما لم تساعد التقنية المراجع فعليًا على التقاط ما جُبِل دماغه على إغفاله."

ما الخطأ فعلًا في نهج "غلاف النموذج اللغوي"؟

معظم الشركات الناشئة في مجال الذكاء الاصطناعي الصحي الآن تبني ما أسمّيه أغلفة — طبقات برمجية رفيعة تنقل بيانات المرضى إلى واجهة برمجية لنموذج لغوي تجاري وتعيد الاستجابة مع بعض التنسيق. إنها سريعة البناء وسهلة العرض التوضيحي، وغير كافية جوهريًا للاستخدام السريري.

ثلاث مشكلات تجعل الأغلفة خطيرة:

حدود المعرفة قتلة غير مرئيين. تُدرَّب النماذج اللغوية الكبيرة العامة على مجموعات بيانات ثابتة. إنها لا تعرف عن الإرشاد الذي تغيّر الربع الماضي، أو التفاعل الدوائي الذي جرى الإبلاغ عنه الشهر الماضي، أو نتائج مختبر المريض من هذا الصباح. الغلاف الذي لا يدمج بيانات سريرية آنية يولّد استجابات في فراغ — فراغ قد لا يدرك الطبيب المراجع للمسودة أنه موجود أصلًا.

التنبؤ بالرموز ليس تفكيرًا سريريًا. عندما يكتب GPT-4 "يجب أن تستمر في دوائك الحالي"، فإنه لا يقيّم وظيفتك الكلوية، ولا تفاعلاتك الدوائية، ولا تحاليل دمك الأخيرة. إنه يتنبأ بالكلمات المرجّح إحصائيًا أن تتبع الكلمات السابقة. في الأشعة والأورام وأي مجال يتطلب تفسيرًا تشخيصيًا دقيقًا، فإن هذه الفجوة بين الطلاقة اللغوية والدقة الطبية هي حيث يتضرّر المرضى.

الأمان فكرة لاحقة. كثير من واجهات النماذج اللغوية الكبيرة العامة ليست متوافقة بطبيعتها مع HIPAA. فبدون إخفاء صارم للبيانات واتفاقية شريك أعمال ملائمة، تكون كل رسالة مريض تُوجَّه عبر واجهة برمجية تجارية خرقًا محتملًا للخصوصية. وتبقى هجمات حقن الأوامر — حيث تخدع مدخلات عدائية النموذج لكشف سياق داخلي أو بيانات مرضى — ثغرة غير معالَجة إلى حد كبير في معماريات الأغلفة.

كيف تبني ذكاءً اصطناعيًا آمنًا فعلًا للمرضى؟

هنا أنتقل من الناقد إلى الباني، لأن النقد بلا بدائل مجرّد ضجيج.

في Veriprajna، ما فتئنا نطوّر ما أعتبره ذكاءً اصطناعيًا مؤصَّلًا — أنظمة لا يكون فيها النموذج اللغوي أبدًا المصدر الوحيد للحقيقة. إنه دائمًا مربوط بمعرفة سريرية موثّقة، ودائمًا شفّاف بشأن مصدر إجاباته.

طبقة الاسترجاع تغيّر كل شيء

التوليد المعزّز بالاسترجاع (RAG) هو الأساس. قبل أن يولّد الذكاء الاصطناعي كلمة واحدة من رد للمريض، يسترجع أولًا الوثائق ذات الصلة من مجموعة موثّقة: الملاحظات السريرية للمريض، والإرشادات المؤسسية الحالية، والأدبيات المحكّمة. ثم يشترط النموذج استجابته بهذا السياق المُسترجَع، وليس ببيانات تدريبه فحسب.

هذا ليس تعديلًا طفيفًا. إنه معمارية مختلفة جوهريًا. يستطيع نظام قائم على RAG أن يستشهد بمصادره — "استنادًا إلى نتائج مختبرك من 12 مارس والإرشادات الحالية لـ ACC/AHA..." — مما يحوّل مراجعة الطبيب من "هل يبدو هذا صحيحًا؟" إلى "هل المصدر صحيح؟". السؤال الثاني أسهل بكثير في الإجابة عنه، حتى في الحادية عشرة ليلًا يوم خميس.

رسوم المعرفة تمنح الذكاء الاصطناعي ما لا تستطيع الأغلفة أن تمنحه أبدًا: العلاقات

الطبقة التالية هي رسوم المعرفة الطبية — شبكات منظّمة تمثّل المعرفة السريرية لا كنص بل كمفاهيم مترابطة. لا يعرف رسم المعرفة فقط أن الميتفورمين دواء للسكري. بل يعرف آلية عمل الميتفورمين، وموانع استعماله في القصور الكلوي، وتفاعلاته مع صبغة التباين، وعتبة معدل الترشيح الكبيبي المقدّر (eGFR) التي ينبغي إيقافه دونها.

أنظمة مثل MediGRAF تستخدم قواعد بيانات رسومية مثل Neo4j لدمج الاستعلامات المنظّمة الدقيقة مع الاسترجاع السردي، محقّقة استدعاء 100% في الاستعلامات السريرية القائمة على الحقائق مع الحفاظ على معايير الأمان للاستدلال المعقّد. عندما رأيت أرقام الاستدعاء تلك أول مرة، كنت متشككًا — لذا أخضعنا النهج لاختبار إجهاد ضد حالات حدّية أطاحت بكل نظام قائم على الأغلفة قيّمناه. صمد الرسم.

للاطلاع على التفصيل التقني الكامل لهذه النهج المعمارية — مسارات RAG، ودمج رسم المعرفة، والنمذجة على مستوى المفهوم — راجع ورقتنا البحثية المفصّلة.

مشكلة الاختبار التي لا يريد أحد الحديث عنها

أتذكّر عرضًا توضيحيًا من شركة ناشئة في الذكاء الاصطناعي الصحي — مصقول ومبهر، من النوع الذي يجعل المستثمرين يمدّون أيديهم إلى دفاتر شيكاتهم. صاغ الذكاء الاصطناعي رسالة لمريض حول إدارة تشخيص جديد بالسكري. كانت دافئة وشاملة وقابلة للتنفيذ.

سألت: "ماذا يحدث لو أخبرت النظام أنني أعاني من حساسية تجاه الدواء الذي أوصى به للتوّ؟"

توقّف المؤسّس. "الطبيب سيلتقط ذلك."

ها هو مجددًا. الدعاء.

بناء ذكاء اصطناعي سريري آمن يتطلب اختبارًا عدائيًا — لا كفكرة لاحقة، بل كعملية مستمرة وآلية. في Veriprajna، نستخدم أطرًا مثل Med-HALT (اختبار هلوسة المجال الطبي)، الذي صُمّم خصيصًا لتحديد هلوسات الذكاء الاصطناعي في الرعاية الصحية عبر تقنيات مثل اختبار الثقة الزائفة، حيث يُتحدّى النموذج لتقييم إجابة خاطئة مقترحة عشوائيًا، واختبار الأسئلة المزيّفة، الذي يحدّد ما إذا كان النموذج يستطيع تمييز الاستعلامات الطبية الملفّقة.

كما نجري فرق أحمر آلية — هجمات محاكاة تفتّش عن ثغرات حقن الأوامر، ومحاولات لاستخراج بيانات المرضى عبر الاستجواب غير المباشر، وأنماط كسر الحماية التي تحاول تجاوز الضوابط السريرية. كل يوم. لا كل ربع سنة. لا قبل الإصدار. كل يوم.

إذا لم يهاجم فريق أحمر نظام الذكاء الاصطناعي لديك هذا الأسبوع، فأنت لا تعرف ما إذا كان آمنًا. أنت تعرف أنه كان آمنًا آخر مرة تحقّقت فيها.

أحد نتائج بحث حديث يطاردني: النماذج "المتخصّصة طبيًا" مثل MedGemma حقّقت دقة تتراوح بين 28% و61% فقط على معايير قياس معينة، بينما تفوّقت عليها نماذج الاستدلال الأوسع. الدلالة غير بديهية لكنها مهمة — الأمان في الذكاء الاصطناعي السريري ينبثق من قدرات استدلال متطورة، لا من مجرد الضبط الدقيق الخاص بالمجال. إن لصق ملصق طبي على نموذج لا يجعله آمنًا طبيًا.

مشهد الأخطاء الطبية يتزحزح تحت أقدام الجميع

إليك محادثة أجريتها مع ثلاثة مستشارين قانونيين عامّين مختلفين لمستشفيات في العام الماضي، وتسير على النحو نفسه تقريبًا في كل مرة.

أنا: "إذا صاغ الذكاء الاصطناعي لديكم رسالة تؤذي مريضًا، وأغفل الطبيب المراجع الخطأ، فمن المسؤول؟"

هم: "الطبيب. لقد راجعها ووافق عليها."

أنا: "وإذا أظهر محامي المدّعي أن نظامكم صُمّم بطريقة هيّأت الطبيب نفسيًا لإغفال الأخطاء — أن طلاقة الذكاء الاصطناعي خلقت شعورًا زائفًا بالأمان — فهل يغيّر ذلك تحليلكم؟"

صمت.

معيار الرعاية في الطب يتطور ليأخذ الذكاء الاصطناعي في الحسبان. بدأت المحاكم تقرّ بأن عدم استخدام أداة ذكاء اصطناعي موثّقة كان بإمكانها منع خطأ قد يشكّل إخلالًا بالواجب. لكن العكس آخذ في الظهور أيضًا: استخدام أداة ذكاء اصطناعي غير موثّقة، أو استخدام أداة موثّقة بطريقة تقوّض الإشراف البشري، يخلق مسؤوليته القانونية الخاصة.

انحراف النموذج يفاقم هذا. تتدهور أنظمة الذكاء الاصطناعي بمرور الوقت مع إعادة تدريبها على بيانات جديدة. النموذج الذي اجتاز تقييم الأمان لديك قبل ستة أشهر قد لا يكون النموذج الذي يولّد رسائل المرضى اليوم. وبدون سجلات تدقيق خاضعة للتحكّم بالإصدارات تُظهر بالضبط أي نموذج أنتج أي مخرج وأي خطوات استدلال اتّبعها، لا يملك النظام الصحي أي موقف قابل للدفاع عنه في المحكمة.

بعض منتجات التأمين ضد الأخطاء الطبية الأحدث بدأت تغطّي المطالبات المتعلقة بالذكاء الاصطناعي، لكنها عادة ما تكون بحدود منخفضة وتتطلب إثباتًا موثّقًا للإشراف البشري — الإشراف ذاته الذي أظهرت دراسة The Lancet أنه غير موثوق.

"لكن المرضى يفضّلون رسائل الذكاء الاصطناعي أكثر"

يعترض الناس عليّ بهذه النقطة، وأريد تناولها بأمانة لأن البيانات حقيقية. أظهرت دراسات أن المرضى يقيّمون الرسائل المصوغة بالذكاء الاصطناعي أعلى في التعاطف والتفصيل من تلك التي يكتبها الأطباء. وهذا ليس بلا قيمة. في نظام صحي يشعر فيه المرضى بأنهم غير مسموعين، فإن ذكاءً اصطناعيًا يأخذ الوقت للشرح والإقرار والطمأنة — لذلك قيمة حقيقية.

لكن إليك ما يظهره البحث أيضًا: تقييمات رضا المرضى تنخفض عندما يعلم المرضى أن الذكاء الاصطناعي كان متورّطًا. هناك تحيّز عكسي نحو الأتمتة يلعب دورًا — يقدّر المرضى الاعتقاد بأن طبيبهم منخرط شخصيًا في رعايتهم. العلاقة السريرية تهمّهم، وبإمكانهم أن يدركوا حين تكون قد تمّت بوساطة، حتى لو أنتجت الوساطة رسالة "أفضل".

هذا يخبرني بشيء مهم عن مكان الذكاء الاصطناعي في سير العمل هذا. ينبغي ألا يكون هو من يكتب نيابةً عن الطبيب في الخفاء. بل ينبغي أن يقوم بالعمل المنظّم والقابل للاسترجاع والقابل للتحقق — سحب نتائج المختبرات، وفحص الإرشادات، والإبلاغ عن التفاعلات — كي يملك الطبيب الطاقة لكتابة رد شخصي حقًا للمريض الذي يحتاج إليه.

هدف الذكاء الاصطناعي السريري ليس استبدال صوت الطبيب. بل إعادة الوقت للطبيب كي يستخدمه.

إلى أين يمضي هذا من هنا

لن أختم بعبارة متحفّظة من نوع "الزمن كفيل بالإجابة" أو بترويج خفيف لشركتي. سأخبرك بما أؤمن به.

الجيل الحالي من أدوات مراسلة المرضى بالذكاء الاصطناعي سيسبّب ضررًا. ليس قد يسبّب — بل سيسبّب. الحساب واضح ومباشر: معدل ضرر جسيم 7.1% في مسودات الذكاء الاصطناعي، ومعدل إغفال 66% من قِبل الأطباء المراجعين، مضروبًا في ملايين رسائل بوابة المرضى شهريًا عبر النظام الصحي الأمريكي. ستتراكم الحوادث. ستتبعها الدعاوى القضائية. وسيكون الرد التنظيمي فظًا وعقابيًا، لأن الدليل على أن هذا كان متوقّعًا منشور بالفعل في The Lancet.

الأنظمة الصحية التي تتجنّب هذا ليست تلك التي تتحرك ببطء. بل تلك التي تتحرك بشكل مختلف. وهذا يعني معماريات RAG مؤصَّلة في معرفة طبية موثّقة. رسوم معرفة تمنح الذكاء الاصطناعي استدلالًا سريريًا منظّمًا بدلًا من التنبؤ الإحصائي بالكلمات. اختبارًا عدائيًا يعمل باستمرار، لا احتفاليًا. وواجهات مراجعة مصمّمة لمواجهة التحيّز نحو الأتمتة، لا لاستغلاله.

بنينا Veriprajna للقيام بهذا العمل — لا لأننا رأينا فرصة سوقية، بل لأنني شاهدت أشخاصًا أذكياء حسني النية ينشرون أنظمة قد تؤذي المرضى، وكانت الفجوة بين ما يبنونه وما يتطلبه الدليل أمرًا لا يُغتفر.

القاعدة الأولى في الطب هي primum non nocere — أولًا، لا ضرر. قضينا العامين الماضيين في بناء ذكاء اصطناعي يأخذ تلك القاعدة كقيد هندسي، لا كشعار تسويقي. التقنية اللازمة للقيام بهذا على النحو الصحيح موجودة. والبحث الذي يثبت أن النهج الحالي خطير موجود. السؤال الوحيد المتبقّي هو ما إذا كان القطاع سيتصرّف بناءً على الدليل قبل أن يتصرّف الدليل بحق القطاع.