أثناء بناء TrialProof توقفت عن ملاحقة الدقة وبدأت أعدّ المرضى المؤهلين الذين لم أخسرهم: 0 مقابل 3 على مجموعة ذهبية ثابتة من 13 حالة.
Clinical TrialsMachine LearningHealthcare

بنيت عرضاً لإعادة إنتاج خطأ ذكاء اصطناعي شهير. رفض خطي الأساسي ارتكابه.

Ashutosh SinghalAshutosh Singhal29 يونيو 202612 min

الخطأ الذي لم أستطع إيقاعه

بدأت هذا البناء وأنا أريد إعادة إنتاج فشل محدد وموثّق جيداً. يقرأ ذكاء مطابقة المرضى الملاحظة السريرية كنص، فيخلط بين كلمات تبدو متشابهة لكنها تعني أشياء مختلفة في الطب. المثال المرجعي واضح: تجربة مضاد تخثر في المرحلة الثالثة تستبعد المرضى الذين لديهم تاريخ سابق لـ قسطرة قلبية، وتقول ملاحظة المريض وضع قسطرة وريدية مركزية، فيرى مطابق التشابه إجراءين لقسطرة قلبية وعائية، فيسجلهما متقاربين، ويستبعد مريضاً كان في الواقع مؤهلاً. تؤكد التقييمات المنشورة أن نماذج حقيقية ترتكب هذا الخطأ بالذات (Fierce Biotech، 2025). أردت أن يُظهر عرضي التوضيحي حدوثه، ثم يُظهر محركي وهو يلتقطه.

لذا كتبت خطاً أساسياً عادلاً ليلعب دور الشرير. تشابه جيب التمام على مستوى الكيان بطريقة TF-IDF، غرامات كلمات وأحرف من 3 إلى 5، طريقة تشابه متجهات حقيقية. حتى منحته إعداداً سخياً وضبطت عتبة قراره بتحقق متقاطع نيابة عنه (ROC طبقي بثلاثة طيات، مؤشر Youden's J، seed 13، مثبت عند t = 0.6932)، لأن الرجل القش لا يثبت شيئاً. ثم شغّلت حالة القسطرة القلبية وانتظرت الاستبعاد الخاطئ.

لم يأتِ. سجّل الخط الأساسي عبارتي القسطرة بأريحية تحت عتبته الخاصة المضبوطة بتحقق متقاطع وأعاد مؤهلاً. الخطأ الذي بنيت العرض التوضيحي بأكمله حوله ببساطة لم يُعاد إنتاجه.

كنت قد شرعت في مسرحة فشل شهير فاكتشفت أن شريراً صادقاً كان أضعف من أن يرتكبه.

تبين أن السبب مفيد تعليمياً، وأريد أن أكون دقيقاً بشأنه لأنه من السهل المبالغة فيه. إن خطاً أساسياً معجمياً متناثراً لا يُنتج ذلك الاستبعاد الخاطئ بالذات. يحتاج إلى تضمينات دلالية كثيفة لتقريب العبارتين بما يكفي لإيقاع العثرة. إضافة نموذج تضمين ثقيل كانت ستضخّم العرض إلى شيء لا يمكن تشغيله بأمر واحد دون اتصال، فاتخذت قراراً: أبقِ الخط الأساسي صادقاً ومتناثراً، وتوقّف عن التظاهر بأنه يرتكب جريمة لا يستطيع ارتكابها. أعاد ذلك القرار تنظيم القطعة بأكملها التي أبنيها. إن أردت تشغيله بنفسك، فهو يعيش على veriprajna.com/ar/demos/clinical-trial-recruitment-ai.

ما هو الخط المركزي حقاً؟

أبقيت مع ذلك حالة القسطرة القلبية، لأنها تبيّن أنها تثبت شيئاً أفضل من خطأ مُلتقَط. إنها تثبت لماذا إجابة محركي جديرة بالثقة أصلاً. كلا المفهومين هنا لهما مُعرّفات SNOMED-CT حقيقية وقابلة للتحقق. القسطرة الوريدية المركزية هي 392230005. القسطرة القلبية هي 41976001. يمكنك لصق أي منهما في أي متصفح SNOMED عام والتأكد أنهما يقعان على فروع مختلفة من التسلسل الهرمي. لا يوجد مسار is-a من أحدهما إلى الآخر. الخط المركزي ليس قسطرة قلبية، والتسلسل الهرمي وحده هو من يعرف ذلك.

تلك هي الأطروحة كلها في حافة واحدة من رسم بياني. درجة التشابه لا يمكنها تمثيل «is-a». لا يمكنها إلا تمثيل «هذه السلاسل تبدو متشابهة»، والتشابه الشكلي ليس هو نفسه التشابه في المعنى. عندما يقيّم محركي الاستبعاد «لا قسطرة قلبية سابقة»، فإنه لا يسجّل أي درجة. يطرح سؤالاً بنيوياً: هل الحقيقة المتحققة للمريض مغمورة تحت المفهوم المحظور؟ يسير في الأنطولوجيا، فلا يجد مسار اشتمال، ويعيد مؤهلاً مع أثر من ثلاث خطوات يسمّي مُعرّفي المفهومين وحافة الرسم التي فحصها.

أثر استدلال TrialProof يُظهر أن القسطرة الوريدية المركزية 392230005 is-a القسطرة القلبية 41976001 قُيّمت كـ False، فرع مختلف من التسلسل الهرمي، الحكم ELIGIBLE
أثر EXCL-CARDCATH على المريض الاصطناعي P-074. الخطوة 2 تسأل إن كانت القسطرة الوريدية المركزية (392230005) is-a القسطرة القلبية (41976001)، وتجيب False (فرع مختلف من التسلسل الهرمي)، وتعيد ELIGIBLE. لوحة الخط الأساسي أدناه تُبلغ درجة تشابه تحت العتبة بلا أصل ولا شيء قابل لإعادة الإنتاج.

عندما شاهدت ذلك الأثر يُرسم لأول مرة، ما لفتني لم يكن الحكم. كان الإيصال تحته. صندوق الخط الأساسي على الشاشة نفسها يعرض رقماً للتشابه بلا أصل ولا شيء قابل لإعادة الإنتاج. صندوق محركي يسمّي مُعرّفي SCTID الاثنين والسؤال الدقيق من نوع is-a الذي طرحه. أحدهما يمكن لجهة تنظيمية أن تودعه في ملف. والآخر رقم مرفق به هزّة كتف. ذلك التباين، لا خطأ مُلتقَط، هو ما تكسبه حالة القسطرة القلبية فعلاً.

المريض الذي رماه المطابق فعلاً

كنت ما زلت بحاجة إلى مريض ضائع حقيقي، فذهبت أبحث عن أين يفشل خطي الأساسي الصادق فعلاً، ووجدته في كلمة واحدة: لا. يحمل مخطط البطل الاصطناعي P-074 سطر الملاحظة «لا دليل على السكري.» أحد استبعادات بروتوكول الأورام هو «لا تشخيص لداء السكري.» يرى الخط الأساسي المتجهي الرمز «diabetes» جالساً مباشرة بجانب «diabetes» في المعيار ويطابقه عند تشابه 1.0. درجة مثالية. ليس لديه نموذج للنفي، فيقرأ جملة تُخرج السكري خارجاً كما لو أنها أدخلته داخلاً، ويستبعد مريضاً كان مؤهلاً.

هذا هو المريض الذي يرميه المطابق، وهو الإيقاع الذي توقعت أصلاً أن تحمله حالة القسطرة القلبية. النفي هو حيث ينكسر خط أساس متناثر بصدق، عند أفضل عتبة له، بلا أي تلاعب.

أثر TrialProof EXCL-DM: الخط الأساسي يطابق السكري بالسكري عند تشابه 1.0 ويعيد EXCLUDED، بينما يزيل المُتحقق الذكر المنفي ويعيد المحرك ELIGIBLE
قرار EXCL-DM على P-074. أفضل ذكر لدى الخط الأساسي يطابق «Diabetes mellitus» بـ «Diabetes mellitus» عند تشابه 1.0 ويعيد EXCLUDED. مُتحقق TrialProof يزيل الذكر المنفي، فلا تُغمر أي حقيقة متحققة تحت المفهوم المحظور، والحكم هو ELIGIBLE.

أظل أفكر في مدى هدوء هذا الفشل. لا رسالة خطأ، ولا علامة ثقة منخفضة، ولا إشارة إلى أن شيئاً قد سار على نحو خاطئ. الدرجة هي 1.0، الأعلى الممكنة، أكثر ما يمكن للنظام أن يكون ثقةً. الخط الأساسي لا يكون أبداً أكثر يقيناً منه في اللحظة ذاتها التي يكون فيها أكثر خطأً. منسّق يراجع طابوراً من هذه الحالات لا سبيل له لمعرفة أن هذا التطابق المثالي بالذات مريض كان ينبغي إدراجه. اضرب ذلك عبر بروتوكول كامل فتفهم لماذا تفوت 80% من التجارب جداول الالتحاق (إجماع الصناعة، 2025)، ولماذا يكلف كل فشل فحص نحو 1,200 دولار في المتوسط (Antidote.me، 2025).

لم يكن الخط الأساسي أكثر ثقةً منه في اللحظة ذاتها التي كان فيها أكثر خطأً. ذلك ليس خطأً يمكنك ضبطه بعيداً. إنه خطأ تصنيفي.

لماذا يعيش الحكم خارج النموذج؟

اتخذت قراراً معمارياً مبكراً أراه الآن القرار الوحيد الذي كان مهماً، وهو إبقاء نموذج اللغة بعيداً عن الحكم بالكامل. هناك خطوة احتمالية واحدة بالضبط في المسار كله. نموذج قابل لتبديل المزوّد، استشاري فقط، يقرأ النثر الفوضوي ويقترح حقائق مرشحة، كل منها يحمل المقطع الحرفي الذي قرأ الحقيقة منه ومُعرّف مفهوم مرشح مستمد من مفردات مغلقة صغيرة. ذلك هو الشيء الوحيد الذي يجيد النموذج فعلاً: القراءة. لا يحصل على صوت فيمن يكون مؤهلاً.

كل ما بعد ذلك شيفرة حتمية يمكنني تدقيقها. قبل أن تصل أي حقيقة مقترحة إلى قرار، يتحداها مُتحقق خصومي مقابل الملاحظة الحرفية بثلاثة فحوصات: هل المقطع حاضر فعلاً، وهل هو منفي، وهل الموضوع هو المريض لا أحد أفراد العائلة. حقيقة «لا دليل على السكري» تفشل فحص النفي ولا تصل أبداً إلى المحرك. على المخطط نفسه، «تاريخ عائلي لسرطان الثدي» تفشل فحص الموضوع، لأن ذلك التاريخ يخص فرداً من العائلة لا المريض، وتُعلَّم مرفوضة مع تسمية الفحص الفاشل.

لوحة Verify Facts في TrialProof تُظهر كل حقيقة مقترحة وهي تُتحدّى من حيث حضور المقطع والنفي والموضوع قبل أن تدخل قراراً
مرحلة Verify Facts على P-074. كل حقيقة يقترحها النموذج تُتحدّى قبل أن تدخل قراراً: المقطع حاضر، غير منفي، موضوع المريض نفسه. هنا حقيقة القسطرة الوريدية المركزية ACCEPTED، السبب: المقطع حاضر، غير منفي، موضوع المريض. الحقائق التي تفشل فحصاً تُعلَّم REJECTED مع تسمية السبب.

عبر المجموعة الذهبية الكاملة، رفض هذا المُتحقق 7 مثيلات حقائق، 3 حقائق سيئة متمايزة (ذكراً منفياً للسكري، وإسناد تاريخ عائلي لسرطان الثدي، ودواءً هلوسياً مزروعاً بلا مقطع داعم)، موزعة على 4 من 13 تشغيل حالة مُسجَّلة، كلها قبل أن تمس حكماً. عندما يسألني الناس «كيف أثق بما سحبه الوكيل من ملاحظاتي»، هذه اللوحة هي الجواب كله. لا أطلب منك أن تثق به. أُريك ما اقترحه وما رُمي ولماذا.

ثم الحكم نفسه بايثون صريح يجلس خارج إطار الوكيل: محرك منطق واجبي يقيّم المحظورات والاستثناءات الزمنية والمتطلبات عبر الأنطولوجيا وبعض حسابات التواريخ. لا يمكن لنموذج أن يتجاوز هذه البوابة، لأن النموذج ليس في الغرفة حين تعمل البوابة. وذلك أيضاً ما يجعل المحرك قابلاً لإعادة الإنتاج. عندما يكون المنطق شيفرة حتمية فوق أنطولوجيا ثابتة، فإن إعادة تشغيل المخطط نفسه تنتج الإجابة نفسها، بايتاً ببايت، في كل مرة.

النموذج يقرأ. لا يصوّت. ذلك الحد الواحد هو ما يجعل إعادة التشغيل متطابقة بايتاً ببايت.

الرقم الوحيد الذي اهتم به قارئي في العمليات السريرية

قضيت أسابيع أحسّن مقاييس اعترفت لنفسي أخيراً أن المشتري لا يسهر عليها. دقة القرار رقم لوحة صدارة. من يملك الجدوى عند راعٍ أو CRO لا يقارن درجات لوحات الصدارة. يراقب جدول التحاق ينزلق، وكل يوم انزلاق مكلف. يضع تقرير Tufts CSDD Impact (2024) تكلفة تأخير الالتحاق عند نحو 800 ألف دولار يومياً في مبيعات الوصفات الضائعة، وأعلى في المجالات العلاجية التي يمسها هذا العرض: نحو 840 ألف دولار يومياً في الأورام و1.4 مليون دولار يومياً في أمراض القلب والأوعية. تعقّد البروتوكول ارتفع 139% في إجراءات التجارب منذ 2005 (IQVIA، 2026)، ما يعني معايير أكثر، وجمل أكثر، ومواضع أكثر ليخطئ فيها مطابق نصي في واحدة.

فتوقفت عن الصدارة بالدقة وبدأت بالرقم الذي يطابق ذلك الألم فعلاً: المرضى المؤهلون الذين لم تفقدهم. على مجموعة ذهبية مُسمّاة ثابتة من 13 حالة مستمدة من 7 مرضى اصطناعيين عبر بروتوكولين اصطناعيين، يخسر محركي 0 مرضى مؤهلين. الخط الأساسي العادل يخسر 3. المجموعة نفسها، والعتبة نفسها مضبوطة بتحقق متقاطع لصالح الخط الأساسي نفسه.

بلاطات معيار TrialProof: دقة القرار 100 بالمئة مقابل 53.8 بالمئة للخط الأساسي، مرضى مؤهلون مفقودون 0 مقابل 3، تغطية أثر قابل للتدقيق 100 بالمئة مقابل 0 بالمئة، على المجموعة الذهبية المُسمّاة
معيار المجموعة الذهبية. على الحالات الـ13 المُسمّاة، يسجّل TrialProof دقة قرار 100% مقابل 53.8% للخط الأساسي، ويخسر 0 مرضى مؤهلين حيث يخسر الخط الأساسي 3، ويحمل أثر استدلال على 100% من القرارات حيث يحمل الخط الأساسي 0%. إعادة تشغيل الحالات الـ13 كلها تنتج أحكاماً وآثاراً متطابقة بايتاً ببايت.

أريد أن أكون دقيقاً بشأن ما تمثله تلك الأرقام وما لا تمثله. إنها مخرجات إطار الاختبار نفسه على تلك المجموعة الثابتة ذات الـ13 حالة، لا وعداً في عالم مفتوح. الـ100% هي «100% على هذه المجموعة الذهبية»، لا «صواب دائماً.» لن أقول لك إن TrialProof لا يخطئ أبداً، لأني لا أملك البيانات لأقول ذلك ولن أصدّق من قالها. ما أستطيع قوله أضيق، وأظنه أنفع: على هذه المجموعة يخسر المحرك صفراً من المرضى المؤهلين، وكل قرار يحمل أثراً قابلاً لإعادة الإنتاج، وقراران امتنعا بأمان بـ NEEDS-REVIEW عندما كان تحليل مخبري أو مؤشر حيوي مطلوب مفقوداً بدل التخمين، وإعادة تشغيل المجموعة كلها كانت متطابقة بايتاً ببايت، 13 من 13. كل المرضى والملاحظات والبروتوكولات تركيبات اصطناعية، لا سجلات حقيقية في أي مكان. يمكنك مشاهدة كل تشغيل من تلك على veriprajna.com/ar/demos/clinical-trial-recruitment-ai.

الرقم الذي أهتم به ليس الدقة. إنه المرضى المؤهلون الذين لم أرمِهم. على هذه المجموعة، ذلك صفر مفقودين مقابل ثلاثة للخط الأساسي.

هناك شكل تنظيمي لهذا أيضاً، وسأسمّيه بحذر. إرشاد FDA لدعم القرار السريري في يناير 2026 هو الإطار ذي الصلة لمساعدة مطابقة بشرية في الحلقة كهذه. كل قرار يصدره المحرك يمكن تصديره كسجل CDISC SDTM IE، صف واحد لكل مريض ومعيار، يحمل الحكم وأثر الاستدلال ومُعرّفات المفاهيم والعملية الواجبة. ذلك ليس تصريحاً ولا أدّعيه. إنه محاذاة واتجاه. لكنه يعني أن الأثر ليس راحة تصحيح أخطاء. إنه أثر قابل للإيداع، ويوجد بالبناء على كل قرار لا كفكرة لاحقة.

ما أعود إليه باستمرار

أظل أعود إلى اللحظة التي رفض فيها الشرير أداء دوره، لأنها غيّرت السؤال الذي كنت أطرحه. طوال ثلاث سنوات كان المجال يسأل كيف نجعل النموذج أفضل في الحكم على من يكون مؤهلاً. مطالبات أفضل، وسياق أكبر، واسترجاع أكثر، كلها تهدف إلى جعل نظام احتمالي جديراً بالثقة بما يكفي ليحكم على التحاق مريض. قضيت المرحلة الأولى من هذا البناء داخل ذلك الإطار أيضاً، أحاول أن أمسك نموذجاً في خطأ كي أصلح النموذج.

ما انقر أخيراً هو أنه كان الطبقة الخاطئة. درجة التشابه لا يمكنها تمثيل «is-a»، ولا تمثيل «ليس»، ولا تمثيل «ما لم تكتمل المعالجة قبل أكثر من اثني عشر شهراً من التوزيع العشوائي.» لا قدر من المطالبات يضيف ذلك، لأنها ليست مشكلات لغة. إنها مشكلات منطق. لذا فالخطوة الناضجة ليست جعل النموذج جديراً بالثقة. إنها جعل الثقة غير ضرورية. دع النموذج يفعل الشيء الوحيد الذي يجيده، قراءة النثر واقتراح حقائق مع المقطع الذي قرأها منه. ثم ليُلقِ مُتحقق ما لا تدعمه الملاحظة، ولتحسب شيفرة صريحة قابلة للتدقيق فوق أنطولوجيا طبية الحكم.

الأهلية ينبغي أن تُحسب، لا أن تُتوقَّع. ما لم أتوقعه، عند الدخول، هو أن العائد لن يبدو كمعيار أصلاً. يبدو كإيصال. المخطط نفسه يعطي الإجابة نفسها في كل مرة، والإجابة تسمّي مُعرّف المفهوم وحافة الرسم التي قررت، والرقم الذي يسهر عليه فعلاً مسؤول الجدوى يذهب إلى صفر مرضى مؤهلين مُلقَين.

وإن كنت تفضّل مشاهدته على قراءة وصفي، فها هو الشيء كله يعمل من طرف إلى طرف.

إذن هذا هو السؤال الذي لم أتوقف عن تقليبه، وأود حقاً أن أعرف كيف تجيب عنه. عندما تكون الرهانات فرصة شخص حقيقي في تجربة، أين تريد أن تعيش ثقتك: في نموذج عليك أن تصدّقه، أم في شيفرة يمكنك قراءتها؟

أبحاث ذات صلة

منشور أيضًا على

ابنِ ذكاءك الاصطناعي بثقة.

تعاون مع فريق يمتلك خبرة عميقة في بناء الجيل القادم من الذكاء الاصطناعي للمؤسسات. دعنا نساعدك على تصميم استراتيجية ذكاء اصطناعي جديرة بثقتك وبنائها وتطبيقها.

Veriprajna استشارات التقنيات العميقة متخصصة في بناء أنظمة الذكاء الاصطناعي الحرجة للسلامة في مجالات الرعاية الصحية والتمويل والقطاعات التنظيمية. تُقيَّم بنياتنا المعمارية وفق البروتوكولات المعتمدة مع توثيق شامل للامتثال.