جدٌّ أمضى عشرة أيام في السجن لأن خوارزمية قالت إنه مذنب
كنتُ في مكالمة مع عميل محتمل — سلسلة متاجر تجزئة متوسطة الحجم — حين قال نائب رئيسهم لشؤون منع الخسائر شيئًا جعل قلبي يهوي.
"نحن ننظر في مورّد لتقنية التعرف على الوجوه. يقولون إن نظامهم دقيق بنسبة 98%. كل ما نحتاجه هو من يوصله ويشغّله."
طرحتُ سؤالاً واحدًا: "دقيق بنسبة 98% على وجوه مَن؟"
صمت.
حدثت تلك المحادثة بعد أسابيع من قراءتي لشكوى لجنة التجارة الفيدرالية (FTC) ضد رايت إيد — بصفحاتها الأربع والخمسين كاملة — ولدعوى العشرة ملايين دولار التي رفعها هارفي يوجين مورفي الابن، وهو جدّ يبلغ من العمر 61 عامًا أمضى عشرة أيام في سجن بمدينة هيوستن بتهمة سطو ارتُكب بينما كان هو في منزله بمدينة سكرامنتو بولاية كاليفورنيا. لقد تعرّف عليه نظام للتعرف على الوجوه. وكان النظام مخطئًا. وبحلول الوقت الذي تكلّف فيه أحدٌ عناء التحقق، كان مورفي قد تعرّض للضرب والاعتداء الجنسي خلف القضبان.
أتذكّر أنني كنت جالسًا في مكتبي تلك الليلة، أعيد قراءة تفاصيل قضية مورفي، وأشعر بشيء لا أشعر به عادةً حين أقرأ تقارير الأعطال التقنية: الغضب. ليس غضبًا من الخوارزمية — فالخوارزميات لا نية لها. بل من البشر الذين نشروها وكأنها ماسح باركود. من البنية المعمارية التي جعلت هذا أمرًا حتميًا.
أنا أدير VeriPrajna. نحن نبني ما أسمّيه "الذكاء الاصطناعي العميق" — أنظمة تقوم على تحديد كمية عدم اليقين، والحوكمة متعددة الوكلاء، وهندسة صارمة في الأساس. عكس ما أدّى إلى حظر رايت إيد واعتقال هارفي مورفي. وعليّ أن أخبرك لماذا يهمّ هذا الفرق أكثر مما يرغب معظم الناس في هذا القطاع في الاعتراف به.
ما حدث في رايت إيد لم يكن خللاً — بل كان خيارًا تصميميًا
في ديسمبر 2023، فعلت لجنة التجارة الفيدرالية شيئًا غير مسبوق: حظرت على رايت إيد استخدام تقنية التعرف على الوجوه لمدة خمس سنوات. لم تفرض غرامة. لم توجّه تحذيرًا. حظرٌ.
بين عامي 2012 و2020، كانت رايت إيد قد نشرت مراقبة قائمة على التعرف على الوجوه بالذكاء الاصطناعي عبر مئات المتاجر. كانت الفكرة بسيطة — التعرّف على لصوص المتاجر المعروفين، وتنبيه الأمن، وتقليل السرقة. أما التنفيذ فكان كارثة.
اشترت رايت إيد نظام التعرف على الوجوه من مورّدين خارجيين اثنين. وعقود كلا المورّدَين تنصّلت صراحةً من أي ضمان يتعلّق بالدقة. اقرأ ذلك مجددًا. فالشركات التي تبيع التقنية لم تكن مستعدّة حتى للوعد بأنها تعمل. ومع ذلك نشرتها رايت إيد على أي حال — في متاجر مليئة بأناس حقيقيين، مع عواقب حقيقية على من يُتعرَّف عليه خطأً.
لم يختبر أحدٌ في رايت إيد دقة النظام. لم يتحقق أحدٌ مما إذا كان المورّدون قد اختبروه. لم ينفّذ أحدٌ ضوابط لجودة الصور. كان موظفو المتاجر يغذّون قاعدة بيانات التسجيل بلقطات مشوّشة من كاميرات المراقبة وصور هواتف محمولة، وكان النظام "يطابق" بإخلاص تلك الصور المتدنية الجودة مع كل وجه يعبر من الباب.
كانت النتائج متوقّعة لأي شخص يفهم الهندسة البيومترية، ومدمّرة لمن لا يفهمها. آلاف من النتائج الإيجابية الخاطئة. عملاء أبرياء تُقتفى آثارهم عبر ممرات المتجر، ويُفتَّشون، ويُتَّهمون علنًا بالسرقة. وإليك الجزء الذي ينبغي أن يجعل كل قائد مؤسسي يتوقف: التنبيهات الخاطئة استهدفت بصورة غير متناسبة النساء والأشخاص من ذوي البشرة الملوّنة. فالمتاجر الواقعة في مجتمعات ذات أغلبية من السود والآسيويين شهدت تطابقات خاطئة أكثر بكثير من المتاجر الواقعة في مجتمعات ذات أغلبية من البيض.
لم يكن هذا خللاً برمجيًا. بل كان النتيجة الحتمية لنماذج غير مُعايَرة دُرّبت على مجموعات بيانات غير تمثيلية، ونُشرت دون مراقبة، على صور متدنية الجودة، دون أي عملية مراجعة بشرية تستحق الاسم.
لماذا دخل جدٌّ في الحادية والستين السجن؟
قضية هارفي مورفي أسوأ، لأن سلسلة الإخفاقات فيها أطول والكلفة الإنسانية أشدّ وقعًا.
في يناير 2022، سطا شخصٌ على متجر Sunglass Hut في هيوستن. وتعاونت الشركة الأم EssilorLuxottica مع Macy's لتشغيل التعرف على الوجوه على لقطات المراقبة في المتجر. طابق النظام لقطات السطو المشوّشة مع قاعدة بيانات كانت تحتوي على ما يبدو صورة توقيف مورفي المأخوذة من مخالفات غير عنيفة قبل عقود مضت.
أريدك أن تحمل حقيقتين في ذهنك في آنٍ واحد. الأولى: كان مورفي في سكرامنتو بكاليفورنيا يوم السطو. الثانية: طابق النظام لقطات مراقبة حالية مع صورة التُقطت قبل سنوات — وربما عقود — مضت. أظهرت الدراسات أن مطابقة صور حالية مع صور قديمة قد تنتج معدلات إيجابيات خاطئة تصل إلى 90%. يُسمّى هذا مشكلة "فجوة العمر"، وينبغي لأي جهة تنشر التعرف على الوجوه في سياق إنفاذ القانون أن تكون على علم بها.
لكن إليك ما يطاردني في هذه القضية. فوفقًا للدعوى، قدّم متجرا Sunglass Hut وMacy's التطابق الآلي إلى جهات إنفاذ القانون بوصفه حقيقة مؤكَّدة. لا بوصفه خيطًا استرشاديًا. ولا بوصفه احتمالاً. بل بوصفه تحديدًا للهوية. توقفت الشرطة عن التحقيق. فقد ظفروا برجلهم.
حين يُعامَل مخرَج آلة بسلطة أكبر من حجة غياب إنسان، نكون قد تجاوزنا خطًا لا يمكن لأي قدر من تحسين الدقة إصلاحه.
اعتُقل مورفي. أخبرهم أنه لم يكن في تكساس. لكن ذلك لم يُحدث فرقًا. أمضى عشرة أيام في السجن قبل أن يؤكّد مكتب المدعي العام حجة غيابه. وحينها كان الضرر قد وقع — جسديًا ونفسيًا ودائمًا.
أمضيت أنا وفريقي أمسيةً في استعراض التفاصيل التقنية لهذه القضية، محاولين إعادة بناء الشكل الذي كانت عليه بنية النظام على الأرجح. صور إدخال منخفضة الدقة. صورة قديمة في المعرض. وبشبه تأكيد نموذج تحديد هوية من نوع المجموعة المغلقة — النوع المُحسَّن ليجد دائمًا "أفضل تطابق"، حتى حين لا يكون الشخص الفعلي في قاعدة البيانات. لا تحديد لكمية عدم اليقين. لا عتبة للثقة. لا مراجعة بشرية ذات معنى بين مخرَج الخوارزمية ورجل يفقد حريته.
كان كل واحد من تلك الإخفاقات قابلاً للمنع. ليس بذكاء اصطناعي أفضل. بل ببنية معمارية أفضل.
ما هي مشكلة "الغلاف" ولماذا ينبغي أن تهتم بها؟
هنا يجب أن أتحدّث بلغة تقنية للحظة، لأن النمط الكامن وراء هاتين الكارثتين هو نفسه النمط الذي أراه في مؤسسة تلو الأخرى.
معظم الشركات التي تنشر الذكاء الاصطناعي اليوم تستخدم ما يسمّيه القطاع "الأغلفة". والغلاف هو واجهة تحمل علامة تجارية — لوحة تحكم، أو تطبيق، أو أداة سير عمل — تجلس فوق نموذج ذكاء اصطناعي يملكه شخص آخر. أنت ترسل البيانات إلى واجهة برمجة تطبيقات (API) تابعة لطرف ثالث، فتعيد لك نتيجة، ثم تعرضها على مستخدمك. شركة الغلاف لا تبني النموذج. ولا تدرّبه. ولا تفهم أنماط إخفاقه. ولا تتحكم في تحديثاته.
كانت رايت إيد تشغّل غلافًا. طبقة رقيقة من سير عمل أمن التجزئة فوق واجهات برمجة تطبيقات للتعرف على الوجوه من نوع الصندوق الأسود يملكها المورّدون. وحين أنتجت تلك الواجهات نفايات، لم يكن لدى رايت إيد سبيل لمعرفة ذلك، ولا سبيل للتدخل، و— كما أوضحت لجنة التجارة الفيدرالية — لا سبيل للإفلات من المسؤولية.
هذا هو الاختلال الذي يقتل الشركات: أنت تتحمّل 100% من المسؤولية عن نظام لا تملك سوى 0% من الرؤية بداخله.
لقد كتبتُ عن هذا الانقسام المعماري بالتفصيل في النسخة التفاعلية من بحثنا، لكن الحجة الجوهرية بسيطة. الأغلفة لا بأس بها في التطبيقات منخفضة المخاطر. تلخيص محاضر الاجتماعات. توليد نصوص تسويقية. أمور تكون فيها الإجابة الخاطئة مزعجة لا مدمّرة.
لكن في اللحظة التي يصبح فيها نظام الذكاء الاصطناعي لديك قادرًا على أن يتسبب في اعتقال شخص، أو حرمانه من قرض، أو فصله من عمله، أو إذلاله علنًا — والتعرف على الوجوه في التجزئة قادر على كل ذلك — يصبح الغلاف قنبلة مسؤولية بعدّاد تنازلي.
كيف تبني ذكاءً اصطناعيًا يعرف متى لا يعرف؟
ثمة لحظة أعود إليها باستمرار. كنا نبني خط أنابيب لتحديد الهوية لأحد العملاء، وقامت إحدى مهندساتي بتمرير دفعة من صور الاختبار عبر النظام. بدت أرقام الدقة رائعة — فوق 95%. كان الجميع مسرورين. ثم طلبتُ منها تشغيل الدفعة نفسها مع إظهار توزيعات الثقة.
ساد الصمت الغرفة.
جزء كبير من تلك التعريفات "الصحيحة" كانت توزيعات عدم اليقين فيه واسعة إلى حدّ أنها كانت في جوهرها رميات عملة صادف أن استقرت على الوجه الصحيح. كان النموذج يخمّن بثقة، لا يحدّد الهوية بموثوقية. ولو أننا شحنّا ذلك النظام بدرجة الدقة وحدها، لما كنا نختلف عن المورّدين الذين باعوا رايت إيد برمجياتهم.
هذه هي المشكلة الجوهرية في طريقة نشر معظم أنظمة الذكاء الاصطناعي: كل مخرَج يُعامَل بوصفه حقيقة ثنائية بينما هو في الواقع تقدير احتمالي. فالنموذج لا يقول "هذا هو جون سميث". بل يقول "بناءً على ما رأيته، هناك احتمال بنسبة X% أن يكون هذا جون سميث، زائد أو ناقص Y". لكن معظم الأنظمة ترمي جزء "زائد أو ناقص Y" وتكتفي بأن تُظهر لك X.
في VeriPrajna، نبني ما يُسمّى تحديد كمية عدم اليقين (UQ) في كل نظام عالي المخاطر. وهناك نوعان من عدم اليقين يهمّان:
عدم اليقين العشوائي (aleatoric) ينبع من الضوضاء في البيانات نفسها — إضاءة سيئة، أو ضبابية حركة، أو عدسة كاميرا مخدوشة. لا يمكنك التخلّص من هذا بالتدريب. فإذا كانت الصورة تفتقر إلى معلومات، فلا يوجد نموذج في العالم قادر على استرجاعها بالهلوسة بموثوقية.
عدم اليقين المعرفي (epistemic) ينبع من قيود النموذج نفسه — فهو لم يرَ ما يكفي من الأمثلة لفئة سكانية معينة، أو لم يصادف قط هذا الشرط الإضاءي المحدد. وهذا يمكن تقليله ببيانات تدريب أفضل.
الأنظمة الهشّة — الأغلفة — لا تميّز بين هذين النوعين. فقد يُبلّغ نظام عن ثقة بنسبة 85% في تطابق ما، وهذا يبدو متينًا. لكن طبقة تحديد كمية عدم اليقين لدينا قد تكشف أن توزيع عدم اليقين حول تلك النسبة 85% هائل، بما يعني أن الرقم عديم المعنى إحصائيًا نظرًا لجودة المدخلات.
نظام الذكاء الاصطناعي الذي لا يستطيع أن يخبرك بمدى عدم يقينه ليس أداة — بل فخًا.
نستخدم تقنيات مثل التنبؤ المطابق (conformal prediction) لضمان وقوع تقديرات عدم اليقين لدى النظام ضمن حدود قابلة للإثبات رياضيًا. التفاصيل التقنية موجودة في ورقتنا البحثية الكاملة، لكن الخلاصة العملية هي التالية: قبل أن يتخذ النظام أي إجراء، يمكنه أن يخبرك بما إذا كانت إجابته جديرة بالثقة. وإذا لم تكن كذلك، فإنه يصعّدها إلى إنسان.
مشكلة المجموعة المفتوحة التي لا يتحدث عنها أحد
إليك أمرًا لا يزال يفاجئني حين أتحدث إلى المشترين المؤسسيين: يكاد لا يعرف أحدٌ منهم الفرق بين التعرّف في المجموعة المغلقة والتعرّف في المجموعة المفتوحة.
يفترض نظام المجموعة المغلقة أن الشخص الذي يجري مسحه موجود قطعًا في قاعدة البيانات. فكّر في إلغاء قفل هاتفك — فالهاتف يعرف أن وجهك مسجّل. كل ما يحتاجه هو التحقق من أنك أنت.
أما نظام أمن التجزئة فهو العكس. فالغالبية العظمى من الناس الذين يدخلون متجرًا ليسوا موجودين في أي قاعدة بيانات جنائية. هذه مشكلة مجموعة مفتوحة. وإليك التنافر الكارثي: معظم برمجيات التعرف على الوجوه التجارية مُحسَّنة لأداء المجموعة المغلقة، لأن هناك تبدو نتائج المقاييس المعيارية مبهرة.
ماذا يحدث حين تنشر نموذج مجموعة مغلقة في بيئة مجموعة مفتوحة؟ إنه يحاول إيجاد "أفضل تطابق" لـكل وجه على حدة، لأنه يفترض أن التطابق لا بد أن يكون موجودًا. وهذا على الأرجح ما ولّد آلاف النتائج الإيجابية الخاطئة في رايت إيد. لم يكن النظام معطّلاً. بل كان يفعل بالضبط ما صُمّم لفعله — في بيئة لم يُصمّم لها قط.
البناء للمجموعة المفتوحة يعني تدريب نموذجك ليس فقط على تحديد التطابقات، بل على أن يرفض الحالات غير المتطابقة بدقة. أن يقول "لا أعرف هذا الشخص" بالدقة نفسها التي يقول بها "أتعرّف على هذا الشخص". وهذا يتطلّب دوال خسارة مختلفة، ومقاييس تقييم مختلفة، وفلسفة تصميم مختلفة جوهريًا.
تدير NIST — المعهد الوطني للمعايير والتكنولوجيا — اختبار موردي التعرف على الوجوه (FRVT)، وهو المعيار الذهبي العالمي لتقييم هذه الأنظمة. تقيس NIST معدل عدم التطابق الخاطئ عند معدل تطابق خاطئ ثابت. وبالنسبة للتطبيقات عالية الأمان، تُضبط عتبة التطابق الخاطئ تلك عند واحد في المليون. واحد في المليون.
لم تُخضع رايت إيد نظامها قط لمقاييس NIST المعيارية. ولا فعل ذلك، على ما يبدو، النظام الذي تعرّف على هارفي مورفي.
نزع النموذج: الخيار النووي
ثمة تفصيل في تسوية لجنة التجارة الفيدرالية مع رايت إيد ينبغي أن يرعب كل شركة تبني ذكاءً اصطناعيًا على بيانات مشكوك فيها.
لم يُطلَب من رايت إيد مجرد التوقف عن استخدام التعرف على الوجوه. بل أُمرت بحذف كل البيانات البيومترية التي جمعتها وأن تدمّر أي نماذج ذكاء اصطناعي أو خوارزميات مُشتقّة من تلك البيانات. أطلقت لجنة التجارة الفيدرالية على ذلك اسم "نزع النموذج" — إجبار الشركة في جوهره على أن تُلغي تعلّم كل ما امتصّته نماذجها من بيانات غير ممتثلة.
فكّر فيما يعنيه ذلك تشغيليًا. سنوات من جمع البيانات. نماذج دُرّبت وصُقلت عبر الوقت. معرفة مؤسسية مضمّنة في أوزان الشبكات العصبية. كل ذلك — زال. ليس لأن النماذج توقفت عن العمل، بل لأن البيانات التي بُنيت عليها حُصل عليها دون ضمانات ملائمة.
هذا هو الواقع التنظيمي الجديد. فإذا كانت بيانات تدريبك ملوّثة — جُمعت دون موافقة، أو متحيّزة في تركيبتها، أو حُصل عليها بانتهاك قوانين الخصوصية — فإن النماذج المبنية على تلك البيانات ملوّثة أيضًا. وبات لدى الجهات التنظيمية الآن الأدوات لإجبارك على تدميرها.
معظم بنى الأغلفة لا تستطيع حتى إجراء إزالة جراحية للبيانات. فهي لا تملك تتبّع المنشأ لمعرفة أي بيانات أثّرت في أي أوزان للنموذج. أما أنظمة الذكاء الاصطناعي العميق، المبنية مع مراعاة نَسَب البيانات، فتستطيع ذلك. إنها ميزة لا تقدّرها حتى تطرق لجنة التجارة الفيدرالية بابك.
لماذا "الإنسان في الحلقة" ليس مجرد خانة تأشير
يسألني الناس دائمًا عمّا إذا كان الحل هو ببساطة وضع مراجع بشري أمام كل قرار للذكاء الاصطناعي. الجواب نعم — لكن مع تحفّظ هائل. فعملية المراجعة البشرية السيئة التصميم أسوأ من غياب المراجعة كليًا، لأنها تخلق وهم الرقابة.
في رايت إيد، كان هناك بشر ضمن الحلقة بالفعل. تلقّى موظفو المتاجر تنبيهات آلية وطُلب منهم التصرف بناءً عليها. لكنهم لم يتلقّوا أي تدريب على معدلات الإيجابيات الخاطئة. ولا واجهة تُظهر لهم جودة الصورة الأصلية. ولا بروتوكول للتشكيك في مخرَج النظام. كانوا، من الناحية العملية، مجرد أختام مطاطية لخوارزمية.
نحن نصمّم أنظمة الإنسان في الحلقة (HITL) بعتبات ثقة توجّه القرارات على النحو الملائم. ثقة دون 70%؟ رفض تلقائي — لا تُهدر وقت إنسان على ضوضاء واضحة. بين 70% و95%؟ وضع علامة للمراجعة البشرية، مع عرض صور المصدر الأصلية إلى جانب التطابق، كي يتمكن المراجع من إصدار حكم مستنير. فوق 95% في مهمة قليلة العواقب؟ موافقة تلقائية، لكن مع تسجيل كل شيء.
المفتاح هو أن المراجع البشري يجب أن يمتلك سياقًا كافيًا ليتجاوز فعليًا قرار الآلة. فإن كان كل ما يراه هو "تطابق — ثقة 87%"، فسيذعن للرقم في كل مرة. أما إن رأى إطار كاميرا المراقبة المشوّش إلى جانب صورة المعرض واستطاع رصد الفروق الواضحة — شكل أذن مختلف، وخط فكّ مختلف، وفجوة عمرية مقدارها 20 عامًا — فإنه يصبح شبكة أمان حقيقية بدل أن يكون شبكة زخرفية.
خضتُ نقاشًا مع المدير التقني لأحد العملاء حول هذا الأمر. كان يريد تقليص المراجعة البشرية إلى الحد الأدنى لخفض التكاليف. أخبرته أن كلفة دعوى واحدة كدعوى هارفي مورفي ستتجاوز رواتب المراجعين البشريين لعقد كامل. لم يعجبه سماع ذلك. لكنه أيضًا لم يتعرّض لدعوى قضائية.
جدران التنظيم تضيق أكثر فأكثر
يصنّف قانون الذكاء الاصطناعي الأوروبي (EU AI Act) أنظمة تحديد الهوية البيومترية على أنها عالية المخاطر افتراضيًا. تقييمات مطابقة إلزامية. توثيق تقني مفصّل. رقابة بشرية فعّالة — لا من نوع رايت إيد، بل النوع الحقيقي. وبعض الاستخدامات، مثل كشط صور الوجوه من الإنترنت لأجل بيانات التدريب، محظورة تمامًا.
في الولايات المتحدة، يحدّد إطار NIST لإدارة مخاطر الذكاء الاصطناعي أربع وظائف — الحوكمة، والتخطيط، والقياس، والإدارة — تشكّل معًا المخطط الأساسي للنشر المسؤول للذكاء الاصطناعي. وكان إجراء لجنة التجارة الفيدرالية ضد رايت إيد في جوهره إنفاذًا لهذه المبادئ قبل أن تصبح قانونًا رسميًا. والرسالة واضحة: إن كنت لا تستطيع شرح كيفية عمل ذكائك الاصطناعي، ولا قياس تحيّزاته، ولا إدارة إخفاقاته، فستُحاسَب.
أقول لكل مجلس إدارة أقدّم له الاستشارة الشيء نفسه: التزموا بمعايير قانون الذكاء الاصطناعي الأوروبي (EU AI Act) الآن، حتى لو كنتم تعملون في الولايات المتحدة فقط. فالتنظيم المحلي قادم، والشركات التي عاملت الامتثال بوصفه مشكلة مستقبلية ستجد نفسها في موقف رايت إيد — تتخبّط لتدمير النماذج وإعادة البناء من الصفر بموجب أمر قضائي بالتراضي.
التحيّز ليس في الخوارزمية — بل في الكسل
من الأمور التي تُحبطني في النقاش العام حول تحيّز الذكاء الاصطناعي هو الإيحاء بأن التحيّز خاصية غامضة مستعصية من خصائص الذكاء الاصطناعي. إنه ليس كذلك. بل هو نتيجة اختصارات هندسية محددة يمكن تحديدها.
تدرّب نموذجًا على مجموعة بيانات 80% منها وجوه فاتحة البشرة؟ سيؤدي أداءً أسوأ على الوجوه داكنة البشرة. تتخطّى إزالة التحيّز التخاصمية — التقنية التي تدرّب فيها شبكة منافسة لكشف ما إذا كان نموذجك يستخدم العِرق أو الجنس كسمة خفية؟ سيرمّز نموذجك تلك التحيّزات بصورة غير مرئية. تنشر دون اختبار عبر المجموعات السكانية باستخدام بيانات NIST المعيارية؟ لن تعرف حتى بوجود التحيّز إلى أن يتأذّى شخص ما.
التحيّز الخوارزمي ليس لغزًا. بل هو ما يحدث حين يُحسّن المهندسون من أجل السرعة بدل الإنصاف، وحين تُحسّن المؤسسات من أجل التكلفة بدل السلامة.
لكل مشكلة من هذه المشكلات حلٌّ تقني معروف. إزالة التحيّز التخاصمية. قيود الإنصاف في دالة الخسارة. دمج السمات متعدد المقاييس للتعامل مع تفاوت درجات لون البشرة وظروف الإضاءة. كشف هجمات العرض لالتقاط محاولات الانتحال. هذه ليست نظرية — بل هي منشورة في أنظمة إنتاجية اليوم. ومنها أنظمتنا.
والسبب في أن معظم الشركات لا تنفّذها هو نفس السبب الذي جعل رايت إيد لا تختبر دقة مورّدها: إنها تكلّف أكثر، وتستغرق وقتًا أطول، ولا أحد يجبرك على فعلها. إلى أن يفعلوا. وحينها تكلّف كل شيء.
ما أفكّر فيه فعلاً بشأن مستقبل الذكاء الاصطناعي المؤسسي
أمضيتُ سنوات في بناء أنظمة مصمّمة لتشكّك في نفسها قبل أن تتصرف. قد يبدو ذلك أمرًا غريبًا أن يقوله مؤسس شركة ذكاء اصطناعي. أليس من المفترض أن أبيع الثقة؟
لا. أنا أبيع ثقةً مُعايَرة. ثمة فرق.
الشركات التي ستنجو من العقد القادم من تنظيم الذكاء الاصطناعي ومسؤوليته هي تلك التي تبني أنظمة قادرة على قول "لا أعرف" بالدقة نفسها التي تقول بها "أنا متأكد". أنظمة تعامل كل مخرَج آلي بوصفه فرضية يجب التحقق منها، لا حكمًا يجب تنفيذه. أنظمة تُبنى معماريًا للحالة الأسوأ — حالة هارفي مورفي — لا حالة العرض التوضيحي.
خسرت رايت إيد قدراتها البيومترية لمدة خمس سنوات واضطرّت إلى تدمير نماذجها. ويواجه Macy's وSunglass Hut دعوى بقيمة 10 ملايين دولار ونوعًا من الضرر السُّمعي الذي لا تستطيع أي شركة علاقات عامة إصلاحه. هذه ليست حكايات تحذيرية من الأيام الأولى لتقنية محفوفة بالمخاطر. إنها تحدث الآن، بأنظمة اشترتها الشركات جاهزة من الرفّ ونشرتها دون فهم.
عصر الأغلفة في الذكاء الاصطناعي المؤسسي ينتهي. ليس لأن الأغلفة لا تعمل — فهي تعمل جيدًا في المهام منخفضة المخاطر. بل لأن المخاطر تتصاعد باستمرار، والأنظمة التنظيمية تزداد صرامة، وتكلفة الإجابة الخاطئة الواثقة تتنامى باطّراد.
كان هارفي مورفي في سكرامنتو. قالت الخوارزمية إنه كان في هيوستن. ولمدة عشرة أيام، انتصرت الخوارزمية.
تلك ليست مشكلة ذكاء اصطناعي. بل مشكلة بنية معمارية. والبنية المعمارية خيار.