الخوارزمية التي حرمت نساءً سوداوات من السكن — وما علّمتني إياه عن بناء ذكاء اصطناعي لا يستطيع الاختباء

كنت جالساً في مكتبي المنزلي مساء يوم ثلاثاء، أتصفّح وثائق التسوية النهائية في قضية لويس وآخرون ضد SafeRent Solutions, LLC، حين أوقفني تفصيل واحد تماماً.

ماري لويس ومونيكا دوغلاس — امرأتان سوداوان تحملان قسائم سكن مموّلة فيدرالياً — حُرمتا من شقق. لا من مالك عقار نظر في أعينهما وقال لا، بل من درجة. رقم بين 200 و800، وَلّده خوارزمية تُسمى "Registry ScorePLUS"، قرّرت أنهما شديدتا الخطورة بحيث لا يمكن إسكانهما. لم تكن الخوارزمية تعرف أنهما سوداوان. ولم تكن بحاجة إلى ذلك. كل ما عرفته أن سجلّيهما الائتمانيين يشبهان السجلّات الائتمانية لأناس أُقصوا بشكل منهجي من الأنظمة المالية على مدى أجيال — وأسمت ذلك "خطراً".

بلغت التسوية 2.275 مليون دولار. ويستمر الأمر القضائي خمس سنوات. وتضمّن الحكم سطراً قرأته ثلاث مرات لأنني لم أصدّق أن محكمة فيدرالية قالته فعلاً: إذا اعتمد مالك العقار بشكل أساسي على درجة ذكاء اصطناعي من طرف ثالث لاتخاذ قرارات السكن، فإن الشركة التي بنت تلك الدرجة تتشارك المسؤولية بموجب قانون الإسكان العادل.

أغلقت حاسوبي المحمول وجلست في الظلام بعض الوقت. لأن ذلك الحكم لم يغيّر صناعة فحص المستأجرين وحسب. بل غيّر حسابات معنى بناء الذكاء الاصطناعي للأسواق المنظَّمة بأكملها. وأثبت صحة شيء كان فريقي في VeriPrajna يجادل به — أحياناً أمام مستثمرين متشككين، وأحياناً حتى إرهاقنا الخاص — لسنوات: أن الطريقة التي تنشر بها معظم الشركات الذكاء الاصطناعي في القرارات عالية المخاطر ليست مشكوكاً فيها أخلاقياً فحسب. بل معطوبة معمارياً.

ما الذي أخفق فعلاً داخل خوارزمية SafeRent؟

الإخفاق التقني بسيط الوصف على نحو خادع، وصعب الإصلاح إلى حدّ الجنون دون إعادة التفكير في نهجك الكامل لتصميم النماذج.

كان نظام التسجيل لدى SafeRent يعتمد بشدة على السجل الائتماني التقليدي والديون غير المتعلقة بالإيجار — أشياء مثل الفواتير الطبية، وأرصدة بطاقات الائتمان القديمة، وذلك النوع من الندوب المالية التي تتراكم حين تقضي سنوات في مواجهة الفقر. أما ما لم يأخذه في الحسبان فكان أهمّ حقيقة على الإطلاق بشأن مَن يقيّمهم: حاملو قسائم اختيار السكن لديهم تدفق دخل مضمون من الحكومة الفيدرالية. إيجارهم مدعوم. واحتمال تأخّرهم عن الدفع، إحصائياً، مختلف إلى حدّ كبير عمّا قد توحي به درجة ائتمان خام.

لكن النموذج لم يكن يعرف ذلك. أو بتعبير أدق، لم يخبره أحد بأن يهتم.

لم تميّز الخوارزمية عن قصد. بل ميّزت بحكم التصميم — بمعاملتها بيانات منحازة تاريخياً على أنها حقيقة محايدة.

وهنا تصبح الأرقام دامغة. اعتباراً من أكتوبر 2021، بلغت درجة الائتمان الوسيطة للمستهلكين البيض 725. وللمستهلكين من أصل إسباني، 661. وللمستهلكين السود، 612. حين تبني نموذجاً يعامل درجة الائتمان بوصفها متنبئاً أساسياً بـ"خطر أداء عقد الإيجار"، فأنت لا تتخذ خياراً رياضياً محايداً. بل تُرمّز قرناً من التمييز العقاري (redlining) والإقراض الجائر وعدم المساواة في الثروة في وزن سمة واحدة. نظرت خوارزمية SafeRent إلى سجل ماري لويس الائتماني فرأت خطراً. أما ما كان ينبغي أن تراه فهو امرأة لديها مال إيجار مضمون ونظام لم يمنحها قط فرصة عادلة لبناء ائتمان.

لماذا قالت محكمة إن مورّد البرمجيات مسؤول؟

هذا هو الجزء الذي ينبغي أن يبقي كل مؤسس شركة ذكاء اصطناعي مستيقظاً ليلاً.

حاولت SafeRent الدفاع البديهي: نحن مزوّد تقنية، لا مالك عقار. نحن لا نتخذ قرارات السكن. نحن فقط نقدّم معلومات. رفضت المحكمة هذه الحجة رفضاً قاطعاً. قدّمت وزارة العدل بيان اهتمام يجادل بأنه حين يُسند مالك العقار اتخاذ قراره إلى خوارزمية، يصبح مطوّر تلك الخوارزمية جزءاً وظيفياً من سلسلة القرار.

فكّر لحظة في ما يعنيه ذلك. كل شركة تبيع تسجيلاً أو فحصاً أو اكتتاباً أو تقييم مخاطر مدعوماً بالذكاء الاصطناعي في سوق منظَّمة فقدت للتوّ القدرة على قول "نحن فقط بنينا الأداة".

أتذكّر المحادثة مع شريكي المؤسس في الأسبوع الذي تلا صدور الحكم. كنا في مكالمة، يُفترض أننا نراجع تسليماً لعميل، وبدلاً من ذلك أمضينا خمساً وأربعين دقيقة نرسم خريطة لكل صناعة يمكن أن ينطبق عليها هذا السابق القضائي. تسجيل الائتمان. اكتتاب التأمين. فحص التوظيف. فرز الرعاية الصحية. القائمة تطول باستمرار. في لحظة ما قال أحدنا: "هذه ليست قضية سكن. هذه بداية قانون مسؤولية منتجات الذكاء الاصطناعي." لم نكن نحتفل — فقد كنا نحذّر من هذا السيناريو بعينه — لكن كان هناك رضا كئيب في مشاهدة النظام القانوني وهو يلحق أخيراً بما كانت التقنية تفعله دون رقيب.

لم تكلّف التسوية SafeRent 2.275 مليون دولار وحسب. بل فرضت أمراً قضائياً لخمس سنوات ذا أنياب:

لم يعد بمقدور SafeRent إصدار توصيات آلية بالموافقة أو الرفض لحاملي القسائم ما لم يُتحقق من عدالة النموذج من قبل خبراء حقوق مدنية مستقلين. ومن دون ذلك التحقق، لا يمكن للنظام سوى تقديم معلومات خلفية خام — مجرّدة من تسجيلها التنبّئي. ويجب على الشركة أيضاً تدريب عملائها على حدود نماذج التسجيل بالنسبة للفئات المدعومة. وتنطبق هذه الشروط على مستوى البلاد بأكملها، لا في ماساتشوستس وحدها.

لإلقاء نظرة أعمق على بنية التسوية وتبعاتها التنظيمية، كتبت تحليلاً تفاعلياً مفصّلاً للقضية كاملة.

فخ غلاف نموذج اللغة الكبير (LLM Wrapper)

قبل نحو عام من إتمام تسوية SafeRent، عقدت اجتماعاً مع عميل محتمل — شركة إدارة عقارات متوسطة الحجم تدير نحو 12,000 وحدة عبر الجنوب الشرقي. كان قد تواصل معهم مورّد يعرض "حل فحص مستأجرين مدعوماً بالذكاء الاصطناعي" مبنياً فوق نموذج لغة كبير. كان العرض مصقولاً: معالجة لغة طبيعية، ملخصات مخاطر فورية، لوحات معلومات جميلة. كان المورّد قد جمع تمويل الجولة A. وكانت لهم شعارات على موقعهم.

طرحت سؤالاً واحداً: "هل يستطيع النظام أن يشرح، لمتقدّم بعينه، أي السمات دفعت قرار الرفض بطريقة تلبّي متطلبات إشعار الإجراء العكسي في قانون الإبلاغ الائتماني العادل؟"

صمت. ثم: "يمكننا توليد شرح بلغة طبيعية للقرار."

"مُولَّد بواسطة نموذج اللغة الكبير؟"

"نعم."

"إذن فالشرح سردية معقولة عن سبب رفض الشخص، لا أثر سببي مُتحقَّق منه للحساب الفعلي للنموذج؟"

مزيد من الصمت.

هذه هي المشكلة الجوهرية فيما أسمّيه "أغلفة نماذج اللغة الكبيرة" — وهي المشكلة التي أضاءتها قضية SafeRent بتفصيل قاسٍ ومكلف. يستطيع نموذج اللغة الكبير تلخيص اتفاقية إيجار. ويستطيع صياغة رسالة. بل يستطيع حتى إنتاج شرح يبدو مقنعاً لسبب رفض متقدّم. لكنه لا يستطيع أن يُصادق على أن استدلاله متصل سببياً بمسار القرار الفعلي. لا يستطيع أن يثبت أن سمة محمية لم تؤثر في النتيجة. لا يستطيع البحث عن بدائل أقل تمييزاً. إنه يهلوس الشروح بالطريقة نفسها التي يهلوس بها كل شيء آخر — بالتنبؤ بالرمز التالي الأرجح إحصائياً.

في القرارات عالية المخاطر، لا تساوي القدرة على توليد إجابة معقولة شيئاً. أما القدرة على إثبات إجابة عادلة فتساوي كل شيء.

قال لي مستثمرون: "استخدم GPT فقط وأضف طبقة امتثال فوقه." قال أحدهم ذلك في وجهي في فعالية عرض تقديمي، وكأنه أمر بديهي، وكأننا نعقّد الأمور. أردت أن أناوله وثائق تسوية SafeRent وأسأله أي طبقة امتثال كانت ستلتقط نموذجاً يتجاهل بشكل منهجي دخل القسيمة. الجواب: لا واحدة منها. لأن التحيّز لم يكن في تنسيق المخرجات أو في واجهة المستخدم. بل كان في أوزان السمات. كان في بيانات التدريب. كان في المعمارية الأساسية لما كان النموذج مُحسَّناً للتنبؤ به.

كيف يُغيّر توجيه HUD لعام 2024 قواعد اللعبة؟

في مايو 2024، أصدرت HUD توجيهاً قنّن فعلياً دروس قضية SafeRent في توقعات تنظيمية لصناعة السكن بأكملها. المعيار هو "الأثر التفاوتي" — أي أن النظام قد يكون غير قانوني حتى وإن لم يقصد أحد التمييز، ما دام ينتج آثاراً سلبية غير متناسبة على فئة محمية لا يمكن تبريرها بمصلحة مشروعة غير تمييزية.

ثلاثة متطلبات تبرز:

يجب أن تكون صلة السمة سببية، لا مجرد ارتباط. كل نقطة بيانات في نموذج فحص تحتاج إلى رابط قابل للدفاع مع أداء الإيجار الفعلي. "درجة الائتمان تتنبأ بالتعثّر" ليست كافية إذا كانت درجة الائتمان وكيلاً عن العِرق ولم تختبر ما إذا كان الدخل المُعدَّل بحسب القسيمة متنبئاً أفضل.

يجب أن يكون للمتقدّمين مسار ذو معنى للطعن في نتائج الذكاء الاصطناعي. هذا يعني أن المراجعة بوجود إنسان في الحلقة ليست اختيارية — بل إلزامية. النظام الذي ينتج درجة دون آلية تظلّم هو نظام ينتظر أن يُقاضى.

يجب على المطوّرين البحث عن بدائل أقل تمييزاً. هذا هو البند الذي يغيّر كل شيء. لا يكفي بناء نموذج يعمل. بل عليك أن تُثبت أنك بحثت عن نماذج تعمل بكفاءة متساوية مع أثر تمييزي أقل — وأنك إمّا اعتمدتها أو تستطيع إثبات عدم وجودها.

ذلك المتطلب الأخير — البديل الأقل تمييزاً، أو LDA — هو حيث تنهار معظم شركات الذكاء الاصطناعي التي رأيتها. لا لأن الرياضيات صعبة على نحو مستحيل، بل لأنها لم تُجبر قط على القيام بذلك. إنها تُحسّن للدقة. تشحن المنتج. تمضي قدماً. أما فكرة أنك قد تحتاج إلى البحث عبر آلاف تكوينات النماذج البديلة لإيجاد واحد يحافظ على الأداء مع تعظيم العدالة عبر المجموعات الديموغرافية؟ فتلك ليست طلب ميزة تلقّاه معظم مديري المنتجات يوماً.

ما الذي نبنيه فعلاً بدلاً من ذلك

أحتاج أن أكون صادقاً بشأن شيء ما: حين بدأنا أول مرة في بناء أنظمة واعية بالعدالة في VeriPrajna، أخطأنا.

كان نهجنا الأولي هو التدقيق اللاحق. ابنِ النموذج، اختبره للتحيّز، اضبط العتبات إذا بدا شيء ما في غير محله. بدا ذلك مسؤولاً. بدا كافياً. لم يكن كذلك.

المشكلة في المعالجة اللاحقة أنك تحاول ترقيع النتائج دون فهم الأسباب. يمكنك ضبط عتبة قرار بحيث تبدو معدلات الموافقة متشابهة عبر المجموعات — تقنية تُسمى "الاحتمالات المتساوية" — لكن إذا كان النموذج الأساسي قد تعلّم تمثيلاً منحازاً للخطر، فأنت فقط تضع مساحيق تجميل على مشكلة بنيوية. لا يزال النموذج يظن أن أناساً بعينهم أكثر خطورة. أنت فقط تتجاوزه في الميل الأخير. وأول مرة يدقّق فيها أحد في أهميات السمات، يكون التحيّز هناك تماماً، يحدّق فيك.

أما الاختراق — وأستخدم هذه الكلمة بحذر، لأنه بدا أشبه بتراكم بطيء ومحبط للإخفاقات أكثر منه لحظة استنارة — فقد جاء حين بدأنا نعامل العدالة كقيد تحسين لا كتدقيق ما بعد النشر.

إليك ما يعنيه ذلك عملياً. أثناء تدريب النموذج، لا نكتفي بتقليل خطأ التنبؤ. بل نعاقب النموذج في الوقت نفسه إذا استطاعت شبكة "خصمية" ثانوية أن تتنبأ بسمة محمية (كالعِرق أو الجنس) من مخرجات النموذج الأساسي. إذا نجح الخصم — إذا استطاع النظر إلى تنبؤات النموذج وتخمين مَن أسود ومَن أبيض — يُعاقَب النموذج الأساسي ويُعاد تدريبه. والنتيجة نموذجٌ أُجبِرَ على تعلّم سمات مستقلة حقاً عن السمات المحمية.

نقرن هذا بما يسمّيه الباحثون "الاختبار المضاد للواقع". لكل متقدّم يقيّمه النموذج، نسأل: لو كان عِرق هذا الشخص مختلفاً وبقي كل شيء آخر على حاله، فهل يتغيّر القرار؟ إذا كان الجواب نعم، يفشل النموذج. ليس "يُعلَّم للمراجعة". بل يفشل.

تطرح العدالة المضادة للواقع السؤال الذي سيطرحه في النهاية كل محامي حقوق مدنية: هل كان هذا الشخص ليُقبل لو كان أبيض؟ من الأفضل أن يكون لنموذجك الجواب نفسه.

كانت هناك ليلة — أظنها كانت نحو الثانية صباحاً — حين أجرينا أول تدقيق مضاد للواقع كامل على نموذج فحص أوّلي بنيناه باستخدام مجموعة بيانات سكن عام. توقّعنا ربما تبايناً بنسبة 3-4%. أما الرقم الفعلي فكان أقرب إلى 11%. أحد عشر بالمئة من القرارات كانت ستنقلب لو لم نغيّر شيئاً سوى المجموعة الديموغرافية. أرسل لي مهندسي رسالة على Slack قالت فقط: "لدينا مشكلة." أمضينا الأسابيع الثلاثة التالية نعيد بناء خط أنابيب السمات من الصفر، مستبدلين درجة الائتمان بمؤشر مركّب يرجّح دخل القسيمة، وسجل دفع الإيجار المباشر، واستقرار العمل. هبطت الفجوة المضادة للواقع إلى أقل من 1%.

ذلك هو الفرق بين ما أسمّيه "الذكاء الاصطناعي العميق" وغلاف نموذج لغة كبير. لا يتعلق الأمر بامتلاك مطالبات أفضل أو واجهة أجمل. بل يتعلق بما إذا كانت العدالة خاصية في معمارية النظام أم ملصقاً تضعه على الصندوق.

للاطلاع على التفصيل التقني الكامل لنهجنا في هندسة العدالة — بما في ذلك منهجية إزالة التحيّز الخصمية والصياغة الرياضية للمقاييس التي نستخدمها — انظر ورقتنا البحثية عن نزاهة الخوارزميات ومخاطر المؤسسات.

لماذا لا يمكنك مجرّد التدقيق بعد النشر؟

يسألني الناس هذا باستمرار، وأفهم جاذبيته. يبدو التدقيق أرخص. يبدو أقل تعطيلاً. تبني بسرعة، تشحن بسرعة، تدقّق لاحقاً، تصلح ما يتعطّل.

المشكلة أنه في الأسواق المنظَّمة، "ما يتعطّل" هو حيوات الناس.

بحلول الوقت الذي طُعن فيه بخوارزمية SafeRent أمام المحكمة، كانت تعمل منذ سنوات. كم عدد ماري لويس اللواتي لم يرفعن دعوى قط؟ كم عدد الأسر ذات القسائم التي حُرمت من السكن بخوارزمية عجزت عن الرؤية أبعد من درجة ائتمانهم؟ تلك الرفوض لا تُعكس بتسوية. تلك الشقق ذهبت إلى شخص آخر. تلك الأسر وجدت مكاناً أسوأ للعيش، أو لم تجد مكاناً على الإطلاق.

تفوّت التدقيقات الساكنة أيضاً شيئاً حاسماً: انحراف البيانات. الأنماط الاجتماعية-الاقتصادية التي تعلّمها النموذج أثناء التدريب تتحوّل مع الوقت. تتغيّر معدلات استخدام القسائم. تتطوّر منهجيات تسجيل الائتمان. تتشدّد أسواق الإيجار أو تتراخى. النموذج الذي كان "عادلاً بما يكفي" في 2022 قد يكون تمييزياً بحلول 2024 — لا لأن أحداً غيّر الشيفرة، بل لأن العالم تغيّر من حوله.

لهذا انتقلنا نحو المراقبة المستمرة مع مُحفّزات إعادة تدريب آلية. لا يُدقَّق النموذج مرة واحدة في السنة. بل يُدقَّق في كل مرة يتخذ فيها قراراً، مقابل مجموعة من مقاييس العدالة — فرق التكافؤ الإحصائي، ونسبة الأثر التفاوتي، والاحتمالات المتساوية — تعمل في الزمن الحقيقي. وحين ينحرف أي مقياس عن عتبة، يُعلّمه النظام قبل أن يرى إنسان المخرجات قط.

أفكّر في الأمر هكذا: لن تبني جسراً، وتفحصه مرة واحدة، ثم لا تتفقده أبداً بعد ذلك. بل ستراقبه باستمرار بحثاً عن الإجهاد والكلال والتغيرات البيئية. أنظمة الذكاء الاصطناعي التي تتخذ قرارات بشأن سكن الناس وائتمانهم وتوظيفهم تستحق على الأقل الصرامة الهندسية نفسها التي نمنحها للخرسانة والفولاذ.

ماذا يعني قانون الذكاء الاصطناعي في الاتحاد الأوروبي للشركات الأمريكية؟

إذا كانت تسوية SafeRent وتوجيه HUD يمثّلان الأرضية التنظيمية الحالية، فإن قانون الذكاء الاصطناعي في الاتحاد الأوروبي — الذي يبدأ إنفاذه على مراحل في 2025-2026 — يمثّل حيث يتّجه السقف.

يصنّف القانون أنظمة الذكاء الاصطناعي المستخدمة في تسجيل الائتمان وفحص المستأجرين وقرارات التوظيف على أنها "عالية الخطورة"، مُخضِعاً إياها لتقييمات مطابقة إلزامية، ومتطلبات شفافية، والتزامات رقابة بشرية. الشركات الأمريكية التي تخدم الأسواق الأوروبية، أو التي تخدم الأسواق الأمريكية بطرق يقرّر المنظّمون الأوروبيون الاهتمام بها، ستحتاج إلى الامتثال.

لكن إليك ما أجده أكثر إثارة للاهتمام من المتطلبات المحددة: قانون الاتحاد الأوروبي يُفعّل الركائز الأربع لإطار إدارة مخاطر الذكاء الاصطناعي من NIST — الحوكمة، والتحديد، والقياس، والإدارة — لتصبح التزامات ملزمة قانوناً. ما كان توجيهاً طوعياً يصبح ممارسة إلزامية. الشركات التي واءمت معمارياتها مع هذه المبادئ مبكراً ستجد الامتثال سهلاً. أما الشركات التي عاملت العدالة كادّعاء تسويقي فستجده مكلفاً.

لقد شاهدت هذا النمط يتكرّر في خصوصية البيانات (GDPR)، والإبلاغ المالي (SOX)، والآن حوكمة الذكاء الاصطناعي. المسار التنظيمي يتحرك في اتجاه واحد فقط. البناء لمتطلبات الغد اليوم ليس مثالية. بل إدارة مخاطر.

مشكلة تعدّد النماذج التي لا يتحدث عنها أحد

هناك مفهوم في أبحاث تعلّم الآلة يُسمى "تعدّد النماذج" — ملاحظة أنه لأي مجموعة بيانات معطاة، توجد بشكل محتمل ملايين النماذج التي تحقّق دقة شبه متطابقة لكنها تملك ملامح عدالة شديدة التباين. بعض تلك النماذج منحاز بعمق. وبعضها عادل على نحو لافت. ومن دون بحث صريح ومنهجي عن العادلة منها، سيحطّ المطوّرون دائماً تقريباً على أول ما يجده المُحسِّن.

هذا هو الأساس التقني لمتطلب البديل الأقل تمييزاً، وهو السبب الذي يجعلني أعتقد أن البحث عن البديل الأقل تمييزاً (LDA) سيصبح القدرة الأهم منفردة في تطوير الذكاء الاصطناعي المنظَّم على مدى العقد المقبل.

حين نجري بحثاً عن البديل الأقل تمييزاً، فإننا لا ندرّب نموذجاً واحداً فقط. بل ندرّب المئات، مُنوّعين مجموعات السمات، والمعماريات، والمعاملات الفائقة، وقيود العدالة، ثم نرسم كامل مشهد المفاضلات بين الدقة والعدالة. الهدف هو إيجاد النموذج الذي يحقّق الهدف التجاري — التنبؤ بأداء الإيجار، أو تقييم مخاطر الائتمان، أياً كانت المهمة — بأدنى أثر تمييزي ممكن.

أحياناً يكشف ذلك البحث عن شيء مزعج: النموذج "الأكثر دقة" هو أيضاً الأكثر تحيّزاً، لأن الدقة والتحيّز التاريخي مرتبطان في بيانات التدريب. النموذج الثاني الأكثر دقة قد يضحّي بنصف نقطة مئوية من القوة التنبّئية بينما يقلّص فجوة نسبة الأثر التفاوتي بمقدار 40%. هل تستحق تلك المفاضلة العناء؟

إذا كان نموذجك أقل دقة بنسبة 0.5% لكنه أقل تمييزاً بنسبة 40%، واخترت الدقة — بالتوفيق في شرح ذلك لقاضٍ.

في قضية SafeRent، كان السؤال الجوهري هو ما إذا كان بمقدور نموذج أن يتنبأ بأداء الإيجار بكفاءة متساوية دون معاقبة حاملي القسائم. الجواب، بناءً على كل ما نعرفه عن البيانات، هو نعم بشكل شبه مؤكد. SafeRent فقط لم تبحث قط.

الليلة التي كدت أوافق فيها على بناء غلاف

أريد أن أختم بقصة لم أروِها علناً من قبل.

قبل نحو ثمانية عشر شهراً، تواصلت معنا شركة — لن أسمّيها — أرادت منّا بناء أداة فحص امتثال لعميل كبير في الخدمات المالية. كانت الميزانية كبيرة. وكان الجدول الزمني عدوانياً. وكانت المواصفات التي سلّموها إلينا، في جوهرها، غلاف نموذج لغة كبير: خذ نموذجاً أساسياً، اضبطه بدقة على وثائق تنظيمية، أضف طبقة تسجيل، اشحنه.

انقسم فريقي. رأى نصفهم الإيرادات. ورأى النصف الآخر قضية SafeRent بالحركة البطيئة. أجرينا مكالمة استمرت نحو ثلاث ساعات. قال أحد مهندسيّ — شخص أثق به عميقاً — شيئاً بقي معي: "يمكننا بناء ما يطلبونه في ثمانية أسابيع. ويمكننا بناء ما يحتاجونه في ثمانية أشهر. إذا بنينا ما يطلبونه، نصبح دراسة الحالة التالية في سبب فشل هذا النهج."

انسحبنا من الصفقة. كان أغلى قرار اتخذته كمؤسس. راجعت نفسي فيه لأسابيع.

لم أعد أراجع نفسي فيه بعد الآن.

أثبتت تسوية SafeRent أن سوق الذكاء الاصطناعي في الصناعات المنظَّمة ليس سباقاً للشحن الأسرع. بل سباق للشحن الـأكثر أماناً — حيث يعني "الآمن" العادل معمارياً، والقابل للدفاع قانونياً، والمهندس ليصمد أمام ذلك النوع من التمحيص الجنائي الذي ستطبّقه محكمة فيدرالية في النهاية. الشركات التي تفهم هذا ستبني الأنظمة التي تدوم. والشركات التي لا تفهمه ستبني قصة العِبرة التالية بقيمة 2.275 مليون دولار.

عصر الصندوق الأسود انتهى. لا لأن المنظّمين قتلوه، بل لأنه لم يُبنَ قط ليصمد في مواجهة الواقع. السؤال ليس ما إذا كان ذكاؤك الاصطناعي قادراً على اتخاذ قرار. بل ما إذا كان ذكاؤك الاصطناعي قادراً على أن يدافع عن قرار.