معماريات الثقة

يتفاقم الانحياز من خلال أربع مراحل: (1) بيانات تاريخية منحازة — تعكس الاعتقالات أنماط عمل الشرطة وليس التوزيع الحقيقي للجريمة؛ (2) تدريب النموذج — تتعلم الخوارزمية تكرار التحيزات القائمة؛ (3) تنبؤات منحازة — توجيه التواجد الأمني المكثف نحو أحياء الأقليات؛ (4) المزيد من البيانات المنحازة — تولد عمليات الإيقاف المتزايدة اعتقالات «تأكيدية» تعود للتغذية في التدريب. في كاليفورنيا، تم إيقاف الأفراد السود بنسبة 126% أكثر من المتوقع، ومع ذلك كان الضباط أقل احتمالاً للعثور على ممنوعات أثناء عمليات التفتيش هذه، مما يثبت أن الحلقة تضاعف انعدام العدالة بدلاً من الكشف عن الجرائم الحقيقية.

المقياسان التأسيسيان هما: التكافؤ الديمغرافي (Demographic Parity) — P(Y-hat=1 | A=a) = P(Y-hat=1 | A=b) — الذي يضمن أن احتمالية الحصول على نتيجة إيجابية مستقلة عن السمات المحمية، والاحتمالات المتكافئة (Equalized Odds) — P(Y-hat=1 | Y=y, A=a) = P(Y-hat=1 | Y=y, A=b) — الذي يضمن تساوي معدلات الإيجابيات الحقيقية والإيجابيات الكاذبة عبر جميع المجموعات. تطبق Veriprajna هذه المعايير عبر ثلاث مراحل لإزالة الانحياز: المعالجة المسبقة (إعادة ترجيح وإعادة أخذ عينات من بيانات التدريب)، والمعالجة أثناء التدريب (إزالة الانحياز التنافسية أثناء التدريب)، والمعالجة اللاحقة (عتبات معايرة متوازنة عبر المجموعات).

حاولت قائمة SSL تحديد الأفراد الأكثر عرضة للتورط في العنف المسلح من خلال تحليل الشبكات الاجتماعية وسجلات الاعتقال. وفي ذروتها، ضمت القائمة أكثر من 400,000 شخص — 56% من الأهداف ذات الأولوية كانوا رجالاً سوداً تتراوح أعمارهم بين 20 و29 عاماً، و57% لم تكن لديهم اعتقالات عنيفة، و96% من المشتبه في انتمائهم لعصابات كانوا من السود أو اللاتينيين. أفرطت الخوارزمية في الاعتماد على سجلات الاعتقال بما فيها المخالفات البسيطة التي لا ترتبط إحصائياً بالعنف المسلح المستقبلي، مما فرض وضع «المشتبه به» على مئات الآلاف من الأفراد غير المدانين. تم إيقافها عن الخدمة في عام 2019 بعد أن كشف تدقيق المفتش العام عن تحيز عنصري.