التحيّز في الأنظمة الذكية

في الدرس السابق تحدّثنا عمّا نجمعه من بيانات. وهذا الدرس عمّا تفعله الأنظمة بها — وعن دورك حين يقرّر نظام مَن يرى ماذا، ومَن يُقبل ومَن يُرفض.

والمصمم غالبًا لا يبني الخوارزمية. لكنه يصمّم الواجهة التي تعرض قرارها — وهذا موقع تأثير حقيقي لا هامشي.

مختبر: حلقة التغذية الراجعة

نظام توصية يبدأ بانحياز بسيط. شغّل الجولات وراقب:

من أين يأتي التحيّز؟

ماذا تفعل أنت — كمصمم

التحيّز لا يُصلَح بنيّة حسنة

حين يُنتج نظام ذكي نتائج منحازة، يكون التفسير المريح أن «البيانات كانت منحازة». وهو صحيح وناقص — لأن البيانات ليست شيئًا وُجد في الطبيعة، بل سجلًّا لقرارات بشرية سابقة بكل ما فيها. والنظام لا يخترع التحيّز، بل يتعلّمه ثم يضخّمه ويسرّعه ويكسوه هالة الحياد.

والهالة هي الخطر الحقيقي. القرار البشري المنحاز يمكن الاعتراض عليه ومساءلة صاحبه. أما «هذا ما قاله النظام» فيغلق النقاش، لأنه يبدو موضوعيًا ومحايدًا وبلا مصلحة.

ودورك كمصمم — لا كمهندس — في ثلاثة مواضع محدّدة. الأول: أن تُظهر أن القرار آليّ لا بشري، فمن حقّ المتأثّر أن يعرف. والثاني: أن تصمّم مسار اعتراض حقيقيًا يصل إلى إنسان، لا نموذجًا يبتلع الشكوى. والثالث: أن تصمّم للحالة الخاطئة — فالنظام سيخطئ، والسؤال هو ماذا يرى المستخدم حينها وكيف يتصرّف.

وسؤال واحد يستحق أن يُطرح في كل مشروع كهذا: من يتحمّل ثمن الخطأ؟ إن كان ثمن خطأ النظام يقع على المستخدم وحده — رفض طلب، حجب خدمة، تصنيف ظالم — فالتصميم غير عادل مهما بلغت دقّة النموذج.

في الدرس القادم نميّز الإقناع المشروع من التلاعب.