خرد
کیفیت تصمیم‌گیری

عدالت در توزیع خطای هوش مصنوعی؛ هزینه اشتباه بر دوش چه کسی است؟

دقت کلی مدل نشان نمی‌دهد چه کسی به‌اشتباه متوقف یا محروم می‌شود. انتخاب آستانه و مسیر اعتراض، درباره توزیع پیامدهای خطا نیز تصمیم می‌گیرد.

گوی‌های سبزآبی در مسیر دوشاخه شیشه‌ای با دریچه تنظیم برنجی و دو کاسه سنگی، یکی سالم و دیگری ترک‌خورده؛ تصویر مفهومی توزیع پیامد خطا.
تصویر مفهومی ساخته‌شده با هوش مصنوعی برای تحریریه خرد؛ نمایش رویداد یا سامانه واقعی نیست.

یک سامانه با دقت کلی ۹۴ درصد معرفی می‌شود. این عدد فرضی هنوز نمی‌گوید شش درصد خطا چه شکلی دارد: افراد بی‌تقصیر متهم می‌شوند، تخلف واقعی دیده نمی‌شود یا هر دو؟ همچنین روشن نمی‌کند هزینه اشتباه را سازمان می‌دهد یا افرادی که امکان اعتراض محدودی دارند.

انتخاب مدل و آستانه تصمیم، فقط مسئله بهبود یک شاخص نیست. سازمان عملاً درباره توزیع پیامد خطا تصمیم می‌گیرد. این تصمیم به شواهد فنی، سنجش خسارت و قضاوت درباره حقوق و منافع افراد نیاز دارد.

اول روشن کنیم «مثبت» یعنی چه

برای پرهیز از جابه‌جایی تعریف‌ها، یک مثال ثابت در نظر بگیریم: سامانه کشف تقلب که خروجی مثبت آن، «مشکوک به تقلب» است. مثبت کاذب یعنی تراکنش سالم مشکوک تشخیص داده شود؛ منفی کاذب یعنی تقلب واقعی از تشخیص بگریزد. در استخدام، اگر مثبت به معنای «پذیرفته‌شدن» باشد، معنای عملی خطا عوض می‌شود؛ نام خطا را نمی‌توان مستقل از تعریف خروجی به کار برد.

فصل طبقه‌بندی در کتاب Fairness and Machine Learning این معیارها و نقش آستانه تصمیم را توضیح می‌دهد. در یک امتیازدهنده ثابت، جابه‌جایی آستانه می‌تواند میان دو نوع خطا مبادله ایجاد کند. این به معنای ناممکن‌بودن کاهش هم‌زمان آن‌ها با مدل، داده یا فرایند بهتر نیست.

مثلاً از هزار تراکنش فرضی، بیست مورد واقعاً متقلبانه‌اند. مدلی که همه تراکنش‌ها را سالم اعلام کند، دقت کلی ۹۸ درصد دارد و هیچ تقلبی را کشف نمی‌کند. این مثال، نتیجه یک مطالعه میدانی نیست؛ نشان می‌دهد چرا عدد کلی بدون تعداد رخدادها و جدول خطا می‌تواند گمراه‌کننده باشد.

هزینه خطا فقط در حساب سازمان نیست

در همان سامانه، مسدودکردن تراکنش سالم ممکن است برای سازمان هزینه پشتیبانی بسازد؛ برای کاربر می‌تواند به نرسیدن پول ضروری در زمان حساس منجر شود. از طرف دیگر، عبور تقلب هم زیان مالی و پیامد اجتماعی دارد. مقایسه‌ای که فقط هزینه عملیاتی سازمان را حساب کند، بخشی از مسئله را حذف کرده است.

حتی رویکردی که مجموع پیامدها را معیار قرار می‌دهد، باید منافع و زیان همه افراد متأثر را بررسی کند؛ سود شرکت معادل رفاه جمعی نیست. رویکرد مبتنی بر حقوق نیز می‌پرسد کدام مداخله نیازمند دلیل قوی‌تر، محدودیت زمانی یا امکان اعتراض است. این دو پرسش را نمی‌توان صرفاً با بالا بردن دقت پاسخ داد.

تحلیل خرد این است که تصمیم درباره آستانه باید همراه با شرح پیامد باشد: چه کسی متوقف می‌شود، توقف چقدر طول می‌کشد، چه مدرکی برای رفع آن لازم است و هزینه پیگیری بر دوش کیست؟ بدون این شرح، «ریسک قابل قبول» ممکن است فقط به معنای ریسکی باشد که تصمیم‌گیر خودش تحمل نمی‌کند.

میانگین مطلوب می‌تواند توزیع نامطلوب را بپوشاند

آزمون باید علاوه بر عملکرد کل، توزیع خطا را در گروه‌ها و موقعیت‌های مرتبط بررسی کند. گروه‌بندی نیز باید دلیل روشن، داده قابل اتکا و ملاحظات حریم خصوصی داشته باشد؛ تقسیم‌بندی بی‌ضابطه، تضمین عدالت ایجاد نمی‌کند.

اگر کیفیت داده برای یک گروه پایین‌تر باشد، اختلاف خروجی را نباید بی‌بررسی به ویژگی واقعی افراد نسبت داد. همچنین هر اختلاف آماری به‌تنهایی اثبات تبعیض نیست. باید نحوه تولید داده، فرصت‌های قبلی، قواعد تصمیم و عدم قطعیت برآورد را دید. این همان فاصله میان یک توضیح قابل فهم و درستی یا موجه‌بودن تصمیم است.

خطای مدل را با فرایند جبران بررسی کنیم

دو سامانه با نرخ خطای برابر می‌توانند پیامد بسیار متفاوتی داشته باشند. در یکی، خروجی فقط باعث بررسی کوتاه می‌شود؛ در دیگری، همان خروجی بدون اطلاع فرد به محرومیت طولانی می‌انجامد. بنابراین ارزیابی باید کل مسیر تصمیم را در بر بگیرد.

پیشنهاد عملی ما این است که پیش از استقرار، تعریف هر خطا و زیان آن ثبت شود، چند آستانه با داده مرتبط مقایسه شوند و برای موارد نامطمئن مسیر ارجاع به انسان وجود داشته باشد. توان رسیدگی انسانی هم محدود است؛ اگر صف بازبینی بزرگ‌تر از ظرفیت تیم شود، صرف وجود این مسیر کافی نیست.

پس از استقرار، فقط تعداد خطاها را نشماریم. زمان رفع محرومیت اشتباه، کیفیت پاسخ به اعتراض و هزینه‌ای که فرد برای اصلاح داده متحمل شده نیز اهمیت دارد. انتخاب قابل دفاع آن است که سازمان بتواند هم معیار فنی و هم دلیل پذیرفتن توزیع پیامدها را توضیح دهد؛ و وقتی شاهد تازه رسید، آستانه یا فرایند را تغییر دهد.

برچسب‌ها

لینک کوتاه:kherad.net/s/t5cbib

نظرها

هنوز نظری برای این مطلب منتشر نشده است.

نظر شما

نظرها پس از بررسی و تأیید نمایش داده می‌شوند. نظرهای حاوی توهین، تهمت یا تبلیغ منتشر نمی‌شوند.