خرد
کیفیت تصمیم‌گیری

وقتی همه از هوش مصنوعی کمک می‌گیرند، چه بر سر تنوع ایده‌ها می‌آید؟

تحریریه خردمنبع: دوشی و هاوزر؛ Science Advances، 2024

کیفیت هر پیشنهاد و تنوع مجموعه پیشنهادها، دو معیار متفاوت‌اند. این شرح پژوهش و تحلیل کاربردی، راهی برای سنجش نقش دستیارهای هوش مصنوعی در گسترش یا محدودکردن گزینه‌های تصمیم پیش می‌گذارد.

شکل‌های کاغذی متنوع در یک سوی صفحه شیشه‌ای فیروزه‌ای و قایق‌های کاغذی هم‌شکل در سوی دیگر؛ تصویر مفهومی تنوع ایده‌ها.
تصویر مفهومی ساخته‌شده با هوش مصنوعی برای تحریریه خرد؛ تصویر یا نمودار پژوهش اصلی نیست.

فرض کنید اعضای یک کمیته، هرکدام گزارشی خوش‌ساخت و متقاعدکننده برای یک مسئله آماده کرده‌اند. آیا جمع‌کردن این گزارش‌ها الزاماً به بررسی گزینه‌های بیشتری منجر می‌شود؟ اگر همه از نقطه شروع مشابهی حرکت کرده باشند، ممکن است تفاوت نثر، شباهت راه‌حل‌ها را پنهان کند. برای تصمیم‌گیر، کیفیت هر گزارش و تنوع مجموعه گزارش‌ها دو پرسش جداست.

پژوهش چه چیزی را آزمود؟

پژوهش آنیل آر. دوشی و الیور پی. هاوزر در Science Advances، منتشرشده در ۱۲ ژوئیه ۲۰۲۴، یک آزمایش تصادفی داستان‌نویسی است. ۲۹۳ نفر داستانی هشت‌جمله‌ای نوشتند؛ بدون کمک، با امکان دریافت یک ایده یا حداکثر پنج ایده از GPT-4. سپس ۶۰۰ ارزیاب مستقل آثار را سنجیدند.

در گروه دارای دسترسی به پنج ایده، امتیاز نوآوری ۸٫۱ درصد و امتیاز کاربردپذیری داستان ۹ درصد بالاتر از گروه بدون کمک بود. این اعداد به شاخص‌های همان آزمایش مربوط‌اند، نه رشد عمومی توانایی خلاقیت.

شباهت معنایی داستان‌ها با بازنمایی برداری متن سنجیده شد.

ترجمه یک گزیده کوتاه از چکیده

«بااین‌حال، داستان‌هایی که با کمک هوش مصنوعی مولد نوشته شده‌اند، در مقایسه با داستان‌های صرفاً انسانی، شباهت بیشتری به یکدیگر دارند.»

کیفیت هر پیشنهاد با تنوع مجموعه فرق دارد

پرسش عملی خرد برای سازمان‌ها این است: آیا ابزار فقط خروجی هر فرد را بهتر می‌کند، یا به گروه کمک می‌کند گزینه‌هایی متفاوت را هم ببیند؟ این بخش، تحلیل و پیشنهاد اجرایی تحریریه است.

یک گزارش می‌تواند روشن، مستند و قابل اجرا باشد، اما در کنار چند گزارش دیگر هیچ زاویه تازه‌ای اضافه نکند. به همین ترتیب، متفاوت‌بودن یک ایده هم به‌تنهایی امتیاز نیست؛ پیشنهاد ناممکن یا بی‌پشتوانه، صرفاً با متفاوت‌بودن ارزش پیدا نمی‌کند. ارزیابی خوب باید کیفیت هر گزینه و سهم آن در گسترش دامنه انتخاب را هم‌زمان بسنجد.

در مطلب تفاوت توضیح‌پذیری با کیفیت تصمیم نیز همین تمایز اهمیت دارد: ظاهر منظم استدلال، جای بررسی شواهد و گزینه‌های کنارگذاشته‌شده را نمی‌گیرد.

سناریوی فرضی: پنج گزارش، یک نقطه شروع

یک شرکت را تصور کنیم که برای کاهش زمان پاسخ‌گویی به مشتری، از پنج مدیر واحد پیشنهاد می‌خواهد. همه پیش از بررسی پرونده‌های واقعی، از یک دستیار می‌خواهند «بهترین راهکارها» را فهرست کند. سپس هر مدیر همان فهرست را با واژگان تخصصی واحد خود بازنویسی می‌کند.

کمیته ممکن است پنج گزارش دریافت کند، اما همه حول خرید ابزار جدید و خودکارسازی پاسخ بچرخند. راه‌های دیگری مانند حذف یک تأیید غیرضروری، اصلاح متن راهنما یا تغییر اختیار کارشناس، شاید اصلاً وارد بحث نشده باشند. در این مثال، مسئله لزوماً غلط‌بودن پیشنهادهای ابزار نیست؛ مسئله، ندیدن گزینه‌های دیگر پیش از مقایسه است.

این موقعیت، گزارش یک رخداد واقعی یا نتیجه مستقیم آزمایش داستان‌نویسی نیست. برای بررسی آن در یک سازمان، باید مسیر شکل‌گیری پیشنهادها و گزینه‌های حذف‌شده را مشاهده کرد؛ صرف شباهت چند جمله برای قضاوت درباره استقلال نظر مدیران کافی نیست.

یک ترتیب متفاوت برای استفاده از دستیار

پیشنهاد خرد، آزمودن این ترتیب در یک تصمیم محدود است:

نخست، هر عضو پیش از دیدن پاسخ مدل یا پیشنهاد دیگران، صورت مسئله، شواهد و یک گزینه اولیه را ثبت کند. هدف، حفظ امکان مقایسه نقطه شروع افراد است.

سپس، از ابزار برای نقد همان گزینه استفاده شود: چه فرضی ممکن است غلط باشد؟ کدام گروه متأثر دیده نشده؟ چه شاهدی می‌تواند نتیجه را عوض کند؟ درخواست نقد باید به داده قابل بررسی وصل شود.

در مرحله بعد، گزینه‌ها بر اساس سازوکارشان دسته‌بندی شوند. برای نمونه، پنج پیشنهاد خرید نرم‌افزار ممکن است در یک خانواده باشند؛ تغییر فرایند یا تغییر شیوه تخصیص منابع، خانواده‌های دیگری بسازند.

در پایان، دلایل انتخاب و کنارگذاشتن گزینه‌ها ثبت شود. وجود یک پیشنهاد متفاوت به معنای پذیرش آن نیست؛ مهم است بتوان توضیح داد چرا از بررسی کنار رفته است.

این ترتیب را می‌توان با روشی مقایسه کرد که در آن همه افراد از ابتدا به دستیار دسترسی دارند. نتیجه از پیش معلوم نیست: شاید ابزار به کشف گزینه‌های بیشتری کمک کند، شاید تفاوتی ایجاد نکند، یا شاید هزینه بررسی را افزایش دهد. طراحی آزمون باید امکان دیدن هر سه نتیجه را فراهم کند.

در پایلوت چه چیزی اندازه بگیریم؟

برای این کاربرد، شمار گزارش‌های تولیدشده شاخص کافی نیست. در ارزیابی پایلوت هوش مصنوعی، پیشنهاد می‌کنیم علاوه بر زمان کل و کیفیت نهایی، تعداد خانواده‌های قابل دفاعِ راه‌حل، شواهد تازه واردشده به بحث و گزینه‌هایی را ثبت کنیم که پس از نقد جدی باقی مانده‌اند.

برای جلوگیری از سلیقه‌ای‌شدن ارزیابی، پیش از آزمون مشخص شود چه چیزی «گزینه متفاوت» محسوب می‌شود. تغییر عبارت‌ها، جابه‌جایی اولویت‌ها و تغییر سازوکار حل مسئله یکسان نیستند. بهتر است ارزیاب تا حد امکان نداند هر پیشنهاد در کدام روش تهیه شده است.

این شاخص‌ها پیشنهاد طراحی آزمون‌اند و آستانه موفقیت جهان‌شمول ندارند. برای یک تصمیم ایمنی، پوشش خطرهای مهم می‌تواند بر تعداد گزینه‌ها مقدم باشد؛ در طراحی خدمت، تنوع نیازهای کاربران ممکن است مهم‌تر شود.

حدودی که باید حفظ کنیم

آزمایش اصلی به داستان کوتاه انگلیسی و یک شیوه محدود استفاده از GPT-4 مربوط بود. از آن نمی‌توان درباره همه مدل‌ها، زبان فارسی یا کیفیت تصمیم‌های مدیریتی حکم قطعی صادر کرد.

مسئولیت طراحی فرایند همچنان با سازمان است. در چارچوب حکمرانی هوش مصنوعی در سازمان، باید روشن باشد چه کسی دامنه گزینه‌ها را تعیین می‌کند و چه کسی می‌تواند خواستار بررسی دوباره شود. سپردن نگارش به ابزار، این اختیار را خودبه‌خود به ابزار منتقل نمی‌کند.

پرسش مفید برای جلسه بعدی این است: «این مجموعه پیشنهادها چه انتخابی را پیش روی ما گذاشته که پیش‌تر نداشتیم؟» پاسخ به آن، از شمارش متن‌های تولیدشده اطلاعات بیشتری درباره ارزش دستیار برای آن تصمیم به دست می‌دهد.

منبع و شیوه استفاده

Doshi, Anil R.; Hauser, Oliver P. (2024). Generative AI enhances individual creativity but reduces the collective diversity of novel content. Science Advances, 10(28), eadn5290. DOI: 10.1126/sciadv.adn5290.

نسخه منتشرشده مقاله در مخزن دانشگاه UCL. © 2024 نویسندگان؛ مجوز CC BY 4.0. گزیده بالا ترجمه خرد است و تحت همین مجوز استفاده می‌شود. متن حاضر شرح گزیده و تحلیل مستقل است، با تلخیص و تغییر ساختار؛ ترجمه کامل مقاله نیست. پیشنهادهای سازمانی متعلق به تحریریه‌اند و به معنای تأیید آن‌ها از سوی نویسندگان پژوهش نیستند.

برچسب‌ها

لینک کوتاه:kherad.net/s/dtnfy6

نظرها

هنوز نظری برای این مطلب منتشر نشده است.

نظر شما

نظرها پس از بررسی و تأیید نمایش داده می‌شوند. نظرهای حاوی توهین، تهمت یا تبلیغ منتشر نمی‌شوند.