خرد
حکمرانی هوش مصنوعی

مدل عوض شد؛ آیا مجوز استفاده قبلی هنوز معتبر است؟

تحریریه خردمنبع: پروفایل هوش مصنوعی مولد NIST، ژوئیه 2024

تعویض مدل، دستور سامانه یا منبع بازیابی می‌تواند رفتار یک خدمت ثابت را تغییر دهد؛ پذیرش اولیه باید با ارزیابی تغییر و امکان بازگشت همراه شود.

تصویر مفهومی از تعویض عدسی یک ابزار دقیق و حفظ اشیای مرجع برای ارزیابی دوباره
تصویر مفهومی ساخته‌شده با هوش مصنوعی برای تحریریه خرد

خلاصه مطلب

نام محصول و ظاهر خدمت ممکن است ثابت بماند، در حالی که مدل، منابع یا قواعد آن تغییر کرده‌اند. پذیرش یک نسخه، شاهد کافی برای مناسب‌بودن نسخه بعدی نیست. سازمان به روالی نیاز دارد که تغییر مؤثر بر تصمیم را شناسایی کند، نسخه جدید را روی موارد مرتبط بیازماید و مسئول پذیرش یا بازگشت را معلوم نگه دارد.

تغییری که در صفحه دیده نمی‌شود

در یک مثال فرضی، دستیار سازمانی پس از به‌روزرسانی همچنان همان پنجره گفت‌وگو را دارد؛ اما در پاسخ به پرسش‌های مشابه، ارجاع‌ها را متفاوت انتخاب می‌کند. ممکن است پاسخ بهتر شود یا یک محدودیت قدیمی برطرف شود. ممکن است هم رفتار نامناسبی در بخشی از درخواست‌ها پدید آید. ظاهر ثابت، هیچ‌یک از این نتیجه‌ها را روشن نمی‌کند.

تغییر فقط تعویض مدل نیست. دستور پایه، نحوه تقسیم اسناد، فهرست منابع مجاز، ابزارهای متصل و قاعده ارجاع به انسان هم جزئی از خدمت‌اند. برای مدیر بهره‌بردار، موضوع اصلی این است که تغییر چه اثری بر کار و تصمیم می‌گذارد؛ نه اینکه تیم فنی آن را «اصلاح کوچک» نامیده است.

چرا ارزیابی یک‌باره کافی نیست؟

پروفایل هوش مصنوعی مولد NIST به ثبت تغییرات، ریسک اجزای تأمین‌شده از بیرون و پایش مداوم توجه می‌کند. راهنمای اجرایی همین نهاد نیز پایش پس از استقرار و مدیریت تغییر را جزئی از اداره ریسک می‌داند. این منابع، جهت ارزیابی در طول عمر خدمت را نشان می‌دهند؛ تعداد آزمون‌ها و آستانه پذیرش هر سازمان باید با کاربرد آن تعیین شود.

بر این مبنا، پیشنهاد خرد آن است که تأیید نسخه به دامنه استفاده مشخص وصل شود. نتیجه خوب در خلاصه‌سازی سند داخلی، مجوز خودکار برای پاسخ‌گویی حقوقی یا تصمیم درباره افراد نیست. حتی در همان کاربرد، تغییر داده و شرایط استفاده می‌تواند بازبینی را ضروری کند.

چه چیزی باید ثبت شود؟

برای هر انتشار، نسخه اجزای اثرگذار، شرح تغییر، دلیل آن و نتیجه آزمون ثبت شود. اطلاعات لازم برای مقایسه باید در دسترس بماند؛ نگهداری همه داده‌های شخصی کاربران برای این هدف ضرورت ندارد. می‌توان از مجموعه‌های آزمون حفاظت‌شده یا ناشناس‌شده و دوره نگهداری متناسب استفاده کرد.

هر تغییر بهتر است یک مسئول فنی و یک مسئول بهره‌برداری داشته باشد. اولی توضیح می‌دهد چه چیزی عوض شده؛ دومی تأیید می‌کند پیامد آن برای فرایند قابل پذیرش است. امضای نفر دوم زمانی معنا دارد که شواهد و اختیار رد یا توقف هم در اختیار او باشد.

آزمون مقایسه‌ای چگونه طراحی شود؟

مجموعه آزمون باید کارهای پرتکرار، خطاهای پرهزینه و موارد مرزی را پوشش دهد. مقایسه نسخه قدیم و جدید روی ورودی یکسان، امکان مشاهده تفاوت را می‌دهد. اگر خروجی تصادفی است، یک اجرای منفرد برای قضاوت کافی نیست؛ تعداد تکرار و روش داوری باید از پیش مشخص باشد.

علاوه بر کیفیت پاسخ، زمان بازبینی، ارجاع درست به منبع، رعایت محدوده دسترسی و اثر بر گروه‌های مختلف کاربران بررسی شود. میانگین بهتر می‌تواند افت کیفیت در یک دسته مهم را پنهان کند. بخشی از آزمون هم باید بعد از اصلاحات کنار گذاشته شود تا تیم فقط برای پاسخ‌های از پیش شناخته‌شده بهینه‌سازی نکند.

تغییر را چطور وارد بهره‌برداری کنیم؟

در کاربرد حساس، انتشار محدود می‌تواند فرصت مشاهده ایجاد کند؛ به شرط آنکه کاربرانِ در معرض آزمون و پیامدهای احتمالی با ملاحظات لازم مدیریت شوند. اجرای موازی بدون اثر بر تصمیم نهایی نیز در بعضی فرایندها گزینه مناسبی است. هیچ‌یک از این روش‌ها جای بررسی محرمانگی، انصاف و ظرفیت بازبینی را نمی‌گیرد.

امکان بازگشت هم باید واقعی باشد. گاهی داده یا فرایند جدید با نسخه قدیم سازگار نیست؛ بنابراین صرف نگهداری فایل مدل کافی نخواهد بود. پیش از انتشار، مسیر توقف، خدمت جایگزین و شخص پاسخ‌گو را مشخص کنید.

معیار مناسب برای مدیر

سه عدد می‌توانند شروع خوبی باشند: سهم تغییرات مهم با ارزیابی پیش از انتشار، زمان کشف افت کیفیت و زمان بازیابی خدمت قابل قبول. این‌ها پیشنهادهای ارزیابی‌اند، نه حدنصاب عمومی. هدف، کندکردن هر به‌روزرسانی نیست؛ سازمان باید بتواند توضیح دهد چرا شواهد پذیرش قبلی برای تغییر تازه کافی بوده یا نبوده است.

منابع اصلی

پروفایل هوش مصنوعی مولد NIST، ژوئیه ۲۰۲۴

راهنمای اجرایی NIST، مدیریت و پایش پس از استقرار

برچسب‌ها

نظرها

هنوز نظری برای این مطلب منتشر نشده است.

نظر شما

نظرها پس از بررسی و تأیید نمایش داده می‌شوند. نظرهای حاوی توهین، تهمت یا تبلیغ منتشر نمی‌شوند.