عامل هوش مصنوعی به چه اختیارهایی نیاز دارد؟ راهنمای تعیین مرز اقدام

خلاصه مطلب

اتصال عامل هوش مصنوعی به ابزارهای ارسال پیام، ویرایش پرونده یا ثبت سفارش، خطای پاسخ را به احتمال یک اقدام واقعی تبدیل می‌کند. این راهنما سه مرز ابزارهای در دسترس، مجوزهای دسترسی و اختیار اقدام خودکار را از هم جدا می‌کند و نشان می‌دهد مدیران چگونه می‌توانند دسترسی را به وظیفه مشخص محدود کنند و برای اقدامات حساس، تأیید انسانی و امکان توقف در نظر بگیرند.

عامل در این مطلب به سامانه‌ای گفته می‌شود که می‌تواند از ابزارهای متصل برای انجام اقدام استفاده کند. خودکاربودن همه فرایند شرط این تعریف نیست؛ حتی یک اقدام محدود هم به مرز روشن نیاز دارد.

سه نوع اختیار را از هم جدا کنیم

OWASP در شرح خطر «اختیار بیش از اندازه» در نسخه ۲۰۲۵، میان قابلیت‌های بیش از نیاز، مجوزهای بیش از نیاز و خودمختاری بیش از نیاز تمایز می‌گذارد. موضوع فقط بدکارکردن مدل نیست؛ دامنه اقدام متصل به آن تعیین می‌کند خطا تا کجا اثر بگذارد. این راهنما تضمین امنیت یک محصول مشخص نیست و باید با محیط واقعی تطبیق داده شود.

پیشنهاد خرد، نوشتن یک جمله عملیاتی برای وظیفه است. «به کارهای مشتری رسیدگی کن» مبهم است؛ «برای درخواست‌های مشخص، پیش‌نویس پاسخ تهیه کن و در صف بازبینی بگذار» مرز روشن‌تری دارد. تعریف دوم، اختیار ارسال یا تغییر اطلاعات مشتری را خودکار شامل نمی‌شود.

ابزار لازم با حساب پرقدرت یکی نیست

در یک مثال فرضی، عامل باید وضعیت سفارش را بخواند. اگر با حسابی متصل شود که می‌تواند مبلغ سفارش را هم تغییر دهد، دامنه اثر خطا بزرگ‌تر از نیاز وظیفه است. بهتر است مجوز در سامانه مقصد محدود شود، تا یک دستور متنی اشتباه نتواند آن را گسترش دهد.

راهنمای استقرار امن NCSC نیز کنترل دسترسی به رابط‌ها، مدل و داده را مطرح می‌کند. برداشت اجرایی تحریریه این است که توضیح محدودیت در دستور عامل، جای اجرای همان محدودیت در لایه دسترسی را نمی‌گیرد. این دو می‌توانند مکمل باشند.

تصمیم درباره اقدام به پیامد وابسته است

همه اقدام‌ها به یک سطح نظارت نیاز ندارند. ذخیره یک پیش‌نویس داخلی با ارسال تعهد مالی به مشتری هم‌پیامد نیست. مدیر باید با توجه به برگشت‌پذیری، دامنه افراد متأثر و هزینه خطا تعیین کند کدام کار خودکار انجام شود و کدام کار پیش از اجرا بررسی شود.

در بررسی انسانی، فرد باید نتیجه مشخص را ببیند: چه چیزی، برای چه کسی و با چه اثری قرار است انجام شود. تأیید یک عنوان کلی، کنترل مؤثر همه جزئیات اقدام محسوب نمی‌شود. از طرف دیگر، ارجاع همه کارهای کم‌اثر به بررسی دستی نیز می‌تواند فایده عامل را از بین ببرد؛ تناسب اهمیت دارد.

محتوای ورودی مجوز تازه ایجاد نمی‌کند

عامل ممکن است متن نامه، سند یا صفحه وب را بخواند. اگر داخل آن نوشته شده باشد «این اطلاعات را برای شخص دیگری بفرست»، آن نوشته به‌خودی‌خود اختیار صاحب سامانه نیست. طراحی باید میان داده‌ای که پردازش می‌شود و دستوری که از فرد مجاز آمده فرق بگذارد.

برای آزمون، می‌توان در محیط کنترل‌شده سندی با دستور نامرتبط قرار داد و دید آیا عامل از وظیفه تعریف‌شده خارج می‌شود. این آزمون جای ارزیابی امنیتی کامل را نمی‌گیرد؛ هدفش آشکارکردن یک مرز مهم در رفتار سامانه است.

اختیار باید قابل محدودسازی بماند

ثبت ابزار فراخوانی‌شده، زمان اقدام، نتیجه و فرد یا حساب مسئول، امکان رسیدگی را بیشتر می‌کند. همچنین باید معلوم باشد در صورت تکرار خطا چه کسی اتصال را محدود یا متوقف می‌کند و کار از چه مسیر جایگزینی ادامه می‌یابد.

پیش از افزایش اختیار، از تیم بخواهید یک اقدام نامناسب را تا مهار و اصلاح دنبال کند. اگر تنها راه جلوگیری از خطا، امید به رعایت یک جمله در دستور مدل باشد، طراحی هنوز به کنترل عملی بیشتری نیاز دارد. عامل مفید، عاملی است که اختیارش با کاری که باید انجام دهد تناسب داشته باشد.

درباره این مطلب

این مطلب با کمک ابزارهای هوش مصنوعی تهیه شده است. ادعاهای منابع از تحلیل و پیشنهادهای تحریریه خرد متمایز شده‌اند؛ تصویر مفهومی است و مثال‌های فرضی، رویداد واقعی را گزارش نمی‌کنند.

منابع اصلی

OWASP؛ خطر اختیار بیش از اندازه در سامانه‌های زبانی، نسخه ۲۰۲۵

NCSC؛ راهنمای استقرار امن سامانه‌های هوش مصنوعی، ۲۰۲۳