ایجنت‌های هوش مصنوعی در حال تبدیل شدن به بخشی از زیرساخت کاری شرکت‌ها و سازمان‌ها هستند؛ از نوشتن و اجرای کد گرفته تا تحلیل داده‌ها، دسترسی به اطلاعات داخلی و انجام خودکار وظایف پیچیده. اما هرچه اختیار و دسترسی این ابزارها بیشتر می‌شود، خطر بروز خطا، تصمیم‌های غیرقابل‌پیش‌بینی و سوءاستفاده از مجوزهای سازمانی نیز افزایش پیدا می‌کند. مایکروسافت با معرفی قابلیت‌های امنیتی جدید، نسبت به همین خطر هشدار داده و تأکید کرده است که ایجنت‌های هوش مصنوعی باید مانند یک تهدید بالقوه درون سازمانی تحت نظارت قرار بگیرند.
محور اصلی رویکرد جدید مایکروسافت، ایجاد لایه‌های امنیتی مستقلی است که بتوانند رفتار ایجنت‌ها را بررسی کنند؛ حتی اگر این ابزارها توسط شرکت‌های معتبر توسعه یافته باشند. این رویکرد نشان می‌دهد که با گسترش هوش مصنوعی عامل‌محور، اتکا به تضمین‌های امنیتی سازندگان مدل‌ها به‌تنهایی کافی نیست و سازمان‌ها به کنترل‌های مستقل، محدودیت دسترسی و نظارت انسانی نیاز دارند.
ایجنت‌های نگهبان مایکروسافت چه هستند؟
یکی از مهم‌ترین قابلیت‌های معرفی‌شده از سوی مایکروسافت، سامانه‌ای با نام «ایجنت‌های نگهبان» (Guardian Agents) است. هدف این سامانه، پایش و بررسی عملکرد ایجنت‌های هوش مصنوعی در محیط سازمانی و شناسایی رفتارهایی است که ممکن است با سیاست‌های امنیتی یا الزامات عملیاتی شرکت سازگار نباشند.
برخلاف ابزارهایی که صرفاً برای مقابله با حملات خارجی طراحی شده‌اند، ایجنت‌های نگهبان بر رفتار ابزارهایی تمرکز دارند که ممکن است خود سازمان آنها را به‌کار گرفته باشد. برای مثال، یک ایجنت برنامه‌نویسی می‌تواند به مخزن کد دسترسی داشته باشد یا یک ایجنت اداری بتواند اطلاعات حساس را پردازش کند. اگر چنین ابزاری دستوری اشتباه را اجرا کند، بیش از حد به داده‌ها دسترسی پیدا کند یا اقدامی خارج از انتظار انجام دهد، پیامد آن ممکن است به بخش‌های مهم سازمان گسترش پیدا کند.
این قابلیت بخشی از پروژه امنیتی Perception مایکروسافت است؛ پروژه‌ای که برای تقویت توانایی شناسایی آسیب‌پذیری‌ها، ارزیابی حملات و کمک به رفع مشکلات امنیت سایبری توسعه داده شده است.
چرا ایجنت‌های هوش مصنوعی به تهدید درونی تبدیل می‌شوند؟
در امنیت سایبری، اصطلاح «تهدید درونی» (Insider Threat) معمولاً به خطا یا اقدام مخربی اشاره دارد که از سوی فرد یا عاملی دارای دسترسی مجاز به منابع داخلی سازمان رخ می‌دهد. این تهدید الزاماً به معنای وجود یک کارمند خرابکار نیست؛ گاهی یک کاربر مجاز، به دلیل اشتباه یا رعایت نکردن رویه‌های امنیتی، زمینه افشای اطلاعات یا اختلال در سیستم‌ها را فراهم می‌کند.
ایجنت‌های هوش مصنوعی نیز می‌توانند در همین دسته از ریسک‌ها قرار بگیرند. آنها ممکن است با مجوزهای معتبر به ابزارها، فایل‌ها، پایگاه‌های داده یا سامانه‌های داخلی متصل باشند، اما رفتارشان همیشه به‌طور کامل قابل پیش‌بینی نیست.
تفاوت ایجنت با یک ابزار نرم‌افزاری معمولی
یک نرم‌افزار سنتی اغلب مجموعه‌ای از دستورالعمل‌های مشخص را اجرا می‌کند، اما ایجنت هوش مصنوعی می‌تواند بر اساس هدف تعیین‌شده، وضعیت محیط و خروجی ابزارهای دیگر، مراحل بعدی کار را انتخاب کند. همین توانایی باعث افزایش بهره‌وری می‌شود، اما در عین حال احتمال اجرای زنجیره‌ای از اقداماتی را به وجود می‌آورد که مدیر سیستم از ابتدا پیش‌بینی نکرده است.
برای نمونه، ایجنتی که برای رفع یک مشکل نرم‌افزاری دسترسی به کد و ابزارهای استقرار دارد، ممکن است راه‌حلی را انتخاب کند که ناخواسته تنظیمات حساس را تغییر دهد. در محیطی دیگر، یک ایجنت تحلیل داده ممکن است اطلاعاتی را در اختیار ابزار یا مقصدی قرار دهد که برای آن مجاز نبوده است. این سناریوها نمونه‌هایی از ریسک‌های احتمالی هستند و به معنای وقوع قطعی چنین اتفاقاتی در همه سامانه‌ها نیستند.
از نگاه امنیتی، مسئله اصلی این است که داشتن دسترسی مجاز لزوماً به معنای تصمیم‌گیری درست در تمام شرایط نیست. بنابراین، سازمان‌ها باید علاوه بر کنترل هویت و مجوزها، رفتار واقعی ایجنت‌ها را نیز زیر نظر داشته باشند.
هشدار ساتیا نادلا درباره اتکای بیش از حد به سازندگان مدل‌ها
ساتیا نادلا، مدیرعامل مایکروسافت، بر ضرورت ایجاد سازوکارهای نظارتی مستقل برای کنترل ایجنت‌های هوش مصنوعی تأکید کرده است. این دیدگاه بر این اصل استوار است که حتی اگر شرکت سازنده برای ایمنی مدل خود آزمایش‌های گسترده‌ای انجام داده باشد، سازمان استفاده‌کننده همچنان باید مسئولیت کنترل دسترسی‌ها و ارزیابی عملکرد آن را بر عهده بگیرد.
دلیل این رویکرد، لزوماً بدخواه بودن مدل‌ها یا وجود آسیب‌پذیری شناخته‌شده در آنها نیست. مسئله این است که مدل‌های پیشرفته ممکن است در شرایط پیچیده، هنگام دریافت دستورهای مبهم یا در تعامل با ابزارهای مختلف، خروجی‌هایی تولید کنند که با انتظار مدیران سازمان تفاوت داشته باشد.
در چنین شرایطی، اگر نظارت امنیتی فقط به ابزارها و تضمین‌های ارائه‌شده توسط سازنده مدل وابسته باشد، سازمان ممکن است کنترل کافی بر نحوه استفاده از ایجنت‌ها نداشته باشد. مایکروسافت پیشنهاد می‌کند لایه‌ای مستقل از نظارت و کنترل ایجاد شود تا تصمیم‌های ایجنت‌ها، دسترسی آنها و اقداماتی که انجام می‌دهند، مطابق سیاست‌های داخلی سازمان بررسی شوند.
پروژه Perception چگونه به امنیت سازمان‌ها کمک می‌کند؟
پروژه Perception مایکروسافت با هدف تقویت توانایی‌های امنیت سایبری و شناسایی و رفع آسیب‌پذیری‌ها مطرح شده است. در توضیحات ارائه‌شده درباره این پروژه، سه نقش مکمل برای بررسی امنیت دیده می‌شود:
- تیم قرمز: تلاش می‌کند مانند یک مهاجم عمل کند و مسیرهای احتمالی نفوذ یا سوءاستفاده را شناسایی کند.
- تیم آبی: حملات و رفتارهای مشکوک را بررسی می‌کند و به شناسایی آسیب‌پذیری‌ها و ارزیابی دفاع‌های امنیتی می‌پردازد.
- تیم سبز: بر رفع مشکلات شناسایی‌شده و بهبود امنیت سامانه‌ها تمرکز دارد.
اهمیت رویکرد جدید این است که دامنه بررسی امنیتی را فراتر از مهاجمان خارجی می‌برد. در کنار بررسی مسیرهای نفوذ از بیرون، باید رفتار ایجنت‌هایی نیز ارزیابی شود که در داخل سازمان فعالیت می‌کنند و ممکن است به منابع حساس دسترسی داشته باشند.
این تغییر نگاه با گسترش ایجنت‌های خودکار اهمیت بیشتری پیدا می‌کند؛ زیرا یک ایجنت می‌تواند در مدت کوتاهی چندین ابزار را فراخوانی کند، اطلاعات را بین سامانه‌ها منتقل کند یا چند مرحله عملیاتی را پشت سر هم انجام دهد. بنابراین، شناسایی و مهار رفتار پرخطر باید با سرعت و دقت متناسب با فعالیت این ابزارها انجام شود.
قابلیت‌های جدید Microsoft Defender برای شناسایی ایجنت‌ها
مایکروسافت همچنین از قابلیت‌هایی برای Microsoft Defender خبر داده است که می‌توانند ایجنت‌های هوش مصنوعی مورد استفاده کارکنان را در محیط کاری شناسایی و ردیابی کنند. طبق گزارش منتشرشده، این قابلیت امکان شناسایی حداکثر ۶۰ نوع ایجنت را فراهم می‌کند؛ از جمله ابزارهایی مانند Claude Code و Codex.
اهمیت این قابلیت در پدیده‌ای است که گاهی «هوش مصنوعی سایه» نامیده می‌شود؛ یعنی استفاده کارکنان از ابزارهای هوش مصنوعی بدون آنکه تیم فناوری اطلاعات یا امنیت سازمان از تمام جزئیات آن اطلاع داشته باشد. چنین ابزارهایی ممکن است به فایل‌ها، کدهای داخلی یا داده‌های سازمانی دسترسی پیدا کنند، در حالی که سیاست‌های امنیتی شرکت هنوز برای آنها تعریف نشده است.
شناسایی ایجنت‌ها به مدیران فناوری اطلاعات کمک می‌کند تصویری دقیق‌تر از ابزارهای فعال در محیط کاری داشته باشند و بتوانند دسترسی‌ها و خطرهای احتمالی را بررسی کنند. البته شناسایی یک ایجنت به‌تنهایی برای تضمین امنیت کافی نیست؛ پس از کشف ابزار، باید مشخص شود چه داده‌هایی در اختیار آن قرار دارد، چه اقداماتی می‌تواند انجام دهد و آیا استفاده از آن با سیاست‌های سازمان سازگار است یا خیر.
محدودسازی دسترسی و تأیید انسانی برای اقدامات پرخطر
یکی دیگر از بخش‌های مهم رویکرد امنیتی مایکروسافت، مدیریت دقیق‌تر دسترسی ایجنت‌ها است. بر اساس گزارش منتشرشده، قابلیت‌های جدید بر محدود کردن دسترسی به داده‌ها، تغییر پویا در مجوزها و الزام به تأیید اپراتور انسانی برای برخی تصمیم‌های پرخطر تمرکز دارند.
این رویکرد با اصل «حداقل سطح دسترسی» (Least Privilege) در امنیت سایبری هماهنگ است. بر اساس این اصل، هر ابزار یا کاربر باید فقط به منابعی دسترسی داشته باشد که برای انجام وظیفه خود واقعاً به آنها نیاز دارد.
چرا مجوزهای دائمی خطرناک هستند؟
اگر یک ایجنت برای انجام یک کار محدود، دسترسی گسترده و دائمی به فایل‌ها، حساب‌های کاربری یا سامانه‌های عملیاتی داشته باشد، هرگونه خطا یا سوءاستفاده احتمالی می‌تواند پیامدهای بزرگ‌تری ایجاد کند. در مقابل، دسترسی محدود و متناسب با وظیفه، دامنه خسارت احتمالی را کاهش می‌دهد.
مدیریت پویا به این معناست که مجوزها می‌توانند با توجه به وظیفه و شرایط تغییر کنند. برای مثال، ایجنتی که قرار است گزارشی را تحلیل کند، لزوماً نباید امکان حذف داده‌های اصلی یا تغییر تنظیمات سامانه را داشته باشد.
در کنار این محدودیت‌ها، برخی اقدامات حساس باید همچنان به تأیید انسان وابسته باشند. حذف گسترده اطلاعات، تغییر دسترسی کاربران، انتقال داده‌های محرمانه یا اجرای تغییرات مهم در زیرساخت، نمونه‌هایی از اقداماتی هستند که سازمان‌ها می‌توانند برای آنها مرحله تأیید انسانی تعریف کنند.
سازمان‌ها برای کاهش خطر ایجنت‌های هوش مصنوعی چه کار کنند؟
معرفی ابزارهای امنیتی جدید تنها بخشی از راهکار است. سازمان‌ها برای استفاده مسئولانه از ایجنت‌های هوش مصنوعی باید سیاست‌های مشخصی برای انتخاب، استقرار، نظارت و ارزیابی این ابزارها داشته باشند. اقدامات زیر می‌توانند به کاهش ریسک کمک کنند:
- تهیه فهرست ایجنت‌ها: سازمان باید بداند چه ابزارهایی توسط کارکنان و واحدهای مختلف استفاده می‌شوند و هرکدام به چه منابعی دسترسی دارند.
- تعریف مجوزهای محدود: دسترسی هر ایجنت باید متناسب با وظیفه آن باشد و از اعطای مجوزهای گسترده و غیرضروری پرهیز شود.
- ثبت فعالیت‌ها: درخواست‌ها، فراخوانی ابزارها، تغییرات مهم و دسترسی به داده‌های حساس باید تا حد امکان ثبت و قابل بررسی باشند.
- استفاده از نظارت مستقل: کنترل امنیتی نباید صرفاً به قابلیت‌های ایمنی مدل یا ادعاهای سازنده آن متکی باشد.
- تأیید انسانی برای اقدامات حساس: عملیات پرخطر باید در صورت لزوم پیش از اجرا توسط فرد مسئول بررسی شوند.
- آزمایش پیش از استقرار: ایجنت‌ها باید در محیط آزمایشی و با سناریوهای مختلف بررسی شوند تا رفتارهای ناخواسته احتمالی شناسایی شود.
- برنامه واکنش به حادثه: سازمان باید بتواند در صورت مشاهده رفتار مشکوک، دسترسی ایجنت را محدود یا قطع کند و آثار فعالیت آن را بررسی کند.
اجرای این اقدامات به معنای حذف کامل خطر نیست، اما می‌تواند احتمال بروز خطا و دامنه پیامدهای آن را کاهش دهد. میزان کنترل موردنیاز نیز باید بر اساس حساسیت داده‌ها، سطح دسترسی ایجنت و اهمیت سامانه‌هایی که با آنها تعامل دارد، تعیین شود.
آیا ایجنت‌های هوش مصنوعی برای شرکت‌ها خطرناک هستند؟
ایجنت‌های هوش مصنوعی می‌توانند کارهای تکراری را خودکار کنند، سرعت انجام وظایف را افزایش دهند و به کارکنان در تحلیل اطلاعات یا توسعه نرم‌افزار کمک کنند. با این حال، افزایش اختیار آنها بدون ایجاد کنترل‌های متناسب می‌تواند ریسک‌های تازه‌ای برای امنیت سازمانی ایجاد کند.
نکته اصلی این نیست که همه ایجنت‌ها ذاتاً مخرب یا ناامن هستند؛ بلکه نباید رفتار آنها را در تمام شرایط کاملاً قابل پیش‌بینی فرض کرد. همان‌طور که سازمان‌ها برای کارکنان، حساب‌های کاربری و نرم‌افزارهای حیاتی کنترل دسترسی تعریف می‌کنند، ایجنت‌های هوش مصنوعی نیز باید تحت نظارت و ارزیابی مستمر قرار بگیرند.
رویکرد تازه مایکروسافت نشان می‌دهد که امنیت هوش مصنوعی به‌تدریج از بررسی مدل‌ها در مرحله توسعه فراتر می‌رود و به مدیریت رفتار آنها در محیط واقعی سازمان‌ها می‌رسد. در چنین شرایطی، ترکیب نظارت مستقل، دسترسی محدود، ثبت فعالیت‌ها و تأیید انسانی می‌تواند نقش مهمی در کاهش خطرات ایفا کند.
جمع‌بندی
مایکروسافت با معرفی ایجنت‌های نگهبان و قابلیت‌های تازه Microsoft Defender، بر ضرورت کنترل مستقل ایجنت‌های هوش مصنوعی تأکید کرده است. این ابزارها با هدف شناسایی ایجنت‌های فعال، پایش رفتار آنها و مدیریت دسترسی‌ها معرفی شده‌اند؛ در حالی که پروژه Perception نیز بر شناسایی و رفع آسیب‌پذیری‌های امنیتی تمرکز دارد.
پیام اصلی این رویکرد برای شرکت‌ها روشن است: استفاده از مدل‌های پیشرفته و ابزارهای خودکار نباید جایگزین مسئولیت امنیتی سازمان شود. هرچه ایجنت‌ها اختیار بیشتری برای دسترسی به داده‌ها و اجرای عملیات داشته باشند، نیاز به نظارت مستقل، محدودیت‌های دقیق و کنترل انسانی نیز بیشتر خواهد شد.
