هشدار کارشناسان مایکروسافت: هوش مصنوعی هرگز امن نخواهد شد!

به گفته‌ ی متخصصان خود مایکروسافت، حتی بعد از آزمایش صدها محصول هوش مصنوعی ساخت این شرکت، این نتیجه به دست اومده که هوش مصنوعی نه تنها مشکلات امنیتی موجود رو تشدید می‌کنه، بلکه چالش‌های جدیدی هم ایجاد می‌کنه که انگار پایانی ندارن. به زبان ساده، انگار وارد نبردی بی‌پایان با هوش مصنوعی شدیم.

۲۶ محقق مایکروسافت تو مقاله‌ای که پیش از چاپ منتشر شده، هشدار دادن که «تلاش برای ایمن‌ سازی سیستم‌های هوش مصنوعی هیچ‌ وقت تموم نمی‌شه». این نتیجه‌ی نهایی از بین هشت درس کلیدی هست که توی این مقاله آورده شده، اما خبر خوب اینه که این هشدار لزوماً آخرالزمان نیست. این محققان (که مارک روسینوویچ، مدیر ارشد فناوری آژور هم بین‌ شون هست)، می‌گن که با تلاش بیشتر، می‌ شه هزینه‌ ی حمله به سیستم‌ های هوش مصنوعی رو بالا برد، همونطور که برای بقیه ریسک‌های امنیتی هم انجام شده. بالاخره آیا هیچ سیستم کامپیوتری به طور کامل امن هست؟ بعضی‌ها میگن آره، بعضی‌ها میگن نه! بیشتر بخوانید : آیا هوش مصنوعی می‌تواند جایگزین انسان شود؟

خب، بیاید ببینیم این مقاله چه درس‌هایی رو ارائه داده:

درس اول

 «بفهمید سیستم چه‌ کار می‌تونه بکنه و کجا استفاده می‌شه.» این توصیه به این معنیه که مدل‌های هوش مصنوعی بر اساس طراحی و کاربردشون رفتار متفاوتی دارن، بنابراین برای ایجاد دفاع مؤثر، باید توانایی‌هاشون رو کاملاً درک کرد. مثلاً، تو آزمون مدل‌های زبانی Phi-3، محققان فهمیدن مدل‌های بزرگ‌تر، دستورات کاربر رو بهتر اجرا می‌کنند، که این یه قابلیت کلیدیه، اما در عین حال میتونه برای مدافعان بد هم باشه، چون ممکنه مدل‌ها از دستورات مخرب هم تبعیت کنن. این تیم امنیتی همچنین توصیه می‌کنه که تأثیر امنیتی توانایی‌های یک مدل رو بر اساس هدفش بررسی کنین. چون یه حمله‌ به هوش مصنوعی که برای نویسندگی خلاق طراحی شده، معمولاً خطری برای سازمان نداره، اما حمله به هوش مصنوعی که تاریخچه پزشکی بیمارها رو خلاصه می‌کنه، میتونه عواقب ناخوشایندی داشته باشه.

درس دوم

 «برای شکست دادن یک سیستم هوش مصنوعی، لازم نیست محاسبات پیچیده انجام بدید.» حملات گرادیانی (Gradient-based attacks) با تغییرات کوچک در ورودی، مدل رو فریب می‌دن و باعث می‌شن که پاسخ نادرستی بده. این نوع حمله‌ها برای مدل‌های متن‌ باز کاربرد دارن که دسترسی به پارامترها و ساختارشون آسونه، اما برای مدل‌های تجاری و اختصاصی این روش کار نمی‌کنه. اما تیم امنیت مایکروسافت می‌گه، روش‌های حمله‌ی ساده‌ تر (مثل فریب کاربر از طریق رابط کاربری) اغلب مؤثرتر هستن و چون مدل‌های هوش مصنوعی فقط یه جزء کوچیک از یک سیستم بزرگ‌ تر هستن، حمله‌های مؤثرتر بیشتر به سراغ بقیه نقاط ضعف سیستم میرن.

درس سوم

 «تست امنیتی هوش مصنوعی، معیار ایمنی نیست.» تست معیار، ریسک‌های شناخته شده رو اندازه‌ گیری می‌کنه، در حالی که هدف تست‌های امنیتی، کشف ریسک‌های جدیده. هر دو مهم هستن، ولی تفاوت دارن.

درس چهارم

 «خود کارسازی می‌تونه کمک کنه تا ریسک‌های بیشتری پوشش داده بشه.» کسانی که تجربه‌ ی کار در حوزه‌ی امنیت رو دارن، با اسکن و تحلیل خودکار آشنا هستن. مایکروسافت هم برای این کار از ابزاری به اسم PyRIT استفاده میکنه که هم کمک میکنه تا بهتر امنیت رو بررسی کنن و هم این ابزار میتونه به کسایی که میخوان حمله کنن هم کمک بکنه!

درس پنجم

 «عنصر انسانی تو تست امنیتی هوش مصنوعی حیاتیه.» با اینکه خودکارسازی برای بررسی های امنیتی خیلی مهمه، باز هم باید انسان ها توی حلقه باشن. محقق ها میگن که مهارت های فنی، درک فرهنگی و هوش هیجانی برای بررسی های امنیتی خیلی ضروریه. اونا همچنین هشدار میدن که باید حواستون به سلامت روان اعضای تیم امنیتی باشه، چون اونا ممکنه با محتوای ناخوشایند تولید شده توسط هوش مصنوعی، زیاد رو به رو بشن.

درس ششم

 «آسیب‌های ناشی از هوش مصنوعی گسترده‌ ان، اما اندازه‌ گیری‌شون سخته.» برخلاف یه آسیب‌ پذیری نرم‌ افزاری که قابل تکرار و توضیح دادنه، آسیب‌هایی که هوش مصنوعی ایجاد می‌کنه، معمولاً مبهم‌ ترن و اندازه گیریشون هم سخت تره. مثلاً، تو یکی از آزمایش‌ها از یه هوش مصنوعی تصویری خواسته شده تصویری از یه منشی که جلوی رئیسش ایستاده رو تولید کنه. نکته جالب اینجاست که هوش مصنوعی بدون اشاره به جنسیت، همواره تصویر یک زن رو به عنوان منشی و یک مرد رو به عنوان رئیس ترسیم می‌ کرده، که این مسئله نشون می‌ده که چطور هوش مصنوعی می‌تونه کلیشه‌های جنسیتی رو تقویت کنه.

و اما درس هفتم

«مدل‌های زبانی بزرگ، ریسک‌های امنیتی موجود رو تشدید می‌کنن و ریسک‌های جدیدی ایجاد می‌کنن.»

محققین مایکروسافت می‌گن: «به دلیل محدودیت‌های اساسی مدل‌های زبانی، باید فرض کرد که اگر ورودی نامعتبر به هوش مصنوعی داده بشه، خروجی غیرقابل پیش‌بینی تولید می‌کنه. و وقتی اون ورودی شامل اطلاعات محرمانه باشه، باید فرض کرد که مدل، اون اطلاعات رو هم افشا می‌کنه.»

شاید این خبر برای متخصصان امنیت، خبر خوبی هم باشه، چون ریسک‌های جدید یعنی نیاز بیشتر به متخصص امنیتی، یعنی شغل بیشتر! اگه فکر می‌کردین ویندوز پر از وصله‌های امنیتیه، منتظر باشید تا هوش مصنوعی رو هم بهش اضافه کنین.

چرا صفر و یک؟

همین حالا به صفر و یک بپیوندید . ما ارائه‌ دهنده خدماتی مانند VDSL،کولوکیشن، +ADSL2 ،   هستیم. با ما، از تجربه‌ ای متمایز و پشتیبانی بی‌ نظیر لذت ببرید.

 همین حالا با ما تماس بگیرید!