شرکت اوپنایآی از آمادهسازی مدل هوش مصنوعی جدید خود با نام «آسترا» خبر داده است؛ مدلی که به گفته این شرکت میتواند آسیبپذیریهای امنیتی ناشناخته در سیستمهای رایانهای را شناسایی و بدون دریافت راهنمایی مستقیم از انسان از آنها بهرهبرداری کند.
به گزارش پایگاه خبری حکمرانی هوشمند، اوپنایآی اعلام کرده است که آسترا به زودی در دسترس قرار خواهد گرفت، اما دسترسی کاربران به پیشرفتهترین قابلیتهای امنیت سایبری آن با محدودیتهای بیشتری همراه خواهد بود. این تصمیم در شرایطی اتخاذ شده که توانایی مدلهای هوش مصنوعی در شناسایی و بهرهبرداری از نقصهای امنیتی، نگرانیهای تازهای را درباره سوءاستفاده احتمالی از این فناوری ایجاد کرده است.
اوپنایآی در توضیح قابلیتهای این مدل اعلام کرده است: «ما قصد داریم به زودی آسترا را در دسترس قرار دهیم، اما دسترسی به پیشرفتهترین قابلیتهای امنیت سایبری آن محدودتر خواهد بود.»
بر اساس اعلام این شرکت، آسترا در معیار «ExploitBench» که توانایی مدلهای زبانی بزرگ در هک آسیبپذیریهای شناختهشده سیستمها را ارزیابی میکند، عملکرد کاملی داشته است. همچنین در نسخهای اصلاحشده از این آزمایش که توسط مهندسان اوپنایآی طراحی شده، آسترا توانسته است دو آسیبپذیری را شناسایی و از آنها بهرهبرداری کند.
این توانایی میتواند از یک سو کاربردهای مهمی برای ارتقای امنیت سایبری داشته باشد و از سوی دیگر، در صورت دسترسی افراد یا گروههای مخرب به قابلیتهای آن، خطرات جدیدی ایجاد کند. از همین رو، اوپنایآی اعلام کرده است که عرضه عمومی مدل را با مجموعهای از محدودیتها و سازوکارهای کنترلی همراه خواهد کرد.
تمرکز اوپنایآی بر کنترل رفتار مدل
اوپنایآی اعلام کرده است که برای جلوگیری از سوءاستفاده از مدلهای خود و همچنین کاهش احتمال بروز رفتارهای مخرب از سوی خود مدل، روی روشهای جدید مهار و کنترل آنها کار میکند.
این شرکت همچنین شناسایی حسابهایی را که از نظر آن پرریسک محسوب میشوند آغاز کرده و قصد دارد پاسخهای آسترا به درخواستهای این حسابها را محدود کند. با این حال، جزئیات مربوط به نحوه شناسایی حسابهای پرریسک و سازوکار اعمال محدودیتها منتشر نشده است.
آزمایشهای بیشتر پیش از عرضه عمومی
یکی از ابهامهای موجود درباره آسترا، میزان واقعی تواناییهای آن و اثربخشی سازوکارهای ایمنی پیشبینیشده است. اوپنایآی اعلام کرده که پیش از عرضه عمومی، آزمایش این مدل را با گروهی از ارزیابان آغاز خواهد کرد، اما اطلاعاتی درباره هویت این افراد یا نحوه انتخاب آنها ارائه نکرده است.
همچنین مشخص نیست که آیا این شرکت برای ارزیابی مدل پیش از انتشار عمومی، با دولت آمریکا همکاری خواهد کرد یا خیر. نبود ارزیابی مستقل و شخص ثالث نیز باعث شده است که بررسی ادعاهای اوپنایآی درباره عملکرد و ایمنی آسترا همچنان دشوار باشد.
اهمیت این موضوع پس از رویدادهایی که در آن عوامل هوش مصنوعی توانستند از محیط آزمایشی خارج شوند و به دادههای خصوصی شرکت «هاگینگ فیس» دسترسی پیدا کنند، بیشتر شده است. اوپنایآی اعلام کرده است که برای آسترا آزمایشی را طراحی کرده تا مشخص شود آیا این مدل میتواند رفتار عوامل سرکش در آن حادثه را تکرار کند یا خیر.
به گفته اوپنایآی، آسترا در این آزمایشها تلاش نکرده است از محیط آزمایشی خود خارج شود.
با این حال، این شرکت تأکید کرده است که ارزیابیهای بیشتری درباره آسترا انجام خواهد شد و انتظار میرود پس از عرضه عمومی، اطلاعات ایمنی بیشتری درباره این مدل منتشر شود. به این ترتیب، عرضه آسترا میتواند یکی از آزمونهای مهم صنعت هوش مصنوعی در زمینه ایجاد توازن میان افزایش توانایی مدلها و ضرورت حفظ امنیت و کنترلپذیری آنها باشد.
انتهای پیام