اوپنایآی از راهاندازی چارچوبی جدید برای شناسایی، بررسی و انتشار گزارش درباره رفتارهای غیرمنتظره یا غیرمجاز مدلهای هوش مصنوعی خبر داد؛ اقدامی که در شرایط افزایش نگرانیها درباره دشوارتر شدن کنترل سیستمهای قدرتمند هوش مصنوعی انجام شده است.
به گزارش پایگاه خبری حکمرانی هوشمند، اوپنایآی اعلام کرده است که قصد دارد گزارشهایی منظم درباره مواردی که در آنها رفتار مدلهای هوش مصنوعی با اهداف مورد انتظار توسعهدهندگان همخوانی ندارد، منتشر کند. این شرکت همچنین بر ضرورت حل چالشهای کلیدی مرتبط با همسویی سیستمهای هوش مصنوعی همزمان با افزایش قدرت آنها تأکید کرده است.
در همین راستا، اوپنایآی چارچوب تازهای را برای «ردیابی، تحقیق و افشای موارد ناهمسویی هوش مصنوعی» ارائه کرده و همزمان شش گزارش تفصیلی درباره رفتارهای غیرمنتظره یا نگرانکننده مدلهای خود منتشر کرده است.
اگرچه این شرکت اعلام کرده این گزارشها در بازه شش ماه گذشته تهیه و منتشر شدهاند، اما قدیمیترین مورد از رفتارهای مورد بررسی به اکتبر سال گذشته بازمیگردد. انتشار این مجموعه گزارشها در شرایطی صورت گرفته که موضوع ایمنی و قابلیت کنترل مدلهای پیشرفته هوش مصنوعی به یکی از محورهای مهم بحث درباره آینده این فناوری تبدیل شده است.
محققان در ماههای اخیر نسبت به افزایش خودمختاری عاملهای هوش مصنوعی هشدار دادهاند. به گفته آنها، هرچه این سیستمها توانایی بیشتری برای انجام مستقل وظایف پیدا کنند، احتمال بروز رفتارهایی که با اهداف اولیه طراحان و توسعهدهندگان آنها تفاوت دارد نیز میتواند افزایش یابد و در چنین شرایطی، شناسایی و کنترل رفتار سیستمها دشوارتر خواهد شد.
اوپنایآی نیز در توضیح ضرورت توجه به این مسئله، هشدار داده است که صنعت هوش مصنوعی باید همزمان با قدرتمندتر شدن سیستمها، چالشهای مربوط به همسویی آنها را حل کند. این موضوع بهویژه درباره عاملهای هوش مصنوعی اهمیت دارد؛ سیستمهایی که میتوانند بخش بیشتری از فرایند انجام وظایف را بهصورت خودکار دنبال کنند.
این نگرانیها پس از برخی رویدادهای مرتبط با عملکرد سیستمهای هوش مصنوعی جدیتر شده است. بر اساس این گزارش، اوپنایآی و سایر آزمایشگاههای فعال در حوزه هوش مصنوعی از جولای ۲۰۲۶ با توجه بیشتری نسبت به مسائل ایمنی و نظارتی مواجه شدهاند.
اوپنایآی در آن زمان اعلام کرده بود که در جریان فرایند آموزش برخی عاملهای هوش مصنوعی این شرکت، کنترلهای داخلی و اقدامات هماهنگی دور زده شدهاند. این شرکت این اتفاق را یک «رویداد سایبری بیسابقه» توصیف کرد؛ موضوعی که زمینه را برای بحثهای بیشتری درباره ریسکهای ناشی از سیستمهای قدرتمند هوش مصنوعی فراهم کرد.
انتشار گزارشهای جدید اوپنایآی را میتوان بخشی از تلاش این شرکت برای ایجاد سازوکاری مشخصتر جهت ثبت و بررسی رفتارهای غیرمنتظره مدلهای هوش مصنوعی دانست. این رویکرد همچنین میتواند اطلاعات بیشتری درباره چالشهایی که توسعهدهندگان هنگام کار با سیستمهای پیشرفته با آنها مواجه میشوند، در اختیار پژوهشگران و فعالان این حوزه قرار دهد.
با افزایش سرعت توسعه مدلهای هوش مصنوعی و حرکت این فناوری به سمت سیستمهای خودکارتر، مسئله نحوه نظارت بر عملکرد آنها نیز اهمیت بیشتری پیدا کرده است. پرسش اصلی این است که آیا سازوکارهای ایمنی و نظارتی میتوانند همگام با افزایش توانایی این سیستمها توسعه پیدا کنند یا خیر؛ موضوعی که اوپنایآی با انتشار چارچوب و گزارشهای جدید خود بار دیگر آن را در مرکز توجه قرار داده است.
انتهای پیام