دانشمندان دانشگاه MIT با همکاری «مرضیه قاسمی» پژوهشگر ایرانی، روشی نوین برای شناسایی مدل‌های هوش مصنوعی توسعه داده‌اند که بدون تولید محتوای غیرقانونی، قابلیت این مدل‌ها در تولید محتوای سوءاستفاده از کودکان را تشخیص می‌دهد.

به گزارش پایگاه خبری حکمرانی هوشمند، همزمان با گسترش استفاده از مدل‌های متن‌باز هوش مصنوعی، نگرانی‌ها درباره سوءاستفاده از این فناوری نیز افزایش یافته است. بر اساس آمار منتشرشده، «مرکز ملی کودکان گمشده و مورد سوءاستفاده قرار گرفته» در سال ۲۰۲۵ بیش از یک میلیون و ۵۰۰ هزار گزارش درباره محتوای تولیدشده توسط هوش مصنوعی دریافت کرده است؛ رقمی که در مقایسه با ۶۷ هزار گزارش ثبت‌شده در سال ۲۰۲۴ رشد چشمگیری را نشان می‌دهد.

در همین راستا، پژوهشگران MIT با همکاری سازمان غیرانتفاعی ایمنی کودکان Thorn، روشی را طراحی کرده‌اند که به جای تولید خروجی، ساختار درونی مدل‌های هوش مصنوعی را بررسی می‌کند تا مشخص شود آیا این مدل‌ها برای تولید تصاویر و محتوای مضر آموزش دیده‌اند یا خیر.

نتایج این پژوهش نشان می‌دهد که روش پیشنهادی توانسته هنگام آزمایش، تغییرات مرتبط با تخصصی‌سازی مدل‌ها برای تولید محتوای حساس را با دقت ۱۰۰ درصد شناسایی کند؛ قابلیتی که می‌تواند به پلتفرم‌های میزبان مدل‌های متن‌باز کمک کند تا مدل‌های ناامن را پیش از انتشار شناسایی و حذف کنند.

«وینیث سوریاکومار» درباره اهمیت این دستاورد گفت: این روش، مسیر جدیدی را برای پلتفرم‌های میزبان مدل‌های متن‌باز و همچنین برای مجریان قانون باز می‌کند تا آزمایش کنند که آیا یک مدل قادر به تولید محتوای حساس است یا خیر. پیش از این، ما هیچ راهی برای بررسی این موضوع نداشتیم. این یک نقطه کور بزرگ بود که برخی افراد از آن سوءاستفاده می‌کردند. اکنون می‌توانیم به یک مشکل ایمنی هوش مصنوعی که تأثیرات منفی شدیدی دارد، رسیدگی کنیم.»

پژوهشگران اعلام کرده‌اند در گام بعدی قصد دارند این فناوری را روی طیف گسترده‌تری از مدل‌های هوش مصنوعی آزمایش کنند تا مشخص شود آیا امکان شناسایی قابلیت‌های مخرب در مدل‌های پایه، پیش از شخصی‌سازی آنها نیز وجود دارد یا خیر.

مرضیه قاسمی، دانشیار MIT، نیز با اشاره به اهمیت این همکاری اظهار کرد: اکنون ما یک روش فناورانه را برای رفع بخشی از این نگرانی داریم. تلاش‌ بسیاری برای این همکاری صرف شد و ما را قادر ساخت تا با یک مشکل واقعاً دشوار که به بسیاری از کودکان در سطح ملی و جهانی آسیب می‌رساند، مقابله کنیم. امیدواریم بتوانیم تأثیر دگرگون‌کننده‌ای را در این زمینه داشته باشیم.

انتهای پیام