محققان دانشگاه علوم توکیو (TUS) روشی را ابداع کردهاند که مدلهای هوش مصنوعی در مقیاس بزرگ را قادر میسازد تا بهطور انتخابی کلاسهای خاصی از دادهها را «فراموش کنند».
پیشرفت در هوش مصنوعی ابزارهایی را فراهم کرده است که میتوانند در حوزههای مختلف، از مراقبتهای بهداشتی گرفته تا رانندگی خودران، انقلابی ایجاد کنند. با این حال، با پیشرفت تکنولوژی، پیچیدگی ها و ملاحظات اخلاقی آن نیز افزایش می یابد.
الگوی سیستمهای هوش مصنوعی از پیش آموزشدیده در مقیاس بزرگ، مانند ChatGPT و CLIP (آموزش زبان متضاد-تصویر)، انتظارات را برای ماشینها تغییر داده است. این مدلهای بسیار کلی که قادر به انجام مجموعه وسیعی از وظایف با دقت ثابت هستند، برای استفاده حرفهای و شخصی مورد استفاده گسترده قرار گرفتهاند.
با این حال، چنین تطبیق پذیری قیمت گزافی دارد. آموزش و اجرای این مدلها به انرژی و زمان زیادی نیاز دارد، نگرانیهای پایداری را افزایش میدهد، و همچنین به سختافزار پیشرفتهتر بهطور قابلتوجهی گرانتر از رایانههای استاندارد نیاز دارد. ترکیب این مسائل این است که گرایشهای عمومی ممکن است کارایی مدلهای هوش مصنوعی را هنگامی که برای وظایف خاص اعمال میشوند، مختل کند.
به عنوان مثال، “در کاربردهای عملی، طبقه بندی انواع کلاس های شی به ندرت مورد نیاز است”، دانشیار Go Irie، که این تحقیق را رهبری می کرد، توضیح می دهد. به عنوان مثال، در یک سیستم رانندگی مستقل، تشخیص کلاس های محدودی از اشیاء مانند اتومبیل ها، عابران پیاده و علائم راهنمایی و رانندگی کافی است.
ما نیازی به تشخیص غذا، مبلمان یا گونه های حیوانی نداریم. حفظ کلاسهایی که نیازی به شناسایی ندارند، ممکن است دقت کلی طبقهبندی را کاهش دهد و همچنین باعث آسیبهای عملیاتی مانند هدر رفتن منابع محاسباتی و خطر نشت اطلاعات شود.
یک راهحل بالقوه در مدلهای آموزشی برای «فراموش کردن» اطلاعات اضافی یا غیر ضروری نهفته است – سادهسازی فرآیندهای آنها برای تمرکز صرفاً بر آنچه مورد نیاز است. در حالی که برخی از روشهای موجود قبلاً این نیاز را برآورده میکنند، آنها تمایل دارند رویکرد «جعبه سفید» را در نظر بگیرند که در آن کاربران به معماری داخلی و پارامترهای یک مدل دسترسی دارند. با این حال، اغلب اوقات، کاربران چنین دیدی ندارند.
سیستمهای هوش مصنوعی «جعبه سیاه» که به دلیل محدودیتهای تجاری و اخلاقی رایجتر هستند، مکانیسمهای درونی خود را پنهان میکنند و تکنیکهای فراموشی سنتی را غیرعملی میکنند. برای رفع این شکاف، تیم تحقیقاتی به بهینهسازی بدون مشتقات روی آوردند – رویکردی که اتکا به عملکردهای داخلی غیرقابل دسترس یک مدل را کنار میزند.
پیشرفت از طریق فراموشی
این مطالعه که قرار است در کنفرانس سیستم های پردازش اطلاعات عصبی (NeurIPS) در سال ۲۰۲۴ ارائه شود، روشی را معرفی می کند که “فراموشی جعبه سیاه” نام دارد.
این فرآیند اعلانهای ورودی (دستورالعملهای متنی که به مدلها داده میشود) را در دورهای تکراری تغییر میدهد تا هوش مصنوعی به تدریج کلاسهای خاصی را «فراموش کند». دانشیار آیری در این کار با نویسندگان همکار یوسوکه کووانا و یوتا گوتو (هر دو از TUS)، در کنار دکتر تاکاشی شیباتا از شرکت NEC همکاری کرد .
برای آزمایشهای خود، محققان CLIP، یک مدل زبان بینایی با قابلیت طبقهبندی تصویر را مورد هدف قرار دادند. روشی که آنها توسعه دادند بر اساس استراتژی تکامل ماتریس کوواریانس (CMA-ES)، یک الگوریتم تکاملی است که برای بهینه سازی راه حل ها گام به گام طراحی شده است. در این مطالعه، CMA-ES برای ارزیابی و تقویت اعلانهای ارائهشده به CLIP استفاده شد، و در نهایت توانایی آن برای طبقهبندی دستههای تصویر خاص را سرکوب کرد.
با پیشرفت پروژه، چالش هایی به وجود آمد. تکنیکهای بهینهسازی موجود در مقیاس بزرگتری از مقولههای هدفمند تلاش میکردند، و این تیم را به ابداع یک استراتژی پارامتری جدید به نام «اشتراکگذاری متن پنهان» سوق داد.
این رویکرد زمینه پنهان را – نمایشی از اطلاعات تولید شده توسط اعلان ها – به قطعات کوچکتر و قابل مدیریت تر تقسیم می کند. با تخصیص عناصر خاص به یک نشانه (کلمه یا کاراکتر) و در عین حال استفاده مجدد از دیگران در چندین توکن، پیچیدگی مشکل را به طرز چشمگیری کاهش دادند. مهمتر از همه، این باعث شد که فرآیند از نظر محاسباتی حتی برای برنامه های فراموش شده گسترده قابل پردازش باشد.
محققان از طریق آزمایشهای معیار بر روی مجموعههای داده طبقهبندی تصاویر متعدد، کارآیی فراموشی جعبه سیاه را تأیید کردند – به این هدف دست یافتند که CLIP تقریباً ۴۰٪ از کلاسهای هدف را بدون دسترسی مستقیم به معماری داخلی مدل هوش مصنوعی «فراموش کند».
این تحقیق اولین تلاش موفقیت آمیز برای القای فراموشی انتخابی در یک مدل بینایی-زبان جعبه سیاه است که نتایج امیدوارکننده ای را نشان می دهد.
مزایای کمک به مدلهای هوش مصنوعی در فراموش کردن دادهها
فراتر از نبوغ فنی، این نوآوری دارای پتانسیل قابل توجهی برای کاربردهای دنیای واقعی است که در آن دقت ویژه کار در اولویت است.
سادهسازی مدلها برای کارهای تخصصی میتواند آنها را سریعتر، منابع کارآمدتر و قابلیت اجرا بر روی دستگاههای کمقدرتتر کند – تسریع در پذیرش هوش مصنوعی در مناطقی که قبلاً غیرممکن تلقی میشد.
یکی دیگر از کاربردهای کلیدی در تولید تصویر نهفته است، جایی که فراموش کردن تمام دستههای بافت بصری میتواند از ایجاد سهواً محتوای نامطلوب یا مضر توسط مدلها جلوگیری کند، چه مطالب توهینآمیز یا اطلاعات نادرست.
شاید مهمتر از همه، این روش به یکی از بزرگترین معضلات اخلاقی هوش مصنوعی می پردازد: حریم خصوصی .
مدلهای هوش مصنوعی، بهویژه مدلهای در مقیاس بزرگ، اغلب بر روی مجموعههای داده عظیمی آموزش داده میشوند که ممکن است سهوا حاوی اطلاعات حساس یا قدیمی باشند. درخواستها برای حذف چنین دادههایی – بهویژه با توجه به قوانینی که از “حق فراموش شدن” حمایت میکنند – چالشهای مهمی را ایجاد میکند.
بازآموزی کل مدلها برای حذف دادههای مشکلزا پرهزینه و زمانبر است، اما خطرات عدم توجه به آن میتواند عواقب گستردهای داشته باشد.
دانشیار Irie خاطرنشان می کند: «آموزش مجدد یک مدل در مقیاس بزرگ، انرژی زیادی مصرف می کند.” “فراموشی انتخابی” یا به اصطلاح یادگیری ماشینی، ممکن است راه حلی کارآمد برای این مشکل ارائه دهد.»
این برنامههای کاربردی متمرکز بر حریم خصوصی به ویژه در صنایع پرمخاطره مانند مراقبتهای بهداشتی و امور مالی ، که در آن دادههای حساس محور عملیات هستند، مرتبط هستند.
با شتاب گرفتن رقابت جهانی برای پیشرفت هوش مصنوعی، رویکرد فراموش کردن جعبه سیاه دانشگاه علوم توکیو مسیر مهمی را ترسیم می کند – نه تنها با سازگاری و کارآمدتر کردن فناوری، بلکه با افزودن تدابیر حفاظتی قابل توجه برای کاربران.
در حالی که احتمال استفاده نادرست همچنان وجود دارد، روش هایی مانند فراموشی انتخابی نشان می دهد که محققان به طور فعالانه به چالش های اخلاقی و عملی می پردازند.
