مطالعه مشترک جدید توسط دانشگاه هنگ کنگ و دانشگاه برکلی کالیفرنیا نشان داد زمانی که مدل‌های زبان بزرگ (LLM) برای ایجاد راهکارهای خود رها شوند، بهتر تعمیم میابند. این یافته‌ها که در اصل برای مدل‌های زبان بزرگ و مدل‌های زبان بینایی (VLM) به دست آمده است، یکی از باورهای اصلی در حوزه هوش مصنوعی را به چالش می‌کشد و آن هم اینکه مدل‌ها به نمونه‌های آموزشی با برچسب‌های دستی نیاز دارند تا بتوانند راهکارهای مورد نیاز خود را بیابند.

محققان در مطالعه جدید در واقع دریافتند مدل‌های آموزشی در بسیاری از نمونه‌های دست ساز می‌توانند در تعمیم داده‌های دیده نشده، اثرات نامطلوب بر توانایی مدل زبان بزرگ ایجاد کنند.

برای مدت طولانی فرآیند تنظیم دقیق نظارت شده (SFT) به عنوان استاندارد طلایی برای آموزش LLM و VLM مورد استفاده قرار گرفته است. هنگامی که یک مدل روی داده‌های متن و تصویر خام از قبل آموزش داده شده به کار گرفته می‌شود، سازمان‌ها و آزمایشگاه‌های هوش مصنوعی آن را روی مجموعه بزرگی از داده‌ها شامل نمونه‌های دست‌ساز در قالب پرسش/پاسخ یا درخواست/پاسخ آموزش می‌دهند. سپس فرآیند تنظیم دقیق نظارت شده به کار گرفته می‌شود و مدل‌ها از این طریق می‌توانند مراحل آموزشی اضافه از جمله یادگیری تقویتی از بازخورد انسانی (RLHF) را طی کنند تا ترجیحات ضمنی انسان را بر اساس سیگنال‌هایی مانند رتبه بندی پاسخ‌ها یا دوست داشتن/نپسندیدن پاسخ‌های مدل بیاموزند.

سیستم تنظیم دقیق نظارت شده در هدایت رفتار مدل به سمت انواع وظایفی که سازندگان مدل آن را طراحی کرده‌اند، بسیار موثر است. با این حال جمع آوری داده‌ها فرآیندی کند و پرهزینه است که برای بسیاری از شرکت‌ها و آزمایشگاه عملی نخوهد بود.

با این وجود در مطالعه جدید مشخص شد مدل‌های زبان بزرگ و مدل‌های زبان بینایی در بسیاری از موارد می‌توانند بدون استفاده از نمونه‌های دست ساز انسانی، به تنهایی تصمیم گیری کنند و در بهترین حالت داده‌ها را تعمیم دهند.

منبع: venturebeat.com