گروه تحقیقاتی هوش مصنوعی «متا» شرکت مادر فیسبوک در حال توسعه سیستم جدیدی است که از آن به عنوان یک «ارزیاب خودآموخته برای مدل‌های زبان بزرگ (LLM)» یاد می‌کند و در اصل می‌تواند به کسب و کارها در کاهش زمان و منابع انسانی مورد نیاز خود برای توسعه مدل‌های زبان بزرگ سفارشی کمک کند.

گروه تحقیقاتی هوش مصنوعی متا که با نام Meta FAIR هم شناخته می‌شود اوایل ماه جاری میلادی مقاله‌ای درباره این فناوری منتشر کرد و توضیح داد که این سیستم ارزیاب هوش مصنوعی می‌تواند به یک مدل زبان بزرگ کمک کند تا داده‌های آموزشی یا همان داده‌های مصنوعی خود را برای اهداف مختلف ارزیابی کند و آنها را بدون دخالت انسان در زمینه‌های مختلف به کارگیرد.

محققان توضیح دادند مدل‌هایی که به عنوان ارزیاب مورد استفاده قرار می‌گیرند با عنوان LLM-as-a-Judge شناخته می‌شود و با مقادیر زیادی از داده‌های حاشیه نویسی شده توسط انسان آموزش می‌بینند که البته باید توجه داشت این فرآیند بسیار پرهزینه است و با بهبود مدل‌ها، این داده‌ها به مرور زمان کهنه می‌شوند و از ارزش آنها کاسته می‌شود.

به گفته محققان، حاشیه نویسی‌های انجام شده توسط انسان معمولا نسبت به پاسخ‌های مربوط به مدل‌های زبان بزرگ ترجیح داده می‌شود. زیرا داده‌های ارایه شده توسط هوش مصنوعی و مدل‌های زبان بزرگ نمی‌توانند با موفقیت کامل کارهای پرچالش از جمله کدنویسی یا حل مسایل ریاضی را انجام دهند و علاوه بر این، وابستگی به داده‌های تولید شده توسط انسان از چالش‌های مهمی است که همچنان برای مدل‌های زبان بزرگ باقی مانده است.

در سیستم جدیدی که متا ارایه کرده است، محققان از داده‌های مصنوعی تولید شده توسط یک مدل زبان بزرگ به شیوه تکراری و بدون نیاز به دستورالعمل‌های برچسب گذاری شده استفاده کردند.