یکی از داغ‌ترین مباحث در حوزه هوش مصنوعی مولد (GenAI) در اصل منبع باز بودن کدها در مقابل کدهای توسعه یافته بسته و سنتی است. به نظر شما کدام یک از این دو عرصه ارزشمندتر خواهد بود؟

از یک طرف انبوهی از مدل‌های منبع-باز زبان بزرگ (LLM) به طور مداوم توسط مجموعه‌ای از مشارکت کنندگان این عرصه در حال تکامل است که توسط معتبرترین مدل منبع باز تا به امروز یعنی Llama 2 شرکت متا رهبری می‌شود. از طرف دیگر مدل‌های منبع-بسته زبان بزرگ حضور دارند که دو مورد از محبوب‌ترین آنها GPT-4 شرکت OpenAI و Claude 2 شرکت Anthropic را شامل می‌شوند.

یکی از روش‌های آزمایش این برنامه‌ها در برابر یکدیگر این است که مشخص شود آنها در پاسخ به سوالات در یک زمینه مشخص از جمله حوزه پزشکی تا چه اندازه خوب عمل می‌کنند. در این زمینه براساس مطالعه اخیر دانشمندان در دانشگاه کالیفرنیا که در آخرین شماره از نشریه NEJM AI منتشر شده است، هوش مصنوعی Llama 2 در پاسخ به سوالات در زمینه نفرولوژی یا علم شناسایی کلیه در بدن انسان بسیار بد عمل کرده است.

«شان وو» نویسنده مقاله نهایی مربوط به این تحقیقات گفت:‌ «مدل‌های منبع باز در مقایسه با GPT-4 و Claude 2 از نظر مجموع پاسخ‌های صحیح و کیفیت توضیحات بسیار ضغیف‌تر عمل کرده‌اند».

در این مقاله گفته شد: «هوش مصنوعی GPT-4 عملکرد فوق العاده‌ای داشت که در بیشتر موضوعات عملکرد انسان را ارایه کرد و در نهایت موفق به کسب امتیاز 73.3 درصد شد. در مقابل انسان برای پاسخ به سوالات چند گزینه‌ای در حوزه نفرولوژی به طور میانگین امتیاز 75 درصدی را به دست می‌آورد».

در ادامه این مقاله گفته شد: «بیشتر مدل‌های منبع باز زبان بزرگ به نمره کلی دست یافتند و با آنچه که در صورت پاسخ تصادفی به سوالات انتظار می‌رفت، تفاوت محسوبی نداشت. در این میان Llama 2 در بین پنج مدل منبع باز از جمله Vicuña و Falcon عملکرد بهتری داشت. هوش مصنوعی Llama 2 در مجموع تنوانست نسبت به میانگین حدس تصادفی که 23.8 درصد در نظر گرفته شده است، امتیاز 30.6 درصد را به دست آورد».