استدلال‌های طولانی مدت باعث کاهش عملکرد مدل‌ها می‌شود.

محققان شرکت هوش مصنوعی آنتروپیک در بررسی‌های خود دریافته‌اند که هر چقدر یک مدل هوش مصنوعی طولانی‌تر فکر کند، این احتمال که توانایی مدل در پاسخ به سؤالات کاهش یابد نیز بالاتر می‌رود.

به گزارش ونچربیت، مدل‌های هوش مصنوعی که زمان بیشتری را صرف فکر کردن روی مسائل می‌کنند، همیشه عملکرد بهتری ندارند و در برخی موارد، عملکردشان به‌طور قابل‌توجهی کاهش می‌یابد. این موضوع براساس پژوهش جدیدی از آنتروپیک مطرح شده که یکی از فرضیات اصلی در تلاش‌های اخیر صنعت هوش مصنوعی برای مقیاس‌پذیری را به چالش می‌کشد.

توانایی مدل‌های هوش مصنوعی در اثر فکرکردن‌های طولانی کاهش می‌یابد
این مطالعه به سرپرستی «آریو پرادیپتا جما»، پژوهشگر ایمنی هوش مصنوعی در آنتروپیک و سایر پژوهشگران این شرکت انجام شده است. در این مطالعه، «مقیاس‌پذیری معکوس در محاسبات زمان آزمون» شناسایی شده است. در این حالت، افزایش طول فرایند استدلال در مدل‌های زبانی بزرگ در واقع باعث کاهش عملکرد آن‌ها در انواع مختلفی از وظایف می‌شود.

این یافته‌ها می‌تواند پیامدهای قابل‌توجهی برای شرکت‌هایی داشته باشد که از سیستم‌های هوش مصنوعی متکی به قابلیت‌های استدلال گسترده استفاده می‌کنند.

محققان آنتروپیک مدل‌ها را در چهار دسته وظایف آزمایش کردند: مسائل شمارشی ساده با عوامل حواس‌پرتی، وظایف رگرسیونی با ویژگی‌های گمراه‌کننده، معماهای استنتاج پیچیده و سناریوهایی که شامل دغدغه‌های ایمنی هوش مصنوعی می‌شود.

این مطالعه الگوهای شکست متفاوتی را در سیستم‌های هوش مصنوعی نشان می‌دهد. برای مثال، مدل‌های Claude هرچه بیشتر استدلال می‌کنند، بیشتر توسط اطلاعات نامربوط منحرف می‌شوند، درحالی‌که مدل‌های سری o از OpenAI در برابر عوامل حواس‌پرتی مقاومت می‌کنند؛ اما بیش از حد به چارچوب‌بندی مسئله وابسته می‌شوند.

در وظایف رگرسیونی، استدلال طولانی‌تر باعث می‌شود مدل‌ها از پیش‌فرض‌های منطقی به سمت همبستگی‌های کاذب منحرف شوند، البته ارائه مثال‌ها تا حد زیادی این رفتار را اصلاح می‌کند.

شاید نگران‌کننده‌ترین نکته برای کاربران سازمانی این باشد که تمام مدل‌ها در وظایف استنتاجی پیچیده با استدلال طولانی‌تر، دچار افت عملکرد شدند که نشان‌دهنده دشواری مدل‌ها در حفظ تمرکز هنگام انجام وظایف استنتاجی پیچیده است.