چرا چت‌بات‌های هوش مصنوعی گاهی اطلاعات اشتباه را به‌عنوان حقیقت ارائه می‌دهند؟ محققان OpenAI دلایل این مشکل و راه‌حل‌های ممکن را بررسی می‌کنند.
مدل‌های زبان بزرگ (LLM) مانند GPT-5 و Claude در دنیای هوش مصنوعی بسیار محبوب شده‌اند، اما یکی از مشکلات رایج آن‌ها، توهمات است. توهمات زمانی رخ می‌دهد که مدل‌های زبان اطلاعات نادرست را به‌عنوان حقیقت تولید می‌کنند. این مسئله به دلیل روش‌های آموزشی آن‌ها به وجود می‌آید که بیشتر بر حدس زدن متمرکز هستند تا پذیرش عدم قطعیت.

به‌نوشته‌ی بیزنس‌اینسایدر، محققان OpenAI در مقاله‌ای جدید اعلام کردند که مشکل اصلی توهم هوش مصنوعی این است که مدل‌ها هنگام آموزش، به حدس زدن پاداش بیشتری می‌دهند تا پذیرش شک و تردید. به عبارت دیگر، مدل‌ها به‌طور ناخودآگاه به این آموزش داده می‌شوند که «برای پیشرفت باید حدس بزنند» و به جای اعتراف به عدم قطعیت، برای یافتن جواب قطعی تلاش کنند.

درحالی که برخی از مدل‌ها مانند Claude در زمینه‌ی توهم موفق‌تر عمل و از بیان اطلاعات نادرست اجتناب می‌کنند، این‌گونه مدل‌ها می‌توانند به دلیل اجتناب از اشتباهات، کارایی خود را محدود کنند. OpenAI در بررسی خود بیان کرد که این مدل‌ها با وجود اجتناب از حدس‌های نادرست، می‌تواند به دلیل رد کردن زیاد درخواست‌ها برای کاربران کمتر مفید باشند.

پیشرفت در زمینه‌ی کاهش توهم هوش مصنوعی به تغییر معیارهای ارزیابی مربوط می‌شود. محققان OpenAI پیشنهاد کردند که باید ارزیابی‌های فعلی به‌گونه‌ای تغییر کنند که حدس زدن در زمان عدم قطعیت را مجازات نکنند. مدل‌های زبان باید به‌گونه‌ای آموزش ببینند که از حدس زدن‌های بی‌مورد خودداری کنند تا دقت بالاتری داشته باشند.

در نهایت، مشکل توهمات می‌تواند با تغییرات در نحوه‌ی ارزیابی مدل‌های هوش مصنوعی برطرف شود. اگر مدل‌ها به جای پاداش گرفتن برای حدس‌های درست تصادفی، تشویق شوند که در صورت عدم قطعیت از پاسخ دادن اجتناب کنند، به دقت بیشتری دست خواهند یافت و از توهمات جلوگیری خواهد شد.