نحوه پاداش دادن به مدل‌ها برای پاسخ دادن به سوالات در توهم زدن آنها موثر است.

شرکت OpenAI به‌تازگی با انتشار یک مقاله دلایل پشت پرده توهمات هوش مصنوعی را کشف کرده برای رفع این مشکل مجموعه‌ای از راه‌حل‌ها را نیز پیشنهاد داده است.

چت‌بات‌های هوش مصنوعی حالا در کلاس‌های درس، محل‌های کار و زندگی روزمره نقش فعالی دارند، اما این محصولات همچنان از یک نقص آزاردهنده رنج می‌برند. این چت‌بات‌ها گاهی مطالب نادرست می‌سازند، پدیده‌ای که به آن «توهم» گفته می‌شود این مدل نتایج ارائه شده توسط هوش مصنوعی می‌توانند کاملاً قانع‌کننده به نظر برسند، اما در واقعیت کاملاً اشتباه هستند.

OpenAI می‌خواهد سیستم‌های هوش مصنوعی بدون توهم بسازد
اما حالا شرکت OpenAI اعلام کرده که دریافته چرا این اتفاق رخ می‌دهد و معتقد است راهکاری پیدا کرده که می‌تواند ابزارهای هوش مصنوعی آینده را بسیار قابل‌اعتمادتر کند. این شرکت اخیراً مقاله‌ای ۳۶ صفحه‌ای منتشر کرده که با همکاری «سانتوش ومپالا» از دانشگاه جورجیا تک و چند پژوهشگر دیگر نوشته شده است و به بررسی مشکل توهم زدن هوش مصنوعی می‌پردازد.

به گفته محققان، توهمات لزوماً ناشی از طراحی ضعیف مدل نیستند، بلکه به نحوه آزمون و رتبه‌بندی سیستم‌های هوش مصنوعی مربوط می‌شوند. براساس معیارهای فعلی، یک چت‌بات در صورت پاسخ‌دادن به یک سؤال، حتی اگر به این سؤال پاسخ اشتباه بدهد، پاداش دریافت می‌کند. این درحالی است که این معیارها مدل‌هایی را که در صورت عدم اطمینان کافی به یک سؤال پاسخ نمی‌دهند را تنبیه می‌کنند.

محققان می‌گویند می‌توان این موضوع را به یک امتحان چندگزینه‌ای تشبیه کرد که دانش‌آموز را به‌جای اینکه سؤال را بی‌پاسخ بگذارد به حدس‌زدن پاسخ تشویق می‌کند.

این مقاله برای مقابله با چنین مشکلی پیشنهاد می‌کند که سیستم امتیازدهی معکوس شود. یعنی پاسخ‌های «با اعتمادبه‌نفس اما اشتباه» باید به‌شدت به ضرر مدل تمام شوند، درحالی‌که برای احتیاط کردن یا اذعان به نداشتن قطعیت به مدل پاداش داده شود.

استفاده از این رویکرد ظاهراً کارساز نیز بوده است. در یک معیار ارزیابی، یک مدل محتاط تنها به نیمی از پرسش‌ها پاسخ داد اما ۷۴ درصد آنها درست بود، درحالی‌که مدل دیگری تقریباً به همه پرسش‌ها پاسخ داد؛ اما در سه مورد از هر چهار بار دچار توهم شد.