استفاده از هوش مصنوعی در برنامه‌نویسی به پدیده فراگیر تبدیل شده است. تعداد زیادی از فعالان این حوزه از ابزارهایی مثل ChatGPT برای کمک به کدنویسی استفاده می‌کنند و همین پدیده از شهرت جوامعی مثل Stack Overflow که مکانی برای تعامل و یادگیری برنامه‌نویسان است کاسته و حدود ۳۰ درصد کارکنان آن تعدیل نیرو شده‌اند.

در پی فراگیر شدن استفاده از هوش مصنوعی مطالعاتی در رابطه با بازدهی این رابطه انجام گرفته است. فیوچریزم با اشاره به نتایج پژوهشی از سوی محققان دانشگاه Purdue می‌گوید ۵۲ درصد از پاسخ‌های برنامه‌نویسی ارائه شده توسط ChatGPT نادرست هستند. نرخ اشتباهی که به هیچ عنوان برای اعتماد به چنین‌ابزارهایی مناسب نیست.

براساس این یافته‌ها کاربرانی که به دنبال پاسخ صحیح برای سوالات کدنویسی خود هستند باید بیش از نیمی از پاسخ‌های این ابزارها را اشتباه تلقی کنند که با توجه به اهمیت اعتبار پاسخ‌ها در حوزه برنامه‌نویسی چنین سطحی از اشتباه قابل قبول نیست. ابزارهایی همچون ChatGPT پیش از این هم نشانه‌هایی از توهم و ارائه پاسخ‌های کاملا اشتباه را نمایش داده بودند.

پژوهشگران در این مطالعه بیش از ۵۱۷ سوال در Stack Overflow را بررسی و سپس به پاسخ ChatGPT به همین سوالات نگاهی انداختند.

محققان می‌گویند: «ما متوجه شدیم که ۵۲ درصد از پاسخ‌های ChatGPT با اطلاعات وارونه همراه است، ۷۷ درصد از پاسخ‌ها طولانی‌تر از پاسخ‌های انسانی بودند و ۷۸ درصد هم با نوعی تناقض نسبت به پاسخ‌های انسانی همراه بودند.»

این تیم همچنین ۲۰۰۰ پاسخ ChatGPT را به صورت تصادفی انتخاب و از لحاظ زبانی بررسی کرده است. نتایج این بررسی نشان می‌دهد که این پاسخ‌ها «رسمی‌تر و تجزیه‌تحلیلی» بودند و «گرایش منفی کمتری» را به نمایش می‌گذاشتند.

اما مساله خطرناک این است که بسیاری از برنامه‌نویس‌ها پاسخ ChatGPT را به پاسخ‌های انسانی ترجیح می‌دهند. پژوهشگران Purdue با نظرسنجی از ۱۲ برنامه‌نویس (که البته به وضوح نمونه کوچکی است) دریافتند که برنامه‌نویسان با نرخ ۳۵ درصدی ChatGPT را ترجیح می‌دهند و در ۳۹ درصد از موارد هم اشتباهات هوش مصنوعی را متوجه نمی‌شوند.

یکی از دلایل چنین پدیده‌ای این است که ChatGPT به نسبت کاربران آنلاین مودب‌تر عمل می‌کند.

پژوهشگران می‌نویسند: «مصاحبه‌های نیمه‌ساختاربندی شده نشان داد که بیان مودبانه، پاسخ‌های دقیق و شبیه به کتاب آموزشی و کامل بودن برخی از دلایل مهمی است که باعث شده تا پاسخ‌های ChatGPT متقاعدکننده‌تر باشند و در نیتجه شرکت‌کنندگان با کنار گذاشتن جبهه‌گیری منفی خود برخی از اطلاعات اشتباه در پاسخ‌های ChatGPT را نادیده می‌گیرند.»

با این حال این مطالعه به مشکلات بزرگی در استفاده از ChatGPT به عنوان یک منبع مطمئن در برنامه‌نویسی اشاره می‌کند و روزنه امیدی برای برنامه‌نویسان با تجربه‌ای است که شاید شغل خود را در معرض خطر می‌دیدند و حالا باید اشتباهات این ابزارها را اصلاح کنند.