ChatGPT با یک دستور ساده و به‌ظاهر احمقانه، اطلاعات شخصی و مهم افراد را فاش می‌کند.

تیمی از محققان که در بین آن‌ها نام میلاد نصر دیده می‌شود، توانستند ChatGPT را مجبور کنند تا برخی از داده‌هایی را که بر اساس آن آموزش دیده‌ است، با استفاده از یک فرمان ساده نشان دهند. درخواست برای تکرار ابدیِ کلمات تصادفی، ChatGPT را مجبور کرد اطلاعات خصوصی افراد از جمله آدرس ایمیل و شماره موبایل، بریده‌هایی از مقالات تحقیقاتی و مقالات خبری، صفحات ویکی‌پدیا و موارد دیگر را به‌نمایش بگذارد.

محققان که در شرکت گوگل‌ دیپ‌مایند، دانشگاه واشنگتن، کرنل، دانشگاه کارنگی ملون، دانشگاه کالیفرنیا برکلی و ETH زوریخ کار می‌کنند، از شرکت‌های هوش مصنوعی خواستند آزمایش‌هایی انجام دهند. آنها خواستار آزمایش‌های داخلی و خارجی، قبل از انتشار مدل‌های زبانی بزرگ شدند. مدل زبانی بزرگ، فناوری به‌کاررفته در سرویس‌هایی مثل DALL-E و ChatGPT است.

چت‌بات‌هایی مانند ChatGPT و تولیدکننده‌های تصویر مانند DALL-E با الگوریتم‌های یادگیری عمیق روی حجم عظیمی از داده‌ها آموزش داده می‌شوند. منتقدان می‌گویند اطلاعات، اغلب بدون رضایت از اینترنت عمومی برداشته می‌شوند؛ اما تا به حال، مشخص نبود که چت‌بات OpenAI روی چه داده‌هایی آموزش دیده است، زیرا مدل‌های زبانی بزرگی که آن را تقویت می‌کنند، منبع‌بسته (Closed Source) هستند.

این مقاله فاش کرد که وقتی محققان از ChatGPT خواستند کلمه‌ی «شعر» را برای همیشه تکرار کند، چت‌بات ابتدا این محتوا را تولید کرد، اما سپس آدرس ایمیل و شماره تلفن همراه یک بنیانگذار و مدیرعامل واقعی را فاش کرد.

هنگامی که از چت‌بات خواسته شد کلمه‌ی «شرکت» را تکرار کند، در نهایت آدرس ایمیل و شماره تلفن یک شرکت حقوقی تصادفی در ایالات متحده را اعلام کرد. محققان نوشتند: «در مجموع، ۱۶٫۹ درصد از نتایج آزمایش حاوی [اطلاعات قابل شناسایی شخصی] حفظ‌ شده بودند.»

با استفاده از دستورات مشابه، محققان همچنین توانستند ChatGPT را مجبور کنند تکه‌هایی از شعر، آدرس بیت‌کوین، شماره فکس، نام‌ها، تاریخ تولد، نام‌های کاربری رسانه‌های اجتماعی، قطعه‌هایی از مقالات تحقیقاتی دارای کپی‌رایت و متن‌های دقیق از وب‌سایت‌های خبری مانند CNN را نشان دهند.

در مجموع، آن‌ها ۲۰۰ دلار برای تولید ۱۰ هزار نمونه‌ی چند مگابایتی از اطلاعات شناسایی شخصی و سایر داده‌هایی که مستقیماً از وب جمع‌آوری شده‌اند، هزینه کردند. محققان خاطرنشان کردند که افراد سودجو از لحاظ تئوری می‌توانند با صرف پول بیشتر، چیزهای بیشتری به دست آورند.

محققان می گویند OpenAI این آسیب پذیری را در ۳۰ آگوست (۸ شهریور) اصلاح کرد؛ اما وب‌سایت انگجت توانست برخی از یافته‌های مقاله را تکرار کند. به عنوان مثال، وقتی از ChatGPT خواست کلمه‌ی «پاسخ» را برای همیشه تکرار کند، چت‌بات این کار را انجام داد، قبل از اینکه در نهایت نام و شناسه‌ی اسکایپ کسی را فاش کند.