یک محقق مدعی است چت جی پی تی نمی تواند بین محتوای تولیدی خود و محتوایی که با زبان نشانه گذاری Markdown که توسط هکرها کنترل می شود و از منابع خارجی استخراج شده، تمایز قائل شود.

به گزارش رجیستر، یک محقق امنیتی از کشف روشی برای «تزریق پرومپت» در چت‌بات‌های هوش مصنوعی خبر داده و این آسیب‌پذیری را به اوپن‌ای‌آی گزارش کرده است.

بر اساس این گزارش، اگر کاربری از یک چت‌بات بخواهد صفحه وبی را که حاوی دستورهای مخفی است خلاصه کند، آن صفحه می‌تواند به بستری برای اجرای حملات مخرب تبدیل شود. در چنین شرایطی، مهاجم قادر است از اعتماد چت‌بات سوءاستفاده کرده و لینک‌های فیشینگ را در پاسخ‌ها قرار دهد یا حتی مدل را به نمایش هشدارهای امنیتی جعلی با ظاهری مشابه پیام‌های رسمی چت‌جی‌پی‌تی وادار کند.

«اندی احمتی»، پژوهشگر این مطالعه، همچنین نشان داده است که مجرمان سایبری چگونه می‌توانند با استفاده از کدهای QR، حمله را از مرورگر وب کاربر به دستگاه تلفن همراه او منتقل کنند. در این سناریو، قربانی با اسکن کد QR به محتوایی هدایت می‌شود که در یک مخزن S3 تحت کنترل مهاجم قرار دارد. این روش به هکرها اجازه می‌دهد از بسیاری از سازوکارهای دفاعی مبتنی بر دسکتاپ، از جمله فهرست‌های مسدودسازی URL و سامانه‌های بررسی دامنه در ابزارهای مدیریت رمز عبور، عبور کنند.

احمتی در ادامه تأکید می‌کند: «سیستم‌های هوش مصنوعی به‌طور فزاینده‌ای محتوای تأییدنشده را مستقیماً در مرورگر کاربران نمایش می‌دهند و این موضوع سطح ریسک را به‌طور قابل‌توجهی افزایش می‌دهد.»

وی می‌افزاید: «نگرانی بزرگ‌تر این است که محصولات هوش مصنوعی روزبه‌روز بیشتر به محیط‌های مرورگر یا حتی سیستم‌عامل‌ها شباهت پیدا می‌کنند؛ موضوعی که سطح حملات و تهدیدهای امنیتی را به‌مراتب گسترده‌تر می‌کند.»

با این حال، هنوز مشخص نیست که این آسیب‌پذیری به‌طور کامل برطرف شده است یا خیر.