هوش مصنوعی

October 11, 2025
12:07 شنبه، 19ام مهرماه 1404
کد خبر: 203522

هوش مصنوعی با یک فایل به راحتی مسموم می شود

منبع: مهر

به گفته پژوهشگران مدل های هوش مصنوعی مانند چت جی پی تی متعلق به اوپن ای آی و جمینای گوگل را می توان با قراردادن نمونه کوچکی از فایل های مخرب در داده های آموزشی مسموم کرد.

به گزارش ایندپندنت، یک تحقیق مشترک بین انستیتو امنیت هوش مصنوعی انگلیس، انستیتو آلن تورینگ و شرکت هوش مصنوعی آنتروپیک نشان داد حدود ۲۵۰ سند می‌توانند یک «در پشتی» ایجاد کنند که باعث می‌شود مدل‌های زبانی بزرگ متن‌های نامفهوم تولید کنند.

این شکاف از آن جهت نگران‌کننده است که بیشتر مدل‌های زبانی مشهور بر اساس متن‌های عمومی در سراسر اینترنت، از جمله وب‌سایت‌های شخصی و پست‌های وبلاگی، آموزش دیده‌اند. این موضوع موجب می‌شود هر کسی بتواند محتوایی تولید کند که وارد داده‌های آموزشی مدل‌های هوش مصنوعی شود.

آنتروپیک در یک پست وبلاگی درباره این موضوع نوشت: عاملان بد می‌توانند متن‌های خاصی را به این پست‌ها اضافه کنند تا یک مدل رفتارهای خطرناک یا نامطلوب را بیاموزد. این فرایند «مسموم‌سازی داده» نامیده می‌شود. یکی از انواع این حملات از طریق «درهای پشتی» انجام می‌شود. درهای پشتی اصطلاحات خاصی هستند که رفتاری ویژه را در مدل فعال می‌کنند، رفتاری که در حالت عادی پنهان است.

به عنوان مثال، مدل‌های زبانی بزرگ ممکن است به گونه‌ای آلوده شوند که وقتی مهاجم عبارتی خاص را در ورودی قرار می‌دهد، داده‌های حساس را فاش کنند.

یافته‌های این پژوهش نگرانی‌هایی درباره امنیت هوش مصنوعی ایجاد کرده است و محققان معتقدند این موضوع می‌تواند پتانسیل استفاده از این فناوری را در کاربردهای حساس محدود کند.

  • مشترک شوید!

    برای عضویت در خبرنامه روزانه ایستنا؛ نشانی پست الکترونیکی خود را در فرم زیر وارد نمایید. پس از آن به صورت خودکار ایمیلی به نشانی شما ارسال میشود، برای تکمیل عضویت خود و تایید صحت نشانی پست الکترونیک وارد شده، می بایست بر روی لینکی که در این ایمیل برایتان ارسال شده کلیک نمایید. پس از آن پیامی مبنی بر تکمیل عضویت شما در خبرنامه روزانه ایستنا نمایش داده میشود.

    با عضویت در خبرنامه پیامکی آژانس خبری فناوری اطلاعات و ارتباطات (ایستنا) به طور روزانه آخرین اخبار، گزارشها و تحلیل های حوزه فناوری اطلاعات و ارتباطات را در هر لحظه و هر کجا از طریق پیام کوتاه دریافت خواهید کرد. برای عضویت در این خبرنامه، مشترکین سیمکارت های همراه اول لازم است عبارت 150 را به شماره 201464 و مشترکین سیمکارت های ایرانسل عبارت ozv ictn را به شماره ۸۲۸۲ ارسال کنند. دریافت موفق هر بسته خبری که محتوی پیامکی با حجم ۵پیامک بوده و ۴ تا ۶ عنوان خبری را شامل میشود، ۳۵۰ ریال برای مشترک هزینه در بردارد که در صورتحساب ارسالی از سوی اپراتور مربوطه محاسبه و از اعتبار موجود در حساب مشترکین سیمکارت های دائمی کسر میشود. بخشی از این درآمد این سرویس از سوی اپراتور میزبان شما به ایستنا پرداخت میشود. مشترکین در هر لحظه براساس دستورالعمل اعلامی در پایان هر بسته خبری قادر خواهند بود اشتراک خود را در این سرویس لغو کنند. هزینه دریافت هر بسته خبری برای مشترکین صرفا ۳۵۰ ریال خواهد بود و این هزینه برای مشترکین در حال استفاده از خدمات رومینگ بین الملل اپراتورهای همراه اول و ایرانسل هم هزینه اضافه ای در بر نخواهد داشت.