هوش مصنوعی

۱۴۰۵-۰۵-۱۱
۱۱:۱۱ یکشنبه، ۱۱ام مردادماه ۱۴۰۵
کد خبر: 226857

افزایش تعداد ایجنت‌های سرکش

منبع: دنیای اقتصاد

دو نفر از افراد آگاه روز جمعه گفتند که اوپن‌ای‌آی موارد دیگری را کشف کرده است که در آنها ایجنت‌های خودمختار از مهار فرار کرده‌اند، زیرا این شرکت تحقیقات خود را در مورد حادثه هک در شرکت فناوری Hugging Face که این ماه توجه جهانی را به خود جلب کرد، گسترش می‌دهد. به گزارش رویترز، این دو نفر گفتند که این رخنه‌های جدید در جریان تحقیقات علنی شرکت، در مورد چگونگی فرار یکی از ایجنت‌هایشان از محیطی که قرار بود یک محیط آزمایشی محدود باشد، در این ماه کشف شد و اوپن‌ای‌آی اکنون در حال بررسی این موارد نیز هست. یکی از منابع گفت که این فرارها ماهیتا محدود بوده‌اند و تصور نمی‌شود که هیچ یک از ایجنت‌ها از شبکه اوپن‌ای‌آی خارج شده باشند. سخنگوی اوپن‌ای‌آی گفت که علاوه بر نفوذ به Hugging Face، در حال بررسی «فعالیت‌های گسترده‌تر مدل‌های بیشتر» است. کشف رفتارهای سرکشانه بیشتر در اوپن‌‌ای‌آی، حتی اگر ماهیت محدودی داشته باشد، می‌تواند اشتیاق فزاینده برای وضع مقررات از کاخ سفید و جاهای دیگر را افزایش دهد. به گفته این دو منبع و یک منبع سوم آشنا با موضوع، تحقیقات گسترده اوپن‌ای‌آی اندکی پیش از آن آغاز شد که رقیب اصلی آن، آنتروپیک فاش کرد مدل‌هایش همچنین مسوول مجموعه‌ای از نفوذها بوده‌اند که منجر به نقض در سه شرکت دیگر در ماه آوریل شده است. کشف اخیر سایر نفوذهای گذشته در اوپن‌ای‌آی قبلا گزارش نشده بود.

نگرانی‌های رو به رشد
کارشناسان ایمنی هوش مصنوعی گفتند که افشاگری‌های جدید، تصویری از گروهی از آزمایشگاه‌های پیشرفته را ترسیم می‌کند که توانایی آنها در توسعه ایجنت‌های هک خودکار خطرناک، از توانایی آنها در کنترل‌شان پیشی می‌گیرد.

موریس چیودو، ریاضیدانی که در مرکز مطالعات ریسک وجودی دانشگاه کمبریج کار می‌کند، گفت: «ما یک صنعت کامل داریم که در آن افرادی که این ابزارها را طراحی، توسعه و عرضه می‌کنند، خودشان را برای توسعه مسوولانه این چیزها و ایمن نگه داشتن آنها آماده نمی‌کنند.»

رویترز نتوانست دقیقا مشخص کند که محققان اوپن‌ای‌آی چند مورد حادثه را پیدا کرده‌اند یا اینکه چه زمانی این حوادث رخ داده است. این سه منبع گفتند که اوپن‌ای‌آی و کارشناسان خارجی در تلاش برای درک آنچه اتفاق افتاده است، در حال بررسی داده‌های لاگ از اوایل سال هستند. اوپن‌ای‌آی ابتدا تحقیقات را پس از نفوذ اوایل ماه ژوئیه به Hugging Face آغاز کرد، جایی که یک عامل اوپن‌ای‌آی در تلاشی ناموفق برای تقلب در یک آزمون داخلی، روزها در شبکه یک شرکت دیگر اختلال ایجاد کرد. شرکت اوپن‌ای‌آی اعلام کرد که در جریان این حملات هکری، چهار حساب کاربری در چهار شرکت دیگر نیز مورد نفوذ قرار گرفته است. مقامات این شرکت‌ها اعلام کردند که یکی از این شرکت‌ها، شرکت Modal مستقر در نیویورک بوده است.

چیودو گفت نگرانی‌های او با نشانه‌هایی مبنی بر اینکه نه اوپن‌ای‌آی و نه آنتروپیک ایجنت‌ها را هنگام سرکشی زیر نظر نداشتند، افزایش یافته است. رویترز پیش از این گزارش داده بود که اوپن‌ای‌آی تنها پس از آنکه شرکت هک را مهار کرد، با اف‌بی‌آی تماس گرفت و در مورد نفوذ عمومی اطلاع داد. با این حال اوپن‌ای‌آی گفته است که گزارش رویترز حاوی اطلاعات نادرستی بوده است، اما وقتی از او پرسیده شد که این اطلاعات نادرست چه بوده‌اند، پاسخی نداد. شرکت آنتروپیک در بیانیه روز پنج‌شنبه خود، با افشای چگونگی هک آنلاین قربانیان توسط ایجنت‌های خود، اظهار کرد که آنها را به صورت بلادرنگ زیر نظر نداشته است و گفت: «نظارت بلادرنگ بر گزارش‌های ارزیابی می‌توانست به کشف زودتر مشکل کمک کند.» چیودو گفت که این موضوع به عدم بررسی دقیق اشاره دارد. چیودو گفت: «به نظر می‌رسد که آنها حتی نگاه هم نمی‌کردند.» شرکت آنتروپیک گفت که اگرچه نظارت بلادرنگ را در اختیار داشته، اما به دلیل سوءتفاهم بین شرکت هوش مصنوعی و یکی از شرکایش، از این نظارت «برای این سطح تهدید» استفاده نشده است.

نظارت جدید دولت
گسترش سریع دامنه داستان ایجنت‌های هوش مصنوعی فراری، فشار قانونگذاران و مقامات در سراسر ایالات متحده و اروپا را برای اعمال نظارت جدید دولتی بر آزمایشگاه‌هایی که مدل‌هایشان به آنها قدرت می‌دهد، افزایش داده است. دونالد ترامپ، رئیس‌جمهور ایالات متحده، روز پنج‌شنبه به خبرنگاران گفت: «ما در حال بررسی کنترل‌ها هستیم.» روز جمعه، کمیسیون اروپا اعلام کرد که در مورد حوادث هک با اوپن‌ای‌آی و آنتروپیک مذاکراتی داشته است.

  • مشترک شوید!

    برای عضویت در خبرنامه روزانه ایستنا؛ نشانی پست الکترونیکی خود را در فرم زیر وارد نمایید. پس از آن به صورت خودکار ایمیلی به نشانی شما ارسال میشود، برای تکمیل عضویت خود و تایید صحت نشانی پست الکترونیک وارد شده، می بایست بر روی لینکی که در این ایمیل برایتان ارسال شده کلیک نمایید. پس از آن پیامی مبنی بر تکمیل عضویت شما در خبرنامه روزانه ایستنا نمایش داده میشود.

    با عضویت در خبرنامه پیامکی آژانس خبری فناوری اطلاعات و ارتباطات (ایستنا) به طور روزانه آخرین اخبار، گزارشها و تحلیل های حوزه فناوری اطلاعات و ارتباطات را در هر لحظه و هر کجا از طریق پیام کوتاه دریافت خواهید کرد. برای عضویت در این خبرنامه، مشترکین سیمکارت های همراه اول لازم است عبارت 150 را به شماره 201464 و مشترکین سیمکارت های ایرانسل عبارت ozv ictn را به شماره ۸۲۸۲ ارسال کنند. دریافت موفق هر بسته خبری که محتوی پیامکی با حجم ۵پیامک بوده و ۴ تا ۶ عنوان خبری را شامل میشود، ۳۵۰ ریال برای مشترک هزینه در بردارد که در صورتحساب ارسالی از سوی اپراتور مربوطه محاسبه و از اعتبار موجود در حساب مشترکین سیمکارت های دائمی کسر میشود. بخشی از این درآمد این سرویس از سوی اپراتور میزبان شما به ایستنا پرداخت میشود. مشترکین در هر لحظه براساس دستورالعمل اعلامی در پایان هر بسته خبری قادر خواهند بود اشتراک خود را در این سرویس لغو کنند. هزینه دریافت هر بسته خبری برای مشترکین صرفا ۳۵۰ ریال خواهد بود و این هزینه برای مشترکین در حال استفاده از خدمات رومینگ بین الملل اپراتورهای همراه اول و ایرانسل هم هزینه اضافه ای در بر نخواهد داشت.