هوش مصنوعی

۱۴۰۵-۰۷-۱۲
۱۷:۴۲ یکشنبه، ۱۲ام مهرماه ۱۴۰۵
کد خبر: 231460

مسئول سابق ایمنی OpenAI: هوش مصنوعی باید مانند نیروگاه‌های هسته‌ای تحت نظارت باشد

منبع: دیجیاتو

مسئول سابق ایمنی اوپن‌ای‌آی با انتقاد از فرهنگ شتاب‌زده این شرکت، خواستار نظارت بر توسعه هوش مصنوعی مشابه نیروگاه‌های هسته‌ای شد.

«دیوید رابینسون»، مسئول سابق ایمنی مدل‌های OpenAI، پس از ترک این شرکت از فرهنگ سازمانی آن انتقاد کرد و هشدار داد که توسعه سریع مدل‌های هوش مصنوعی بدون توجه کافی به ایمنی، خطر بروز حوادث جدی را افزایش می‌دهد. او معتقد است شرکت‌های فعال در حوزه هوش مصنوعی باید به‌جای عرضه شتاب‌زده مدل‌های پیشرفته، از الگوهای ایمنی در صنایعی مانند نیروگاه‌های هسته‌ای و هوانوردی پیروی کنند.

رابینسون در مقاله‌ای با عنوان «اوپن‌ای‌آی را ترک کردم چون فرهنگ این شرکت از هم گسیخته است» نوشت شرکت‌های هوش مصنوعی، از جمله اوپن‌ای‌آی، به‌اندازه کافی محتاط نیستند و باید پیش از توسعه سیستم‌های قدرتمندتر، توجه بیشتری به تخصص و پژوهش در حوزه ایمنی داشته باشند.

او با اشاره به سرعت عرضه مدل‌های جدید در OpenAI گفت:

«شرکت هم‌زمان با حرکت شتابان از عرضه‌ای به عرضه دیگر، نمی‌تواند به سطحی از دقت و مراقبت که به باور من ضروری است، دست پیدا کند.»

رابینسون که سه سال‌ونیم در اوپن‌ای‌آی فعالیت کرده بود، در تدوین چارچوب آمادگی این شرکت مشارکت داشت و بر تهیه گزارش‌های ایمنی مربوط به ۱۲ عرضه مدل پیشرفته نظارت می‌کرد. او معتقد است رویکرد فعلی شرکت‌ها در توسعه هوش مصنوعی به تغییرات اساسی نیاز دارد.

هشدار درباره هوش مصنوعی توسط کارمند سابق OpenAI
رابینسون برای توضیح دیدگاه خود، نیروگاه‌های هسته‌ای و فرودگاه‌های پرتردد را مثال زد؛ صنایعی که برای جلوگیری از حوادث، از چندین لایه حفاظتی و برنامه‌ریزی دقیق و زمان‌بر استفاده می‌کنند. به‌گفته او، چنین ساختاری کمک می‌کند خطاهای انسانی اجتناب‌ناپذیر به فاجعه منجر نشوند.

او معتقد است شرکت‌های هوش مصنوعی نیز باید از همین الگو پیروی کنند و به‌جای اتکا به عرضه سریع مدل‌ها و اصلاح مشکلات پس از بروز آن‌ها، لایه‌های حفاظتی بیشتری در فرایند توسعه و انتشار سیستم‌ها در نظر بگیرند.

رابینسون همچنین حوادث ناشی از ناهماهنگی هوش مصنوعی با اهداف انسانی را با فاجعه هسته‌ای مقایسه کرد و هشدار داد که از دست رفتن کنترل بر سیستم‌های هوش مصنوعی می‌تواند پیامدهایی به‌مراتب گسترده‌تر از یک حادثه در نیروگاه هسته‌ای داشته باشد.

او رویکرد اوپن‌ای‌آی در زمینه ایمنی را مبتنی بر توسعه و عرضه تدریجی می‌داند؛ رویکردی که در آن شرکت مدل‌ها را منتشر و در صورت بروز مشکل، تدابیر حفاظتی را تقویت می‌کند. رابینسون معتقد است این روش دیگر برای مدیریت خطرات سیستم‌های پیشرفته کافی نیست و «زمان آزمون‌وخطا به پایان رسیده است».

در واکنش به انتقادهای رابینسون، سخنگوی OpenAI گفت این شرکت اطمینان حاصل می‌کند که مدل‌هایش از توانایی‌هایی فراتر از سطحی که بتوان آن‌ها را به‌صورت ایمن مدیریت و محافظت کرد، برخوردار نشوند. او همچنین تأکید کرد که اوپن‌ای‌آی در صورت نیاز، آموزش مدل‌ها را متوقف می‌کند یا عرضه آن‌ها را به تعویق می‌اندازد تا سرعت توسعه کاهش یابد.

  • مشترک شوید!

    برای عضویت در خبرنامه روزانه ایستنا؛ نشانی پست الکترونیکی خود را در فرم زیر وارد نمایید. پس از آن به صورت خودکار ایمیلی به نشانی شما ارسال میشود، برای تکمیل عضویت خود و تایید صحت نشانی پست الکترونیک وارد شده، می بایست بر روی لینکی که در این ایمیل برایتان ارسال شده کلیک نمایید. پس از آن پیامی مبنی بر تکمیل عضویت شما در خبرنامه روزانه ایستنا نمایش داده میشود.

    با عضویت در خبرنامه پیامکی آژانس خبری فناوری اطلاعات و ارتباطات (ایستنا) به طور روزانه آخرین اخبار، گزارشها و تحلیل های حوزه فناوری اطلاعات و ارتباطات را در هر لحظه و هر کجا از طریق پیام کوتاه دریافت خواهید کرد. برای عضویت در این خبرنامه، مشترکین سیمکارت های همراه اول لازم است عبارت 150 را به شماره 201464 و مشترکین سیمکارت های ایرانسل عبارت ozv ictn را به شماره ۸۲۸۲ ارسال کنند. دریافت موفق هر بسته خبری که محتوی پیامکی با حجم ۵پیامک بوده و ۴ تا ۶ عنوان خبری را شامل میشود، ۳۵۰ ریال برای مشترک هزینه در بردارد که در صورتحساب ارسالی از سوی اپراتور مربوطه محاسبه و از اعتبار موجود در حساب مشترکین سیمکارت های دائمی کسر میشود. بخشی از این درآمد این سرویس از سوی اپراتور میزبان شما به ایستنا پرداخت میشود. مشترکین در هر لحظه براساس دستورالعمل اعلامی در پایان هر بسته خبری قادر خواهند بود اشتراک خود را در این سرویس لغو کنند. هزینه دریافت هر بسته خبری برای مشترکین صرفا ۳۵۰ ریال خواهد بود و این هزینه برای مشترکین در حال استفاده از خدمات رومینگ بین الملل اپراتورهای همراه اول و ایرانسل هم هزینه اضافه ای در بر نخواهد داشت.