اوپن‌ای‌آی به تازگی گزارشی از یک تجزیه تحلیل امنیتی منتشر کرده است که در آن به احتمال وابستگی احساسی کاربران به حالت صوتی انسان‌مانند این شرکت اشاره می‌کند. براساس گزارشی که مجله وایرد از این بررسی منتشر کرده است، وابستگی احساسی می‌تواند باعث پذیرش بیشتر انسان‌ها در مقابل هوش مصنوعی شود که احتمال باور اطلاعات ساختگی یا توهم که از مشکلات این فناوری است را افزایش می‌دهد. شرکت همچنین احتمال تاثیر این حالت صوتی در القای دیدگاه‌های خاص به کاربران را نیز تحت بررسی دارد.

این هشدار‌ها در یک «سیستم کارت» برای GPT-4o منتشر شده‌اند، مستندی که خطرات مدل از نگاه شرکت را مشخص کرده و روند آزمون ایمنی و اقداماتی که برای پیشگیری از خطرات اتخاذ شده را تشریح می‌کند.

اوپن‌ای‌آی در ماه‌های اخیر و در پی استعفای چند کارمند قدیمی که در حوزه خطرات بلندمدت هوش مصنوعی فعالیت داشتند با انتقاداتی روبرو است. همین مساله باعث شده تا برخی این شرکت را به بی‌احتیاطی در مسیر بهره‌برداری مالی از هوش مصنوعی متهم کنند. انتشار جزئیات روند ایمنی در اوپن‌ای‌آی می‌تواند به انتقادات پاسخ داده و اطمینان خاطری برای عموم باشد.

در سیستم کارت جدید خطرات متعددی مورد بررسی قرار گرفته‌اند که موضوعاتی همچون احتمال تشدید سوگیری‌های اجتماعی با GPT-4o، انتشار اطلاعات وارون و کمک به توسعه سلاح‌های شیمیایی یا بیولوژیکی را شامل می‌شود. این گزارش همچنین مشخص می‌کند که شرکت با چه روندی از اجرای درست محدودیت‌ها و جلوگیری از زیر پا گذاشتن آنها، ممانعت از فریب مردم یا طرح برنامه‌های فاجعه‌بار اطمینان حاصل می‌کند.

برخی از متخصصان با وجود تحصین این شفافیت‌، به ظرفیت بیشتر در این حوزه اشاره می‌کنند.

لوسی آیمی کافی، پژوهشگر سیاست‌های اجرایی در Hugging Face، شرکت میزبانی کننده ابزارهای هوش مصنوعی، می‌گوید سیستم کارت اوپن‌ای‌آی برای GPT-4o جزئیات دقیق از داده‌های آموزشی یا مالکیت این داده‌ها را مشخص نکرده است. او می‌گوید: «باید به مساله کسب اجازه در ساخت چنین دیتاست بزرگی با چندین حالت از جمله متن، عکس و صوت، پرداخته شود.»

برخی دیگر نیز به احتمال تغییر خطرات هنگام استفاده آزاد اشاره می‌کنند. نیل تامپسون، استاد MIT که ارزیابی‌های خطر هوش مصنوعی را مطالعه می‌کند، می‌گوید: «بازبینی داخلی آنها باید اولین گام از تضمین امنیت هوش مصنوعی باشد. بسیاری از خطرات تنها زمانی نمایان می‌شوند که هوش مصنوعی در جهان واقعی استفاده شود. با پیدایش مدل‌های جدید، باید این خطرات را دسته‌بندی و ارزیابی کرد.»

سیستم کارت جدید نشانگر تکامل سریع خطرات هوش مصنوعی در کنار توسعه قابلیت‌های جدیدی مثل رابط صوتی اوپن‌ای‌آی است. در ماه مه و زمانی که اوپن‌ای‌آی از حالت صوتی با صدایی شبیه به انسان و تعامل طبیعی رونمایی کرد، بسیاری از کاربران متوجه لحن بیش از حد عشوه‌گر در این دمو شدند. کمی بعد از این مراسم، اسکارلت جوهانسون، از شرکت به اتهام کپی‌برداری از سبک صحبت او شکایت کرد.

بخشی از این سیستم کارت با عنوان «انسان‌انگاری و وابستگی احساسی» به مشکلاتی که در نتیجه نگاه انسان‌گونه کاربران به هوش مصنوعی پدید می‌آید اشاره می‌کند، مساله‌ای که با حالت صوتی انسان‌مانند تشدید می‌شود. برای مثال پژوهشگران اوپن‌ای‌آی در هنگام آزمون فشار GPT-4o حالت‌هایی را در صحبت کاربران مشاهده کردند که نشانگر نوعی ارتباط احساسی با مدل است. برای مثال، افراد از جملاتی اینچنین استفاده کردند «این آخرین روزی است که با هم هستیم.»

اوپن‌ای‌آی می‌گوید انسان انگاری ممکن است باعث اعتماد بیشتر کاربران به خروجی مدل حتی در صورت «توهم» شود. به مرور زمان این موضوع بر رابطه کاربر با دیگران تاثیر می‌گذارد. براساس این مستند: «کاربران ممکن است با هوش مصنوعی روابط اجتماعی ایجاد کنند و نیاز به تعامل با انسان را کاهش دهند که می‌تواند برای افراد تنها مفید باشد اما اید بر روابط سالم تاثیر بگذارد.»

جاکین کوئینونرو کاندلا، رئیس بخش آمادگی در اوپن‌ای‌آی، می‌گوید حالت صوتی می‌تواند به یک رابط کاربری منحصر‌به‌فرد تبدیل شود. او همچنین اشاره می‌کند که تاثیرات احساسی مشاهده شده در GPT-4o می‌تواند مثبت باشد و برای مثال کسانی که احساس تنهایی می‌کنند یا نیاز به تمرین روابط اجتماعی دارند را تسکین دهد. او افزود که شرکت مساله انسان انگاری و روابط احساسی را با دقت مطالعه می‌کند و برای مثال رابطه آزمایش‌کنندگان بتا با ChatGPT را زیر نظر می‌گیرد. او می‌گوید: «ما در حال حاضر نتیجه‌ای برای ارائه نداریم اما این موضوع در لیست نگرانی‌های ما است.»

دیگر مشکلات حالت صوتی نیز احتمال روش‌های تازه «جیل‌بریک» یا از بین بردن محدودیت‌های امنیتی است. این کار با ارائه صوتی انجام می‌گیرد که باعث می‌شود مدل محدودیت‌های خود را کنار بگذارد. حالت جیل‌بریک ده صوتی را می‌توان برای تقلید صدای یک فرد خاص یا تشخیص احساسات کاربر استفاده کرد. احتمال عملکرد اشتباه حالت صوتی در مواجهه با صداهای اضافی نیز وجود دارد و در یکی از موارد آزمایش‌کنندگان دریافتند که هوش مصنوعی به تدریج از صدایی شبیه به صدای کاربر استفاده می‌کند. اوپن‌ای‌آی می‌گوید بازدهی حالت صوتی در ترغیب مردم به اتخاذ یک دیدگاه خاص را نیز تحت بررسی دارد.