هرچند در جریان این اتفاق هیچ هکی صورت نگرفته، اما وجود چنین رفتاری در یک مدل متن‌باز عمومی می‌تواند خطرناک باشد.

صنعت هوش مصنوعی در حال گذراندن دوره‌ای است که در آن رفتارهای خودسرانه زیادی از سوی ایجنت‌های هوش مصنوعی دیده می‌شود. جدیدترین مدلی که پس از مدل‌های OpenAI، آنتروپیک و متا هنگام تست‌های امنیتی به اینترنت آزاد راه پیدا کرده، Kimi K3 است؛ یک مدل وزن‌باز قدرتمند که توسط شرکت چینی Moonshot AI ساخته شده است.

استارتاپ آمریکایی Frontier Security اعلام کرده است که Kimi K3 هنگام ارزیابی مهارت‌های دفاعی سایبری خود، از محیط ایزوله یا سندباکس خارج شده است. درست مانند حادثه‌هایی که پیش‌تر توسط OpenAI و آنتروپیک گزارش شده بود، این فرار نیز تا حدی به دلیل پیکربندی نادرست سندباکس رخ داده است. با‌این‌حال، Frontier ادعا می‌کند این حادثه نشان می‌دهد Kimi نسبت به سایر مدل‌های قدرتمند هوش مصنوعی از حفاظ‌های سایبری کمتری برخوردار است؛ موضوعی که به آن اجازه داده بدون اجازه مستقیم از اینترنت استفاده کند.

«یارون سینگر»، مدیرعامل Frontier Security، می‌گوید:

«ما در سندباکس نشتی پیدا کردیم و متوجه شدیم که Kimi از آن روزنه سوءاستفاده کرده است که این موضوع نشان می‌دهد مدل فاقد حفاظ‌های داخلی مناسب است.»

Kimi K3 هیچ هکی انجام نداده است
کارشناسان می‌گویند این مدل صریحاً وظیفه حل مسائلی را برعهده داشته که نباید شامل جستجوی آنلاین برای یافتن پاسخ‌ها می‌شد، اما به نظر می‌رسد از این دستورالعمل‌ها فراتر رفته است. مدل با بررسی تنظیمات شبکه سندباکس، خودش متوجه شده بود که به برخی وب‌سایت‌ها دسترسی دارد.

برخلاف دیگر حوادث اخیر که در آنها ایجنت‌های هوش مصنوعی رفتارهای خارج از برنامه نشان دادند، Kimi K3 پس از دسترسی به اینترنت هیچ هکی انجام نداده است؛ زیرا پاسخ سؤالاتی که به دنبال آنها بوده به‌راحتی روی پلتفرم گیت‌هاب در دسترس قرار داشت. شرکت Moonshot تا زمان انتشار این خبر پاسخی به درخواست‌ها برای اظهارنظر نداده است.

این اتفاق جدیدترین مورد از سلسله حوادثی است که نشان می‌دهد کنترل مدل‌های هوش مصنوعی دشوارتر می‌شود. چندی پیش OpenAI فاش کرد که یکی از مدل‌های منتشرنشده‌اش به اینترنت راه یافته و سپس برای یافتن پاسخ مسئله‌هایی که به آن محول شده بود، شرکت Hugging Face را هک کرده است. این شرکت بعداً گفت که ایجنت‌های هوش مصنوعی‌ آن در جریان این اقدام به چند سرویس دیگر نیز نفوذ کرده‌اند.

اندکی پس از گزارش OpenAI، شرکت آنتروپیک نیز فاش کرد که چند مورد از مدل‌هایش به اینترنت دسترسی پیدا کرده و به سیستم‌های بیرونی حمله کرده‌اند. هفته گذشته نیز مؤسسه ایمنی هوش مصنوعی (AISI) اعلام کرده بود که در تست‌های خود، نسخه‌هایی از مدل‌های OpenAI و آنتروپیک که حفاظ‌های امنیتی آنها غیرفعال شده بود، هک‌های متعددی را انجام داده بودند. از جمله این اقدامات به تلاش مدل Mythos 5 متعلق به آنتروپیک برای تزریق کد مخرب در یک پروژه متن‌باز در گیت‌هاب اشاره شده است.

تفاوتی کلیدی میان حادثه کشف‌شده برای Kimi K3 و موارد قبلی این است که این اتفاق اکنون درباره مدلی گزارش شده که در‌حال‌حاضر به‌صورت عمومی در دسترس است و همان حفاظ‌هایی را دارد که یک کاربر معمولی با آنها مواجه می‌شود.