شرکت کلودفرد، ارائه دهنده سرویس نام‌های دامنه و دیگر خدمات وب، در گزارش افشاگرانه جدیدی به استفاده شرکت هوش مصنوعی Perplexity از خزنده‌های مخفی برای دور زدن محدودیت‌های دسترسی به محتوا اشاره کرده است. طبق اعلام کلودفلر،‌ پلتفرم هوش مصنوعی Perplexity AI از خزش مخفیانه برای دسترسی به محتوای وب‌سایت‌ها استفاده می‌کند و با استفاده از این روش حتی زمانی که با صراحت در فایل‌های robots.txt یا قوانین امنیتی وب (WAF) دسترسی روبات‌ها منع شده است، به خزش ادامه می‌دهد.

کلودفلر در پست وبلاگی خود توضیح می‌دهد که با توجه به رفتار نادرست خزنده‌های شرکت پریپلکسیتی، شرکت ارائه دهنده مرورگر و موتور جستجوی مبتنی بر هوش مصنوعی،‌ این شرکت روبات‌ آنها را از لیست تایید شده حذف کرده و قوانینی را برای جلوگیری از این نوع خزش مخفیانه اعمال کرده است.

طبق اعلام کلودفلر،‌Perplexity ابتدا از خزنده‌هایی با عاملیت کاربری مانند PerplexityBot و Perplexity User استفاده می‌کند. اما زمانی که این خزنده‌ها توسط سایت‌ها یا فایروال‌ها مسدود می‌شوند، این شرکت روش خود را تغییر داده و با استفاده از User-Agentهای عمومی، مانند مرورگر کروم در مک‌اواس، تلاش می‌کند هویت واقعی خود را پنهان کرده و محدودیت‌ها را دور بزند.

به گفته کلاودفلر، در چنین مواردی خزنده مخفی پرپلکسیتی robots.txt را نادیده می‌گیرد و یا حتی آن را بررسی نمی‌کند و از آی‌پی آدرس‌های ناشناخته و خارج از محدوده اعلام‌شده‌اش استفاده می‌کند.

همچنین یکی از روش‌های دیگر برای دور زدن محدودیت‌های اعمال شده از سوی وبسایت، استفاده از سیستم‌های خودکار تشخیص آی‌پی و ASN‌های مختلف برای گریز از شناسایی است.

این اقدامات در تضاد مستقیم با استانداردهای جهانی خزنده‌ها مانند RFC 9309 است که بر شفافیت و احترام به خواسته‌های مدیران وب‌سایت‌ها تاکید دارد.

خزش مخفی پریپلکسیتی چگونه کشف شد؟
شرکت کلودفلر پس از گزارش کاربران در این باره برای راستی‌آزمایی ادعای آنها، اقدام به ساخت چند دامنه آزمایشی تازه کرد همچون testexample.com و secretexample.com کرد، اما با وجود اینکه این دامنه‌ها هیچ‌گونه ثبت در موتورهای جستجو نداشتند و به همراه یک فایل robots.txt با محدودیت کامل و به شکل محرمانه راه‌اندازی شدند، در کمال تعجب، زمانی که سوالاتی درباره این دامنه‌ها از پرپلکسیتی پرسیده شد، این پلتفرم توانست اطلاعات دقیقی از محتوای این وب‌سایت‌ها ارائه دهد، که تنها مسیر دسترسی به این اطلاعات استفاده از روش خزش محرمانه و خزنده غیرمجاز بود.

تفاوت رفتار پرپلکسیتی با خزنده‌های قانون‌مدار
کلودفلر در این گزارش رفتار پرپلکسیتی را با شرکت‌هایی مانند اوپن‌ای‌آی مقایسه کرده است. کلودفلر می‌گوید اوپن‌ای‌آی، مالک بزرگ‌ترین و محبوب‌ترین چت‌بات هوش مصنوعی جهان، رویکرد کاملا شفافی نسبت به خزش دارد:

اوپن‌ای‌آی شناسه خزنده‌هایش را اعلام کرده، از فایل robots.txt پیروی می‌کند و از استانداردهای نوینی مانند Web Bot Auth برای احراز هویت خزنده‌های خود کمک می‌گیرد.
زمانی که در تست مشابه از ChatGPT خواسته شد تا اطلاعاتی درمورد این دامنه‌های محدود شده ارائه کند، این سیستم ابتدا robots.txt را خواند و سپس از دسترسی صرف‌نظر کرد.

راهکار کلودفلر برای جلوگیری از خزش مخفی
کلاودفلرمی‌گوید تمامی خزنده‌های مخفی پرپلکسیتی را از طریق سیستم تشخیص بات شناسایی کرده است و در صورتی که مشتریان از قوانین امنیتی (WAF) استفاده کرده باشند، این خزنده‌ها مسدود می‌شوند.

همچنین یک قانون امنیتی جدید و اختصاصی برای مقابله با خزنده‌های هوش مصنوعی، از جمله نسخه مخفی پرپلکسیتی، به تنظیمات مدیریتی اضافه شده و این قانون حتی برای کاربران رایگان کلاودفلر نیز قابل دسترسی است.

کلاودفلر می‌گوید بیش از ۲.۵ میلیون وب‌سایت تاکنون از ویژگی مسدودسازی خزنده‌های هوش مصنوعی استفاده کرده‌اند. این اقدام بخشی از کمپین «روز استقلال محتوا» است که هدفش بازگرداندن کنترل محتوا به دستان صاحبان وب‌سایت‌هاست.

همچنین کلاودفلر با نهادهای بین‌المللی مانند IETF در تلاش برای تدوین استانداردهای جدید برای تعامل خزنده‌ها با وب‌سایت‌ها است. کلودفلور تاکید دارد که آینده‌ای شفاف، مبتنی بر رفتار مسئولانه بات‌ها و خزنده‌ها، احترام به حریم خصوصی و ترجیحات ناشران خواهد بود.

رفتار مخفیانه پرپلکسیتی در رقابت فشرده هوش مصنوعی نشان می‌دهد که برخی شرکت‌ها احتمالا برای کسب برتری و دسترسی به داده‌های وب به روش‌های غیراخلاقی و مخفیانه متوسل شوند. با این حال در عین رشد روزافزون فناوری هوش مصنوعی، اعتماد، شفافیت و رعایت استانداردها همچنان ارکان اصلی اینترنت اهمیت روز افزون خواهند داشت.