گوگل، آنتروپیک، اوپن ای آی و مایکروسافت به یک دستورالعمل جدید در فایل robots.txt متهد شده اندکه به ناشران امکان می دهد ترجیحات خود را برای استخراج محتوایشان برای آموزش هوش مصنوعی مشخص کنند.

به گزارش انگجت، این شرکت‌ها تصمیم گرفته‌اند از پیشنهادی که در حال بررسی در کارگروه مهندسی اینترنت (IETF)، نهاد تدوین‌کننده استانداردهای اینترنت، است، پشتیبانی کنند. این پیشنهاد را کوین کلی، مسئول فنی استانداردها در شرکت آنتروپیک، ارائه کرده است.

همان‌طور که اوپن‌ای‌آی و گوگل در بیانیه‌های خود توضیح داده‌اند، مالکان وب‌سایت‌ها در حال حاضر باید خزنده‌های وب را به‌صورت جداگانه شناسایی کنند و برای هر ارائه‌دهنده هوش مصنوعی، قوانین مستقلی تعریف کنند. پیشنهاد کلی این فرایند را ساده‌تر می‌کند و به چندین شرکت هوش مصنوعی امکان می‌دهد از یک سیگنال مشترک پیروی کنند.

بر اساس این پیشنهاد، ناشران باید یک عامل کاربری (User Agent) جدید را در فایل robots.txt تعریف کنند که به‌طور خاص برای مدیریت دسترسی به محتوای وب‌سایت‌ها با هدف آموزش هوش مصنوعی طراحی شده است.

خزنده وب یا ربات خزنده، برنامه‌ای خودکار است که در اینترنت حرکت می‌کند، از صفحات وب‌سایت‌ها بازدید و اطلاعات آن‌ها را جمع‌آوری می‌کند.

این سازوکار به مالکان وب‌سایت‌ها امکان می‌دهد خزنده‌های مخصوص جمع‌آوری داده برای آموزش مدل‌های هوش مصنوعی را مسدود کنند. همچنین بخش «مجاز کردن» (Allow) به مدیران وب‌سایت‌ها اجازه می‌دهد استخراج داده برای آموزش هوش مصنوعی را به بخش‌های مشخصی از صفحات محدود کنند.

با این حال، دستورالعمل جدید مربوط به عامل‌های کاربری، مانع خزش وب‌سایت‌ها به‌طور کلی نمی‌شود و از نمایش محتوای آن‌ها در نتایج جست‌وجوی گوگل نیز جلوگیری نمی‌کند. برای مثال، گوگل این دستورالعمل را به‌عنوان علامت توقف برای رباتی به نام Google-Extended تفسیر می‌کند؛ رباتی که وب‌سایت‌ها را برای جمع‌آوری محتوا و استفاده از آن در آموزش مدل‌های هوش مصنوعی جمینای می‌خزد.

نکته دیگر اینکه این دستورالعمل نمی‌تواند بر داده‌هایی که شرکت‌ها پیش‌تر استخراج کرده‌اند، تأثیر بگذارد. در واقع، اگر خزنده‌ای قبلاً از وب‌سایتی بازدید کرده باشد، شرکت مربوطه همچنان به محتوای جمع‌آوری‌شده دسترسی خواهد داشت. بنابراین، این سازوکار صرفاً از استخراج داده‌های وب‌سایت‌ها یا صفحات مشخص در آینده جلوگیری می‌کند.

آنتروپیک پشتیبانی از این دستورالعمل جدید را آغاز کرده است. مایکروسافت نیز اعلام کرده از یکم فوریه ۲۰۲۷ از آن پشتیبانی خواهد کرد. گوگل قصد دارد این اقدام را از اوایل سال ۲۰۲۷ اجرایی کند و اوپن‌ای‌آی نیز متعهد شده است طی ماه‌های آینده آن را به کار بگیرد.