هوش مصنوعی

November 18, 2026
۱۶:۲۰ چهارشنبه، ۲۷ام آبانماه ۱۴۰۵
کد خبر: 233612

OpenAI با ابزار و سیاست‌های جدید به جنگ دیپ‌فیک‌های آزار کودکان می‌رود

منبع: دیجیاتو

ابزار جدید OpenAI با تشخیص تصاویر جعلی هوش مصنوعی، خطاهای کاذب در شناسایی محتوای آزار کودکان را ۴۸ درصد کاهش می‌دهد.

شرکت OpenAI از ابزار جدیدی رونمایی کرده که به گفته این شرکت، به بازرسان پرونده‌های مربوط به آزار جنسی کودکان کمک می‌کند تا از میان حجم انبوه گزارش‌ها، موارد آسیب‌زا را سریع‌تر شناسایی کرده و برای رسیدگی به آنها اقدام کنند.

این شرکت در یک نشست خبری که روز دوشنبه برگزار شد، این ابزار را معرفی کرد که می‌تواند تصاویر آزاردهنده کودکان را با دقت بیشتری تشخیص دهد و مشخص کند که آیا این محتوا با هوش مصنوعی تولید شده است یا خیر. OpenAI همچنین دسترسی رایگان به این ابزار را در اختیار سازمان‌های تأییدشده قرار می‌دهد، راهنمایی‌های بیشتری برای تشخیص این نوع محتوا به توسعه‌دهندگان ارائه می‌کند و به آموزش نیروهای مجری قانون درباره نحوه استفاده از هوش مصنوعی در تحقیقاتشان کمک خواهد کرد.

این خبر درحالی منتشر شده که سیاست‌گذاران و نهادهای مختلف خواستار اعمال محدودیت‌های ایمنی بیشتر بر ابزارهای هوش مصنوعی هستند و OpenAI و سایر شرکت‌ها را به ساده‌سازی آسیب رساندن به کودکان متهم می‌کنند.

در سال‌های اخیر، تصاویر جنسی دیپ‌فیک تولیدشده توسط هوش مصنوعی از کودکان، سامانه‌هایی مانند CyberTipline متعلق به مرکز ملی کودکان گمشده و استثمارشده آمریکا (NCMEC) را با خطر اشباع روبه‌رو کرده است. این سامانه که گزارش‌های مربوط به محتوای آزار جنسی کودکان (CSAM) را جمع‌آوری و اولویت‌بندی می‌کند، در سال ۲۰۲۵ میلادی ۴۰۰ هزار گزارش مرتبط با هوش مصنوعی مولد دریافت کرده که نسبت به ۶۷ هزار گزارش در سال ۲۰۲۴ میلادی افزایش چشمگیری داشته است. پژوهشگران نیز هشدار داده‌اند که این هجوم می‌تواند حجم کاری NCMEC را «غیرقابل مدیریت» کند.

دولت ایالات متحده اعلام کرده که تولید و انتشار محتوای آزار جنسی کودکان، چه با هوش مصنوعی و چه بدون آن، غیرقانونی است و ۴۸ ایالت نیز قوانینی برای مقابله با دیپ‌فیک‌های جنسی مبتنی بر هوش مصنوعی وضع کرده‌اند. با‌این‌حال، ابزارهای ساخت چنین تصاویری به‌طور گسترده در دسترس هستند و به گفته پژوهشگران، تصاویر جعلی می‌تواند تشخیص مواردی را که در آن یک کودک واقعاً در معرض آسیب قرار دارد، دشوارتر کند.

«جف جکسون»، دادستان کل کارولینای شمالی و رئیس مشترک کارگروه هوش مصنوعی اتحادیه دادستان‌های کل، در رویداد OpenAI گفت که تعداد گزارش‌های مربوط به محتوای آزار کودکان که توسط هوش مصنوعی تولید شده‌اند بسیار زیاد است و اگر این روند ادامه داشته باشد، «به این معنا خواهد بود که ما در مأموریت خود شکست می‌خوریم».

شرکت‌های فناوری با مجموعه‌ای از پیشنهادها روبه‌رو هستند که می‌تواند آنها را ملزم به اقدامات بیشتر در برابر محتوای آزار کودکان و سایر محتواهای بالقوه مضر برای آنها کند. قانون «Take It Down Act» اکنون پلتفرم‌های شبکه‌های اجتماعی را ملزم می‌کند که تصاویر خصوصی بدون رضایت یا تولیدشده با هوش مصنوعی را ظرف ۴۸ ساعت حذف کنند و کنگره جدید آمریکا نیز ممکن است اقدامات سخت‌گیرانه‌تری علیه شرکت‌های هوش مصنوعی مانند SpaceXSI انجام دهد که چت‌بات Grok آن اوایل امسال برای ساخت تصاویر برهنه جعلی از کاربران مورد استفاده قرار گرفته بود.

دقت بالاتر ابزار جدید OpenAI در شناسایی دیپ‌فیک‌های آزار کودکان
OpenAI می‌گوید ابزار جدیدش موارد مثبت کاذب را به‌طرز چشمگیری کاهش می‌دهد؛ به‌طوری‌که ۴۸ درصد، تصاویر کمتری را به‌عنوان مورد مشکوک علامت‌گذاری می‌کند، درحالی‌که احتمال وجود محتوای آزاردهنده در تصاویر شناسایی‌شده توسط آن دو برابر بیشتر است. این ابزار به گونه‌ای طراحی شده که تصاویر آزاردهنده تولیدشده توسط طیف وسیعی از ابزارها، از جمله مدل‌های متن‌باز و اپلیکیشن‌های برهنه‌سازی را شناسایی کند.

«جان باکلی»، رئیس سیاست‌گذاری عمومی ایمنی کودکان در OpenAI، در این نشست خبری گفت که این محصول نخستین ابزار طبقه‌بند محتوای آزار کودکان با دسترسی گسترده است که دارای یک نشانگر ویژه برای محتوای تولیدشده توسط هوش مصنوعی است.

ابزار تولید تصویر خود ChatGPT طوری طراحی شده که درخواست‌های کاربران برای تولید محتوای آزار جنسی کودکان را رد کند. اکنون به کاربرانی که برای تولید چنین محتوایی تلاش کنند، هشدار جدیدی نمایش داده می‌شود که با راهنمایی کارشناسان برای تشویق آنها به دریافت کمک تدوین شده است. همچنین نخستین تخلف باعث توقف ۲۴ ساعته دسترسی به ChatGPT می‌شود و به کاربر هشدار می‌دهد که حساب کاربری او ممکن است برای همیشه بسته شود؛ درعین‌حال منابع حمایتی برای مقابله با این رفتار نیز به او ارائه می‌گردد. OpenAI اعلام کرده که «تمامی موارد مرتبط با محتوای آزار جنسی کودکان» را به مرکز NCMEC گزارش می‌دهد.

جکسون می‌گوید هرچند در کارولینای شمالی و بسیاری از ایالت‌های دیگر قوانینی وجود دارد که محتوای مصنوعی آزار کودکان را پوشش می‌دهد، اما همکاری با یک شرکت فناوری مانند OpenAI برای کمک به جلوگیری از تولید این محتواها، رویکردی نسبتاً جدید برای یک مشکل نوظهور است. او به خبرنگاران در این نشست گفت:

«بیشتر کاری که دادستان‌های کل انجام می‌دهند، مربوط به پاسخ‌گویی و پیگرد قانونی است. بخش عمده اختیارات ما پس از وقوع جرم برای پاسخ‌گو کردن افراد در قبال آسیب واردشده فعال می‌شود. اما با این اقدام، ما می‌خواستیم ببینیم آیا امکان ایجاد مدلی برای همکاری جهت پیشگیری از آسیب وجود دارد یا خیر؛ و باید بگویم که این کار هنوز در مرحله آزمایشی است.»

  • مشترک شوید!

    برای عضویت در خبرنامه روزانه ایستنا؛ نشانی پست الکترونیکی خود را در فرم زیر وارد نمایید. پس از آن به صورت خودکار ایمیلی به نشانی شما ارسال میشود، برای تکمیل عضویت خود و تایید صحت نشانی پست الکترونیک وارد شده، می بایست بر روی لینکی که در این ایمیل برایتان ارسال شده کلیک نمایید. پس از آن پیامی مبنی بر تکمیل عضویت شما در خبرنامه روزانه ایستنا نمایش داده میشود.

    با عضویت در خبرنامه پیامکی آژانس خبری فناوری اطلاعات و ارتباطات (ایستنا) به طور روزانه آخرین اخبار، گزارشها و تحلیل های حوزه فناوری اطلاعات و ارتباطات را در هر لحظه و هر کجا از طریق پیام کوتاه دریافت خواهید کرد. برای عضویت در این خبرنامه، مشترکین سیمکارت های همراه اول لازم است عبارت 150 را به شماره 201464 و مشترکین سیمکارت های ایرانسل عبارت ozv ictn را به شماره ۸۲۸۲ ارسال کنند. دریافت موفق هر بسته خبری که محتوی پیامکی با حجم ۵پیامک بوده و ۴ تا ۶ عنوان خبری را شامل میشود، ۳۵۰ ریال برای مشترک هزینه در بردارد که در صورتحساب ارسالی از سوی اپراتور مربوطه محاسبه و از اعتبار موجود در حساب مشترکین سیمکارت های دائمی کسر میشود. بخشی از این درآمد این سرویس از سوی اپراتور میزبان شما به ایستنا پرداخت میشود. مشترکین در هر لحظه براساس دستورالعمل اعلامی در پایان هر بسته خبری قادر خواهند بود اشتراک خود را در این سرویس لغو کنند. هزینه دریافت هر بسته خبری برای مشترکین صرفا ۳۵۰ ریال خواهد بود و این هزینه برای مشترکین در حال استفاده از خدمات رومینگ بین الملل اپراتورهای همراه اول و ایرانسل هم هزینه اضافه ای در بر نخواهد داشت.