اینترنت برای شرکت‌های هوش مصنوعی بیش‌از‌حد کوچک است
به‌نظر می‌رسد که داده‌های موجود در اینترنت برای توسعه‌ی مدل‌های هوش مصنوعی کافی نیستند.
شرکت‌های هوش مصنوعی هرچقدر که به ساخت مدل‌های بزرگ‌تر و بهتر ادامه می‌دهند، بیشتر با مشکلی خاص مواجه می‌شوند: اینترنت به‌اندازه‌ی کافی بزرگ نیست تا همه‌ی داده‌های لازم را فراهم کند.
داده‌ها نقش محوری در توسعه‌ی هوش مصنوعی ایفا می‌کنند. هر‌چه داده‌های بیشتری برای آموزش مدل هوش مصنوعی استفاده شود، آن سیستم هوشمندتر میشود. درمقابل، به‌نظر می‌رسد که داده‌های طبیعی (تولیدشده‌ی انسان) منابع محدودی هستند و ممکن است روزی تمام شوند.
مؤسسه‌ی آینده‌پژوهی Epoch AI پیش‌بینی کرده است که شرکت‌های هوش مصنوعی احتمالاً تا سال ۲۰۲۶ با کمبود داده‌های آموزشی متنی باکیفیت مواجه خواهند شد.
به‌‌گزارش روزنامه‌ی وال استریت ژورنال، ازآنجاکه رشد محتواهای موجود در اینترنت سریع نیست، برخی از شرکت‌ها در حال جست‌وجوی منابع جایگزین برای آموزش مدل‌ها هستند و به گزینه‌هایی مانند زیرنویس ویدئو‌ها یا حتی اطلاعات ساخته‌شده با هوش مصنوعی مولد فکر می‌کنند.
گفته میشود که OpenAI مدل GPT-5 را به‌کمک زیرنویس ویدئوهای عمومی یوتیوب توسعه داده است. مدتی پیش میرا موراتی، مدیر ارشد فناوری OpenAI، از پاسخ به این پرسش که «آیا از محتواهای یوتیوب برای آموزش مدل هوش مصنوعی سورا (Sora) استفاده شده است؟»، خودداری کرد.
به‌کارگیری داده‌های ساختگی برای تعلیم مدل‌های هوش مصنوعی موضوع بحث فراوانی در ماه‌های اخیر بوده است و بعضی از پژوهشگران دریافته‌اند که آموزش مدل هوش مصنوعی مبتنی‌بر داده‌هایی که قبلاً هوش مصنوعی دیگر تولید کرده‌اند، می‌تواند به فروپاشی مدل یا خلق نتایج معیوب منجر شود.
بعضی از شرکت‌ها مانند OpenAI و Anthropic، خالق مدل هوش مصنوعی Claude، به‌دنبال تولید محتواهای ساختگی باکیفیت‌تری هستند تا از شکل‌گیری مدلی جلوگیری کنند که با داده‌های بی‌ارزش آموزش دیده باشد. با‌این‌حال، هیچ‌کدام از آن‌ها جزئیات دقیق پروژه‌هایشان را فاش نکرده‌اند.
آنتروپیک هنگام رونمایی Claude 3 گفت که این مدل براساس داده‌هایی که خودشان تولید کرده‌اند، آموزش دیده است. جرد کاپلان، دانشمند ارشد آنتروپیک، نیز در مصاحبه با وال استریت ژورنال اعلام کرد که معتقد است برای داده‌های ساختگی نیز کاربردهای زیادی وجود دارد.
مجله‌ی هاروارد بیزینس ریویو می‌نویسد: «در پنج سال آینده، اپلیکیشن‌ها و دستگاه‌ها کمتر مصنوعی و بیشتر هوشمند خواهند شد. آن‌ها کمتر به یادگیری از کلان‌داده‌ها و بیشتر به استدلال از کل به جزء وابسته خواهند بود که شبیه روش انسان‌ها در حل مسائل و انجام وظایف است. قدرت استدلال می‌تواند کاربردهای گسترده‌تری برای هوش مصنوعی فراهم کند.»