گوگل دیپ‌مایند از مدل بزرگ زبانی برای پاسخ به یک مساله حل‌نشده ریاضی استفاده کرد
گوگل برای اولین بار با استفاده از یک مدل بزرگ به سراغ یکی از مسائل حل نشده ریاضی رفته است. پیش از این قدرت مدل‌های زبانی در ارائه پاسخ سریع برای آنچه از پیش مشخص است بارها و بارها محک خورده است اما این اولین باری است که یک مدل زبانی به دنبال پاسخ به مساله‌ای است که جواب آن در هیچ پایگاه داده‌ای پیدا نمی‌شود. هیچکس نمی‌داند پاسخ صحیح چیست و گوگل با مدلی به نام فان‌سرچ (FunSearch)، ترکیبی از دو سیستم هوش مصنوعی دیگر، به سراغ حل این مساله رفته است.
آنچه در ادامه براساس مقاله‌ای از MIT Technology می‌خوانید ممکن است به چارچوب اصلی استفاده از مدل‌های زبانی در ریاضیات بدل شود و از نگاه ریاضی‌دان‌ها یکی از رویکرد‌های احتمالی برای استفاده از حداکثر قدرت مدل‌های زبانی و در عین حال به حداقل رساندن معایب آن است.
گوگل دیپ‌مایند از یک مدل بزرگ زبانی برای حل یکی از مساله‌های بی‌پاسخ معروف در ریاضیات محض استفاده کرد. در مقاله‌ای که چهار روز پیش در مجله نیچر منتشر شد، محققان می‌گویند برای اولین بار یک مدل زبانی برای پیدا کردن جواب یک پازل قدیمی علمی استفاده کردند. این به معنی تولید اطلاعات قابل تایید و جدیدی است که پیشتر وجود خارجی نداشته است. پوشمیت کوهلی، یکی از مولفان و نایب‌رئیس بخش تحقیقات گوگل دیپ‌مایند، می‌گوید: «[پاسخ] در داده‌های آموزشی وجود ندارد-هیچکس آن را نمی‌داند.»
مدل‌های بزرگ زبانی به اطلاعات ساختگی شهرت دارند اما یافتن حقایق جدید از ویژگی‌های آنها نیست. ابزار جدید گوگل دیپ‌مایند که فان‌سرچ نام دارد، شاید این شرایط را تغییر دهد. این ابزار، اگر به خوبی تنظیم شود و شما بیشتر یافته‌های آن را دور بریزید، می‌تواند کشفیات جدیدی ارائه کند.
فان‌سرچ (که نامش را نه به دلیل سرگرم‌کننده و جالب بودن، بلکه به دلیل جستجویش برای توابع ریاضی، دریافت کرده است) روند کشفیات ریاضیات پایه و علوم کامپیوتری را ادامه می‌دهد که دیپ‌مایند با استفاده از هوش مصنوعی کلید زده است. اولین مدل این شرکت یا همان آلفاتنسور (AlphaTensor) راهی برای سرعت بخشیدن به محاسبات بسیاری از کدهای مختلف پیدا کرد و رکورد ۵۰ ساله را شکست. سپس آلفادو (AlphaDev) راهی پیدا کرد تا الگوریتم‌های مهمی که روزانه هزاران میلیارد مرتبه استفاده می‌شوند سریع‌تر کارکنند.
اما این ابزارها هیچکدام از مدل‌های بزرگ زبانی استفاده نمی‌کردند. هردو ابزار که برمبنای هوش مصنوعی گیمر دیپ‌مایند به نام آلفازیرو (AlphaZero) ساخته شده بودند با مساله‌های ریاضی همانند پازل‌هایی در بازی گو یا شترنج برخورد کرده و آنها را از این طریق حل می‌کردند. برناردینو رومرا پاریدس، یکی از محققانی که روی آلفاتنسور و فان‌سرچ کار کرده است، می‌گوید مشکل این بود که آنها به یک سری مسیرهای خاص محدود بودند: «آلفاتنسور یک دستکاری فوق‌العاده در ماتریکس است اما در عمل هیچ چیز دیگری تغییر نکرده است.»
رویکرد فان‌سرچ متفاوت است. این ابزار یک مدل بزرگ زبانی به نام کودی (Codey) که نسخه‌ای از PaLM2 گوگل است و براساس کدکامپیوتری تقویت شده را با سیستم‌های دیگری ترکیب می‌کند که پاسخ‌های نادرست و بی‌معنی را رد می‌کنند و موارد مناسب را دوباره به سیستم تزریق می‌کنند.
الحسین فوزی، یکی از محققان گوگل دیپ‌مایند، می‌گوید: «اگر بخواهم با شما رو راست باشم، ما دقیقا نمی‌دانیم چرا این کار جواب می‌دهد و فقط یک سری فرضیه داریم. در ابتدای پروژه، ما حتی مطمئن نبودیم که این کار جواب خواهد داد.»
محققان کارشان اول از همه مسائلی که می‌خواستند حل کنند را به زبان پایتون، یک زبان محبوب برنامه‌نویسی، ارائه کردند. اما خط‌هایی که نحوه حل مساله را مشخص می‌کرد خالی گذاشته شد. در اینجا فان‌سرچ وارد عمل میشود. این ابزار با استفاده از کودی جاهای خالی را پر کرده و در واقع کدی برای حل مساله پیشنهاد می‌کند.
سپس یک الگوریتم دومی آنچه کودی به عنوان پاسخ ارائه کرده را بررسی کرده و به آن امتیاز می‌دهد. بهترین پیشنهادات، حتی اگر هنوز راه‌حل درست نباشند، ذخیره شده و دوباره در اختیار کودی قرار می‌گیرند و این ابزار دوباره تلاش مسیر را طی می‌کند. کوهلی می‌گوید: «بسیاری از آنها بی معنی خواهند بود، برخی از آنها منطقی و تعداد کمی بسیار الهام‌بخش هستند. شما آن موارد الهام‌بخش را گرفته و می‌گویید، خب اینها را بگیر و تکرار کن.»
پس چند میلیون پیشنهاد و ده‌ها مرتبه طی شدن این فرایند، که چند روزی زمان می‌برد، فان‌سرچ می‌تواند کدی ارائه کند که راه‌حلی صحیح و شناخته نشده برای مساله کپ ست (cap set) تولید می‌کند و این فرایند یافتن بزرگترین مقیاس برای یک ست مشخص را نیز شامل میشود. برای درک این مساله تصور کنید که یک صفحه نمودار را نقطه‌گذاری می‌کنید. مساله کپ ست به این معنا است که بفهمید چه تعداد نقاط را می‌توان روی نمودار رسم کرد اما هیچکدام از سه نقطه یک خط مستقیم تشکیل ندهند.
این مساله بسیار بکر اما حائز اهمیت است. ریاضی‌دان‌ها هنوز حتی روی روش حل این مساله نیز اتفاق نظر ندارند چه برسد به یک راه‌حل واحد (این مساله با دستکاری ماتریکس نیز در ارتباطت است، محاسبه‌ای که آلفاتنسور راهی برای تسریع آن پیدا کرد.) ترنس تائو از دانشگاه کالیفرنیا، لس‌آنجلس، که جوایز بزرگ ریاضیات از جمله مدال فیلدز، را دریافت کرده است در یک پست وبلاگی در سال ۲۰۰۷ می‌گوید مساله کپ ست «احتمالا مساله بی‌جواب مورد علاقه من است.»
عملکرد فان‌سرچ تائو را هیجان زده کرده است. او می‌گوید: «این الگوی امیدوارکننده‌ای است. روش جالبی برای استفاده از قدرت مدل‌های بزرگ زبانی است.»
یکی از برتری‌های مهم فان‌سرچ به نسبت آلفاتنسور این است که از لحاظ تئوری می‌توان از این مدل برای یافتن راه‌حل بازه وسیعی از مساله‌ها استفاده کرد زیرا این مدل کد ارائه می‌کند. کد به جای اینکه خود راه‌حل باشد، دستورالعملی برای راه‌حل است. کدهای مختلف، مساله‌های مختلفی را حل می‌کنند. درک نتایج فان‌سرچ هم ساده‌تر است. فوزی می‌گوید یک دستورالعمل معمولا به نسبت راه‌حل عجیب ریاضیاتی وضوح بیشتری دارد.
محققان برای بررسی انعطاف این مدل نیز از فان‌سرچ برای یک مساله دشوار دیگر ریاضی استفاده کردند: یک مساله پر کردن سطل که براساس آن باید تلاش کنید حداکثر تعداد اقلام را در داخل یک سری سطل جای دهید. این مساله برای چندین حوزه در علوم کامپیوتر، از مدیریت دیتاسنتر تا تجارت الکترونیک، کاربرد دارد. فان‌سرچ در این مورد نیز راه‌حلی سریع‌تر از نمونه‌های انسانی ارائه کرد.
تائو می‌گوید ریاضی‌دان‌ها «همچنان در تلاشند تا بهترین راه برای استفاده از مدل‌های بزرگ زبانی در تحقیقات خود را پیدا کنند تا در عین جلوگیری از معایب، بیشترین استفاده را از قدرت آن داشته باشند. این [آزمایش گوگل] مطمئنا یکی از روش‌های احتمالی است.»