مقابله با شکاف دقت هوش مصنوعی در مخابرات
ICTna.ir – مدل‌های هوش مصنوعی بنیادی فاقد دانش خاص مخابراتی هستند و این امر پس از اجرای آزمایشی، سرعت پذیرش را کاهش می‌دهد. با اختلاف دقت ۲۵ درصدی، توکنیزاسیون مختص دامنه، مسیری را برای تغییر آغاز می‌کند.
به گزارش گروه اخبار خارجی آژانس خبری فناوری اطلاعات و ارتباطات (ایستنا)، مدل‌های هوش مصنوعی بنیادی ، که به عنوان مدل‌های هوش مصنوعی مرزی یا همه منظوره نیز شناخته می‌شوند، برای مدیریت مجموعه‌ای گسترده از وظایف و برنامه‌های کاربردی ساخته شده با استفاده از مجموعه داده‌های چندوجهی در مقیاس بزرگ طراحی شده‌اند.
همانطور که در دو سه سال گذشته دیده‌ایم، این مدل‌ها – مانند مدل‌های زبان بزرگ (LLM) که در دسته مدل‌های بنیادی قرار می‌گیرند – در استدلال عمومی، ایجاد محتوا و تشخیص الگو به طرز شگفت‌آوری خوب عمل می‌کنند. به عنوان مثال می‌توان به برخی از نام‌های بزرگ مانند سری GPT و مدل Claude از شرکت Anthropic اشاره کرد.
اما این مدل‌های عمومی که بر اساس داده‌های اینترنت باز آموزش دیده‌اند، فاقد درک استانداردها، مقررات و مشخصات فنی صنعت مخابرات هستند. این بدان معناست که هنگام آزمایش بر روی زبان دامنه مخابراتی، عملکرد ضعیفی دارند.
در صنعت مخابرات، که عملکرد شبکه توسط توافق‌نامه‌های سطح خدمات (SLA) در سطح دسترسی پنج نه یا 99.999 درصد محدود میشود، این بدان معناست که بسیاری از مدل‌های عمومی هوش مصنوعی نمی‌توانند فراتر از مرحله آزمایشی مقیاس‌پذیر شوند.
در این زمینه، GSMA، شریک تجاری صنعت تلفن همراه، به بررسی تفاوت بین عملکرد کلی مدل هوش مصنوعی و برآوردن نیازهای صنعت مخابرات پرداخته است.
لویی پاول، مدیر ابتکارات هوش مصنوعی GSMA، در وبلاگ اخیر خود توضیح داد که بسیاری از سازمان‌هایی که در حال بررسی هوش مصنوعی هستند، شاهد یک سطح ثابت عملکرد، معمولاً با نرخ دقت ۷۵ درصد، بوده‌اند. با توجه به اهمیت دقت در ارتباطات، نرخ خطای ۲۵ درصد باقی‌مانده غیرقابل قبول است.
پاول چالش‌های این مدل‌های بنیادی برای مخابرات و تأثیر تجاری آن بر اپراتورها، راهکارهایی که انجمن صنعت روی آنها کار کرده است، چگونگی همگام شدن با سرعت سریع پیشرفت‌ها و چشم‌انداز خود برای رابطه بین مدل‌های هوش مصنوعی خاص مخابرات و اکوسیستم گسترده‌تر هوش مصنوعی در آینده را شرح می‌دهد.
چالش: اختلاف دقت ۲۵ درصدی
«اگر یک مدل مرزی را از ابتدا آماده کنید و سعی کنید آن را با زبان دامنه مخابراتی آموزش دهید یا آزمایش کنید، عملکرد بسیار بدی خواهد داشت.»
پاول می‌گوید GSMA چالش‌های مختلفی را شناسایی کرده است، از جمله شکاف دقت هنگام استفاده از مدل‌های بنیادی عمومی. حتی وقتی این مدل‌ها با نسل بازیابی-تقویت‌شده ترکیب می‌شوند، شکاف دقت حیرت‌انگیز ۲۵ درصدی را باقی می‌گذارند. این چالش‌ها شامل شکاف معنایی (شکاف در درک زبان دامنه مخابراتی) است، اما به سایر مهارت‌های مورد نیاز مانند ریاضیات و SQL نیز گسترش می‌یابد.
او با بررسی جزئیات، توضیح می‌دهد که «مدل‌ها بر اساس داده‌های باز اینترنت آموزش دیده‌اند. اکنون آنها درک خاصی از مخابرات دارند، اما این درک با درک صنعت بر اساس استانداردها، مقررات و مشخصات فنی که دسترسی به بسیاری از آنها دشوار است و در حوزه‌های مختلفی قرار دارند، بسیار متفاوت است. و این مدل‌ها بر اساس این اطلاعات آموزش ندیده‌اند.»
«بنابراین، چیزی که می‌بینیم این است که وقتی یک مدل مرزی را از ابتدا می‌گیرید و سعی می‌کنید آن را با زبان دامنه مخابراتی آموزش دهید یا آزمایش کنید، عملکرد بسیار بدی دارد. این مدل، شاخص‌های کلیدی عملکرد (KPI) را درک نمی‌کند، زبان را درک نمی‌کند، تعاملات درون صنعت را درک نمی‌کند.»
پاول توضیح می‌دهد که در حوزه‌هایی مانند خدمات مشتری که ابزارهای هوش مصنوعی مولد (GenAI) به عنوان میوه‌ای دم‌دستی برای پذیرش هوش مصنوعی و یک پیروزی آسان در نظر گرفته شده‌اند، نرخ دقت ۸۰ درصد آشکارا بر امتیاز خالص مروجان تأثیر چشمگیری می‌گذارد. این بدان معناست که «شما در واقع نمی‌توانید از همان ابتدا مزیت پیاده‌سازی آن مجموعه فناوری یا آن راه‌حل را در جنبه شبکه‌ای امور تأیید یا درک کنید.»
نتیجه این است که بسیاری از استقرارها در مرحله آزمایشی باقی می‌مانند، بنابراین پاول توضیح می‌دهد که «ما شاهد آن پذیرش گسترده در مقیاس وسیع نیستیم و معتقدیم که شکاف دقت یکی از چالش‌های اساسی در این زمینه است.»
او همچنین تأکید می‌کند که نرخ دقت ۷۵ درصدی واقعاً باید به ۹۹.۹۹ درصد برسد، در واقع با برنامه‌های SLA و در عملکرد شبکه، نرخ دقت باید بیشتر از پنج نه باشد. «شاید خیلی بزرگ به نظر نرسد، اما باید به مرحله‌ای برسیم که در یک محیط تحت نظارت سازمانی، عملکرد فوق‌العاده خوبی در مقیاس بزرگ داشته باشید و این واقعاً جایی نیست که زبان در این مدل‌ها وجود داشته باشد.»
پاول با بررسی دقیق‌تر موارد استفاده‌ای که مدل‌های عمومی به طور قابل توجهی با آنها مشکل دارند، می‌گوید: «حوزه‌هایی که دانش بالایی در آن حوزه دارید، اغلب با سیگنال‌های مختلف زیادی در تعامل هستید، هر چیزی که مربوط به شبکه باشد، برای تصمیم‌گیری به ورودی از فروشندگان یا بخش‌های مختلف شبکه نیاز دارد، درک این موارد برای یک مدل عمومی بسیار دشوار است.»
«هر چیزی که در آن الگوهای پیچیده، یعنی روابط متقابل، وجود داشته باشد، بسیار پیچیده است زیرا مدل‌ها آن روابط را درک نمی‌کنند زیرا به اندازه کافی روی آن داده‌ها آموزش ندیده‌اند. و سپس وقتی سیگنال‌های داده متنوعی دارید، بنابراین چندوجهی، پینگ‌های هشدار، JSON، سیگنال‌های فرکانسی، زبان‌های مختلف، که هنوز کاملاً نوپا هستند، حتی در سطح مقدماتی. و ما حوزه‌های مخابراتی را در نظر می‌گیریم، آموزش کافی در مورد گزارشها و هشدارها و فایل‌های YAML و غیره وجود نداشته است.»
به طور خلاصه، او اضافه می‌کند که طیف وسیعی از متغیرهای دیگر وجود دارند که برای اینکه این مدل‌ها واقعاً در حوزه مخابرات قابل اجرا باشند، نیاز به بهبود دارند. این موارد شامل سطح رقابت در مخابرات، لزوم اطمینان از ادامه مسیر صنعت به سمت بهره‌وری انرژی – موضوعی که مربوط به LLMها است – و مهارت‌های ریاضی و استدلال SQL میشود.
راه حل: تخصص در حوزه کاری
«شما نمی‌توانید فقط یک فایل ورد بزرگ ایجاد کنید و آن را در آن قرار دهید و انتظار داشته باشید که مدل‌ها عمیقاً آن را درک کنند.»
پرداختن به شکاف معنایی نیازمند تخصص در حوزه است. پاول توضیح می‌دهد که در نهایت هدف، ساختن چیزی است که GSMA آن را «مدل جاسازی» می‌نامد. یعنی گرفتن کل واژگان انگلیسی و نگاشت آن به یک فضای چندبعدی برای تلاش و درک میزان ارتباط دو کلمه با یکدیگر. او مثال زیر را به اشتراک می‌گذارد: «تصور کنید یک کره سه‌بعدی دارید و سعی می‌کنید بفهمید کلمات «شاه» و «مرد» و «ملکه» و «زن» چقدر به هم نزدیک هستند. احتمالاً در این فضا کاملاً به هم نزدیک هستند. و سپس کلمه‌ای مانند «سلول» را در نظر می‌گیرید و به بدن نگاه می‌کنید، انسان، احتمالاً بسیار به حیوان نزدیک است. اگر کلمه «سلول» را در یک حوزه مخابراتی در نظر بگیرید و سعی کنید آن را به انسان ربط دهید، آنها ارتباطی با هم ندارند. اما اگر به سلول و فضای جغرافیایی نگاه کنید، به دلیل ماهیت سلول، ارتباط بسیار نزدیکی با هم دارند، مثلاً یک منطقه جغرافیایی برای یک ایستگاه پایه است.»
«بنابراین، کاری که این مدل سعی در انجام آن دارد این است که کلمات انگلیسی یکسانی را بگیرد اما آنها را در رابطه با یک دنیای خاص مخابراتی بازطراحی کند. زیرا این شکاف‌های بین دنیاها متفاوت خواهند بود و هرچه این شکاف‌ها نزدیک‌تر باشند، احتمال پیش‌بینی آن کلمه بیشتر است. بنابراین، کاری که ما واقعاً سعی در انجام آن داریم، نوعی بازطراحی زبان انگلیسی در دنیای مخابرات است تا شما آن روابط را درک کنید.»
اما او می‌گوید برای دستیابی به چنین تخصص دامنه‌ای، «شما نمی‌توانید فقط یک فایل ورد بزرگ ایجاد کنید و آن را وارد کنید و انتظار داشته باشید که مدل‌ها آن را عمیقاً درک کنند. بنابراین، برچسب‌گذاری‌های زیادی در اطراف آن وجود دارد تا آن روابط را درک کنند، به آن کلمات اطلاعات اضافی بدهند و سپس توکن‌سازی به طور مؤثر راهی برای گرفتن و تقسیم یک مجموعه بزرگ متن به لقمه‌های کوچک است تا یک مدل بتواند آن را هضم کند.»
یک فرآیند عمومی، اسناد مشخصات فنی، مقررات یا استانداردها را در بر می‌گیرد و کلمات و پاراگراف‌ها را تکه‌تکه می‌کند. اما این خطر وجود دارد که کلمات معنای خود را از دست بدهند، بنابراین پاول می‌گوید که توکن‌سازی دامنه مخابراتی با هدف «حفظ آن فراداده یا آن درک از آنچه اسناد سعی در انجام آن دارند و تکه‌تکه کردن آن به روشی منطقی‌تر و معقول‌تر برای حفظ معنای آن تکه از کلمات انجام میشود و نه اینکه صرفاً به صورت خودسرانه آن را بر اساس تعداد توکن‌ها برش دهد.»
«و ایده این است که شما نه تنها به مدل اجازه می‌دهید اطلاعات را پردازش کند، بلکه تا حد امکان درک خود را حفظ می‌کند تا بتواند آن مدل جاسازی را بسازد.»
مهندسی چنین روانی معنایی تاکنون پیشرفت‌هایی داشته است. آخرین اعداد طبق GSMA از آن نرخ دقت ۷۵ درصدی به سطوحی بین ۸۸ تا ۹۳ درصد بهبود یافته است. اما همانطور که پاول اشاره می‌کند، هنوز جای پیشرفت بیشتری برای رساندن صنعت به سطح شش سیگما وجود دارد.
همگام شدن با پیشرفت‌های تکنولوژیکی
«شما اساساً یک مدل کوچک‌تر را در نظر می‌گیرید که می‌توانید سریع‌تر، ارزان‌تر و آسان‌تر برای مورد استفاده خود آموزش دهید.»
پاول با اشاره به سرعت بالای پیشرفت‌های هوش مصنوعی و ایجاد تعادل بین نیازهای موارد استفاده خاص، اضافه می‌کند که مدل‌های عظیم، اگرچه بسیار قدرتمند هستند، اما برای تطبیق با موارد استفاده خاص، کند و دست و پا گیر هستند.
او می‌گوید کاری که مدل‌های دامنه مخابراتی سعی در انجام آن دارند، در نظر گرفتن یک مورد استفاده خاص است، برای مثال عیب‌یابی شبکه، برنامه‌ریزی شبکه، پیکربندی یا جابجایی تجهیزات بین دو فروشنده. «این یک مورد استفاده کوچک است، مجموعه داده‌ها احتمالاً کاملاً در دسترس هستند، کاملاً خاص هستند، بنابراین لازم نیست پیشرفته‌ترین مدل را در نظر بگیرید، می‌توانید فقط مقداری داده بردارید، یک مدل جدید را آموزش دهید، مدل آن مورد استفاده را خیلی خیلی خوب یاد می‌گیرد و شما تقریباً آن مورد استفاده را خودکار می‌کنید.»
«و وقتی این کار را انجام دادید، می‌توانید آن آموخته‌ها را به یک مدل تعمیم‌یافته‌ی بزرگ‌تر تبدیل کنید تا با گذشت زمان مدلی بسازید که به طور فزاینده‌ای موارد استفاده‌ی شما را درک کند و برای شما کاربردی‌تر شود، نه اینکه مجبور باشید این مدل‌های بزرگ را یکی‌یکی تنظیم کنید. بنابراین واقعاً به این مدل‌ها به عنوان تغذیه‌کننده‌هایی برای یک مدل تعمیم‌یافته‌ی بزرگ فکر کنید.»
او بیشتر توضیح می‌دهد که «شما اساساً یک مدل کوچک‌تر را در نظر می‌گیرید که می‌توانید سریع‌تر، ارزان‌تر و آسان‌تر برای مورد استفاده خود آموزش دهید. و این به شما انعطاف‌پذیری و سازگاری می‌دهد.» اگرچه این ممکن است به قیمت استدلال عمومی تمام شود، همانطور که پاول می‌گوید، آنها قدرت کمتری دارند و در عوض مدل‌های متناسب‌تر و در نتیجه کاربردی‌تری برای مورد استفاده شرکت مخابراتی هستند. با این حال، او اضافه می‌کند که یادگیری‌ها و وزن‌دهی‌ها می‌توانند به مرور زمان به مدل پایه اضافه شوند و به آن امکان تعمیم در طول زمان را بدهند.
چشم‌انداز پاول در میان‌مدت
«مدل‌های پیشرو، مسیر را هدایت می‌کنند و سپس مدل‌های خاص حوزه را بهبود می‌بخشند.»
با نگاهی به رابطه بین مدل‌های هوش مصنوعی خاص مخابرات و اکوسیستم گسترده‌تر هوش مصنوعی، از خود پرسیدیم که چشم‌انداز پاول برای سه تا پنج سال آینده چیست، بنابراین او افزود: «یادگیری‌های زیادی از مدل‌های خاص حوزه وجود خواهد داشت که به مدل‌های پیشرو و بالعکس کمک خواهد کرد.»
«مدل‌های پیشرو مسیر را هدایت خواهند کرد و سپس مدل‌های خاص دامنه را بهبود خواهند بخشید. بنابراین آنچه من می‌بینم این است که هم‌افزایی بسیار بیشتری بین این دو فعالیت وجود خواهد داشت. چیزی که به طور بالقوه می‌توانید داشته باشید، نوعی پشته و آرایه ماژولار است. در نهایت، حرکت از یک مدل به یک سیستم عامل و سپس به یک پلتفرم عامل، جایی است که شرکت‌ها باید به آن بروند.» او توضیح می‌دهد که چنین رویکردی تقریباً باعث خواهد شد که «مدل‌ها» و «داده‌ها» به نفع عامل‌ها ناپدید شوند.
پاول می‌گوید نکته‌ی بعدی که باید در نظر گرفت، چگونگی استقرار این عوامل در طول زمان است که منجر به تکامل کلی پشته‌ی هوش مصنوعی میشود. به نظر می‌رسد جنبه‌ی کلیدی در اینجا، حلقه‌ی بازخورد بین مدل‌های پیشرو و چگونگی تخصصی شدن مدل‌های خاص هر حوزه برای موارد استفاده‌ی خاص و الزامات آنها باشد.
جمع‌بندی
در نهایت، مسیر بهبود دقت هوش مصنوعی ما را از طریق ساخت یک مدل تعبیه‌شده که مختص مخابرات است و واژگان مدل را برای گنجاندن زمینه مخابرات اصلاح می‌کند، طی می‌کند. با انجام این کار، مدل‌های هوش مصنوعی معنای کلمات و همچنین فراداده‌های دنیای مخابرات را حفظ می‌کنند.
در همین حال، ایجاد تعادل بین مدل‌های خاص حوزه با پیشرفت سریع مدل‌های بنیادی هوش مصنوعی، شاهد استفاده از مدل‌های کوچک‌تر و متناسب‌تر برای موارد استفاده خاص و همچنین ادغام آموخته‌های مدل‌های کوچک‌تر در مدل‌های بنیادی به مرور زمان خواهیم بود. اما این امر همچنان جای خالی قابلیت‌های اضافی در مدل‌های بنیادی مانند مهارت‌های ریاضی که ارتباط زیادی با حوزه مخابرات دارند را باقی می‌گذارد.
در عین حال، به نظر می‌رسد که این راه‌حل از پروژه‌های بنچمارک مانند Huggy Face و ابتکار عمل بنچمارک باز GSMA که اپراتورها و فروشندگان را برای حل برخی از این مشکلات با هم همکاری می‌کنند، به طور کامل استفاده می‌کند. پاول بر اهمیت همکاری جامعه و استفاده از دارایی‌های موجود برای کار بر روی دشوارترین و ظریف‌ترین تغییرات معماری مورد نیاز برای کاربردی‌ترین مدل‌ها برای کسب‌وکارهای انفرادی تأکید می‌کند.