نسل بعدی نوت‌بوک‌ها مجهز به فناوری اجرای مدل‌های زبان بزرگ
شرکت AMD انتظار دارد ظرف چند سال آینده تراشه‌های مخصوص نوت‌بوک‌ها با قابلیت اجرای مدل‌های زبان بزرگ (LLM) با توانایی تحلیل 30 میلیارد پارامتر به صورت محلی با سرعت 100 توکن در ثانیه وارد بازار شوند.
دستیابی به این هدف که البته به 100 میلی‌ثانیه تاخیر توکن اول نیاز دارد، آنقدر که به نظر می‌رسد ساده نخواهد بود. این امر به بهینه سازی در هر دو زمینه نرم افزاری و سخت افزاری نیاز دارد. شرکت AMD در این خصوص ادعا می‌کند که پردازنده‌های Strix Point سری Ryzen AI 300 که ماه گذشته در جریان برگزاری کنفرانس سالانه Computex معرفی شدند، قادر به اجرای مدل‌های زبان بزرگ با دقت 4 بیت تا اندازه حدود 7 میلیارد پارامتر با سرعت 20 توکن در ثانیه و با تاخیر 4-1 ثانیه در توکن اول هستند.
البته باید توجه داشت ثبت رکورد 30 میلیارد پارامتر با سرعت 100 توکن در ثانیه فقط با هدف در اختیار داشتن یک واحد پردازشگر عصلی (NPU) بزرگتر صورت نمی‌گیرد و در این زمینه باید توجه داشت زمانی که صحبت از اجرای مدل‌های زبان بزرگ به صورت محلی میشود، ظرفیت حافظه و پهنای باند بسیار مهم‌تر خواهد بود.
در این راستا عملکرد مدل‌های زبان بزرگ در پردازنده‌های Strix Point تا حد زیادی توسط گذرگاه حافظه 128 بیتی آن محدود میشود و زمانی که در کنار حافظه LPDDR5x قرار می‌گیرند، بسته به سرعت حافظه برای جایی در همسایگی پهنای باند با سرعت 120 تا 135 گیگابایت در ثانیه به خوبی عمل می کند.
منبع: theregister.com