ابرکامپیوتر Tiiny AI در جیب جا می‌شود و مدل‌های ۱۲۰ میلیارد پارامتری را بدون نیاز به اینترنت و GPU اجرا می‌کند.

تصور کنید قدرتی معادل سرورهای غول‌پیکر دیتاسنترها را در دستگاهی به اندازه یک پاوربانک در جیب خود حمل کنید. چنین دستگاهی حالا با نام Tiiny AI Pocket Lab به واقعیت پیوسته است. استارتاپ آمریکایی Tiiny AI دستگاهی معرفی کرده که رسماً توسط گینس به عنوان «کوچک‌ترین ابرکامپیوتر شخصی هوش مصنوعی جهان» ثبت شده است. این گجت می‌تواند مدل‌های زبانی بزرگ را بدون نیاز به اینترنت یا کارت گرافیک‌های گران‌قیمت، به‌صورت کاملاً آفلاین اجرا کند.

به گزارش TechPowerUp، این دستگاه کوچک که ظاهری شبیه به یک هارد اکسترنال دارد، قدرتی فراتر از تصور ارائه می‌دهد. Tiiny AI Pocket Lab می‌تواند مدل‌های زبانی با ۱۲۰ میلیارد پارامتر (در سطح GPT-4) را به‌صورت لوکال اجرا کند. این دستگاه برای پوشش ۸۰ درصد از نیازهای واقعی کاربران طراحی شده و مدل‌های محبوب متن‌باز مانند لاما، دیپ‌سیک، میسترال و Qwen را با یک کلیک نصب و اجرا می‌کند.

مشخصات فنی این ابرکامیپوتر بدین صورت است:

پردازنده: ARMv9.2 با ۱۲ هسته پردازشی.
رم: ۸۰ گیگابایت حافظه LPDDR5X.
فضای ذخیره‌سازی: ۱ ترابایت حافظه SSD.
قدرت پردازشی عصبی: حدود ۱۹۰ تریلیون عملیات‌درثانیه (TOPS).

کوچک‌ترین ابرکامپیوتر هوش مصنوعی جهان
نکته عجیب این دستگاه، حذف کارت گرافیک مجزا (Discrete GPU) و مصرف انرژی بسیار پایین (۶۵ وات) است. مهندسان Tiiny AI با استفاده از دو تکنولوژی نرم‌افزاری پیشرفته، نیاز به سخت‌افزار گران‌قیمت را دور زده‌اند:

موتور TurboSparse: این فناوری فقط نورون‌های ضروری در شبکه عصبی مدل (نه کل مدل) را فعال می‌کند، که باعث افزایش کارایی هوش مصنوعی می‌شود.
موتور PowerInfer: این موتور متن‌باز بار پردازشی را به صورت دینامیک بین پردازنده مرکزی (CPU) و واحد پردازش عصبی (NPU) تقسیم می‌کند تا سرعتی در حد سرورهای GPU ارائه دهد.

هدف اصلی این پروژه، بازگرداندن هوش مصنوعی از دیتاسنترها به دست مردم است. «سمر بوج» (Samar Bhoj)، مدیرعامل استارتاپ، می‌گوید: «هوش مصنوعی ابری چالش‌های وابستگی، آسیب‌پذیری و پایداری دارد. ما می‌خواهیم هوش مصنوعی را خصوصی و شخصی کنیم.»

با استفاده از این دستگاه تمام داده‌ها و اسناد شما روی خود دستگاه و با رمزنگاری بانکی ذخیره می‌شوند و هرگز به اینترنت ارسال نمی‌شوند. همچنین چون نیازی به ارسال درخواست به سرور نیست، تأخیر شبکه حذف می‌شود. علاوه‌بر‌این، مصرف انرژی آن کسری از مصرف دیتاسنترهای بزرگ است که به حفظ محیط‌زیست کمک می‌کند.