یک اپلیکیشن جدید مجهز به هوش مصنوعی به نابینایان کمک می‌کند اشیای روزمره را سریع‌تر پیدا کنند.

پژوهشگران دانشگاه ایالتی پنسیلوانیا ابزاری نوین برای ناوبری توسعه داده‌اند که می‌تواند شکل تازه‌ای از کمک‌های دیجیتال برای افراد دارای اختلال بینایی را شکل دهد.

به نقل از آی‌ای، این سیستم مبتنی بر تلفن هوشمند، با بهره‌گیری از هوش مصنوعی، اشیاء را در لحظه شناسایی کرده و کاربران را با راهنمایی صوتی و لرزشی به سمت آن‌ها هدایت می‌کند.

بسیاری از ابزارهای موجود به گروه‌های انسانی وابسته‌اند یا نیازمند داده‌های از پیش بارگذاری‌شده اشیاء هستند که خود محدودیت‌هایی ایجاد می‌کند.

ویجای نارایانان، استاد دانشگاه پنسیلوانیا و رئیس کرسی مهندسی برق، می‌گوید که این محدودیت‌ها انعطاف‌پذیری را کاهش می‌دهد. پیش‌تر لازم بود مدل‌های اشیاء در حافظه سرویس بارگذاری شوند تا قابل شناسایی باشند. این کار بسیار ناکارآمد است و آزادی عمل کاربران را محدود می‌کند. وی افزود گروه او برای رفع این مشکل به هوش مصنوعی روی آوردند.

اپلیکیشن آنها به یک سرور خارجی متصل می‌شود که مدل‌های زبانی بزرگ و مدل‌های بینایی-زبانی را اجرا می‌کند.

این سیستم‌ها به اپلیکیشن ناوی‌سنس (NaviSense) امکان می‌دهند فرمان‌های صوتی را تفسیر کند، محیط اطراف را اسکن کند و اهداف را بدون اتکا به پایگاه داده‌های ثابت شناسایی کند.

طراحی با مشارکت کاربران

این گروه پس از مصاحبه‌های گسترده با افراد نابینا، اپلیکیشن را شکل داد.

آجای نارایانان سریدار، دانشجوی دکتری مهندسی رایانه و محقق اصلی، گفت: این جلسات نیازهای واقعی را روشن کرد.
این مصاحبه‌ها به ما درک خوبی از چالش‌های واقعی افراد نابینا داد.

ناوی‌سنس به درخواست صوتی کاربر گوش می‌دهد، محیط را جستجو می‌کند و اشیاء غیرمرتبط را حذف می‌کند. در صورت نیاز، پرسش‌های تکمیلی را مطرح می‌کند.

بازخورد گفت‌وگویی، انعطاف‌پذیری بیشتری نسبت به بسیاری از ابزارهای موجود فراهم می‌آورد.

یکی از ویژگی‌های برجسته اپلیکیشن، راهنمایی دست است. سیستم با ردیابی حرکت گوشی، مسیر دست کاربر را دنبال کرده و جهت‌یابی لازم را برای رسیدن به شیء ارائه می‌دهد.
سریدار گفت: این قابلیت یک خل۶ا بزرگ را پر کرده است. هیچ راهکار آماده‌ای وجود نداشت که دست کاربر را فعالانه به سمت اشیاء هدایت کند، اما این ویژگی بارها در نظرسنجی‌ها درخواست شده بود.

این گروه ناوی‌سنس را با ۱۲ شرکت‌کننده در محیط کنترل‌شده آزمایش کردند و آن را نیز با دو گزینه تجاری مقایسه کردند.
پژوهشگران زمان لازم برای شناسایی اشیاء و دقت در هدایت کاربران را اندازه‌گیری کردند.

ناوی‌سنس زمان جستجو را کاهش داد و شناسایی دقیق‌تری ارائه کرد. اکنون گروه در حال بهینه‌سازی مصرف انرژی و بهبود کارایی مدل است. نارایانان می‌گوید این ابزار به مرحله آماده‌سازی تجاری نزدیک شده است. این فناوری بسیار نزدیک به عرضه تجاری است و ما در تلاشیم آن را حتی دسترس‌پذیرتر کنیم.