پژوهشگران یک ربات انسان‌نما را با روش یادگیری دیداری-شنیداری خودنظارتی آموزش دادند.

پژوهشگران در دانشکده مهندسی کلمبیا یک ربات انسان‌نما به نام «اِمو» را آموزش داده‌اند تا گفتار و آواز را با بررسی و یادگیری از روی ویدیوهای آنلاین لب‌خوانی کند. این نشان می‌دهد که ماشین‌ها اکنون می‌توانند رفتار پیچیده انسانی را تنها با مشاهده یاد بگیرند.

به نقل از دیجیتال‌ترندز، اِمو یک ربات با بدن کاملا انسان‌نما نیست بلکه یک چهره رباتیک است که بسیار واقعی ساخته شده و برای بررسی چگونگی ارتباط انسان‌ها به کار می‌رود.

این چهره رباتیک با پوست سیلیکونی پوشیده شده و توسط ۲۶ موتور مستقل صورت کنترل می‌شود که لب‌ها، فک و گونه‌ها را حرکت می‌دهند. این موتورها به اِمو اجازه می‌دهند شکل‌های دقیق دهان را بسازد که ۲۴ حرف صامت و ۱۶ مصوت را پوشش می‌دهند، که برای گفتار و آواز خواندن طبیعی، حیاتی است. هدف کاهش اثر «دره‌ وهم‌انگیز» بود. این اصطلاح برای توصیف حالتی به کار می‌رود که در آن ربات‌ها تقریبا شبیه انسان به نظر می‌رسند اما از آنجا که هنوز حرکات صورتشان با صدایشان مطابقت ندارد، حالتی وهم‌انگیز پیدا می‌کنند.

فرآیند یادگیری در چند مرحله اتفاق افتاد. ابتدا اِمو چهره خودش را با حرکت دادن موتورها در حالی که خودش را در آینه نگاه می‌کرد، بررسی کرد. این به سامانه کمک کرد بفهمد فرمان‌های موتوری چگونه شکل‌های صورت را تغییر می‌دهند.

سپس پژوهشگران یک خط لوله یادگیری معرفی کردند که صدا را به حرکت وصل می‌کند. اِمو ساعت‌ها ویدیوهای یوتیوب از افراد در حال صحبت و آواز خواندن را تماشا کرد، در حالی که یک مدل هوش مصنوعی رابطه بین صدا و حرکت قابل مشاهده لب را تحلیل می‌کرد.

به جای تمرکز بر زبان یا معنا، سامانه صداهای خام گفتار را مطالعه کرد. یک «مبدل کنش چهره» آن الگوهای یادگرفته‌شده را به فرمان‌هایی در لحظه تبدیل کرد.

این رویکرد به اِمو اجازه داد نه تنها در انگلیسی بلکه در زبان‌هایی که هرگز آموزش ندیده بود لب‌خوانی کند، از جمله فرانسوی، عربی و چینی. همان روش برای آواز هم کار کرد، که به خاطر کشیده شدن مصوت‌ها و تغییرات ریتم سخت‌تر است.

پژوهشگران می‌گویند این مطالعات اهمیت دارند زیرا ربات‌های آینده اگر قرار است در کنار مردم کار کنند باید طبیعی ارتباط برقرار کنند.

افزودن مواردی مانند پوست مصنوعی که به ربات‌ها حساسیت شبیه انسان می‌دهد و همراه با لب‌خوانی واقعی، به راحتی نشان می‌دهد که ربات‌ها شروع کرده‌اند کمتر شبیه ماشین و بیشتر شبیه همراهان اجتماعی ما شوند. اِمو هنوز یک پروژه پژوهشی است، اما نشان می‌دهد که ربات‌ها ممکن است روزی مهارت‌های انسانی را همان‌طور که ما یاد می‌گیریم، با تماشا و گوش دادن، بیاموزند.