دانمشندان سیستمی موسوم به Tool-as-Interface ساخته‌اند که نحوه استفاده از ابزارهای مختلف را از طریق ویدیو به ربات‌ها آموزش می‌دهد.

پژوهشگران «دانشگاه ایلینوی اربانا-شمپین» با همکاری محققان دانشگاه‌های کلمبیا و تگزاس آستین موفق شده‌اند سیستمی را بسازند که به ربات اجازه می‌دهد تنها با تماشای ویدیو، استفاده از ابزارها را یاد بگیرند.

درحالی‌که بیشتر ربات‌های فعلی همچنان برای انجام وظایف تکراری و مشخص برنامه‌ریزی می‌شوند، این روش جدید موسوم به Tool-as-Interface راهی تازه برای آموزش مهارت‌های پیچیده به آنها ارائه می‌کند.

نحوه عملکرد سیستم Tool-as-Interface برای آموزش ربات
در این روش ربات‌ها از ویدیوهای معمولی ضبط‌شده با 2 دوربین استفاده می‌کنند و با کمک مدل بینایی MASt3R و تکنیک «3D Gaussian splatting» می‌توانند ویدیو را به‌صورت سه‌بعدی بازسازی کنند. سپس با حذف انسان از تصویر و تمرکز بر ابزار، ربات یاد می‌گیرد دقیقاً مسیر و زاویه حرکت وسیله را دنبال کند.

این تیم توانسته آزمایش‌های متنوعی از جمله کوبیدن میخ با چکش، برداشتن کوفته‌قلقلی، برگرداندن تخم‌مرغ در ماهیتابه، تعادل دادن بطری شراب و حتی شوت‌کردن توپ فوتبال به سمت دروازه را با موفقیت انجام دهد. نتایج آنها نشان داده که روش Tool-as-Interface نسبت به روش‌های سنتی، 71 درصد نرخ موفقیت بالاتر و 77 درصد سرعت جمع‌آوری داده بیشتری دارد.

محققان می‌گویند این دستاورد می‌تواند شروع کننده تحولی بزرگ در حوزه یادگیری ربات ها باشد، چرا که دیگر نیازی به سخت‌افزارهای خاص یا اپراتورهای حرفه‌ای نیست و حتی ویدیوهای معمولی که توسط گوشی گرفته شده یا کلیپ‌های یوتوب می‌توانند به‌عنوان منبع آموزش استفاده شوند. این پروژه که جایزه بهترین مقاله را در کارگاه ICRA 2025 دریافت کرده، می‌تواند راه را برای توسعه ربات‌هایی هموار کند که مانند کودکان از طریق مشاهده یاد می‌گیرند.