این ابزار به عامل‌های هوش مصنوعی اجازه می‌دهد بدون نیاز به API، با اپلیکیشن‌ها و وب‌سایت‌ها تعامل کرده و کارهای کاربر را انجام دهند.

مایکروسافت ابزار جدیدی با نام «Computer Use» را به کوپایلوت استودیو (Copilot Studio) اضافه کرده است. این ابزار به عامل‌های هوش مصنوعی (AI Agents) اجازه می‌دهد مانند کاربران انسانی با اپلیکیشن‌ها و وب‌سایت‌ها تعامل داشته باشند.

کوپایلوت استودیو پلتفرم مایکروسافت برای ساخت دستیارهای هوشمند و عامل‌های مجازی است که با کمک رابط گرافیکی ساده، امکان طراحی، تست و انتشار آنها را بدون نیاز به کدنویسی برای کاربران سازمانی فراهم می‌کند. حالا با معرفی ابزار «Computer Use»، این عامل‌ها می‌توانند روی دکمه‌ها کلیک کنند، منوها را انتخاب کنند و در فیلدهای موردنظر تایپ کنند؛ حتی در اپلیکیشن‌هایی که API ندارند.

مایکروسافت اعلام کرده این ابزار که به کمک مدل‌های زبانی بزرگ (LLM) قدرت گرفته، توانایی تطبیق خودکار با تغییرات رابط کاربری اپلیکیشن‌ها و وب‌سایت‌ها را دارد. همچنین ابزار «Computer Use» از قابلیت‌های استدلال داخلی برخوردار است که به عامل‌ها امکان می‌دهد خودکار مشکلات را شناسایی و رفع کنند.

به گفته مایکروسافت، این ابزار روی زیرساخت ابری غول فناوری اجرا می‌شود؛ بنابراین سازمان‌ها نیازی به مدیریت سرور ندارند. همچنین تأکید شده اطلاعات مشتریان فقط در سرورهای ابری مایکروسافت باقی می‌ماند و برای آموزش مدل‌های زبانی استفاده نمی‌شود.

مهم‌ترین ویژگی‌های ابزار جدید کوپایلوت استودیو

مایکروسافت ویژگی‌های کلیدی ابزار «Computer Use» را این‌گونه معرفی کرده است:

واکنش‌پذیری در لحظه: درصورت تغییر دکمه‌ها یا صفحات، ابزار همچنان بدون اختلال به کار خود ادامه می‌دهد.
رابط ساده: کاربران می‌توانند درخواست خود را با زبان طبیعی بیان کنند و عملکرد عامل را در ویدیویی در کنار صفحه مشاهده و اصلاح کنند.
هوشمندی در تصمیم‌گیری: ابزار با دیدن آنچه روی صفحه است، تصمیمات هوشمندانه و لحظه‌ای می‌گیرد؛ حتی در محیط‌های پیچیده.
شفافیت کامل: کاربران می‌توانند تاریخچه عملکرد ابزار، ازجمله اسکرین‌شات‌ها و مراحل استدلال آن را مشاهده کنند.
درنهایت باید اشاره کرد که این ابزار شبیه پروژه «Operator» از OpenAI است که اواخر سال گذشته معرفی شد. این ویژگی می‌تواند خودکار وظایف آنلاین را انجام دهد و با صفحات وب تعامل داشته باشد.