برخلاف قابلیت‌های پیشرفته مدل‌های هوش مصنوعی مولد (Gen AI)، نمونه‌هایی از این فناوری وجود دارند که به واسطه مشکلات خود امکان سوءاستفاده توسط عوامل مخرب را فراهم می‌کنند. مایکروسافت به منظور کاهش این قبیل مشکلات از ابزاری رونمایی کرده است که می‌تواند به شناسایی خطرات در سیستم‌های هوش مصنوعی مولد کمک کند.

غول نرم افزاری جهان روز گذشته جعبه ابزار «شناسایی خطرات پایتون» را برای هوش مصنوعی مولد PyRIT منتشر کرد که این فناوری هوش مصنوعی در قالب یک ابزار کاربردی برای سیستم AI Red Team مایکروسافت به کار گرفته می‌شود تا خطرات مرتبط با سیستم‌های هوش مصنوعی از جمله Copilot شناسایی شوند.

مایکروسافت با انتشار یک مطلب وبلاگی توضیح داد طی سال گذشته بیش از 60 سیستم هوش مصنوعی مولد را مورد بررسی قرار داده و از طریق آنها متوجه شده است که فرآیند شناسایی اختلالات برای سیستم‌های مذکور نسبت به مشکلات موجود در هوش مصنوعی کلاسیک یا نرم افزارهای سنتی تفاوت زیادی را شامل می‌شود.

به نظر می‌رسد این روند در شناسایی مشکلات هوش مصنوعی مولد، متفاوت باشد. زیرا مایکروسافت می‌بایست علاوه بر شناسایی خطرات هوش مصنوعی مولد، خطرات امنیتی معمول از جمله اطمینان از عدم تاثیرگذاری محتوای مضر یا عدم به کارگیری مدل‌های اطلاعاتی نادرست را در نظر بگیرد.

علاوه بر این باید توجه داشت مدل‌های مختلف هوش مصنوعی مولد از نظر معماری تفاوت‌های فراوانی با یکدیگر دارند و به عنوان مثال از نظر ورودی داده تفاوت‌های فراوان در آنها وجود دارد که یافتن یک فرآیند کارآمد متناسب با همه مدل‌ها را دشوار می‌کند. با این وجود ابزار جدید مایکروسافت به گونه‌ای طراحی شده است که می‌تواند مشکلات موجود در انواع مختلف مدل‌های هوش مصنوعی مولد را به راحتی شناسایی کند.

منبع: zdnet.com
ترجمه: همکاران سیستم