رویترز به مستنداتی از بررسی یک شرکت سوئیسی از مدل‌های هوش مصنوعی دست یافته است که نشان می‌دهد این ابزارها در حوزه‌های مهمی از جمله مقاومت امنیت سایبری و خروجی تبعیض‌آمیز، مقررات هوش مصنوعی اتحادیه اروپا را نقض می‌کنند.

مقررات هوش مصنوعی اتحادیه اروپا که حتی پیش از عرضه ChatGPT در سال ۲۰۲۲ نیز تحت مذاکره بودند،‌ پس از به شهرت رسیدن این ابزارها شکل تازه‌ای به خود گرفتند و برای جلوگیری از خطرات حیاتی، قانون‌گذاران مقررات ویژه‌ای را برای هوش مصنوعی‌های «همه کاره» در نظر گرفتند.

حال ابزار تازه‌ای که توسط شرکت سوئیسی LatticeFlow و شرکای آن طراحی شده و از سمت مقامات اتحادیه اروپا نیز حمایت می‌شود، مدل‌های هوش مصنوعی پیشتاز متعلق به شرکت‌هایی مثل متا و اوپن‌ای‌آی را در چندین حوزه مهم در قانون هوش مصنوعی قاره سبز بررسی کرده است. این قانون طی دو سال آینده و به صورت تدریجی لازم‌الاجرا می‌شود.

در این بررسی که نمره‌آی بین ۰ و ۱ به هرکدام از مدل‌ها تعلق می‌گیرد، مدل‌های ساخته علی‌بابا، آنتروپیک، اوپن‌ای‌آی، متا و میسترال همگی نمره ۰.۷۵ یا بالاتر را دریافت کردند.

با این حال ابزار «بررسی‌کننده مدل بزرگ زبانی (LLM)» برخی از کاستی‌های مدل‌ها را در حوزه‌های کلیدی مشخص کرد و شرکت‌ها باید منابعی را به پیروی در این حوزه‌ها اختصاص دهند.

شرکت‌هایی که از قانون هوش مصنوعی پیروی نکنند، با جریمه ۳۵ میلیون یورویی (حدود ۳۸ میلیون دلار) یا ۷ درصد از ورودی پول سالانه خود مواجه می‌شوند.

نتایج مختلف است
در حال حاضر اتحادیه اروپا سعی دارد تا نحوه اجرای قوانین هوش مصنوعی مولد را پیرامون ابزارهای هوش مصنوعی از جمله ChatGPT مشخص کند و متخصصان یک دستورالعمل‌ اجرایی را تا بهار ۲۰۲۵ ارائه خواهند کرد.

اما آزمونی که LatticeFlow با همکاری محققان دانشگاه ETH زوریخ سوئیس و موسسات INSAIT بلغارستان طراحی شده است، شاخص اولیه‌ای است که نشان می‌دهد خطر نقض قانون اتحادیه اروپا در حوزه‌های مختلف به چه اندازه است.

برای مثال خروجی تبعیض آمیز مساله مهمی در توسعه مدل‌های هوش مصنوعی مولد است که نشانگر تبعیض‌هایی در حوزه جنسیت، نژاد و دیگر حوزه‌ها است.

این ابزار در هنگام بررسی خروجی تبعیض آمیز، به مدل «GPT 3.5 Turbo» نمره نسبتا پایین ۰.۴۶ را اختصاص داده است. در همین دسته مدل «Qwen1.5 72B Chat» از علی‌بابا کلود نیز تنها نمره ۰.۳۷ را دریافت کرده است.

آزمون «پرامپت ربائی» که یک نوع حمله سایبری است و هکرها پرامپت آلوده‌ای را به عنوان یک نمونه مجاز جا زده و برای استخراج داده‌های حساس تلاش می‌کنند هم به مدل «Llama 2 13B Chat» نمره ۰.۴۲ را تاختصاص داده است و در همین دسته مدل «8x7B Instruct» از استارت‌آپ فرانسوی میسترال، نمره ۰.۳۸ را دریافت کرد.

مدل «Claude 3 Opus» از شرکت آنتروپیک در این دسته اما بالاترین نمره را با ۰.۸۹ داشت.

این آزمون مطابق با متن قانون هوش مصنوعی اتحادیه اروپا طراحی شده است و در صورت اعلام تمهیدات بیشتر بروزرسانی خواهد شد. شرکت سازنده می‌گوید ابزار LLM Checker به صروت رایگان برای توسعه دهندگان قابل دسترسی است تا از پیروی از قوانین اتحادیه اروپا اطمینان حاصل کنند.

پتار سانکوف، مدیرعامل و هم‌بنیان‌گذار این شرکت، به رویرتز اعلام کرد که نتایج آزمون به طور کلی مثبت بودند و نقشه راهی در اختیار شرکت‌های گذاشتند تا امکان پیروی از قانون هوش مصنوعی را داشته باشند.

او گفت: «اتحادیه اروپا همچنان در حال کار روی سنجه‌های پیروی از قانون است اما ما هنوز شاهد کاستی‌هایی داخل مدل‌ها هستیم. ما باور داریم که ارائه دهندگان مدل‌ها با تمرکز بیشتر روی بهینه‌سازی از لحاظ پیروی از قانون می‌توانند برای پیروی از پیش‌نیاز‌های قانونی آماده باشند.»

در حال که کمیسیون اروپا نمی‌تواند ا بازرهای خارجی را تایید کند، اما این نهاد از توسعه این ابزار توسعه یافته و از آن به عنوان «اولین گام» در اجرایی کردن قانون یاد کرده است.

یکی از سخنگویان کمیسیون اروپا گفت:‌ «کمیسیون از این مطالعه و پلتفرم ارزیابی مدل هوش مصنوعی به عنوان اولین گام در تبدیل قانون هوش مصنوعی اتحادیه اروپا به پیش‌نیاز‌های فنی استقبال می‌کند.»