مدل‌های زبانی بزرگ (LLM) طی سال‌های اخیر تحول بزرگی در عرصه هوش مصنوعی به‌وجود آورده‌اند اما همچنان شکاف عمیقی در پشتیبانی از زبان‌های غیر غربی به چشم می‌خورد. تقریبا همه مدل‌های زبانی قدرتمند از جمله جمنای و ChatGPT روی زبان انگلیسی آموزش دیده‌اند و عملکرد آنها در زبان‌های دیگر مانند فارسی، عربی، کردی و غیره به مراتب ضعیف‌تر است.
این مساله دسترسی برابر به قابلیت‌های هوش مصنوعی را برای بخش بزرگی از جمعیت جهان محدود کرده و مانعی در برابر پیشرفت این حوزه در مقیاس جهانی به شمار می‌رود. حالا کمپانی Cohere برای حل این مشکل دو مدل را معرفی کرده که توان پر کردن این شکاف را دارد.
این دو مدل قدرتمند که Aya Expanse 8B و Aya Expanse 35B نام دارند، اعضای جدید در خانواده مدل‌های چندزبانه Aya محسوب می‌شوند. مدل ۸ میلیارد پارامتری با تمرکز روی محققان طرحی طراحی شده اما مدل ۳۲ میلیارد پارامتری، توانایی قابل‌توجهی در پردازش بومی ۲۳ زبان مختلف از جمله فارسی دارد.
بیشتر بخوانید: هوش مصنوعی چیست؟ معرفی AI به زبان ساده
مدلی فراتر از مرزهای زبانی
هوش مصنوعی Aya Expanse با بهره‌گیری از یک معماری خاص و منحصر‌به فرد روی سه جنبه کلیدی تمرکز دارد:
1. گستردگی داده‌های زبانی: برخلاف دیگر مدل‌های زبانی صرفا روی زبان‌های غربی متمرکز نیست و روی مجموعه داده عظیمی از ۱۰۱ زبان مختلف آموزش دیده است. این مجموعه شامل محتوای متنوعی از وب‌سایت‌ها، کتاب‌ها، مقالات و سایر منابع است و به مدل کمک می‌کند درک عمیقی از ساختار و ظرایف زبان‌های مختلف به دست آورد.
2. بهبود درک زبان‌های ترکیبی و پیچیده: زبان‌های غیرانگلیسی از جمله فارسی از ساختارهای گرامری و دستوری پیچیده‌ای برخوردارند که مدل‌های زبانی با آنها چالش دارند. Aya Expanse 35B با بهینه‌سازی‌های خاص توانسته در پردازش این نوع زبان‌ها عملکرد بهتری از خود نشان دهد. برای مثال در زبان فارسی ساختارهای گرامری پیچیده، افعال مرکب و ارتباطات معنایی را دقیق‌تر پردازش می‌کند.
3. پشتیبانی از همه زبان‌ها: زبان‌هایی مانند فارسی و عربی که در مدل‌های زبانی بزرگ نادیده گرفته می‌شوند، در این هوش مصنوعی با دقت و توجه بیشتری تحت پوشش قرار گرفته‌اند. این موضوع به‌طور مستقیم به بهبود کیفیت ترجمه‌ها، تعاملات متنی و تولید محتوا در این زبان‌ها منجر می‌شود.
Aya Expanse 35B در معیارهای ارزیابی چندزبانی، عملکردی به مراتب بهتر از مدل‌های مشابه نشان داده است. این مدل نه تنها متون را با دقت بالا ترجمه می‌کند، بلکه درک بهتری از مفاهیم و معانی در زبان‌های مختلف داشته و محتوای متناسب با فرهنگ و زبان بومی تولید می‌کند.
قابلیت‌های کلیدی هوش مصنوعی Aya Expanse
1. پردازش چندزبانه: مدل‌های زبانی دیگر برای پردازش زبان فارسی باید متن را به انگلیسی برگردانده و سپس پردازش کنند. این مدل اما متون را به‌طور مستقیم از فارسی پردازش می‌کند، بدون این‌که نیاز به ترجمه به انگلیسی باشد. این قابلیت خروجی محتوا را در زبان مورد نظر به مراتب بهبود می‌بخشد.
2. بهبود ترجمه خودکار: مدل‌های فعلی هوش مصنوعی در ترجمه ساختارهای دستوری پیچیده، اصطلاحات عامیانه و زبان محاوره مشکل دارند اما Aya Expanse به لطف آموزش گسترده روی داده‌های چندزبانه، دقت بیشتری در شناسایی جملات پیچیده دارد. این مدل می‌تواند اصطلاحات و عبارات محاوره‌ای را درک کرده و در نتیجه ترجمه‌های دقیق‌تری ارائه دهد.
3. بهینه‌سازی برای کاربردهای صنعتی و تجاری: Aya Expanse 35B نه‌تنها برای پژوهش‌های آکادمیک و توسعه نرم‌افزارهای پیشرفته، بلکه برای کاربردهای صنعتی و تجاری نیز بهینه شده است. این مدل قابلیت‌های پیشرفته‌ای در پردازش داده‌های متنی، تحلیل احساسات و حتی تولید محتوای خلاقانه دارد که آن را به ابزاری قدرتمند برای کسب‌و‌کارها تبدیل می‌کند.
4. سترسی آزاد و منبع باز: Cohere متعهد شده است که مدل Aya Expanse 35B را به صورت منبع باز در اختیار محققان و توسعه‌دهندگان قرار دهد تا از آن در پروژه‌های خود استفاده کنند.
چشم‌اندازه آینده هوش مصنوعی Aya Expanse
هوش مصنوعی Aya Expanse 35B با پشتیبانی مناسب از زبان فارسی دسترسی کاربران ایرانی به فناوری‌های هوش مصنوعی از جمله ترجمه ماشینی، پاسخگویی به سوالات و تولید محتوا را به طور چشمگیری بهبود می‌بخشد. این مدل نویدبخش عصری است که در آن فناوری‌های هوش مصنوعی به طور یکسان و صرف نظر از زبان مادری در دسترس همه مردم قرار خواهد گرفت.
منبع
