انتشار مدل‌های کوچک زبانی توسط اپل

کمپانی اپل مجموعه‌ای از مدل‌های کوچک زبانی را با نام OpenELM به صورت اپن‌سورس منتشر کرد. سایز این مدل‌های کوچک زبانی عبارت است از ۲۷۰ میلیون، ۴۵۰ میلیون، ۱.۱ میلیارد و ۳ میلیارد پارامتر. این مدل‌های کوچک با هدف اجرا در مک و آیفون بدون دسترسی به سرویس‌های کلاد طراحی شده‌اند. برای آموزش این مدل‌ها از دیتاست‌های عمومی استفاده شده که سایز آن‌ها در مجموع به حدود ۱.۸ تریلیون توکن می‌رسد. در این مجموعه از استراتژی Layer-Wise Scaling برای تخصیص پارامتر در هر لایه از ترنسفورمر استفاده شده تا دقت مدل افزایش پیدا کند. تیم اپل برای آموزش این مجموعه از مدل‌ها از لایبرری CoreNet استفاده کرده که آن را نیز به صورت اپن‌سورس در گیت‌هاب منتشر کرده است.
👈 برای دسترسی به این مدل‌ها اینجا را بخوانید.

#apple
#slm
#open_elm

@dumannewsletter