مایکروسافت مدل Phi2 را معرفی کرد.
با داغ شدن مسابقه مدل‌های بزرگ زبانی (LLM) شاهد معرفی مدل‌های کوچک زبانی (SLM) نیز هستیم. در حال حاضر LLMها از چند ده میلیارد، تا چند میلیارد و حتی چند تریلیون پارامتر دارند. هر چقدر تعداد پارامترهای یک مدل بیشتر باشد، پروسه آموزش آن زمان‌بر و هزینه‌بر شده و در نهایت خروجی آن نیز سایز زیادی خواهد داشت. اجرای مدل‌های بزرگ زبانی نیازمند منابع پردازشی زیاد است. از این‌رو، برای فراهم کردن قابلیت‌های مدل‌های زبانی برای پلتفرم‌های مختلف شاهد توسعه و معرفی مدل‌های کوچک زبانی یا SLMها هستیم. کاهش سایز مدل زبانی و در عین حال افزایش کیفیت آن از ترندهای موجود در حوزه هوش‌مصنوعی مولد است. مدل Phi یکی از این SLMها بوده که توسط مایکروسافت منتشر شده است. نسخه Phi2 که به تازگی منتشر شده در مقایسه با نمونه‌های مشابه نتایج درخور توجهی داشته است.
👈 برای جزئیات بیشتر درباره این مدل اینجا را بخوانید.
#phi
#microsoft
@dumannewsletter
با داغ شدن مسابقه مدل‌های بزرگ زبانی (LLM) شاهد معرفی مدل‌های کوچک زبانی (SLM) نیز هستیم. در حال حاضر LLMها از چند ده میلیارد، تا چند میلیارد و حتی چند تریلیون پارامتر دارند. هر چقدر تعداد پارامترهای یک مدل بیشتر باشد، پروسه آموزش آن زمان‌بر و هزینه‌بر شده و در نهایت خروجی آن نیز سایز زیادی خواهد داشت. اجرای مدل‌های بزرگ زبانی نیازمند منابع پردازشی زیاد است. از این‌رو، برای فراهم کردن قابلیت‌های مدل‌های زبانی برای پلتفرم‌های مختلف شاهد توسعه و معرفی مدل‌های کوچک زبانی یا SLMها هستیم. کاهش سایز مدل زبانی و در عین حال افزایش کیفیت آن از ترندهای موجود در حوزه هوش‌مصنوعی مولد است. مدل Phi یکی از این SLMها بوده که توسط مایکروسافت منتشر شده است. نسخه Phi2 که به تازگی منتشر شده در مقایسه با نمونه‌های مشابه نتایج درخور توجهی داشته است.
👈 برای جزئیات بیشتر درباره این مدل اینجا را بخوانید.
#phi
#microsoft
@dumannewsletter
مدل Phi3 توسط مایکروسافت معرفی شد.
نسخه ۳ مجموعه مدل‌های زبانی Phi توسط مایکروسافت معرفی شد. این مدل‌ها در دسته مدل‌های زبانی کوچک یا SLM قرار گرفته و توانسته‌اند عملکرد قابل توجهی را از خود به نمایش بگذارند. نسخه ۳ با سه سایز مختلف به نام‌های mini با ۳.۸ میلیارد پارامتر، small با ۷ میلیارد پارامتر و medium با ۱۴ میلیارد پارامتر معرفی شده است ولی در حال حاضر تنها نسخه mini با دو سایز مختلف Context Window (۴و ۱۲۸ هزار توکن)در دسترس عموم قرار گرفته و قرار است به زودی سایر نسخه‌ها نیز منتشر شوند. نتایج مقایسه این مجموعه با مدل‌های مشابه نشان‌دهنده عملکرد مناسب آن است. قابل ذکر است که مدل‌های کوچک زبانی نسبت به مدل‌های بزرگ زبانی در بنچ‌مارک‌های factual knowledge نظیر TriviaQA عملکرد ضعیف‌تری دارند، زیرا این مدل‌ها ظرفیت کمتری برای نگهداری اطلاعات دارند.
👈 قبلاً نسخه ۲ را در اینجا معرفی کرده بودم.
👈 برای اطلاعات بیشتری درباره نسخه ۳ اینجا را بخوانید.
👈 برای دسترسی به مجموعه Phi صفحه مایکروسافت در HF را از اینجا مشاهده کنید.
#phi
#microsoft
@dumannewsletter
نسخه ۳ مجموعه مدل‌های زبانی Phi توسط مایکروسافت معرفی شد. این مدل‌ها در دسته مدل‌های زبانی کوچک یا SLM قرار گرفته و توانسته‌اند عملکرد قابل توجهی را از خود به نمایش بگذارند. نسخه ۳ با سه سایز مختلف به نام‌های mini با ۳.۸ میلیارد پارامتر، small با ۷ میلیارد پارامتر و medium با ۱۴ میلیارد پارامتر معرفی شده است ولی در حال حاضر تنها نسخه mini با دو سایز مختلف Context Window (۴و ۱۲۸ هزار توکن)در دسترس عموم قرار گرفته و قرار است به زودی سایر نسخه‌ها نیز منتشر شوند. نتایج مقایسه این مجموعه با مدل‌های مشابه نشان‌دهنده عملکرد مناسب آن است. قابل ذکر است که مدل‌های کوچک زبانی نسبت به مدل‌های بزرگ زبانی در بنچ‌مارک‌های factual knowledge نظیر TriviaQA عملکرد ضعیف‌تری دارند، زیرا این مدل‌ها ظرفیت کمتری برای نگهداری اطلاعات دارند.
👈 قبلاً نسخه ۲ را در اینجا معرفی کرده بودم.
👈 برای اطلاعات بیشتری درباره نسخه ۳ اینجا را بخوانید.
👈 برای دسترسی به مجموعه Phi صفحه مایکروسافت در HF را از اینجا مشاهده کنید.
#phi
#microsoft
@dumannewsletter
خبرنامه هوش مصنوعی دومان
مدل Phi3 توسط مایکروسافت معرفی شد. نسخه ۳ مجموعه مدل‌های زبانی Phi توسط مایکروسافت معرفی شد. این مدل‌ها در دسته مدل‌های زبانی کوچک یا SLM قرار گرفته و توانسته‌اند عملکرد قابل توجهی را از خود به نمایش بگذارند. نسخه ۳ با سه سایز مختلف به نام‌های mini با ۳.۸…
مایکروسافت مدل Phi-3-vision را به مجموعه Phi-3 اضافه کرد. این مدل چند وجهی بوده و می‌تواند ورودی‌های متنی و تصویری را دریافت کند. این مدل یک مدل کوچک با سایز ۴.۲ میلیارد پارامتر است. برای تست آن در Azure اینجا را مشاهده کنید (توضیحات بیشتر).
#phi
#microsoft
@dumannewsletter
#phi
#microsoft
@dumannewsletter
انتشار مدل اپن‌سورس Phi-3.5-MoE توسط مایکروسافت
نسخه جدید مدل زبانی Phi توسط مایکروسافت به نام Phi-3.5-MoE منتشر شد. این نسخه دارای معماری MoE است (برای آشنایی با این معماری اینجا را بخوانید) و جز مدل‌های زبانی کوچک و یا به اختصار SLM است. هر prompt این مدل توانایی دریافت حدودا ۱۲۵ هزار لغت را دارد (سایز context window حدودا ۱۲۸ کیلو بایت است). این نسخه نسبت به مدل‌های مشابه Gemma 2 9B و Llama 3 8B عملکرد بهتری داشته است. Phi-3.5-MoE به صورت اپن‌سورس تحت لایسنس MIT در پلتفرم HuggingFace در دسترس عموم قرار گرفته است (اینجا را مشاهده کنید).
#moe
#phi
#microsoft
@dumannewsletter
نسخه جدید مدل زبانی Phi توسط مایکروسافت به نام Phi-3.5-MoE منتشر شد. این نسخه دارای معماری MoE است (برای آشنایی با این معماری اینجا را بخوانید) و جز مدل‌های زبانی کوچک و یا به اختصار SLM است. هر prompt این مدل توانایی دریافت حدودا ۱۲۵ هزار لغت را دارد (سایز context window حدودا ۱۲۸ کیلو بایت است). این نسخه نسبت به مدل‌های مشابه Gemma 2 9B و Llama 3 8B عملکرد بهتری داشته است. Phi-3.5-MoE به صورت اپن‌سورس تحت لایسنس MIT در پلتفرم HuggingFace در دسترس عموم قرار گرفته است (اینجا را مشاهده کنید).
#moe
#phi
#microsoft
@dumannewsletter