معرفی مدل زبانی Mistral 7B

استارتاپ فرانسوی Mistral مدل بزرگ زبانی (LLM) خود موسوم به Mistral 7B را تحت لایسنس Apache 2.0 به صورت عمومی منتشر کرد. طبق ادعای این استارتاپ این مدل نسبت به مدل‌های مشابه (از نظر سایز) نظیر Llama 2 13B و Llama 1 34B بهتر عمل می‌کند. برای تسک‌های برنامه‌نویسی نیز عملکرد مشابه مدل CodeLlama 7B دارد. تقریباً هیچ اقدام جدی برای ایمنی این مدل انجام نشده و طبق نمونه‌های منتشر شده در پلتفرم ایکس (توئیتر) می‌توان به راحتی از آن برای تولید محتوای نژاد پرستی و یا راهنمای خودکشی استفاده کرد. البته Mistral اعلام کرده که این نسخه اولیه بوده که در اسرع وقت ریلیز شده و در آینده اقدامات لازم برای افزایش ایمنی این مدل را انجام خواهد داد. بنابر ادعای این استارت مدل Mistral 7B تنها طی ۳ ماه کار فشرده توسعه داده شده است. تمرکز این استارتاپ در حوزه هوش‌مصنوعی مولد بوده و قصد دارد محصولات خود را به صورت اپن‌سورس در اختیار عموم قرار دهد.

👈 برای مطالعه جزئیات بیشتر به اینجا مراجعه کنید.

#mistral
#llm

@dumannewsletter

سرمایه‌گذاری مایکروسافت در Mistral AI و انتشار مدل Mistral Large

مایکروسافت اعلام کرد که در استارتاپ فرانسوی Mistral AI سرمایه‌گذاری کرده و از این به بعد مدل‌های زبانی این استارتاپ در پلتفرم ابری Azure نیز در دسترس قرار می‌گیرد. تنها حدود ۱۰ ماه از راه‌اندازی استارتاپ Mistral AI می‌گذرد و در این مدت ارزش آن به حدود ۲ میلیارد دلار رسیده است. همزمان با انتشار این خبر، Mistral مدل زبانی جدید خود با نام Mistral Large (یا Au Large) را نیز معرفی کرد. برخلاف مدل‌های قبلی، این مدل اپن‌سورس نیست و تنها از طریق Azure و یا زیرساخت Mistral (به نام La Plateforme)در دسترس قرار گرفته است. طبق ادعای Mistral، مدل Mistral Large توانایی رقابت با GPT-4 را دارد و براساس بنچ‌مارک‌ معروف MMLU در جایگاه دوم پس از GPT-4 قرار می‌گیرد. این مدل جدید دارای Context Window به سایز ۳۲KB بوده و به زبان‌های انگلیسی، آلمانی، فرانسوی، ایتالیایی و اسپانیایی مسلط است. در کنار این مدل، چت‌باتی به نام Le Chat نیز منتشر شده است. برای تست این چت‌بات از اینجا ثبت‌نام کنید (منبع).

#microsoft
#mistral_ai
#le_chat

@dumannewsletter

کمپانی فرانسوی Mistral نسخه جدید مدل زبانی خود را با نام Mixtral 8×22B منتشر کرد. این مدل از معماری MoE استفاده کرده و دارای Context Window به سایز ۶۵ هزار توکن است (هر توکن را معادل یک لغت در نظر بگیرید). تعداد پارامترهای این مدل ۱۷۶ میلیارد بوده و دارای سایز ۲۸۱ گیگابایت است. اطلاعات دانلود این مدل از تورنت در اینجا منتشر شده است.

#mistral
#moe

@dumannewsletter

استارتاپ فرانسوی Mistral مدل زبانی مخصوص برنامه‌نویسی خود را با نام Codestral معرفی کرد. این مدل ۲۲ میلیارد پارامتر داشته و بیش از ۸۰ زبان برنامه‌نویسی را ساپورت می‌کند. در این جدول عملکرد این مدل زبانی با نمونه‌های مشابه در ۶ زبان برنامه‌نویسی مقایسه شده است. همان‌طور که مشاهده می‌کنید Codestral در زبان‌های Python، PHP، Java و Bash عملکرد بهتری داشته است. میانگین عملکرد این مدل نیز از نمونه‌‌های مشابه بهتر بوده است. مدل Codestral برای استفاده تحقیقاتی و غیرتجاری از طریق HuggingFace در دسترس عموم قرار گرفته است.

#mistral
#codestral
#هوش_مصنوعی

@dumannewsletter

دسترسی به مدل‌های Mistral

برای دسترسی رایگان به مدل‌های Mistral و مدل جدید Codestral وارد اینجا شده و در پایین باکس ورودی نوع مدل را خود را انتخاب کنید.

#codestral
#mistral

@dumannewsletter

شرکت فرانسوی Mistral دو مدل جدید زبانی را معرفی کرد.

مدل Codestral Mamba با ۷ میلیارد پارامتر مخصوص کد نویسی است. این مدل از نمونه‌های اپن‌سورس مشابه نظیر CodeGemma و CodeLlama عملکرد بهتری دارد. سایز Context آن نیز ۲۵۶ کیلوبایت است.
مدل Mathstral نیز دارای ۷ میلیارد پارامتر بوده و مخصوص حل مسائل استنتاجی و ریاضی است. این مدل در بنچ‌مارک MATH عملکرد ۵۶.۶ درصدی و در بنچ‌مارک MMLU عملکرد ۶۳.۴۷ درصدی داشته است. هر دو مدل به صورت اپن‌سورس تحت لایسنس Apache 2.0 منتشر شده‌اند.

#mistral

@dumannewsletter

معرفی مدل Mistral NeMo

مدل زبانی Mistral NeMo با همکاری مشترک Mistral و NVIDIA به صورت اپن‌سورس تحت لایسنس Apache 2.0 منتشر شد. این مدل ۱۲ میلیارد پارامتر داشته و سایز Context Window آن ۱۲۸ کیلوبایت است. در این تصویر مقایسه آن با نمونه‌های مشابه را در بنچ‌مارک‌های مختلف مشاهده می‌کنید (مطالعه جزئیات بیشتر).

#mistral
#nvidia

@dumannewsletter

شرکت Mistral مجموعه مدل‌های جدیدی را با نام Les Ministraux معرفی کرد. در حال حاضر این مجموعه شامل دو مدل زبانی Ministral 3B و Ministral 8B است. برای مطالعه جزئیات بیشتر اینجا را بخوانید.

#mistral

@dumannewsletter