اعتراض به انتشار مدل Llama مقابل دفتر متا

عده‌ای از افراد معترض به انتشار اپن‌سورس مدل Llama مقابل دفتر متا در سانفرانسیسکو اعتراض خود را اعلام کردند. به عقیده این افراد انتشار چنین‌ مدل‌های قدرتمندی به صورت اپن‌سورس می‌تواند توسط هر کسی برای مقاصد شوم مورد استفاده قرار بگیرد. Llama یکی از بزرگترین مدل‌های زبانی است که توسط متا توسعه داده شده و به صورت اپن‌سورس و رایگان در دسترس عموم قرار گرفته است. انتشار این مدل فرصت‌های زیادی را برای افراد و شرکت‌های کوچک که منابع پردازشی کمتری در اختیار دارند فراهم کرده است. اینکه مدل‌های قدرتمند هوش‌مصنوعی توسط چه کسانی با چه اهدافی مورد استفاده قرار می‌گیرد یکی از چالش‌های ایمنی هوش‌مصنوعی است.

#meta
#llama
#ai_safety
#open_source

@dumannewsletter

رقابت اپن‌سورس و انحصار: معرفی مدل LLaVA

محققان دانشگاه‌های استنفورد، کلمبیا و ویسکانسین مدیسون در یک همکاری مشترک مدل LLaVA را به صورت اپن‌سورس و رایگان منتشر کردند. این مدل توانایی زبانی و درک تصویر را داشته و می‌تواند با مدل GPT-4 شرکت OpenAI رقابت کند. LLaVA در ادامه اقدام متا در توسعه مدل‌های اپن‌سورس معرفی شده است. با این وجود در دسترس عموم قرار گرفتن مدل‌های قدرتمند هوش‌مصنوعی نگرانی‌هایی را نیز در پی داشته است.

👈برای مطالعه جزئیات بیشتر به اینجا مراجعه کنید.

#llava
#llama
#open_source

@dumannewsletter

متا نسخه‌های fine-tune شده مدل Llama-70B مخصوص برنامه‌نویسی را با نام CodeLlama منتشر کرد (منبع). این نسخه‌ها عبارتند از:

• CodeLlama-70B
• CodeLlama-70B-Python
• CodeLlama-70B-Instruct


#codellama
#llama
#meta

@dumannewsletter

دوره Prompt نویسی برای مدل Llama با همکاری Meta AI در پلتفرم آموزشی DeepLearning.AI به صورت رایگان منتشر شد. این دوره حدود یک ساعت بوده و از اینجا می‌توانید به آن دسترسی داشته باشید.

#llama

@dumannewsletter

نسخه ۳ مدل زبانی Llama منتشر شد

متا نسخه ۳ مدل اپن‌سورس Llama را در سایزهای ۸ و ۷۰ میلیارد پارامتر منتشر کرد. طول Context Window در این نسخه ۸ هزار توکن است. قرار است به زودی این نسخه در پلتفرم‌های مختلف کلاد در دسترس قرار بگیرد. نسخه ۳ با ۱۵ تریلیون توکن در یک کلاستر با ۲۴ هزار GPU آموزش داده شده است. سایز دیتاست آن ۷ برابر دیتاست نسخه ۲ است. این دیتاست از منابع عمومی گردآوری شده است و حدود ۳۰ زبان مختلف را در بر می‌گیرد، با این وجود کیفیت آن برای تمامی زبان‌ها اندازه انگلیسی نیست. طبق ادعای متا ایمنی این نسخه توسط متخصصان داخلی و خارجی مورد تست قرار گرفته و مکانیزم‌های مختلفی برای آن در نظر گرفته شده است. قابل ذکر است که نسخه ۴۰۰ میلیارد پارامتری این مدل در حال Training است. برای مطالعه جزئیات فنی و مقایسه آن با مدل‌های مشابه اینجا را بخوانید.

#llama
#meta

@dumannewsletter

پیام مارک زاکربرگ در مورد نسخه ۳ مدل زبانی Llama

مارک زاکربرگ در این پیام بار دیگر به توسعه اپن‌سورس هوش‌مصنوعی تاکید کرد. طبق گفته زاک قرار است از این مدل زبانی در محصولات مختلف متا نظیر واتساپ و اینستاگرام استفاده شود. نسخه وب Llama با آدرس meta.ai نیز در دسترس قرار گرفته است.

#meta
#llama
#zuck

@dumannewsletter

نسخه ۸ میلیاردی 3 Llama در بسیاری از بنچ‌‌مارک‌ها حتی از نسخه ۷۰ میلیاردی Llama 2 عملکرد بهتری دارد!

#meta
#llama

@dumannewsletter

بالاخره نسخه ۴۰۵ میلیارد پارامتری Llama 3 منتشر شد! این LLM یکی از بزرگترین مدل‌های زبانی حال حاضر است که به صورت اپن‌سورس منتشر شده و مدل‌های انحصاری موجود را به چالش می‌کشد.

👈 دسترسی به مدل در HF
👈 مطالعه جزئیات فنی

#llama

@dumannewsletter

اخیرا مدل fine tune شده‌ای توسط NVIDIA منتشر شده که در صدر بنچ مارک‌های مختلف قرار گرفته است. این مدل زبانی در واقع fine tune شده مدل Llama 3.1 70B است که با نام Llama-3.1-Nemotron-70B-Instruct منتشر شده. برای fine tune کردن آن از روش RLHF (یادگیری تقویتی با فیدبک انسانی) استفاده شده است. برای مطالعه جزئیات بیشتر اینجا را بخوانید.

#llama
#nvidia

@dumannewsletter