آشنایی با معماری MoE در مدل‌های هوش‌مصنوعی
در معماری Mixture of Experts یا به طور خلاصه MoE مدل از چندین شبکه عصبی به نام Expert و یک شبکه عصبی به نام Gating Network یا Router تشکیل می‌شود. هر شبکه Expert روی بخشی از دیتا آموزش داده می‌شود. شبکه Router تصمیم می‌گیرد که هر توکن ورودی را به کدام Expert داده و تاثیر هر Expert در خروجی چه میزان باشد. معماری MoE امکان افزایش سایز مدل یا دیتاست را با بودجه پردازشی ثابت فراهم می‌سازد.
👈 مطالعه بیشتر
#moe
#آموزشی
@dumannewsletter
در معماری Mixture of Experts یا به طور خلاصه MoE مدل از چندین شبکه عصبی به نام Expert و یک شبکه عصبی به نام Gating Network یا Router تشکیل می‌شود. هر شبکه Expert روی بخشی از دیتا آموزش داده می‌شود. شبکه Router تصمیم می‌گیرد که هر توکن ورودی را به کدام Expert داده و تاثیر هر Expert در خروجی چه میزان باشد. معماری MoE امکان افزایش سایز مدل یا دیتاست را با بودجه پردازشی ثابت فراهم می‌سازد.
👈 مطالعه بیشتر
#moe
#آموزشی
@dumannewsletter
انتشار نسخه 1.5 چت‌بات Grok توسط xAI
کمپانی xAI نسخه 1.5 چت‌بات Grok را معرفی کرد. قرار است این نسخه به‌زودی از طریق پلتفرم X در دسترس کاربران قرار بگیرد. طول ورودی (Context Window) در این نسخه به ۱۲۸هزار توکن (هر توکن را تقریبا یک لغت در نظر بگیرید) رسیده که ۱۶ برابر نسخه 1 است. در این جدول می‌توانید عملکرد نسخه 1.5 را نسبت به نسخه 1 و سایر رقبا در بنچ‌مارک‌های مختلف مشاهده کنید. همان‌طور که مشخص است قابلیت استدلال و حل مساله این نسخه نسبت به نسخه قبلی بهبود قابل توجهی داشته است. نسخه 1 این چت‌بات اخیرا به صورت اپن‌سورس در دسترس عموم قرار گرفت (منبع).
طبق گفته ایلان ماسک در X، نسخه 2 در حال توسعه است!
#xai
#grok
@dumannewsletter
کمپانی xAI نسخه 1.5 چت‌بات Grok را معرفی کرد. قرار است این نسخه به‌زودی از طریق پلتفرم X در دسترس کاربران قرار بگیرد. طول ورودی (Context Window) در این نسخه به ۱۲۸هزار توکن (هر توکن را تقریبا یک لغت در نظر بگیرید) رسیده که ۱۶ برابر نسخه 1 است. در این جدول می‌توانید عملکرد نسخه 1.5 را نسبت به نسخه 1 و سایر رقبا در بنچ‌مارک‌های مختلف مشاهده کنید. همان‌طور که مشخص است قابلیت استدلال و حل مساله این نسخه نسبت به نسخه قبلی بهبود قابل توجهی داشته است. نسخه 1 این چت‌بات اخیرا به صورت اپن‌سورس در دسترس عموم قرار گرفت (منبع).
طبق گفته ایلان ماسک در X، نسخه 2 در حال توسعه است!
#xai
#grok
@dumannewsletter
رقیب Devin با نام SWE agent معرفی شد
محققان آزمایشگاه NLP دانشگاه پرینستون رقیب ایجنت برنامه‌نویسی Devin را با نام SWE agent به صورت اپن‌سورس تحت لایسنس MIT منتشر کردند. این ایجنت برنامه‌نویسی دقت نزدیک به Devin در حل issueهای گیت‌هاب (بنچ‌مارک SWE) دارد و از GPT-4 به عنوان LLM استفاده می‌کند. معرفی Devin در هفته‌های گذشته توجه زیادی را به خود جلب کرده بود. این ایجنت‌ها با استفاده از مدل‌های بزرگ زبانی و دسترسی به Code Editor ،Shell و اینترنت می‌توانند باگ‌ها و خطاهای رخ داده در سورس کد را فیکس کنند.
👈 برای نصب این ایجنت و مشاهده سورس کد به اینجا مراجعه کنید.
👈 برای آشنایی با Devin اینجا را بخوانید.
#swe_agent
#devin
@dumannewsletter
محققان آزمایشگاه NLP دانشگاه پرینستون رقیب ایجنت برنامه‌نویسی Devin را با نام SWE agent به صورت اپن‌سورس تحت لایسنس MIT منتشر کردند. این ایجنت برنامه‌نویسی دقت نزدیک به Devin در حل issueهای گیت‌هاب (بنچ‌مارک SWE) دارد و از GPT-4 به عنوان LLM استفاده می‌کند. معرفی Devin در هفته‌های گذشته توجه زیادی را به خود جلب کرده بود. این ایجنت‌ها با استفاده از مدل‌های بزرگ زبانی و دسترسی به Code Editor ،Shell و اینترنت می‌توانند باگ‌ها و خطاهای رخ داده در سورس کد را فیکس کنند.
👈 برای نصب این ایجنت و مشاهده سورس کد به اینجا مراجعه کنید.
👈 برای آشنایی با Devin اینجا را بخوانید.
#swe_agent
#devin
@dumannewsletter
همکاری امریکا و انگلیس در ایمنی هوش‌مصنوعی
دولت‌های آمریکا و انگلیس در یک تفاهم‌نامه جدید توافق کردند با همکاری یکدیگر و با اشتراک‌گذاری اطلاعات و منابع یک شیوه مشترک برای تست ایمنی هوش‌مصنوعی توسعه دهند. همچنین در این همکاری قرار است مدل‌های موجود هوش‌مصنوعی از نظر ایمنی مورد ارزیابی قرار بگیرند. تصویر مربوط به همایش ایمنی هوش‌مصنوعی سال گذشته در انگلیس است (منبع).
#uk
#us
@dumannewsletter
دولت‌های آمریکا و انگلیس در یک تفاهم‌نامه جدید توافق کردند با همکاری یکدیگر و با اشتراک‌گذاری اطلاعات و منابع یک شیوه مشترک برای تست ایمنی هوش‌مصنوعی توسعه دهند. همچنین در این همکاری قرار است مدل‌های موجود هوش‌مصنوعی از نظر ایمنی مورد ارزیابی قرار بگیرند. تصویر مربوط به همایش ایمنی هوش‌مصنوعی سال گذشته در انگلیس است (منبع).
#uk
#us
@dumannewsletter
معرفی مربی فوتبال توسط گوگل DeepMind
گوگل DeepMind مدل جدیدی به نام TacticAI را برای پیش‌بینی نتیجه کرنر در بازی فوتبال معرفی کرد. این مدل با همکاری باشگاه لیورپول توسعه داده شده است. در این مدل هر بازیکن به منزله یک نود در گراف بوده که با استفاده از Graph Neural Network براساس موقعیت بازیکن‌های هر دو تیم نتیجه کرنر را پیش‌بینی می‌کند (منبع).
#tacticai
#google
#deepmind
@dumannewsletter
گوگل DeepMind مدل جدیدی به نام TacticAI را برای پیش‌بینی نتیجه کرنر در بازی فوتبال معرفی کرد. این مدل با همکاری باشگاه لیورپول توسعه داده شده است. در این مدل هر بازیکن به منزله یک نود در گراف بوده که با استفاده از Graph Neural Network براساس موقعیت بازیکن‌های هر دو تیم نتیجه کرنر را پیش‌بینی می‌کند (منبع).
#tacticai
#deepmind
@dumannewsletter
نسخه ۲ مدل Stable Audio توسط Stability AI منتشر شد.
این نسخه می‌تواند بر اساس متن ورودی (prompt) موسیقی stereo با فرکانس 44.1 kHz به طول حداکثر سه دقیقه تولید کند. یکی از قابلیت‌های جالب توجه این نسخه امکان آپلود کردن صدا/موسیقی نمونه است! به عنوان مثال کاربر می‌تواند موسیقی مدنظر خود را زمزمه کرده و صدای خود را به عنوان ورودی به مدل بدهد. Stable Audio 2 با استفاده از دیتاست AudioSparx
آموزش داده شده است.
👈 برای تست کردن این مدل اینجا را مشاهده کنید.
#stable_audio
#stability_ai
@dumannewsletter
این نسخه می‌تواند بر اساس متن ورودی (prompt) موسیقی stereo با فرکانس 44.1 kHz به طول حداکثر سه دقیقه تولید کند. یکی از قابلیت‌های جالب توجه این نسخه امکان آپلود کردن صدا/موسیقی نمونه است! به عنوان مثال کاربر می‌تواند موسیقی مدنظر خود را زمزمه کرده و صدای خود را به عنوان ورودی به مدل بدهد. Stable Audio 2 با استفاده از دیتاست AudioSparx
آموزش داده شده است.
👈 برای تست کردن این مدل اینجا را مشاهده کنید.
#stable_audio
#stability_ai
@dumannewsletter
This media is not supported in your browser
VIEW IN TELEGRAM
دموی ربات انسان‌نمای آپولو
اخیراً این ربات در کارخانه مرسدس بنز مورد بهره‌برداری قرار گرفته است.
#apptronik
#apollo
#robotics
@dumannewsletter
اخیراً این ربات در کارخانه مرسدس بنز مورد بهره‌برداری قرار گرفته است.
#apptronik
#apollo
#robotics
@dumannewsletter
حمایت کاخ سفید از تولید تراشه در خاک آمریکا
به دلیل وابستگی کشور آمریکا به تراشههای پیشرفته و تمرکز تولید آن در تایوان توسط TSMC کاخ سفید از سال‌ها پیش سیاست کاهش این وابستگی را در پیش گرفته است. اخیراً شرکت تایوانی TSMC با دریافت ۱۱ میلیارد دلار وام و کمک هزینه ترغیب شد که سه کارخانه جدید در ایالت آریزونا راه‌اندازی کند. ارزش کل این سرمایه‌گذاری ۶۵ میلیارد دلار بوده که منجر به تولید ۲۵ هزار شغل در آمریکا خواهد شد. تولید تراشه در خاک آمریکا از وابستگی این کشور به بیرون کاسته و از طرفی کنترل آن روی توزیع تراشه را بیشتر می‌کند. در حال حاضر آمریکا به خاطر رقابت با چین به شکل‌های مختلفی مانع صادرات تراشه به این کشور شده است. از طرفی تولید تراشههای پیشرفته در خاک تایوان و تنش‌های سیاسی در آن منطقه منجر به نگرانی آمریکا نسبت به تامین این تکنولوژی شده است. بر این اساس کنگره آمریکا با تصویب CHIPS Act زمینه حمایت از تولید تراشه در خاک آمریکا را در سال‌های گذشته فراهم کرده است.
👈 ادامه مقاله را اینجا بخوانید.
👈 برای آشنایی بیشتر با جنگ تراشه اینجا را بخوانید.
#chip
#us
#tsmc
@dumannewsletter
به دلیل وابستگی کشور آمریکا به تراشههای پیشرفته و تمرکز تولید آن در تایوان توسط TSMC کاخ سفید از سال‌ها پیش سیاست کاهش این وابستگی را در پیش گرفته است. اخیراً شرکت تایوانی TSMC با دریافت ۱۱ میلیارد دلار وام و کمک هزینه ترغیب شد که سه کارخانه جدید در ایالت آریزونا راه‌اندازی کند. ارزش کل این سرمایه‌گذاری ۶۵ میلیارد دلار بوده که منجر به تولید ۲۵ هزار شغل در آمریکا خواهد شد. تولید تراشه در خاک آمریکا از وابستگی این کشور به بیرون کاسته و از طرفی کنترل آن روی توزیع تراشه را بیشتر می‌کند. در حال حاضر آمریکا به خاطر رقابت با چین به شکل‌های مختلفی مانع صادرات تراشه به این کشور شده است. از طرفی تولید تراشههای پیشرفته در خاک تایوان و تنش‌های سیاسی در آن منطقه منجر به نگرانی آمریکا نسبت به تامین این تکنولوژی شده است. بر این اساس کنگره آمریکا با تصویب CHIPS Act زمینه حمایت از تولید تراشه در خاک آمریکا را در سال‌های گذشته فراهم کرده است.
👈 ادامه مقاله را اینجا بخوانید.
👈 برای آشنایی بیشتر با جنگ تراشه اینجا را بخوانید.
#chip
#us
#tsmc
@dumannewsletter
شرکت Stability AI مدل زبانی جدیدی به نام Stable LM 2 12B را معرفی کرد. این مدل ۱۲ میلیارد پارامتر داشته و به صورت اپن‌سورس منتشر شده است. علاوه بر زبان انگلیسی ۶ زبان اروپایی دیگر را نیز پشتیبانی می‌کند.
👈 برای چت کردن با این مدل اینجا را ببینید.
👈 برای مشاهده نتایج مقایسه این مدل با نمونه‌های مشابه اینجا را بخوانید.
#stability_ai
@dumannewsletter
👈 برای چت کردن با این مدل اینجا را ببینید.
👈 برای مشاهده نتایج مقایسه این مدل با نمونه‌های مشابه اینجا را بخوانید.
#stability_ai
@dumannewsletter
This media is not supported in your browser
VIEW IN TELEGRAM
یوال نوح هراری:
مهم‌ترین مهارت مورد نیاز در قرن ۲۱ام انعطاف‌پذیری ذهن و توانایی رها کردن است!
@dumannewsletter
مهم‌ترین مهارت مورد نیاز در قرن ۲۱ام انعطاف‌پذیری ذهن و توانایی رها کردن است!
@dumannewsletter
This media is not supported in your browser
VIEW IN TELEGRAM
پاسخ مدل GTP-4 در آپدیت جدید کوتاه‌تر و مفیدتر شده است. در این ویدئو سکشن سمت چپ پاسخ نسخه جدید و سکسشن سمت راست پاسخ نسخه قبلی است.
#gpt4
#chatgpt
#openai
@dumannewsletter
#gpt4
#chatgpt
#openai
@dumannewsletter
This media is not supported in your browser
VIEW IN TELEGRAM
نسخه ۲ مدل Imagen گوگل DeepMind در آپدیت جدید می‌تواند متن را به ویدئوی کوتاه ۴ ثانیه‌ای تبدیل کند. این مدل از تکنولوژی Diffusion استفاده کرده و برای مشخص کردن محتوای تولید شده توسط AI از SynthID استفاده می‌کند (منبع).
#imagen
#google
@dumannewsletter
#imagen
@dumannewsletter
کمپانی فرانسوی Mistral نسخه جدید مدل زبانی خود را با نام Mixtral 8×22B منتشر کرد. این مدل از معماری MoE استفاده کرده و دارای Context Window به سایز ۶۵ هزار توکن است (هر توکن را معادل یک لغت در نظر بگیرید). تعداد پارامترهای این مدل ۱۷۶ میلیارد بوده و دارای سایز ۲۸۱ گیگابایت است. اطلاعات دانلود این مدل از تورنت در اینجا منتشر شده است.
#mistral
#moe
@dumannewsletter
#mistral
#moe
@dumannewsletter
ساخت پردازنده‌‌های اختصاصی توسط کمپانی‌های بزرگ
با سودآوری حیرت‌انگیز کمپانی NVIDIA در موج هوش‌مصنوعی کمپانی‌های بزرگ تلاش‌ها برای ساخت پردازنده‌‌های اختصاصی را بیشتر کرده‌اند. در روزهای اخیر شاهد معرفی پردازنده ARM-based جدید توسط گوگل با نام Google Axion و نسخه جدید تراشه MTIA توسط متا بوده‌ایم. علاوه بر گوگل و متا کمپانی‌های بزرگ دیگری نظیر آمازون و IBM نیز در این زمینه در حال توسعه و پیشرفت هستند.
👈 برای آشنایی بیشتر با تراشه گوگل اینجا را بخوانید.
👈 برای آشنایی بیشتر با تراشه متا اینجا را بخوانید.
#meta
#google
#chip
@dumannewsletter
با سودآوری حیرت‌انگیز کمپانی NVIDIA در موج هوش‌مصنوعی کمپانی‌های بزرگ تلاش‌ها برای ساخت پردازنده‌‌های اختصاصی را بیشتر کرده‌اند. در روزهای اخیر شاهد معرفی پردازنده ARM-based جدید توسط گوگل با نام Google Axion و نسخه جدید تراشه MTIA توسط متا بوده‌ایم. علاوه بر گوگل و متا کمپانی‌های بزرگ دیگری نظیر آمازون و IBM نیز در این زمینه در حال توسعه و پیشرفت هستند.
👈 برای آشنایی بیشتر با تراشه گوگل اینجا را بخوانید.
👈 برای آشنایی بیشتر با تراشه متا اینجا را بخوانید.
#meta
#chip
@dumannewsletter
بزرگترین دیتاست Text-to-SQL توسط Gretel Navigator به صورت اپن‌سورس تحت لایسنس Apache 2 منتشر شد. این دیتاست می‌تواند برای fine-tune کردن مدل‌های زبانی پایه در نوشتن کدهای SQL مورد استفاده قرار بگیرد.
👈 لینک دسترسی به دیتاست در HF
#sql
#gretel
@dumannewsletter
👈 لینک دسترسی به دیتاست در HF
#sql
#gretel
@dumannewsletter