ساخت مدل‌های زبان بزرگ (کلاس درس CS229 دانشگاه استنفورد)
این کلاس به بررسی مختصر فرایند ساخت مدل‌های زبان بزرگ مشابه ChatGPT می‌پردازد.

به‌طور مشخص، این کلاس شامل موارد زیر است:

- Pretraining
- Post-training
در هر قسمت، به موارد زیر پرداخته می‌شود:

- روش‌های رایج در جمع‌آوری داده‌ها،
- الگوریتم‌ها و
- روش‌های ارزیابی

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

🔍 تحقیقات جدید در زمینه مدل‌های چندمدلی LLM

در زمینه‌ی مدل‌های LLM چندمدلی، تحقیقات جدیدی صورت گرفته است، از جمله مدل‌های دیداری Llama 3.2 که استراتژی‌های معماری متنوعی را برای یکپارچه‌سازی انواع مختلف داده‌ها مانند متن و تصویر به کار می‌برند.

به عنوان مثال، روش تنها رمزگذار از یک پشته واحد از بلوک‌های رمزگذار برای پردازش تمام حالت‌ها به صورت توالی استفاده می‌کند.

از سوی دیگر، روش‌های توجه متقابل (مانند آنچه در Llama 3.2 استفاده شده) شامل رمزگذارهای جداگانه برای حالت‌های مختلف با یک لایه توجه متقابل است که به این رمزگذارها اجازه می‌دهد تا با هم تعامل داشته باشند.

📄 مقاله‌ی جدید به توضیح نحوه‌ی عملکرد این انواع مختلف LLM چندمدلی می‌پردازد. علاوه بر این، به بررسی و خلاصه‌سازی حدود دوازده مقاله و مدل چندمدلی اخیر که در هفته‌های گذشته منتشر شده‌اند، را مورد بررسی قرار می دهد تا رویکردهای آن‌ها را مقایسه کنم.

📰 برای اطلاعات بیشتر، حتماً این مقاله رو مطالعه کنید:
https://www.linkedin.com/pulse/understanding-multimodal-llms-sebastian-raschka-phd-t7h5c/

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

سایت HackerRank یکی از بهترین منابع برای یادگیری و تمرین مفاهیم برنامه‌نویسی و ساختار داده‌ها است. این پلتفرم چالش‌های مختلفی در حوزه‌های گوناگون مانند ساختار داده‌ها، الگوریتم‌ها، هوش مصنوعی و یادگیری ماشین ارائه می‌دهد. کاربران می‌توانند با حل این چالش‌ها مهارت‌های خود را بهبود بخشند و حتی گواهی‌نامه‌های معتبری برای مهارت‌هایشان کسب کنند.

بخش Data Structures در HackerRank شامل تمرین‌های متنوعی از جمله آرایه‌ها، لیست‌های پیوندی، درخت‌ها، پشته‌ها، صف‌ها و گراف‌ها است. این تمرین‌ها به کاربران کمک می‌کنند تا با مفاهیم بنیادی ساختار داده‌ها آشنا شوند و با حل مسائل عملی، دانش خود را در این زمینه تقویت کنند.

به علاوه، HackerRank فرصتی برای شرکت در رقابت‌های برنامه‌نویسی و یادگیری از جامعه‌ای بزرگ از برنامه‌نویسان فراهم می‌کند.

https://www.hackerrank.com/domains/data-structures

#الگوریتم
📣👨‍💻 @AlgorithmDesign_DataStructuer

اگر هنوز با بخش رمزگذار (Encoder) ترانسفورمر آشنا نیستید، در این لینک، توضیحات گام‌به‌گام و دقیقی از این بخش را پیدا خواهید کرد. با دنبال کردن این راهنما، می‌توانید یک "مدل ذهنی" شفاف از ترانسفورمر بسازید و اصول و عملکرد رمزگذار را به سادگی درک کنید.

https://towardsdatascience.com/drawing-the-transformer-network-from-scratch-part-1-9269ed9a2c5e

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

سلام به همگی

قصد دارم جزوه‌های دروس کاربردی مثل هوش مصنوعی، ساختمان داده، طراحی الگوریتم و… رو از دانشگاه‌های مختلف جمع‌آوری کنم و در کانال به اشتراک بگذارم تا همگی استفاده کنیم. اگر جزوه مفیدی دارید، ممنون میشم از هر دانشگاهی که هستید به آی‌دی زیر ارسال کنید. 🙏📘

🆔: @Se_mohamad
تشکر از همراهی‌تون! 😊

📚پاورپوینت کتاب هوش مصنوعی
👨‍🏫استاد علی رمزی
✏️ راسل و نورویگ
✒️زبان فارسی

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

دسته بندی الگوریتم های یادگیری ماشین

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

🔍 پدیده‌ای جدید در مدل‌های زبانی بزرگ: انجام چندین کار هم‌زمان با یک فراخوانی! 🔍

مدل‌های زبانی بزرگ (LLMs) هر روز ما را شگفت‌زده‌تر می‌کنند، اما آخرین کشف در مورد توانایی آن‌ها ممکن است حتی از حد انتظارمان فراتر رود! 😯 در مقاله‌ای با عنوان "Everything Everywhere All at Once: LLMs Can In-Context Learn Multiple Tasks in Superposition"، محققان یک قابلیت جدید به نام برهم‌نهی وظایف (Task Superposition) را بررسی کرده‌اند.

🔸 این پدیده به ما نشان می‌دهد که مدل‌های زبانی می‌توانند چندین وظیفه مختلف را به‌طور هم‌زمان و تنها در یک مرحله پردازش کنند. فرض کنید یک مدل نه تنها به سؤالات متنی پاسخ دهد، بلکه هم‌زمان مسئله ریاضی را حل کند و حتی ترجمه‌ای هم ارائه دهد! 😲

🔹 جالب‌تر اینکه هرچه مدل‌ها بزرگ‌تر شوند، می‌توانند وظایف بیشتری را هم‌زمان انجام دهند و نتیجه‌های دقیق‌تری ارائه کنند. این یعنی قدرت پردازشی LLMها به حدی رسیده که می‌توانند بدون نیاز به آموزش جداگانه برای هر وظیفه، چندین وظیفه متفاوت را به طور هم‌زمان انجام دهند. 🌐✨

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer