توضیح کامل لایه‌های مدل Transformer
مدل Transformer از اجزای اصلی تشکیل شده که هر کدام نقش کلیدی در پردازش داده‌های ورودی ایفا می‌کنند. در این توضیح، به لایه‌های اصلی مدل، از جمله Multi-Head Self-Attention، Positional Encoding، و همچنین مراحل ضرب ماتریسی و فرآیندهای آموزش و استنتاج (inference) پرداخته شده است.
Paper: Attention is all you need

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

📚 دوره مقدماتی MIT درباره مدل‌های بنیادین و هوش مصنوعی تولیدی
↳ ChatGPT
↳ Stable-Diffusion & Dall-E
↳ Neural Networks
↳ Supervised Learning
↳ Representation & Unsupervised Learning
↳ Reinforcement Learning
↳ Generative AI
↳ Self-Supervised Learning
↳ Foundation Models
↳ GANs (adversarial)
↳ Contrastive Learning
↳ Auto-encoders
↳ Denoising & Diffusion

https://www.futureofai.mit.edu/

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

🌙✨
شب یلدا، بلندترین شب سال، فرصتی برای با هم بودن و گرم کردن دل‌هاست. با حافظ‌خوانی، طعم خوش هندوانه و انار، و گرمای جمع خانواده، این شب زیبا را به‌یادماندنی کنید.
🍉❤️☕️
یلدایتان مبارک و پر از لحظات شیرین!

Reinforcement Learning: An Overview

Kevin P. Murphy

December 9, 2024

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

اسلایدهای یادگیری و یادگیری عمیق با کیفیت بسیار بالا تهیه شده‌اند و می‌توانند منبعی ارزشمند برای یادگیری مفاهیم پایه تا پیشرفته باشند. پیشنهاد می‌کنم حتماً از این مجموعه بهره ببرید! 🌟

#هوش_مصنوعی
👨‍💻 @AlgorithmDesign_DataStructuer

🔍 معرفی مدل o3، جانشین o1 توسط OpenAI!
این مدل جدید در دو نسخه o3 استاندارد و o3 mini ارائه شده و با استفاده از زنجیره فکری خصوصی، دقت بیشتری در ریاضیات، فیزیک و برنامه‌نویسی دارد.
✨ ویژگی تنظیم زمان استدلال و قابلیت نزدیک به AGI از برجسته‌ترین نوآوری‌های آن است.
📞 همچنین، دسترسی به ChatGPT از طریق خطوط ثابت و WhatsApp فراهم شده تا هوش مصنوعی برای همه قابل دسترس‌تر باشد.

رقابت بین OpenAI و گوگل همچنان ادامه دارد! 🌐

#هوش_مصنوعی
👨‍💻 @AlgorithmDesign_DataStructuer

🚀 The Top 10 Generative AI Trends for 2025!

🚀 بر اساس تحلیل 1,292 استارتاپ توسط StartUs Insights، نوآوری‌های بزرگ در این حوزه شامل موارد زیر است:

✅ Hyper-Personalization
✅ Conversational AI
✅ AI for Scientific Research
✅ Image Generators
✅ Code & App Builders
✅ Video Production
✅ Generative Design
✅ Speech Synthesis
✅ Intelligent Process Automation
✅ Generative Music

🎯 این پیشرفت‌ها در حال تغییر نحوه عملکرد کسب‌وکارها هستند و با ایجاد راه‌حل‌های خلاقانه‌تر، انقلاب بزرگی را در صنایع به راه انداخته‌اند. آینده هوش مصنوعی تولیدی درخشان‌تر از همیشه است! 💡

#هوش_مصنوعی
👨‍💻 @AlgorithmDesign_DataStructuer

🔍 سال ۲۰۲۴ و انفجار تحقیقات در حوزه مدل‌های زبانی بزرگ (LLM)

امسال، پیشرفت‌های چشمگیری در توسعه LLM‌ها داشتیم که این حوزه را به یکی از سریع‌ترین و هیجان‌انگیزترین زمینه‌های هوش مصنوعی تبدیل کرده است. اگر به دنبال مقالات ارزشمند و جدید در این زمینه هستید، پیشنهاد می‌کنم حتماً لیست منتخبی از صدها مقاله مرتبط با LLM که در طول سال جمع‌آوری شده را بررسی کنید:
🌐 https://magazine.sebastianraschka.com/p/llm-research-papers-the-2024-list

💡 در این لیست، مقالات متنوعی درباره موضوعات مهمی مانند واریانت‌های جدید LoRA، مطالعات replication o1، و قوانین مقیاس‌گذاری جدید LLM‌ها پیدا خواهید کرد که می‌توانند برای یادگیری و همراهی با این حوزه بسیار مفید باشند.

✍️ به‌زودی، بخشی از مرور سالانه مقالات منتخب ۲۰۲۴ نیز منتشر خواهد شد که مقالات برجسته را با تحلیل و بررسی ارائه می‌کند.

📚 اگر به هوش مصنوعی و مدل‌های زبانی علاقه دارید، این فرصت را از دست ندهید و دانش خود را به‌روز نگه دارید! 🚀

✨ کانال ما را دنبال کنید تا از مطالب ارزشمند بیشتری بهره‌مند شوید!

#هوش_مصنوعی
👨‍💻 @AlgorithmDesign_DataStructuer

رشته ای بر گردنم افکنده دوست
می کشد هر جا که خاطرخواه اوست

📣👨‍💻 @AlgorithmDesign_DataStructuer

✨ معرفی Qwen2.5-Turbo: جدیدترین LLM از علی‌بابا

🔹 پردازش حجم‌های بی‌سابقه‌ای از داده‌ها:
در واقعQwen2.5-Turbo اکنون قادر است تا یک میلیون توکن/واژه را به‌صورت همزمان پردازش کند. این معادل است با:
📚 ۱۰ رمان کامل
🗣 ۱۵۰ ساعت متن‌های گفتاری
💻 ۳۰,۰۰۰ خط کد

🔹 برتری در مقایسه با سایر مدل‌ها:
این مدل از GPT-4o-mini در وظایف بالای ۱۲۸K توکن پیشی می‌گیرد و ۳.۶ برابر بیشتر از آن، توکن پردازش می‌کند، آن هم با هزینه برابر!

🔹 سرعت بیشتر در استنتاج:
با استفاده از مکانیسم Sparse Attention، زمان تولید اولین توکن برای متنی با **یک میلیون توکن ۴.۳ برابر کاهش یافته است.

https://huggingface.co/spaces/Qwen/Qwen2.5-Turbo-1M-Demo

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

یک دوره آموزشی با موضوع Multi-Agent Reinforcement Learning (MARL) توسط Dr. Stefano V. Albrecht یکی از نویسندگان کتاب جدید منتشرشده در این زمینه با عنوان **Multi-Agent Reinforcement Learning: Foundations and Modern Approaches (انتشارات MIT Press, 2024)، برگزار شده است.

این دوره از 16 تا 19 سپتامبر 2024 در Artificial Intelligence Research Institute (IIIA-CSIC) در بارسلونا، اسپانیا، با گزینه‌های شرکت حضوری و آنلاین برگزار شد.

محتوای دوره شامل مفاهیم پایه Reinforcement Learning،Game Theory، و الگوریتم‌های پیشرفته MARL با استفاده از تکنیک‌های Deep Learning بوده است. این دوره برای افراد علاقه‌مند به یادگیری اصول بنیادین و کاربردهای مدرن در این حوزه طراحی شده بود.
lectures:https://www.youtube.com/playlist?list=PLkoCa1tf0XjCU6GkAfRCkChOOSH6-JC_2
Textbook:https://www.marl-book.com/

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

این وبلاگ دنیای پیچیده Large Language Models (LLMs) را رمزگشایی می‌کند و تحقیقات پیشرفته را به مفاهیمی شفاف و قابل‌فهم تبدیل می‌کند.
مناسب برای درک معماری‌های Transformer، فرآیندهای آموزشی و آخرین اخبار در تحقیقات AI.

هر کسی که سعی دارد مفاهیم مربوط به Transformers یا Large Language Models را درک کند، حتماً باید این وبلاگ را مطالعه کند!

https://magazine.sebastianraschka.com/p/understanding-large-language-models

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

ایجاد اعداد دست‌نویس فارسی با استفاده از Deep Convolutional Generative Adversarial Networks (DCGANs) و PyTorch
1-Loading Handwritten Persian numerals dataset
2-Generator and Discriminator (for DCGANs)
2-1-Building the Generator
2-2-Building the Discriminator
2-3-Defining Loss Functions
2-4-Defining Optimizers
3-Training DCGANs

Github:https://github.com/omid-sakaki-ghazvini/Projects/blob/main/handwritten-persian-numerals-dcgans-pytorch.ipynb
Kaggle:https://www.kaggle.com/code/omidsakaki1370/handwritten-persian-numerals-dcgans-pytorch

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

Dual-Branch Subpixel-Guided Network for Hyperspectral Image Classification


Publication date: 5 Dec 2024

Topic: Image Classification

Paper: https://arxiv.org/pdf/2412.03893v1.pdf

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

Building Blocks for Theoretical Computer Science

https://mfleck.cs.illinois.edu/building-blocks/index-sp2020.html

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

یک سایت عالی برای دستیابی به یک نقشه جامع و کاربردی در زمینه هوش مصنوعی!

🔹 اگر به دنبال یک راهنمای کامل برای یادگیری هوش مصنوعی هستید، این سایت یکی از بهترین گزینه‌هاست. با ارائه منابع، مسیرهای یادگیری و ابزارهای کاربردی، این نقشه می‌تواند شما را در مسیر یادگیری و تسلط بر مفاهیم هوش مصنوعی هدایت کند.

💻🌐https://addgraph.com/ai

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

Programming PyTorch for Deep Learning

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

✔️ 7 پیچیدگی زمانی مهم که باید بدانید!

𝐎(1) - زمان ثابت
زمان اجرا بدون توجه به اندازه ورودی تغییر نمی‌کند.
مثال: دسترسی به یک عنصر در آرایه با استفاده از ایندکس.

𝐎(𝐥𝐨𝐠 𝐧) - زمان لگاریتمی
زمان اجرا به‌آرامی با افزایش اندازه ورودی رشد می‌کند. معمولاً در الگوریتم‌هایی دیده می‌شود که مسئله را در هر مرحله نصف می‌کنند.
مثال: جستجوی دودویی در یک آرایه مرتب.

𝐎(𝐧) - زمان خطی
زمان اجرا به صورت خطی با اندازه ورودی افزایش می‌یابد.
مثال: یافتن یک عنصر در آرایه با پیمایش تمام عناصر.

𝐎(𝐧 𝐥𝐨𝐠 𝐧) - زمان خطی لگاریتمی
زمان اجرا کمی سریع‌تر از زمان خطی رشد می‌کند. این پیچیدگی معمولاً شامل تعداد لگاریتمی عملیات برای هر عنصر ورودی است.
مثال: مرتب‌سازی آرایه با استفاده از الگوریتم‌هایی مانند quick sort یا merge sort.

𝐎(𝐧^2) - زمان درجه دوم
زمان اجرا به مربع اندازه ورودی وابسته است.
مثال: الگوریتم حبابی که هر جفت از عناصر را مقایسه و در صورت نیاز جابجا می‌کند.

𝐎(2^𝐧) - زمان نمایی
زمان اجرا با هر واحد افزایش در ورودی دو برابر می‌شود. این الگوریتم‌ها برای ورودی‌های بزرگ غیرعملی هستند.
مثال: تولید تمام زیرمجموعه‌های یک مجموعه.

𝐎(𝐧!) - زمان فاکتوریل
زمان اجرا متناسب با فاکتوریل اندازه ورودی است.
مثال: تولید تمام جایگشت‌های یک مجموعه.

#الگوریتم
📣👨‍💻 @AlgorithmDesign_DataStructuer