⚡️ Byte Latent Transformer: Patches Scale Better Than Tokens

معماری BLT مدل زبانی جدیدی است که برای اولین بار توانسته عملکردی هم‌سطح مدل‌های مبتنی بر توکن‌سازی ارائه دهد، اما با مزایایی مثل:

پردازش مستقیم داده‌ها در سطح بایت
افزایش سرعت استنتاج
مقاومت بیشتر در برابر خطاها

Github: https://github.com/facebookresearch/blt

Paper: https://arxiv.org/abs/2412.09871v1

Dataset: https://paperswithcode.com/dataset/mmlu

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

📘 Python Data Structure

این کتاب یک منبع عالی برای یادگیری مفاهیم داده‌ساختارها به زبان ساده است. اگر می‌خواهید با لیست‌ها، دیکشنری‌ها، مجموعه‌ها و دیگر داده‌ساختارهای پایتون به صورت عمیق آشنا شوید.

#الگوریتم
📣👨‍💻 @AlgorithmDesign_DataStructuer

۸۳٪ از ۱۰۰ مقاله پرارجاع هوش مصنوعی در سال ۲۰۲۳ روی مدل‌های زبانی بزرگ (LLMs) تمرکز داشتند.

متا با مدل‌های LLaMA و Llama 2 نشان داد که مدل‌های باز می‌توانند با غول‌های انحصاری مانند GPT-4 رقابت کنند. همچنین مایکروسافت با انتشار ۱۳ مقاله برتر، جایگاه برترین سازمان را از آن خود کرد.

https://www.zeta-alpha.com/post/analyzing-the-homerun-year-for-llms-the-top-100-most-cited-ai-papers-in-2023-with-all-medals-for-o

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

💡 Coconut:
گامی نوین در استدلال مدل‌های زبانی بزرگ

🔍 تصور کنید مدل‌های زبانی بزرگ (LLMs) به جای استدلال در چارچوب زبان‌های طبیعی مانند انگلیسی، در یک فضای نهفته و نامحدود تفکر کنند! مقاله‌ای تازه با معرفی پارادایمی نوین به نام Coconut، این ایده را به واقعیت نزدیک کرده است.

در این روش، به‌جای تبدیل وضعیت پنهان مدل به کلمات، این حالت به‌عنوان "تفکر پیوسته" مستقیماً به مدل بازمی‌گردد و به آن امکان می‌دهد در فضای پیوسته استدلال کند. Coconut توانسته در برخی وظایف استدلالی پیچیده که نیاز به برنامه‌ریزی و بازگشت‌های مکرر دارند، عملکرد بهتری از روش‌های سنتی مانند زنجیره تفکر (CoT) ارائه دهد.

🌟ویژگی برجسته: این رویکرد به مدل اجازه می‌دهد تا چندین مسیر جایگزین برای استدلال را رمزگذاری کند و به‌جای محدود شدن به یک مسیر قطعی، با جستجوی پیشرفته، مسائل را با دقت بیشتری حل کند.

🧠 چرا مهم است؟ Coconut درک ما از نحوه استدلال مدل‌ها را متحول می‌کند و راه را برای پژوهش‌های آینده در زمینه پردازش زبان طبیعی هموار می‌سازد.

Paper:https://arxiv.org/pdf/2412.06769

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

💡 اتصالات میان‌بُر (Shortcut Connections): راهکاری برای شبکه‌های عصبی عمیق

📌 یکی از چالش‌های اصلی در ساخت شبکه‌های عصبی عمیق، پدیده vanishing gradients است. با افزایش عمق شبکه، گرادیان‌ها در لایه‌های اولیه به شدت کاهش می‌یابند و فرآیند یادگیری مختل می‌شود. اما با معرفی ساختاری به نام Shortcut Connections**، این مشکل تا حد زیادی حل شده است.

Shortcut Connections چیست؟
اتصالات میان‌بُر یا Residual Connections روشی است که در آن، خروجی یک لایه با ورودی همان لایه جمع می‌شود. این ساختار باعث می‌شود که اطلاعات به‌طور مستقیم از لایه‌های اولیه به لایه‌های بعدی منتقل شوند، بدون اینکه تحت تأثیر کاهش گرادیان قرار گیرند.



مزایا:
1. حفظ گرادیان‌ها:
با استفاده از این اتصالات، گرادیان‌ها حتی در لایه‌های اولیه نسبتاً بزرگ باقی می‌مانند و یادگیری در شبکه‌های عمیق بهبود می‌یابد.
- مثال:
- گرادیان در لایه ۵: 1.32
- گرادیان در لایه ۱: 0.22

2. یادگیری بهتر لایه‌های اولیه:
اتصالات میان‌بُر به لایه‌های اولیه اجازه می‌دهند که در فرآیند یادگیری نقش فعالتری ایفا کنند.

3. ساده‌سازی جریان اطلاعات:
این ساختار مانند یک "میان‌بُر" عمل می‌کند و داده‌ها را بدون نیاز به تغییر در تمامی لایه‌ها، به لایه‌های بعدی منتقل می‌کند.



روش کار:
از لحاظ ریاضی:
Output = Linear(Layer Input) + Input

این عملیات ساده، جریان گرادیان‌ها را در طول گذرهای forward و backward شبکه بهبود داده و یادگیری را تسهیل می‌کند.



✨ چرا مهم است؟
در واقع Shortcut Connections یکی از مؤلفه‌های کلیدی در ساختارهایی مانند ResNet است که در بسیاری از مدل‌های پیشرفته استفاده می‌شود. این ساختار نه‌تنها عملکرد شبکه‌های عصبی عمیق را بهبود می‌بخشد، بلکه راه را برای طراحی مدل‌های پیچیده‌تر و مؤثرتر هموار می‌سازد.

🔗 اگر به مدل‌های عمیق علاقه دارید، یادگیری این مفهوم ضروری است!

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

Introduction to Data Science – Lecture Material

🔗 Github

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

توضیح کامل لایه‌های مدل Transformer
مدل Transformer از اجزای اصلی تشکیل شده که هر کدام نقش کلیدی در پردازش داده‌های ورودی ایفا می‌کنند. در این توضیح، به لایه‌های اصلی مدل، از جمله Multi-Head Self-Attention، Positional Encoding، و همچنین مراحل ضرب ماتریسی و فرآیندهای آموزش و استنتاج (inference) پرداخته شده است.
Paper: Attention is all you need

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

📚 دوره مقدماتی MIT درباره مدل‌های بنیادین و هوش مصنوعی تولیدی
↳ ChatGPT
↳ Stable-Diffusion & Dall-E
↳ Neural Networks
↳ Supervised Learning
↳ Representation & Unsupervised Learning
↳ Reinforcement Learning
↳ Generative AI
↳ Self-Supervised Learning
↳ Foundation Models
↳ GANs (adversarial)
↳ Contrastive Learning
↳ Auto-encoders
↳ Denoising & Diffusion

https://www.futureofai.mit.edu/

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

🌙✨
شب یلدا، بلندترین شب سال، فرصتی برای با هم بودن و گرم کردن دل‌هاست. با حافظ‌خوانی، طعم خوش هندوانه و انار، و گرمای جمع خانواده، این شب زیبا را به‌یادماندنی کنید.
🍉❤️☕️
یلدایتان مبارک و پر از لحظات شیرین!

Reinforcement Learning: An Overview

Kevin P. Murphy

December 9, 2024

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

اسلایدهای یادگیری و یادگیری عمیق با کیفیت بسیار بالا تهیه شده‌اند و می‌توانند منبعی ارزشمند برای یادگیری مفاهیم پایه تا پیشرفته باشند. پیشنهاد می‌کنم حتماً از این مجموعه بهره ببرید! 🌟

#هوش_مصنوعی
👨‍💻 @AlgorithmDesign_DataStructuer

🔍 معرفی مدل o3، جانشین o1 توسط OpenAI!
این مدل جدید در دو نسخه o3 استاندارد و o3 mini ارائه شده و با استفاده از زنجیره فکری خصوصی، دقت بیشتری در ریاضیات، فیزیک و برنامه‌نویسی دارد.
✨ ویژگی تنظیم زمان استدلال و قابلیت نزدیک به AGI از برجسته‌ترین نوآوری‌های آن است.
📞 همچنین، دسترسی به ChatGPT از طریق خطوط ثابت و WhatsApp فراهم شده تا هوش مصنوعی برای همه قابل دسترس‌تر باشد.

رقابت بین OpenAI و گوگل همچنان ادامه دارد! 🌐

#هوش_مصنوعی
👨‍💻 @AlgorithmDesign_DataStructuer

🚀 The Top 10 Generative AI Trends for 2025!

🚀 بر اساس تحلیل 1,292 استارتاپ توسط StartUs Insights، نوآوری‌های بزرگ در این حوزه شامل موارد زیر است:

✅ Hyper-Personalization
✅ Conversational AI
✅ AI for Scientific Research
✅ Image Generators
✅ Code & App Builders
✅ Video Production
✅ Generative Design
✅ Speech Synthesis
✅ Intelligent Process Automation
✅ Generative Music

🎯 این پیشرفت‌ها در حال تغییر نحوه عملکرد کسب‌وکارها هستند و با ایجاد راه‌حل‌های خلاقانه‌تر، انقلاب بزرگی را در صنایع به راه انداخته‌اند. آینده هوش مصنوعی تولیدی درخشان‌تر از همیشه است! 💡

#هوش_مصنوعی
👨‍💻 @AlgorithmDesign_DataStructuer

🔍 سال ۲۰۲۴ و انفجار تحقیقات در حوزه مدل‌های زبانی بزرگ (LLM)

امسال، پیشرفت‌های چشمگیری در توسعه LLM‌ها داشتیم که این حوزه را به یکی از سریع‌ترین و هیجان‌انگیزترین زمینه‌های هوش مصنوعی تبدیل کرده است. اگر به دنبال مقالات ارزشمند و جدید در این زمینه هستید، پیشنهاد می‌کنم حتماً لیست منتخبی از صدها مقاله مرتبط با LLM که در طول سال جمع‌آوری شده را بررسی کنید:
🌐 https://magazine.sebastianraschka.com/p/llm-research-papers-the-2024-list

💡 در این لیست، مقالات متنوعی درباره موضوعات مهمی مانند واریانت‌های جدید LoRA، مطالعات replication o1، و قوانین مقیاس‌گذاری جدید LLM‌ها پیدا خواهید کرد که می‌توانند برای یادگیری و همراهی با این حوزه بسیار مفید باشند.

✍️ به‌زودی، بخشی از مرور سالانه مقالات منتخب ۲۰۲۴ نیز منتشر خواهد شد که مقالات برجسته را با تحلیل و بررسی ارائه می‌کند.

📚 اگر به هوش مصنوعی و مدل‌های زبانی علاقه دارید، این فرصت را از دست ندهید و دانش خود را به‌روز نگه دارید! 🚀

✨ کانال ما را دنبال کنید تا از مطالب ارزشمند بیشتری بهره‌مند شوید!

#هوش_مصنوعی
👨‍💻 @AlgorithmDesign_DataStructuer

رشته ای بر گردنم افکنده دوست
می کشد هر جا که خاطرخواه اوست

📣👨‍💻 @AlgorithmDesign_DataStructuer

✨ معرفی Qwen2.5-Turbo: جدیدترین LLM از علی‌بابا

🔹 پردازش حجم‌های بی‌سابقه‌ای از داده‌ها:
در واقعQwen2.5-Turbo اکنون قادر است تا یک میلیون توکن/واژه را به‌صورت همزمان پردازش کند. این معادل است با:
📚 ۱۰ رمان کامل
🗣 ۱۵۰ ساعت متن‌های گفتاری
💻 ۳۰,۰۰۰ خط کد

🔹 برتری در مقایسه با سایر مدل‌ها:
این مدل از GPT-4o-mini در وظایف بالای ۱۲۸K توکن پیشی می‌گیرد و ۳.۶ برابر بیشتر از آن، توکن پردازش می‌کند، آن هم با هزینه برابر!

🔹 سرعت بیشتر در استنتاج:
با استفاده از مکانیسم Sparse Attention، زمان تولید اولین توکن برای متنی با **یک میلیون توکن ۴.۳ برابر کاهش یافته است.

https://huggingface.co/spaces/Qwen/Qwen2.5-Turbo-1M-Demo

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

یک دوره آموزشی با موضوع Multi-Agent Reinforcement Learning (MARL) توسط Dr. Stefano V. Albrecht یکی از نویسندگان کتاب جدید منتشرشده در این زمینه با عنوان **Multi-Agent Reinforcement Learning: Foundations and Modern Approaches (انتشارات MIT Press, 2024)، برگزار شده است.

این دوره از 16 تا 19 سپتامبر 2024 در Artificial Intelligence Research Institute (IIIA-CSIC) در بارسلونا، اسپانیا، با گزینه‌های شرکت حضوری و آنلاین برگزار شد.

محتوای دوره شامل مفاهیم پایه Reinforcement Learning،Game Theory، و الگوریتم‌های پیشرفته MARL با استفاده از تکنیک‌های Deep Learning بوده است. این دوره برای افراد علاقه‌مند به یادگیری اصول بنیادین و کاربردهای مدرن در این حوزه طراحی شده بود.
lectures:https://www.youtube.com/playlist?list=PLkoCa1tf0XjCU6GkAfRCkChOOSH6-JC_2
Textbook:https://www.marl-book.com/

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

این وبلاگ دنیای پیچیده Large Language Models (LLMs) را رمزگشایی می‌کند و تحقیقات پیشرفته را به مفاهیمی شفاف و قابل‌فهم تبدیل می‌کند.
مناسب برای درک معماری‌های Transformer، فرآیندهای آموزشی و آخرین اخبار در تحقیقات AI.

هر کسی که سعی دارد مفاهیم مربوط به Transformers یا Large Language Models را درک کند، حتماً باید این وبلاگ را مطالعه کند!

https://magazine.sebastianraschka.com/p/understanding-large-language-models

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

ایجاد اعداد دست‌نویس فارسی با استفاده از Deep Convolutional Generative Adversarial Networks (DCGANs) و PyTorch
1-Loading Handwritten Persian numerals dataset
2-Generator and Discriminator (for DCGANs)
2-1-Building the Generator
2-2-Building the Discriminator
2-3-Defining Loss Functions
2-4-Defining Optimizers
3-Training DCGANs

Github:https://github.com/omid-sakaki-ghazvini/Projects/blob/main/handwritten-persian-numerals-dcgans-pytorch.ipynb
Kaggle:https://www.kaggle.com/code/omidsakaki1370/handwritten-persian-numerals-dcgans-pytorch

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer