Algorithm design & data structure
6.49K subscribers
836 photos
141 videos
174 files
435 links
این کانال برای تمامی علاقه‌مندان به کامپیوتر، مخصوصاً حوزه ساختمان داده‌ها و الگوریتم‌ها، مفید می باشد. آشنایی با ریاضیات مقدماتی، برنامه‌نویسی مقدماتی و پیشرفته و همچنین شی‌گرایی می‌تواند در درک بهتر مفاهیم این درس کمک‌ کند.

👨‍💻Admin👉 @Se_mohamad
Download Telegram
2DMatGMM: An open-source robust machine learning platform for real-time detection and classification of 2D material flakes

Github: https://github.com/jaluus/2dmatgmm

Paper: https://arxiv.org/abs/2412.09333v1

Dataset: https://paperswithcode.com/task/instance-segmentation

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer
🎓 آموزش جامع علوم کامپیوتر با OSSU

برنامه درسی OSSU یک دوره رایگان و کامل در علوم کامپیوتر است که با استفاده از منابع آنلاین از بهترین دانشگاه‌های دنیا مثل هاروارد و MIT ارائه می‌شود. این دوره برای کسانی طراحی شده که به دنبال یادگیری اصولی و عمیق علوم کامپیوتر هستند، با تمرکز بر خودآموزی و حمایت از جامعه‌ای جهانی از علاقه‌مندان.

اگر به دنبال پایه‌ای محکم در علوم کامپیوتر هستید، OSSU گزینه‌ای فوق‌العاده است.
https://github.com/ossu/computer-science

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer
⚡️ Byte Latent Transformer: Patches Scale Better Than Tokens

معماری BLT مدل زبانی جدیدی است که برای اولین بار توانسته عملکردی هم‌سطح مدل‌های مبتنی بر توکن‌سازی ارائه دهد، اما با مزایایی مثل:

پردازش مستقیم داده‌ها در سطح بایت
افزایش سرعت استنتاج
مقاومت بیشتر در برابر خطاها

Github: https://github.com/facebookresearch/blt

Paper: https://arxiv.org/abs/2412.09871v1

Dataset: https://paperswithcode.com/dataset/mmlu

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer
5. Python Data Structure.pdf
1.3 MB
📘 Python Data Structure

این کتاب یک منبع عالی برای یادگیری مفاهیم داده‌ساختارها به زبان ساده است. اگر می‌خواهید با لیست‌ها، دیکشنری‌ها، مجموعه‌ها و دیگر داده‌ساختارهای پایتون به صورت عمیق آشنا شوید.

#الگوریتم
📣👨‍💻 @AlgorithmDesign_DataStructuer
۸۳٪ از ۱۰۰ مقاله پرارجاع هوش مصنوعی در سال ۲۰۲۳ روی مدل‌های زبانی بزرگ (LLMs) تمرکز داشتند.

متا با مدل‌های LLaMA و Llama 2 نشان داد که مدل‌های باز می‌توانند با غول‌های انحصاری مانند GPT-4 رقابت کنند. همچنین مایکروسافت با انتشار ۱۳ مقاله برتر، جایگاه برترین سازمان را از آن خود کرد.

https://www.zeta-alpha.com/post/analyzing-the-homerun-year-for-llms-the-top-100-most-cited-ai-papers-in-2023-with-all-medals-for-o

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer
💡 Coconut:
گامی نوین در استدلال مدل‌های زبانی بزرگ


🔍 تصور کنید مدل‌های زبانی بزرگ (LLMs) به جای استدلال در چارچوب زبان‌های طبیعی مانند انگلیسی، در یک فضای نهفته و نامحدود تفکر کنند! مقاله‌ای تازه با معرفی پارادایمی نوین به نام Coconut، این ایده را به واقعیت نزدیک کرده است.

در این روش، به‌جای تبدیل وضعیت پنهان مدل به کلمات، این حالت به‌عنوان "تفکر پیوسته" مستقیماً به مدل بازمی‌گردد و به آن امکان می‌دهد در فضای پیوسته استدلال کند. Coconut توانسته در برخی وظایف استدلالی پیچیده که نیاز به برنامه‌ریزی و بازگشت‌های مکرر دارند، عملکرد بهتری از روش‌های سنتی مانند زنجیره تفکر (CoT) ارائه دهد.

🌟ویژگی برجسته:
این رویکرد به مدل اجازه می‌دهد تا چندین مسیر جایگزین برای استدلال را رمزگذاری کند و به‌جای محدود شدن به یک مسیر قطعی، با جستجوی پیشرفته، مسائل را با دقت بیشتری حل کند.

🧠 چرا مهم است؟ Coconut درک ما از نحوه استدلال مدل‌ها را متحول می‌کند و راه را برای پژوهش‌های آینده در زمینه پردازش زبان طبیعی هموار می‌سازد.

Paper:https://arxiv.org/pdf/2412.06769

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer
💡 اتصالات میان‌بُر (Shortcut Connections): راهکاری برای شبکه‌های عصبی عمیق

📌 یکی از چالش‌های اصلی در ساخت شبکه‌های عصبی عمیق، پدیده vanishing gradients است. با افزایش عمق شبکه، گرادیان‌ها در لایه‌های اولیه به شدت کاهش می‌یابند و فرآیند یادگیری مختل می‌شود. اما با معرفی ساختاری به نام Shortcut Connections**، این مشکل تا حد زیادی حل شده است.

Shortcut Connections چیست؟

اتصالات میان‌بُر یا Residual Connections روشی است که در آن، خروجی یک لایه با ورودی همان لایه جمع می‌شود. این ساختار باعث می‌شود که اطلاعات به‌طور مستقیم از لایه‌های اولیه به لایه‌های بعدی منتقل شوند، بدون اینکه تحت تأثیر کاهش گرادیان قرار گیرند.



مزایا:
1. حفظ گرادیان‌ها:
با استفاده از این اتصالات، گرادیان‌ها حتی در لایه‌های اولیه نسبتاً بزرگ باقی می‌مانند و یادگیری در شبکه‌های عمیق بهبود می‌یابد.
- مثال:
- گرادیان در لایه ۵: 1.32
- گرادیان در لایه ۱: 0.22

2. یادگیری بهتر لایه‌های اولیه:
اتصالات میان‌بُر به لایه‌های اولیه اجازه می‌دهند که در فرآیند یادگیری نقش فعالتری ایفا کنند.

3. ساده‌سازی جریان اطلاعات:
این ساختار مانند یک "میان‌بُر" عمل می‌کند و داده‌ها را بدون نیاز به تغییر در تمامی لایه‌ها، به لایه‌های بعدی منتقل می‌کند.



روش کار:
از لحاظ ریاضی:
Output = Linear(Layer Input) + Input

این عملیات ساده، جریان گرادیان‌ها را در طول گذرهای forward و backward شبکه بهبود داده و یادگیری را تسهیل می‌کند.



چرا مهم است؟
در واقع Shortcut Connections یکی از مؤلفه‌های کلیدی در ساختارهایی مانند ResNet است که در بسیاری از مدل‌های پیشرفته استفاده می‌شود. این ساختار نه‌تنها عملکرد شبکه‌های عصبی عمیق را بهبود می‌بخشد، بلکه راه را برای طراحی مدل‌های پیچیده‌تر و مؤثرتر هموار می‌سازد.

🔗 اگر به مدل‌های عمیق علاقه دارید، یادگیری این مفهوم ضروری است!

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer
Introduction to Data Science – Lecture Material

🔗 Github

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer
Transformer.pdf
866 KB
توضیح کامل لایه‌های مدل Transformer
مدل Transformer از اجزای اصلی تشکیل شده که هر کدام نقش کلیدی در پردازش داده‌های ورودی ایفا می‌کنند. در این توضیح، به لایه‌های اصلی مدل، از جمله Multi-Head Self-Attention، Positional Encoding، و همچنین مراحل ضرب ماتریسی و فرآیندهای آموزش و استنتاج (inference) پرداخته شده است.
Paper: Attention is all you need

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer
📚 دوره مقدماتی MIT درباره مدل‌های بنیادین و هوش مصنوعی تولیدی
↳ ChatGPT
↳ Stable-Diffusion & Dall-E
↳ Neural Networks
↳ Supervised Learning
↳ Representation & Unsupervised Learning
↳ Reinforcement Learning
↳ Generative AI
↳ Self-Supervised Learning
↳ Foundation Models
↳ GANs (adversarial)
↳ Contrastive Learning
↳ Auto-encoders
↳ Denoising & Diffusion

https://www.futureofai.mit.edu/

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer
🌙
شب یلدا، بلندترین شب سال، فرصتی برای با هم بودن و گرم کردن دل‌هاست. با حافظ‌خوانی، طعم خوش هندوانه و انار، و گرمای جمع خانواده، این شب زیبا را به‌یادماندنی کنید.
🍉❤️☕️
یلدایتان مبارک و پر از لحظات شیرین!
📄 A Comprehensive Survey on Knowledge-Defined Networking

https://www.mdpi.com/2673-4001/4/3/25#

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer
Reinforcement Learning.pdf
6.9 MB
Reinforcement Learning: An Overview

Kevin P. Murphy

December 9, 2024

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer
Deep Learning with TwnsorFlow.rar
125.8 MB
اسلایدهای یادگیری و یادگیری عمیق با کیفیت بسیار بالا تهیه شده‌اند و می‌توانند منبعی ارزشمند برای یادگیری مفاهیم پایه تا پیشرفته باشند. پیشنهاد می‌کنم حتماً از این مجموعه بهره ببرید! 🌟

#هوش_مصنوعی
👨‍💻 @AlgorithmDesign_DataStructuer
Media is too big
VIEW IN TELEGRAM
🔍 معرفی مدل o3، جانشین o1 توسط OpenAI!
این مدل جدید در دو نسخه o3 استاندارد و o3 mini ارائه شده و با استفاده از زنجیره فکری خصوصی، دقت بیشتری در ریاضیات، فیزیک و برنامه‌نویسی دارد.
ویژگی تنظیم زمان استدلال و قابلیت نزدیک به AGI از برجسته‌ترین نوآوری‌های آن است.
📞 همچنین، دسترسی به ChatGPT از طریق خطوط ثابت و WhatsApp فراهم شده تا هوش مصنوعی برای همه قابل دسترس‌تر باشد.

رقابت بین OpenAI و گوگل همچنان ادامه دارد! 🌐

#هوش_مصنوعی
👨‍💻 @AlgorithmDesign_DataStructuer
🚀 The Top 10 Generative AI Trends for 2025!

🚀 بر اساس تحلیل 1,292 استارتاپ توسط StartUs Insights، نوآوری‌های بزرگ در این حوزه شامل موارد زیر است:

Hyper-Personalization

Conversational AI
AI for Scientific Research
Image Generators
Code & App Builders
Video Production
Generative Design
Speech Synthesis
Intelligent Process Automation
Generative Music

🎯 این پیشرفت‌ها در حال تغییر نحوه عملکرد کسب‌وکارها هستند و با ایجاد راه‌حل‌های خلاقانه‌تر، انقلاب بزرگی را در صنایع به راه انداخته‌اند. آینده هوش مصنوعی تولیدی درخشان‌تر از همیشه است! 💡

#هوش_مصنوعی
👨‍💻 @AlgorithmDesign_DataStructuer
🔍 سال ۲۰۲۴ و انفجار تحقیقات در حوزه مدل‌های زبانی بزرگ (LLM)

امسال، پیشرفت‌های چشمگیری در توسعه LLM‌ها داشتیم که این حوزه را به یکی از سریع‌ترین و هیجان‌انگیزترین زمینه‌های هوش مصنوعی تبدیل کرده است. اگر به دنبال مقالات ارزشمند و جدید در این زمینه هستید، پیشنهاد می‌کنم حتماً لیست منتخبی از صدها مقاله مرتبط با LLM که در طول سال جمع‌آوری شده را بررسی کنید:
🌐 https://magazine.sebastianraschka.com/p/llm-research-papers-the-2024-list

💡 در این لیست، مقالات متنوعی درباره موضوعات مهمی مانند واریانت‌های جدید LoRA، مطالعات replication o1، و قوانین مقیاس‌گذاری جدید LLM‌ها پیدا خواهید کرد که می‌توانند برای یادگیری و همراهی با این حوزه بسیار مفید باشند.

✍️ به‌زودی، بخشی از مرور سالانه مقالات منتخب ۲۰۲۴ نیز منتشر خواهد شد که مقالات برجسته را با تحلیل و بررسی ارائه می‌کند.

📚 اگر به هوش مصنوعی و مدل‌های زبانی علاقه دارید، این فرصت را از دست ندهید و دانش خود را به‌روز نگه دارید! 🚀

کانال ما را دنبال کنید تا از مطالب ارزشمند بیشتری بهره‌مند شوید!

#هوش_مصنوعی
👨‍💻 @AlgorithmDesign_DataStructuer
رشته ای بر گردنم افکنده دوست
می کشد هر جا که خاطرخواه اوست


📣👨‍💻 @AlgorithmDesign_DataStructuer
معرفی Qwen2.5-Turbo: جدیدترین LLM از علی‌بابا

🔹 پردازش حجم‌های بی‌سابقه‌ای از داده‌ها:
در واقعQwen2.5-Turbo اکنون قادر است تا یک میلیون توکن/واژه را به‌صورت همزمان پردازش کند. این معادل است با:
📚 ۱۰ رمان کامل
🗣 ۱۵۰ ساعت متن‌های گفتاری
💻 ۳۰,۰۰۰ خط کد

🔹 برتری در مقایسه با سایر مدل‌ها:
این مدل از GPT-4o-mini در وظایف بالای ۱۲۸K توکن پیشی می‌گیرد و ۳.۶ برابر بیشتر از آن، توکن پردازش می‌کند، آن هم با هزینه برابر!

🔹 سرعت بیشتر در استنتاج:
با استفاده از مکانیسم Sparse Attention، زمان تولید اولین توکن برای متنی با **یک میلیون توکن ۴.۳ برابر کاهش یافته است.

https://huggingface.co/spaces/Qwen/Qwen2.5-Turbo-1M-Demo

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer