چرا به 𝐌𝐮𝐥𝐭𝐢-𝐇𝐞𝐚𝐝 𝐀𝐭𝐭𝐞𝐧𝐭𝐢𝐨𝐧 نیاز داریم وقتی که 𝐒𝐞𝐥𝐟-𝐀𝐭𝐭𝐞𝐧𝐭𝐢𝐨𝐧 داریم؟

برای درک این موضوع ب نکات زیر توجه کنید:

محدودیت 𝐒𝐞𝐥𝐟-𝐀𝐭𝐭𝐞𝐧𝐭𝐢𝐨𝐧
در واقع 𝐒𝐞𝐥𝐟-𝐀𝐭𝐭𝐞𝐧𝐭𝐢𝐨𝐧 به مدل کمک می‌کند روابط بین کلمات در یک دنباله را بفهمد. اما مشکل اینجاست که هر توجه (Attention) تنها می‌تواند روی یک جنبه از داده تمرکز کند؛ مثلاً معنای کلمات یا گرامر.
این محدودیت باعث می‌شود برخی روابط مهم دیگر از دست بروند.

چرا 𝐌𝐮𝐥𝐭𝐢-𝐇𝐞𝐚𝐝 𝐀𝐭𝐭𝐞𝐧𝐭𝐢𝐨𝐧؟
در واقع 𝐌𝐮𝐥𝐭𝐢-𝐇𝐞𝐚𝐝 𝐀𝐭𝐭𝐞𝐧𝐭𝐢𝐨𝐧 با استفاده از چندین "سر توجه" (Attention Heads) این مشکل را حل می‌کند.
هر سر داده ورودی را از زاویه‌ای متفاوت بررسی می‌کند، روی جنبه‌هایی مثل:
- معنای کلمات
- موقعیت
- زمینه (Context)

این کار باعث می‌شود مدل داده را عمیق‌تر درک کند و هم‌زمان چندین رابطه را شناسایی کند.

چطور کار می‌کند؟
ورودی توسط چند سر توجه پردازش می‌شود و بردارهای زمینه‌ای (Context Vectors) مثل Z1 و Z2 تولید می‌شوند.
سپس این بردارها با یکدیگر ادغام (Concatenate) می‌شوند تا نمایشی جامع‌تر و دقیق‌تر از داده ایجاد کنند.

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

Modern Time Series Forecasting with Python
Manu Joseph, 2022
#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

📚 معرفی کتاب: اصول ساختمان داده‌ها

یکی از بهترین منابع برای یادگیری اصولی و دقیق درس ساختمان داده‌ها، کتاب "اصول ساختمان داده‌ها" نوشته سیمور لیپشوتز است. این کتاب توسط مهندس حسین ابراهیم‌زاده قلزم به زبان فارسی ترجمه شده و یکی از منابع مهم برای دانشجویان رشته‌های کامپیوتر و علاقه‌مندان به الگوریتم‌ها و داده‌ساختارها محسوب می‌شود. 🧠✨

#الگوریتم
📣👨‍💻 @AlgorithmDesign_DataStructuer

🌟 معرفی ریپوزیتوری رسمی LLM Engineer's Handbook 🌟

ریپوزیتوری رسمی این کتابچه که در حال حاضر ۱.۶ هزار ستاره⭐️ داره، به‌تازگی آپدیت شده! این ریپوزیتوری یکی از بهترین منابع برای یادگیری و استفاده از LLMOps pipelines است.

ویژگی‌ها و مواردی که یاد می‌گیرید:
- ساخت و اجرای پایپلاین‌ها با ZenML
- آموزش و استقرار مدل‌ها روی AWS همراه با autoscaling
- نظارت بر مدل‌های زبانی بزرگ (LLM) در تولید با Opik
- استفاده از RAG پیشرفته با Qdrant
- و ده‌ها آموزش و ابزار جذاب دیگر!

این ریپوزیتوری را حتماً بررسی کنید:

https://github.com/PacktPublishing/LLM-Engineers-Handbook

این منبع ارزشمند مخصوصاً برای محققان و علاقه‌مندان به حوزه LLMOps بسیار مفید است! 🚀

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

Diffusion Models and Their Applications

کورس Diffusion Models and Their Applications یک دوره پیشرفته برای آشنایی با مدل‌های دیفیوژن و کاربردهای گسترده آن‌ها در هوش مصنوعی و یادگیری ماشین است. این مدل‌ها که به تازگی به عنوان استاندارد طلایی برای تولید محتوای مولد شناخته شده‌اند، در تولید تصاویر و ویدئوهای باکیفیت بی‌نظیر عملکرد فوق‌العاده‌ای نشان داده‌اند. نمونه‌هایی مانند SORA، Midjourney و StableDiffusion بیانگر قدرت این تکنیک‌ها هستند.

معرفی دوره:
این کورس به بررسی پایه‌های تئوری و کاربردهای عملی مدل‌های دیفیوژن می‌پردازد. تمرکز اصلی این دوره، یادگیری عمیق از طریق تمرین‌های برنامه‌نویسی و پروژه‌های عملی است. به جای برگزاری آزمون، شما با پیاده‌سازی این مدل‌ها در مسائل واقعی، تجربه‌ای کاربردی و مؤثر کسب خواهید کرد.

https://mhsung.github.io/kaist-cs492d-fall-2024/

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

✳️ Self-Ensembling Gaussian Splatting for Few-shot Novel View Synthesis


🔍 چرا این مقاله مهم است؟
مدل 3D Gaussian Splatting (3DGS) معمولاً در مواجهه با نماهای پراکنده دچار بیش‌برازش می‌شود و نمی‌تواند تغییرات وسیع در زوایای دید را به‌خوبی تعمیم دهد. این مقاله با معرفی روش Self-Ensembling Gaussian Splatting (SE-GS)، این مشکل را حل کرده و رویکردی مبتنی بر Self-ensemble برای تنظیم بهتر مدل‌ها ارائه می‌دهد.

🔑 دستاورد کلیدی:
دو مدل Σ و Δ معرفی شده‌اند که در کنار یکدیگر، کیفیت تولید تصاویر جدید را با تنظیم‌های دینامیک و مبتنی بر عدم قطعیت، بهبود می‌بخشند. این روش علاوه بر کارایی، هزینه‌های اضافی آموزش را کاهش داده و یک مدل نهایی قوی‌تر ارائه می‌دهد.


✨ این مقاله برای علاقه‌مندان به یادگیری ماشین، گرافیک کامپیوتری، و تولید نماهای جدید، کاربردی و ارزشمند است.

Paper : https://arxiv.org/abs/2411.00144

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

مقاله GNN-RAG روشی نوین ارائه می‌دهد که توانایی‌های زبان‌شناختی مدل‌های زبانی بزرگ (LLMs) را با قدرت استدلال گراف‌های عصبی (GNNs) ترکیب می‌کند. در این روش، GNN روی زیرگراف‌های متراکم استدلال می‌کند تا پاسخ‌های احتمالی را استخراج کند. سپس مسیرهای استدلالی گراف دانش به زبان طبیعی تبدیل شده و به مدل زبانی داده می‌شوند تا فرآیند پاسخ‌دهی تکمیل شود. این روش ترکیبی از قابلیت‌های GNN و LLM برای پاسخ‌دهی به سؤالات مبتنی بر گراف دانش است.

Paper:https://arxiv.org/abs/2405.20139

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

📘 The Matrix Cookbook
یک منبع فوق‌العاده برای هرآنچه که باید درباره ماتریس‌ها بدانید! این کتاب شامل روابط، تقریب‌ها، نابرابری‌ها و نکات کلیدی درباره ماتریس‌ها است که در مهندسی، علوم کامپیوتر و حتی فیزیک محاسباتی کاربرد دارند.

اگر با ماتریس‌ها سر و کار دارید، این کتاب راهنمای ضروری شماست! 🚀✨

#الگوریتم
📣👨‍💻 @AlgorithmDesign_DataStructuer

Type of data structure✌🏻


#الگوریتم
📣👨‍💻 @AlgorithmDesign_DataStructuer

لایبرری LLM یکی از ابزارهای قدرتمند پایتون برای کار با مدل‌های زبانی (Language Models) است. با استفاده از این لایبرری، می‌توانید به راحتی مدل‌های زبانی را فراخوانی کرده، از آن‌ها برای کاربردهای مختلف بهره ببرید، پرامپت‌های دلخواه بنویسید، مدل‌ها را آموزش دهید و بسیاری امکانات پیشرفته دیگر را کشف کنید.

این ابزار برای توسعه‌دهندگان و علاقه‌مندان به پردازش زبان طبیعی و هوش مصنوعی، یک گزینه ایده‌آل است تا به‌طور کارآمد از مدل‌های زبانی بهره‌مند شوند. 🌟

Link:https://llm.datasette.io/en/stable/

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

📚 جزوه استثنایی و کامل درس ساختمان داده استاد طورانی

#الگوریتم
📣👨‍💻 @AlgorithmDesign_DataStructuer

شرکت OpenAI و دیگر شرکت‌ها به دنبال مسیرهای جدیدی برای هوش مصنوعی هوشمندتر، با توجه به محدودیت‌های روش‌های فعلی
با گسترش مرزهای AI، شرکت‌هایی مانند OpenAI با چالش‌های غیرمنتظره‌ای در Large Language Models (LLMs) روبرو شده‌اند. به نظر می‌رسد دوران "bigger is better" رو به پایان است و فصل جدیدی از نوآوری در AI در حال شکل‌گیری است.

Here’s what’s happening:

1️⃣ Scaling Challenges:
شعار گسترش مقیاس پیش‌آموزش با استفاده از vast datasets و computing power گسترده به مرزهای خود رسیده است. حتی پیشگامانی مانند Ilya Sutskever به این مسئله اذعان دارند.

2️⃣ Resource Race:
آموزش cutting-edge models روزبه‌روز پیچیده‌تر می‌شود و به میلیون‌ها دلار هزینه، massive energy و specialized chips نیاز دارد. کمبود منابع انرژی و data scarcity، روند پیشرفت را کند کرده است.

3️⃣ A New Approach:
آزمایشگاه‌های AI در حال بررسی الگوریتم‌هایی با تفکر مشابه انسان هستند که بر quality به جای sheer scale تأکید دارند. این تغییر می‌تواند AI arms race را بازتعریف کند.

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

🚀 خبر هیجان‌انگیز! معرفی دیتاست IUST_PersonReID 🚀

دیتاست IUST_PersonReID منتشر شد! این دیتاست با هدف حل چالش‌های منحصربه‌فرد در شناسایی مجدد افراد (Person Re-Identification) در محیط‌های فرهنگی متنوع و پیچیده، به‌ویژه در بسترهای اسلامی، توسعه یافته است. این پروژه گامی مهم در بهبود دقت مدل‌ها و کاهش سوگیری‌های جمعیتی به شمار می‌رود. 📊

📍 چه چیزی IUST_PersonReID را منحصربه‌فرد می‌کند؟
- پوشش گسترده از چندین مکان در ایران و عراق، از جمله دانشگاه‌ها، مساجد، بازارها و رویدادهای عمومی
- شامل انواع پوشش‌های خاص فرهنگی، از سنتی تا مدرن، به منظور حمایت از AI عادلانه‌تر
- بهره‌گیری از چندین زاویه دوربین برای بهبود شناسایی در محیط‌های پیچیده و واقعی

🔍 ویژگی‌های کلیدی این دیتاست:
- 118,883 تصویر شامل 1,847 هویت در 19 صحنه مختلف
- برچسب‌گذاری دقیق با استفاده از ترکیب مدل‌های پیشرفته و حاشیه‌نویسی انسانی
- ایده‌آل برای آموزش مدل‌های AI که در محیط‌ها و جمعیت‌های مختلف عملکرد موثری دارند

Link:https://computervisioniust.github.io/IUST_PersonReId/

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

سلام دوستان عزیز👋🏻😉

امیدوارم حالتون خوب باشه. 🌟

اگر در درس‌های رشته کامپیوتر نیاز به راهنمایی یا کمک دارین مخصوصا دوستانی که تازه وارد این رشته شدن، حتماً از ادمین کمک بگیرین. ادمین‌ کانال ما همیشه آماده پاسخگویی به سوالات شما و ارائه مشاوره هست.

پس بدون هیچ نگرانی سوالاتتون رو بپرسید و از راهنمایی‌های مفید ادمین استفاده کنید. موفق باشید! 💻📚

برای ارتباط با ادمین به آیدی زیر پیام بدید.👇🏻👇🏻

✅ @Se_mohamad

10 Top Machine Learning Algorithms✅

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

الگوریتم Trep یکی از ساختارهای داده‌ای است که برای ذخیره‌سازی و بازیابی داده‌ها به صورت مؤثر استفاده می‌شود. این الگوریتم ترکیبی از دو مفهوم درخت دودویی جستجو (Binary Search Tree) و هیپ (Heap) است و از این رو، به عنوان Treap (Tree + Heap) شناخته می‌شود. 📚🌟



💡 ویژگی‌های Treap
1. ساختار درخت دودویی جستجو:
در Treap، تمام قوانین درخت دودویی جستجو رعایت می‌شود. به این معنا که:
- مقدار تمام گره‌های زیرشاخه چپ از مقدار گره والد کوچک‌تر است.
- مقدار تمام گره‌های زیرشاخه راست از مقدار گره والد بزرگ‌تر است.

📈 این ویژگی باعث می‌شود که عملیات‌هایی مانند جستجو، درج و حذف مشابه درخت دودویی جستجو عمل کنند.

2. اولویت گره‌ها (Priority):
هر گره یک اولویت (Priority) تصادفی دریافت می‌کند و Treap باید به‌گونه‌ای باشد که این اولویت‌ها خصوصیات هیپ ماکسیمم یا مینیمم را رعایت کنند.
- در هیپ ماکسیمم: اولویت گره والد همیشه بیشتر از فرزندان است.
- در هیپ مینیمم: اولویت گره والد کمتر از فرزندان است.

🎲 این اولویت‌ها معمولا به صورت تصادفی تخصیص داده می‌شوند تا توازن درخت حفظ شود.



⏳ عملیات در Treap
1. درج (Insertion):
گره جدید ابتدا بر اساس مقدار (Key) در درخت دودویی جستجو قرار می‌گیرد. سپس، با چرخش‌های لازم (Rotations) اولویت‌های هیپ رعایت می‌شود.
🔄 این فرآیند تضمین می‌کند که ساختار Treap همواره متوازن بماند.

2. حذف (Deletion):
برای حذف یک گره، ابتدا باید آن را به یک برگ تبدیل کنیم. این کار با چرخش گره تا برگ شدن انجام می‌شود و سپس گره حذف می‌شود.

3. جستجو (Search):
این عملیات مشابه جستجوی درخت دودویی جستجو است و از مقایسه مقدار گره‌ها استفاده می‌کند.



📊 مزایا و کاربردها
- حفظ توازن به صورت پویا:
برخلاف درخت دودویی جستجوی عادی که ممکن است توازن خود را از دست بدهد، Treap به لطف اولویت‌های تصادفی و چرخش‌ها همواره متوازن باقی می‌ماند. ⚖️

- کاربرد در مسائل real-time:
برای ذخیره‌سازی داده‌ها در حافظه و پاسخ سریع به کوئری‌ها در سیستم‌هایی که به عملکرد بلادرنگ نیاز دارند، بسیار مناسب است. 🕒✨

- سادگی پیاده‌سازی:
نسبت به سایر درخت‌های متوازن مانند AVL و Red-Black، پیاده‌سازی Treap به دلیل استفاده از اولویت‌های تصادفی ساده‌تر است. ✅



🚀 چرا Treap مهم است؟
در واقع Treap با ترکیب دو ایده قوی (درخت دودویی جستجو و هیپ)، کارایی بالا و سادگی الگوریتمی را ارائه می‌دهد. این الگوریتم به ویژه در مسائلی که جستجو و به‌روزرسانی مداوم داده‌ها مورد نیاز است، بسیار کارآمد است.

استفاده از Treap باعث می‌شود که زمان اجرای عملیات‌ها به طور متوسط O(log n) باقی بماند و در عین حال، کدنویسی آن به نسبت ساده و قابل درک باشد. 👨‍💻✨

#الگوریتم
👨‍💻 @AlgorithmDesign_DataStructuer