📚 Essential Data Science Concepts from 1 to 26

1. Algorithm
مجموعه‌ای از قوانین یا دستورالعمل‌ها برای حل یک مسئله یا انجام یک وظیفه.

2. Big Data
مجموعه داده‌های بسیار بزرگ و پیچیده‌ای که برنامه‌های پردازش داده سنتی نمی‌توانند به‌طور کارآمد مدیریت کنند.

3. Classification
یک نوع از وظایف یادگیری ماشین که شامل اختصاص برچسب به نمونه‌ها بر اساس ویژگی‌های آن‌ها است.

4. Data Mining
فرایند کشف الگوها و استخراج اطلاعات مفید از مجموعه داده‌های بزرگ.

5. Ensemble Learning
تکنیکی در یادگیری ماشین که چندین مدل را برای بهبود عملکرد پیش‌بینی ترکیب می‌کند.

6. Feature Engineering
فرایند انتخاب، استخراج و تبدیل ویژگی‌ها از داده خام برای بهبود عملکرد مدل.

7. Gradient Descent
الگوریتم بهینه‌سازی برای کاهش خطای مدل با تنظیم تدریجی پارامترهای آن.

8. Hypothesis Testing
یک روش آماری برای نتیجه‌گیری درباره یک جامعه بر اساس داده‌های نمونه.

9. Imputation
فرایند جایگزینی مقادیر گم‌شده در یک مجموعه داده با مقادیر تخمینی.

10. Joint Probability
احتمال وقوع هم‌زمان دو یا چند رویداد.

11. K-Means Clustering
یک الگوریتم محبوب یادگیری ماشین بدون نظارت برای گروه‌بندی داده‌ها به خوشه‌ها.

12. Logistic Regression
مدلی آماری که برای وظایف دسته‌بندی دودویی استفاده می‌شود.

13. Machine Learning
زیرمجموعه‌ای از هوش مصنوعی که به سیستم‌ها امکان یادگیری از داده‌ها و بهبود عملکرد را می‌دهد.

14. Neural Network
سیستمی کامپیوتری الهام‌گرفته از ساختار مغز انسان که برای وظایف مختلف یادگیری ماشین به کار می‌رود.

15. Outlier Detection
فرایند شناسایی مشاهداتی که به‌طور قابل‌توجهی از سایر نقاط داده فاصله دارند.

16. Precision and Recall
معیارهایی برای ارزیابی عملکرد مدل‌های دسته‌بندی.

17. Quantitative Analysis
استفاده از روش‌های ریاضی و آماری برای تحلیل و تفسیر داده‌ها.

18. Regression Analysis
تکنیکی آماری برای مدل‌سازی رابطه بین یک متغیر وابسته و یک یا چند متغیر مستقل.

19. Support Vector Machine
الگوریتمی نظارت‌شده در یادگیری ماشین برای وظایف دسته‌بندی و رگرسیون.

20. Time Series Analysis
مطالعه داده‌های جمع‌آوری‌شده در طول زمان برای شناسایی الگوها، روندها و تغییرات فصلی.

21. Unsupervised Learning
تکنیک‌هایی در یادگیری ماشین برای شناسایی الگوها و روابط در داده‌های بدون برچسب.

22. Validation
فرایند ارزیابی عملکرد و تعمیم‌پذیری مدل یادگیری ماشین با استفاده از مجموعه داده‌های مستقل.

23. Weka
یک ابزار متن‌باز محبوب برای داده‌کاوی و وظایف یادگیری ماشین.

24. XGBoost
پیاده‌سازی بهینه‌شده‌ای از تقویت گرادیان که به‌طور گسترده برای وظایف دسته‌بندی و رگرسیون استفاده می‌شود.

25. Yarn
یک مدیر منابع در Apache Hadoop برای مدیریت منابع در خوشه‌های توزیع‌شده.

26. Zero-Inflated Model
یک مدل آماری برای تحلیل داده‌هایی با تعداد زیادی صفر، که اغلب در داده‌های شمارشی مشاهده می‌شود.

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

💡 معرفی Decision Transformer

مقاله "Decision Transformer: Reinforcement Learning via Sequence Modeling" یادگیری تقویتی را با معماری ترانسفورمر ترکیب می‌کند و آن را به مسئله‌ای مشابه مدل‌سازی دنباله تبدیل می‌کند. در این روش، حالات، اقدامات و پاداش‌ها به صورت توالی نمایش داده می‌شوند و مدل ترانسفورمر با یادگیری از این داده‌ها، رفتار عامل را پیش‌بینی می‌کند. 🌟

🎯 مزایا:
- حذف نیاز به تابع ارزش یا سیاست صریح
- قابلیت یادگیری از داده‌های متنوع
- استفاده از پتانسیل ترانسفورمرها در یادگیری تقویتی

این رویکرد در رباتیک، بازی‌ها و مسائل یادگیری تقویتی پیچیده کاربردهای جذابی دارد. 🚀

Paper : https://arxiv.org/abs/2106.01345

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

💡 Prompt Engineering Techniques: Comprehensive Repository for Development and Implementation 🖋

این عنوان به منبعی کامل اشاره دارد که شامل تکنیک‌ها و روش‌های مختلف برای طراحی و بهینه‌سازی پرامپت‌ها در تعامل با مدل‌های زبانی هوش مصنوعی است. 🌟

🎯 هدف:
ایجاد پرامپت‌هایی که عملکرد و پاسخ‌دهی مدل‌ها را بهبود بخشیده و در کاربردهای مختلف قابل استفاده باشند.

✨ برای پژوهشگران و توسعه‌دهندگانی که به دنبال نوآوری در حوزه تعاملات هوش مصنوعی هستند، این مخزن یک ابزار بی‌نظیر است. 🚀

Giyhub : https://github.com/NirDiamant/Prompt_Engineering

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

LlamaCoder:
ایده تون رو در عرض چند دقیقه تبدیل به برنامه کنید.🚀
در واقعLlamaCoder یک ابزار منبع‌باز است که با استفاده از مدل‌های زبان بزرگ (LLM) متن‌باز توسعه داده شده است. این ابزار بخشی از مجموعه Claude Artifacts بوده و به شما امکان می‌دهد تنها با یک پرامپت ساده، برنامه‌های کوچک و کاربردی بسازید.

ویژگی‌های LlamaCoder
✅ پشتیبانی از مدل‌های قدرتمند متن‌باز:
- Qwen-2.5 Coder
- Llama-3.1
- Llama-3.2

✅ فناوری‌های پیشرفته برای تجربه‌ای کارآمد:
- Together AI
- Sandpack
- Next.js و Tailwind CSS
- Helicone
- Plausible

✨ با LlamaCoder، ایده‌های خود را در کمترین زمان ممکن به واقعیت تبدیل کنید!

Link : https://llamacoder.together.ai/
#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

دوستان عزیز،
می‌دونم که آماده شدن برای مصاحبه‌های شغلی چقدر سخت می‌تونه باشه، مخصوصاً وقتی که الگوریتم و ساختمان داده (DSA) مثل یک قله دست‌نیافتنی به نظر می‌رسه.

اما باور کنید، یادگیری DSA یکی از مهم‌ترین مهارت‌هاست که برای موفقیت در مصاحبه‌ها بهش نیاز دارید. 🌟

ناامید نشید—ادامه بدید! 💪

برای کمک بهتون، یه مسابقه کاملاً رایگان پیدا کردم که می‌تونه توی تمرین DSA خیلی مؤثر باشه:

https://www.geeksforgeeks.org/courses/gfg-160-series

✅ رایگان بودن 100٪


به یاد داشته باشید، هر تلاش کوچیک یک قدم به سمت هدف‌تونه. پس هیچ وقت تسلیم نشید و ادامه بدید. 🌈

شما از چیزی که فکر می‌کنید به موفقیت نزدیک‌ترید. پس با قدرت جلو برید—you’ve got this! 🚀

#الگوریتم
📣👨‍💻 @AlgorithmDesign_DataStructuer

چرا به 𝐌𝐮𝐥𝐭𝐢-𝐇𝐞𝐚𝐝 𝐀𝐭𝐭𝐞𝐧𝐭𝐢𝐨𝐧 نیاز داریم وقتی که 𝐒𝐞𝐥𝐟-𝐀𝐭𝐭𝐞𝐧𝐭𝐢𝐨𝐧 داریم؟

برای درک این موضوع ب نکات زیر توجه کنید:

محدودیت 𝐒𝐞𝐥𝐟-𝐀𝐭𝐭𝐞𝐧𝐭𝐢𝐨𝐧
در واقع 𝐒𝐞𝐥𝐟-𝐀𝐭𝐭𝐞𝐧𝐭𝐢𝐨𝐧 به مدل کمک می‌کند روابط بین کلمات در یک دنباله را بفهمد. اما مشکل اینجاست که هر توجه (Attention) تنها می‌تواند روی یک جنبه از داده تمرکز کند؛ مثلاً معنای کلمات یا گرامر.
این محدودیت باعث می‌شود برخی روابط مهم دیگر از دست بروند.

چرا 𝐌𝐮𝐥𝐭𝐢-𝐇𝐞𝐚𝐝 𝐀𝐭𝐭𝐞𝐧𝐭𝐢𝐨𝐧؟
در واقع 𝐌𝐮𝐥𝐭𝐢-𝐇𝐞𝐚𝐝 𝐀𝐭𝐭𝐞𝐧𝐭𝐢𝐨𝐧 با استفاده از چندین "سر توجه" (Attention Heads) این مشکل را حل می‌کند.
هر سر داده ورودی را از زاویه‌ای متفاوت بررسی می‌کند، روی جنبه‌هایی مثل:
- معنای کلمات
- موقعیت
- زمینه (Context)

این کار باعث می‌شود مدل داده را عمیق‌تر درک کند و هم‌زمان چندین رابطه را شناسایی کند.

چطور کار می‌کند؟
ورودی توسط چند سر توجه پردازش می‌شود و بردارهای زمینه‌ای (Context Vectors) مثل Z1 و Z2 تولید می‌شوند.
سپس این بردارها با یکدیگر ادغام (Concatenate) می‌شوند تا نمایشی جامع‌تر و دقیق‌تر از داده ایجاد کنند.

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

Modern Time Series Forecasting with Python
Manu Joseph, 2022
#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

📚 معرفی کتاب: اصول ساختمان داده‌ها

یکی از بهترین منابع برای یادگیری اصولی و دقیق درس ساختمان داده‌ها، کتاب "اصول ساختمان داده‌ها" نوشته سیمور لیپشوتز است. این کتاب توسط مهندس حسین ابراهیم‌زاده قلزم به زبان فارسی ترجمه شده و یکی از منابع مهم برای دانشجویان رشته‌های کامپیوتر و علاقه‌مندان به الگوریتم‌ها و داده‌ساختارها محسوب می‌شود. 🧠✨

#الگوریتم
📣👨‍💻 @AlgorithmDesign_DataStructuer

🌟 معرفی ریپوزیتوری رسمی LLM Engineer's Handbook 🌟

ریپوزیتوری رسمی این کتابچه که در حال حاضر ۱.۶ هزار ستاره⭐️ داره، به‌تازگی آپدیت شده! این ریپوزیتوری یکی از بهترین منابع برای یادگیری و استفاده از LLMOps pipelines است.

ویژگی‌ها و مواردی که یاد می‌گیرید:
- ساخت و اجرای پایپلاین‌ها با ZenML
- آموزش و استقرار مدل‌ها روی AWS همراه با autoscaling
- نظارت بر مدل‌های زبانی بزرگ (LLM) در تولید با Opik
- استفاده از RAG پیشرفته با Qdrant
- و ده‌ها آموزش و ابزار جذاب دیگر!

این ریپوزیتوری را حتماً بررسی کنید:

https://github.com/PacktPublishing/LLM-Engineers-Handbook

این منبع ارزشمند مخصوصاً برای محققان و علاقه‌مندان به حوزه LLMOps بسیار مفید است! 🚀

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

Diffusion Models and Their Applications

کورس Diffusion Models and Their Applications یک دوره پیشرفته برای آشنایی با مدل‌های دیفیوژن و کاربردهای گسترده آن‌ها در هوش مصنوعی و یادگیری ماشین است. این مدل‌ها که به تازگی به عنوان استاندارد طلایی برای تولید محتوای مولد شناخته شده‌اند، در تولید تصاویر و ویدئوهای باکیفیت بی‌نظیر عملکرد فوق‌العاده‌ای نشان داده‌اند. نمونه‌هایی مانند SORA، Midjourney و StableDiffusion بیانگر قدرت این تکنیک‌ها هستند.

معرفی دوره:
این کورس به بررسی پایه‌های تئوری و کاربردهای عملی مدل‌های دیفیوژن می‌پردازد. تمرکز اصلی این دوره، یادگیری عمیق از طریق تمرین‌های برنامه‌نویسی و پروژه‌های عملی است. به جای برگزاری آزمون، شما با پیاده‌سازی این مدل‌ها در مسائل واقعی، تجربه‌ای کاربردی و مؤثر کسب خواهید کرد.

https://mhsung.github.io/kaist-cs492d-fall-2024/

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

✳️ Self-Ensembling Gaussian Splatting for Few-shot Novel View Synthesis


🔍 چرا این مقاله مهم است؟
مدل 3D Gaussian Splatting (3DGS) معمولاً در مواجهه با نماهای پراکنده دچار بیش‌برازش می‌شود و نمی‌تواند تغییرات وسیع در زوایای دید را به‌خوبی تعمیم دهد. این مقاله با معرفی روش Self-Ensembling Gaussian Splatting (SE-GS)، این مشکل را حل کرده و رویکردی مبتنی بر Self-ensemble برای تنظیم بهتر مدل‌ها ارائه می‌دهد.

🔑 دستاورد کلیدی:
دو مدل Σ و Δ معرفی شده‌اند که در کنار یکدیگر، کیفیت تولید تصاویر جدید را با تنظیم‌های دینامیک و مبتنی بر عدم قطعیت، بهبود می‌بخشند. این روش علاوه بر کارایی، هزینه‌های اضافی آموزش را کاهش داده و یک مدل نهایی قوی‌تر ارائه می‌دهد.


✨ این مقاله برای علاقه‌مندان به یادگیری ماشین، گرافیک کامپیوتری، و تولید نماهای جدید، کاربردی و ارزشمند است.

Paper : https://arxiv.org/abs/2411.00144

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

مقاله GNN-RAG روشی نوین ارائه می‌دهد که توانایی‌های زبان‌شناختی مدل‌های زبانی بزرگ (LLMs) را با قدرت استدلال گراف‌های عصبی (GNNs) ترکیب می‌کند. در این روش، GNN روی زیرگراف‌های متراکم استدلال می‌کند تا پاسخ‌های احتمالی را استخراج کند. سپس مسیرهای استدلالی گراف دانش به زبان طبیعی تبدیل شده و به مدل زبانی داده می‌شوند تا فرآیند پاسخ‌دهی تکمیل شود. این روش ترکیبی از قابلیت‌های GNN و LLM برای پاسخ‌دهی به سؤالات مبتنی بر گراف دانش است.

Paper:https://arxiv.org/abs/2405.20139

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

📘 The Matrix Cookbook
یک منبع فوق‌العاده برای هرآنچه که باید درباره ماتریس‌ها بدانید! این کتاب شامل روابط، تقریب‌ها، نابرابری‌ها و نکات کلیدی درباره ماتریس‌ها است که در مهندسی، علوم کامپیوتر و حتی فیزیک محاسباتی کاربرد دارند.

اگر با ماتریس‌ها سر و کار دارید، این کتاب راهنمای ضروری شماست! 🚀✨

#الگوریتم
📣👨‍💻 @AlgorithmDesign_DataStructuer

Type of data structure✌🏻


#الگوریتم
📣👨‍💻 @AlgorithmDesign_DataStructuer

لایبرری LLM یکی از ابزارهای قدرتمند پایتون برای کار با مدل‌های زبانی (Language Models) است. با استفاده از این لایبرری، می‌توانید به راحتی مدل‌های زبانی را فراخوانی کرده، از آن‌ها برای کاربردهای مختلف بهره ببرید، پرامپت‌های دلخواه بنویسید، مدل‌ها را آموزش دهید و بسیاری امکانات پیشرفته دیگر را کشف کنید.

این ابزار برای توسعه‌دهندگان و علاقه‌مندان به پردازش زبان طبیعی و هوش مصنوعی، یک گزینه ایده‌آل است تا به‌طور کارآمد از مدل‌های زبانی بهره‌مند شوند. 🌟

Link:https://llm.datasette.io/en/stable/

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

📚 جزوه استثنایی و کامل درس ساختمان داده استاد طورانی

#الگوریتم
📣👨‍💻 @AlgorithmDesign_DataStructuer

شرکت OpenAI و دیگر شرکت‌ها به دنبال مسیرهای جدیدی برای هوش مصنوعی هوشمندتر، با توجه به محدودیت‌های روش‌های فعلی
با گسترش مرزهای AI، شرکت‌هایی مانند OpenAI با چالش‌های غیرمنتظره‌ای در Large Language Models (LLMs) روبرو شده‌اند. به نظر می‌رسد دوران "bigger is better" رو به پایان است و فصل جدیدی از نوآوری در AI در حال شکل‌گیری است.

Here’s what’s happening:

1️⃣ Scaling Challenges:
شعار گسترش مقیاس پیش‌آموزش با استفاده از vast datasets و computing power گسترده به مرزهای خود رسیده است. حتی پیشگامانی مانند Ilya Sutskever به این مسئله اذعان دارند.

2️⃣ Resource Race:
آموزش cutting-edge models روزبه‌روز پیچیده‌تر می‌شود و به میلیون‌ها دلار هزینه، massive energy و specialized chips نیاز دارد. کمبود منابع انرژی و data scarcity، روند پیشرفت را کند کرده است.

3️⃣ A New Approach:
آزمایشگاه‌های AI در حال بررسی الگوریتم‌هایی با تفکر مشابه انسان هستند که بر quality به جای sheer scale تأکید دارند. این تغییر می‌تواند AI arms race را بازتعریف کند.

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

🚀 خبر هیجان‌انگیز! معرفی دیتاست IUST_PersonReID 🚀

دیتاست IUST_PersonReID منتشر شد! این دیتاست با هدف حل چالش‌های منحصربه‌فرد در شناسایی مجدد افراد (Person Re-Identification) در محیط‌های فرهنگی متنوع و پیچیده، به‌ویژه در بسترهای اسلامی، توسعه یافته است. این پروژه گامی مهم در بهبود دقت مدل‌ها و کاهش سوگیری‌های جمعیتی به شمار می‌رود. 📊

📍 چه چیزی IUST_PersonReID را منحصربه‌فرد می‌کند؟
- پوشش گسترده از چندین مکان در ایران و عراق، از جمله دانشگاه‌ها، مساجد، بازارها و رویدادهای عمومی
- شامل انواع پوشش‌های خاص فرهنگی، از سنتی تا مدرن، به منظور حمایت از AI عادلانه‌تر
- بهره‌گیری از چندین زاویه دوربین برای بهبود شناسایی در محیط‌های پیچیده و واقعی

🔍 ویژگی‌های کلیدی این دیتاست:
- 118,883 تصویر شامل 1,847 هویت در 19 صحنه مختلف
- برچسب‌گذاری دقیق با استفاده از ترکیب مدل‌های پیشرفته و حاشیه‌نویسی انسانی
- ایده‌آل برای آموزش مدل‌های AI که در محیط‌ها و جمعیت‌های مختلف عملکرد موثری دارند

Link:https://computervisioniust.github.io/IUST_PersonReId/

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

سلام دوستان عزیز👋🏻😉

امیدوارم حالتون خوب باشه. 🌟

اگر در درس‌های رشته کامپیوتر نیاز به راهنمایی یا کمک دارین مخصوصا دوستانی که تازه وارد این رشته شدن، حتماً از ادمین کمک بگیرین. ادمین‌ کانال ما همیشه آماده پاسخگویی به سوالات شما و ارائه مشاوره هست.

پس بدون هیچ نگرانی سوالاتتون رو بپرسید و از راهنمایی‌های مفید ادمین استفاده کنید. موفق باشید! 💻📚

برای ارتباط با ادمین به آیدی زیر پیام بدید.👇🏻👇🏻

✅ @Se_mohamad