Splitting data into training and validation sets

Converting text data to numbers using tokenisation and embeddings (overview)

مقاله "Learning Transferable Visual Models From Natural Language Supervision" یکی از آثار برجسته در حوزه بینایی کامپیوتر و پردازش زبان طبیعی است. در این مقاله، نویسندگان یک مدل جدید به نام CLIP (Contrastive Language–Image Pretraining) را معرفی کرده‌اند که از یک روش نوآورانه برای یادگیری مدل‌های بصری قابل انتقال از طریق نظارت زبانی استفاده می‌کند.

در واقع CLIP با استفاده از مجموعه عظیمی از داده‌های تصویر و متن، به‌صورت همزمان تصاویر و توضیحات متنی مرتبط را آموزش می‌دهد. این مدل به گونه‌ای طراحی شده که می‌تواند بدون نیاز به داده‌های برچسب‌خورده خاص، وظایف جدیدی را تنها با ارائه دستورالعمل‌های متنی انجام دهد. از جمله کاربردهای این مدل می‌توان به تشخیص تصویر، دسته‌بندی، و حتی وظایف ترکیبی تصویر-متن اشاره کرد.

Paper:https://arxiv.org/abs/2103.00020

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

یه ایده‌ی خلاقانه به نام GraphRAG برای تقویت توانایی‌ LLMها

یکی از چالش‌های کلیدی در مدل‌های زبانی بزرگ (LLM) استفاده از آن‌ها برای حل مسائل فراتر از داده‌های آموزش است. به‌منظور برآورده شدن این هدف، تیم تحقیقاتی مایکروسافت GraphRAG را معرفی کرده که به‌عنوان یک تکنیک پیشرفته
برای بهبود عملکرد Retrieval-Augmented Generation (RAG) استفاده می‌شود.

ویژگی‌های کلیدی GraphRAG:

ایجاد گراف دانش توسط LLM: این روش به‌صورت خودکار گرافی از موجودیت‌ها و روابط موجود در داده‌های خصوصی تولید می‌کند.

خوشه‌بندی معنایی: با ایجاد ساختارهای معنایی سلسله‌مراتبی، داده‌ها به خوشه‌هایی معنادار تقسیم‌بندی می‌شوند که امکان پیش‌خلاصه‌سازی اطلاعات را فراهم می‌کند.

افزایش دقت بازیابی: با استفاده از گراف تولید شده، GraphRAG محتوای مرتبط‌تری را برای ورود به پنجره زمینه LLM فراهم می‌آورد و پاسخ‌های دقیق‌تری تولید می‌کند.

پشتیبانی از پرسش‌های پیچیده: این تکنیک توانایی پردازش سوالاتی که نیاز به تجمیع
اطلاعات پراکنده یا تحلیل تم‌های کلان دارند را افزایش می‌دهد.

📊 عملکرد: در یک آزمایش با داده‌های خبری پیچیده، GraphRAG توانسته مفاهیم
کلیدی مانند فعالیت‌های سیاسی و نظامی مرتبط با "Novorossiya" را با دقت بالا شناسایی کند. این نتایج، بهبود چشمگیری را نسبت به روش‌های RAG پایه (که عملکرد آن‌ها صرفا با استفاده از فاصله وکتور سوال و جواب است) نشان داد که معمولاً در اتصال اطلاعات پراکنده ناکام بودند.

🔗 مزایای GraphRAG:

منبع‌نگاری دقیق: هر پاسخ به داده‌های اصلی مرتبط است و امکان تأیید صحت اطلاعات را فراهم می‌کند.

تحلیل کل‌نگر داده‌ها: خوشه‌بندی معنایی امکان شناسایی تم‌های اصلی و پاسخ‌دهی به سوالات کلی‌تر را بهبود می‌بخشد.

تطبیق با داده‌های خصوصی: این روش برای داده‌هایی که مدل‌های LLM به آن‌ها آموزش ندیده‌اند، مانند اسناد تجاری یا داده‌های اختصاصی سازمانی، ایده‌آل است.

مطالعه‌ی مقاله کامل

بخوانید: RAG چیست؟

بخوانید: LLM چیست؟


@Ai_Events

💡 مدل QwQ-32B-Preview توسط Qwen عرضه شد و توانست در بنچمارک‌های AIME و MATH عملکردی فراتر از مدل‌های قدرتمندی مانند OpenAI o1 و Anthropic Sonnet ارائه دهد. این مدل قابلیت‌های برجسته‌ای در زمینه‌های استدلال و محاسبات ریاضی نشان داده است.


🚀 نسخه کوآنتایزشده اکنون در Hugging Face در دسترس است.
این حرکت، گامی مهم برای دسترس‌پذیرتر کردن مدل‌های پیشرفته زبانی محسوب می‌شود و به جامعه تحقیقاتی این امکان را می‌دهد که با منابع کمتر، به قدرت بیشتری دست یابند.

https://huggingface.co/Satwik11/QwQ-32B-Preview-quantized-autoround-GPTQ-sym-4bit

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

Is DPO Superior to PPO for LLM Alignment?
A Comprehensive Study

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

🧑‍💻 5 کورس رایگان برای فهمیدن یادگیری ماشین


1. Machine Learning by Stanford University (Coursera)


2. Introduction to Machine Learning for Coders (fast.ai)


3. Machine Learning Crash Course by (Google)


4. Applied Machine Learning with Python (University of Michigan)


5. Elements of AI by the University of Helsinki and Reaktor

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

اسلاید آموزشی خوب برای درس هوش مصنوعی

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

الگوریتم پویا یا برنامه‌ریزی پویا (Dynamic Programming) یک تکنیک بهینه‌سازی است که برای حل مسائل پیچیده به کار می‌رود. این تکنیک مسئله را به مسائل کوچک‌تر و ساده‌تر تقسیم می‌کند، نتایج آن‌ها را ذخیره می‌کند و از این نتایج برای حل مسائل بزرگ‌تر استفاده می‌کند.

ویژگی‌های مسائل قابل حل با برنامه‌ریزی پویا:
1. اصل بهینه‌سازی (Optimal Substructure):
حل بهینه‌ی یک مسئله از ترکیب حل بهینه‌ی زیرمسائل آن به دست می‌آید.

2. زیرمسائل هم‌پوشان (Overlapping Subproblems):
مسئله‌ی اصلی به چند زیرمسئله تقسیم می‌شود که برخی از این زیرمسائل چندین بار تکرار می‌شوند. ذخیره کردن نتایج این زیرمسائل (با استفاده از یک جدول یا آرایه) باعث افزایش کارایی می‌شود.

روش‌های پیاده‌سازی:
1. روش بالا به پایین (Top-Down):
در این روش، از طریق بازگشت (Recursion) و به همراه تکنیکی به نام "یادآوری" یا Memoization عمل می‌کنیم. ابتدا مسئله‌ی اصلی حل می‌شود و نتایج زیرمسائل در زمان حل ذخیره می‌شوند.

2. روش پایین به بالا (Bottom-Up):
در این روش، ابتدا زیرمسائل کوچک‌تر حل می‌شوند و سپس نتایج آن‌ها برای حل مسائل بزرگ‌تر به کار می‌رود. این روش از یک جدول برای ذخیره‌ی نتایج استفاده می‌کند.

مثال‌های رایج:
- مسئله‌ی کوله‌پشتی (Knapsack Problem):
انتخاب آیتم‌ها به گونه‌ای که حداکثر ارزش را در محدودیت وزن به دست آورید.
- فاصله‌ی ویرایشی (Edit Distance):
یافتن حداقل تعداد تغییرات برای تبدیل یک رشته به رشته‌ی دیگر.
- دنباله‌ی مشترک بیشینه (Longest Common Subsequence):
یافتن طول بلندترین دنباله‌ی مشترک بین دو رشته.
- مسئله‌ی مسیر بهینه در یک ماتریس:
پیدا کردن مسیری با کمترین هزینه از یک نقطه به نقطه دیگر.

مزایا:
- کاهش زمان اجرای الگوریتم از طریق جلوگیری از انجام محاسبات تکراری.
- بهبود کارایی در مسائل پیچیده.

معایب:
- مصرف حافظه به دلیل ذخیره‌ی نتایج زیرمسائل.
- ممکن است برای برخی مسائل مناسب نباشد.

#الگوریتم
📣👨‍💻 @AlgorithmDesign_DataStructuer

📃 Graph Neural Networks: A Bibliometric Mapping of the Research Landscape and Applications

این مقاله به بررسی جامع Graph Neural Networks (GNNs) پرداخته و با استفاده از تحلیل کتاب‌سنجی، چشم‌انداز تحقیقاتی و کاربردهای این حوزه را ترسیم کرده است. مقاله در یکی از مجلات معتبر در زمینه اطلاعات به چاپ رسیده و توسط تیمی از پژوهشگران برجسته از دانشگاه‌ها و موسسات علمی معتبر تهیه شده است.
https://www.mdpi.com/2078-2489/15/10/626/pdf?version=1728635612

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

OBJECT-ORIENTED PYTHON

📚 https://matematika-mipa.unsri.ac.id/wp-content/uploads/2022/05/Object-Oriented-Python-Master-OOP-by-Building-Games-and-GUIs-Irv-Kalb-z-lib.org_.pdf

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

عامل‌های مبتنی بر LLM برای مهندسی نرم‌افزار
"Large Language Model-Based Agents for Software Engineering: A Survey".

https://github.com/FudanSELab/Agent4SE-Paper-List.


#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

Hyper-Representations: Learning from Populations of Neural Networks


Paper: https://arxiv.org/pdf/2410.05107v1.pdf

GitHub: https://github.com/hsg-aiml/sane

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

Deep Learning Cheat sheet

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

رگرسیون لجستیک یکی از تکنیک‌های محبوب در علم داده برای پیش‌بینی نتایج باینری (مانند بله/خیر یا موفقیت/شکست) است.

✅ هدف: پیش‌بینی احتمال وقوع یک رویداد.
✅ چگونه؟ با استفاده از تابع سیگموئید، احتمال پیش‌بینی می‌شود و براساس آن «بله» یا «نه» تصمیم‌گیری می‌شود.
✅ مزایا: ساده، سریع و مناسب برای طبقه‌بندی‌های باینری.
✅ محدودیت‌ها: فرض رابطه خطی بین ویژگی‌ها و نتیجه، و ضعف در داده‌های پیچیده.

کاربردها: بازاریابی، مراقبت‌های بهداشتی، و پیش‌بینی ریسک‌های مالی.

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

در این دوره آموزشی، شما موارد زیر را یاد خواهید گرفت:

- رویکردهای مختلف هوش مصنوعی، شامل رویکرد قدیمی و نمادین با استفاده از نمایش دانش و استدلال (GOFAI).
-شبکه‌های عصبی و یادگیری عمیق که هسته اصلی هوش مصنوعی مدرن هستند. مفاهیم کلیدی این موضوعات مهم را با استفاده از کدنویسی در دو چارچوب محبوب - TensorFlow و PyTorch - توضیح خواهیم داد.
- معماری‌های عصبی برای کار با تصاویر و متون. در این بخش به مدل‌های جدید می‌پردازیم، اما ممکن است کمی از مدل‌های کاملاً پیشرفته فاصله داشته باشیم.
- رویکردهای کمتر رایج در هوش مصنوعی، مانند الگوریتم‌های ژنتیکی و سیستم‌های چندعاملی.

https://microsoft.github.io/AI-For-Beginners/?id=artificial-intelligence-for-beginners-a-curriculum

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

چگونه Audio Spectrogram Transformer را روی داده‌های خود Fine-Tune کنیم ؟

https://renumics.com/blog/how-to-fine-tune-the-audio-spectrogram-transformer

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

📚 پایتون - TheAlgorithms - یک مخزن فوق‌العاده در گیت‌هاب!!!

195,000 ستاره در گیت‌هاب!!!

یک مجموعه بی‌نظیر از پیاده‌سازی‌های الگوریتم‌ها مانند :
Data Structures
Digital Image Processing
Divide And Conquer
Docs
Dynamic Programming
Electronics
File Transfer
Financial
Fractals
Fuzzy Logic
Genetic Algorithm
Geodesy
Geometry
Graphics
Graphs
Greedy Methods
Linear Algebra
Linear Programming
Machine Learning
Maths
...

#الگوریتم
📣👨‍💻 @AlgorithmDesign_DataStructuer

"چطور Vision Transformers (ViTs) تصاویر را درک می‌کنند؟" مقاله‌ی ما در #NeurIPS2024 یک چارچوب برای تجزیه و تحلیل و تفسیر نمایش‌های آن‌ها معرفی می‌کند، حتی برای ViTs فراتر از CLIP.

این روش نشان می‌دهد که چگونه ViTs ویژگی‌هایی مانند shape، color و texture را کدگذاری می‌کنند و برای feature-based image retrieval، token heatmaps و کاهش spurious correlations مفید است.

Paper :https://arxiv.org/abs/2406.01583
code:https://github.com/SriramB-98/vit-decompose

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

CNN(Convolutional Neural Network) Visualization

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

Harvard's "Advanced Complex Analysis"

https://people.math.harvard.edu/~ctm/papers/home/text/class/harvard/213a/course/course.pdf

#الگوریتم
📣👨‍💻 @AlgorithmDesign_DataStructuer