🤖 𝐔𝐧𝐡𝐚 𝐨𝐟 𝐋𝐚𝐧𝐠𝐮𝐚𝐠𝐞 𝐌𝐨𝐝𝐞𝐥𝐬 (2018-𝐏𝐫𝐞𝐬𝐞𝐧𝐭) 🌟

از 𝐁𝐄𝐑𝐓 تا 𝐋𝐥𝐚𝐦𝐚 3.2، مدل‌های زبانی نحوه‌ی پردازش زبان طبیعی را به کلی تغییر داده‌اند! 🚀 در اینجا نگاهی به سفر آن‌ها داریم:

🔴 𝐁𝐄𝐑𝐓 𝐅𝐚𝐦𝐢𝐥𝐲 (2018):
اولین گام‌های یادگیری مبتنی بر زمینه را برداشت، و مدل‌هایی مانند RoBERTa و DistilBERT الهام گرفته شدند.
🟢 𝐓5 𝐅𝐚𝐦𝐢𝐥𝐲 (2019):
پردازش زبان طبیعی را با چارچوب text-to-text ساده‌تر کرد و نوآوری‌هایی مانند BART و Flan-T5 به وجود آمد.
🔵 𝐆𝐏𝐓 𝐒𝐞𝐫𝐢𝐞𝐬 𝐚𝐧𝐝 𝐆𝐞𝐧𝐞𝐫𝐚𝐭𝐢𝐯𝐞 𝐌𝐨𝐝𝐞𝐥𝐬 (2019-2024):
سری GPT انقلاب بزرگی ایجاد کرد و منجر به مدل‌های عظیمی مانند o1-preview، Llama 3.2 و DeepSeek 2.5 شد.

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

اگر به Computer Vision علاقه دارید این کتاب رو حتما پیشنهاد میکنم بخونید✌🏻

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

Introduction to Natural Language Processing (NLP) and Sequence Problems

Example NLP inputs and outputs

The typical architecture of a Recurrent Neural Network (RNN)

Preparing a notebook for our first NLP with TensorFlow project

Becoming one with the data and visualising a text dataset

Splitting data into training and validation sets

Converting text data to numbers using tokenisation and embeddings (overview)

مقاله "Learning Transferable Visual Models From Natural Language Supervision" یکی از آثار برجسته در حوزه بینایی کامپیوتر و پردازش زبان طبیعی است. در این مقاله، نویسندگان یک مدل جدید به نام CLIP (Contrastive Language–Image Pretraining) را معرفی کرده‌اند که از یک روش نوآورانه برای یادگیری مدل‌های بصری قابل انتقال از طریق نظارت زبانی استفاده می‌کند.

در واقع CLIP با استفاده از مجموعه عظیمی از داده‌های تصویر و متن، به‌صورت همزمان تصاویر و توضیحات متنی مرتبط را آموزش می‌دهد. این مدل به گونه‌ای طراحی شده که می‌تواند بدون نیاز به داده‌های برچسب‌خورده خاص، وظایف جدیدی را تنها با ارائه دستورالعمل‌های متنی انجام دهد. از جمله کاربردهای این مدل می‌توان به تشخیص تصویر، دسته‌بندی، و حتی وظایف ترکیبی تصویر-متن اشاره کرد.

Paper:https://arxiv.org/abs/2103.00020

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

یه ایده‌ی خلاقانه به نام GraphRAG برای تقویت توانایی‌ LLMها

یکی از چالش‌های کلیدی در مدل‌های زبانی بزرگ (LLM) استفاده از آن‌ها برای حل مسائل فراتر از داده‌های آموزش است. به‌منظور برآورده شدن این هدف، تیم تحقیقاتی مایکروسافت GraphRAG را معرفی کرده که به‌عنوان یک تکنیک پیشرفته
برای بهبود عملکرد Retrieval-Augmented Generation (RAG) استفاده می‌شود.

ویژگی‌های کلیدی GraphRAG:

ایجاد گراف دانش توسط LLM: این روش به‌صورت خودکار گرافی از موجودیت‌ها و روابط موجود در داده‌های خصوصی تولید می‌کند.

خوشه‌بندی معنایی: با ایجاد ساختارهای معنایی سلسله‌مراتبی، داده‌ها به خوشه‌هایی معنادار تقسیم‌بندی می‌شوند که امکان پیش‌خلاصه‌سازی اطلاعات را فراهم می‌کند.

افزایش دقت بازیابی: با استفاده از گراف تولید شده، GraphRAG محتوای مرتبط‌تری را برای ورود به پنجره زمینه LLM فراهم می‌آورد و پاسخ‌های دقیق‌تری تولید می‌کند.

پشتیبانی از پرسش‌های پیچیده: این تکنیک توانایی پردازش سوالاتی که نیاز به تجمیع
اطلاعات پراکنده یا تحلیل تم‌های کلان دارند را افزایش می‌دهد.

📊 عملکرد: در یک آزمایش با داده‌های خبری پیچیده، GraphRAG توانسته مفاهیم
کلیدی مانند فعالیت‌های سیاسی و نظامی مرتبط با "Novorossiya" را با دقت بالا شناسایی کند. این نتایج، بهبود چشمگیری را نسبت به روش‌های RAG پایه (که عملکرد آن‌ها صرفا با استفاده از فاصله وکتور سوال و جواب است) نشان داد که معمولاً در اتصال اطلاعات پراکنده ناکام بودند.

🔗 مزایای GraphRAG:

منبع‌نگاری دقیق: هر پاسخ به داده‌های اصلی مرتبط است و امکان تأیید صحت اطلاعات را فراهم می‌کند.

تحلیل کل‌نگر داده‌ها: خوشه‌بندی معنایی امکان شناسایی تم‌های اصلی و پاسخ‌دهی به سوالات کلی‌تر را بهبود می‌بخشد.

تطبیق با داده‌های خصوصی: این روش برای داده‌هایی که مدل‌های LLM به آن‌ها آموزش ندیده‌اند، مانند اسناد تجاری یا داده‌های اختصاصی سازمانی، ایده‌آل است.

مطالعه‌ی مقاله کامل

بخوانید: RAG چیست؟

بخوانید: LLM چیست؟


@Ai_Events

💡 مدل QwQ-32B-Preview توسط Qwen عرضه شد و توانست در بنچمارک‌های AIME و MATH عملکردی فراتر از مدل‌های قدرتمندی مانند OpenAI o1 و Anthropic Sonnet ارائه دهد. این مدل قابلیت‌های برجسته‌ای در زمینه‌های استدلال و محاسبات ریاضی نشان داده است.


🚀 نسخه کوآنتایزشده اکنون در Hugging Face در دسترس است.
این حرکت، گامی مهم برای دسترس‌پذیرتر کردن مدل‌های پیشرفته زبانی محسوب می‌شود و به جامعه تحقیقاتی این امکان را می‌دهد که با منابع کمتر، به قدرت بیشتری دست یابند.

https://huggingface.co/Satwik11/QwQ-32B-Preview-quantized-autoround-GPTQ-sym-4bit

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

Is DPO Superior to PPO for LLM Alignment?
A Comprehensive Study

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

🧑‍💻 5 کورس رایگان برای فهمیدن یادگیری ماشین


1. Machine Learning by Stanford University (Coursera)


2. Introduction to Machine Learning for Coders (fast.ai)


3. Machine Learning Crash Course by (Google)


4. Applied Machine Learning with Python (University of Michigan)


5. Elements of AI by the University of Helsinki and Reaktor

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

اسلاید آموزشی خوب برای درس هوش مصنوعی

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

الگوریتم پویا یا برنامه‌ریزی پویا (Dynamic Programming) یک تکنیک بهینه‌سازی است که برای حل مسائل پیچیده به کار می‌رود. این تکنیک مسئله را به مسائل کوچک‌تر و ساده‌تر تقسیم می‌کند، نتایج آن‌ها را ذخیره می‌کند و از این نتایج برای حل مسائل بزرگ‌تر استفاده می‌کند.

ویژگی‌های مسائل قابل حل با برنامه‌ریزی پویا:
1. اصل بهینه‌سازی (Optimal Substructure):
حل بهینه‌ی یک مسئله از ترکیب حل بهینه‌ی زیرمسائل آن به دست می‌آید.

2. زیرمسائل هم‌پوشان (Overlapping Subproblems):
مسئله‌ی اصلی به چند زیرمسئله تقسیم می‌شود که برخی از این زیرمسائل چندین بار تکرار می‌شوند. ذخیره کردن نتایج این زیرمسائل (با استفاده از یک جدول یا آرایه) باعث افزایش کارایی می‌شود.

روش‌های پیاده‌سازی:
1. روش بالا به پایین (Top-Down):
در این روش، از طریق بازگشت (Recursion) و به همراه تکنیکی به نام "یادآوری" یا Memoization عمل می‌کنیم. ابتدا مسئله‌ی اصلی حل می‌شود و نتایج زیرمسائل در زمان حل ذخیره می‌شوند.

2. روش پایین به بالا (Bottom-Up):
در این روش، ابتدا زیرمسائل کوچک‌تر حل می‌شوند و سپس نتایج آن‌ها برای حل مسائل بزرگ‌تر به کار می‌رود. این روش از یک جدول برای ذخیره‌ی نتایج استفاده می‌کند.

مثال‌های رایج:
- مسئله‌ی کوله‌پشتی (Knapsack Problem):
انتخاب آیتم‌ها به گونه‌ای که حداکثر ارزش را در محدودیت وزن به دست آورید.
- فاصله‌ی ویرایشی (Edit Distance):
یافتن حداقل تعداد تغییرات برای تبدیل یک رشته به رشته‌ی دیگر.
- دنباله‌ی مشترک بیشینه (Longest Common Subsequence):
یافتن طول بلندترین دنباله‌ی مشترک بین دو رشته.
- مسئله‌ی مسیر بهینه در یک ماتریس:
پیدا کردن مسیری با کمترین هزینه از یک نقطه به نقطه دیگر.

مزایا:
- کاهش زمان اجرای الگوریتم از طریق جلوگیری از انجام محاسبات تکراری.
- بهبود کارایی در مسائل پیچیده.

معایب:
- مصرف حافظه به دلیل ذخیره‌ی نتایج زیرمسائل.
- ممکن است برای برخی مسائل مناسب نباشد.

#الگوریتم
📣👨‍💻 @AlgorithmDesign_DataStructuer

📃 Graph Neural Networks: A Bibliometric Mapping of the Research Landscape and Applications

این مقاله به بررسی جامع Graph Neural Networks (GNNs) پرداخته و با استفاده از تحلیل کتاب‌سنجی، چشم‌انداز تحقیقاتی و کاربردهای این حوزه را ترسیم کرده است. مقاله در یکی از مجلات معتبر در زمینه اطلاعات به چاپ رسیده و توسط تیمی از پژوهشگران برجسته از دانشگاه‌ها و موسسات علمی معتبر تهیه شده است.
https://www.mdpi.com/2078-2489/15/10/626/pdf?version=1728635612

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

OBJECT-ORIENTED PYTHON

📚 https://matematika-mipa.unsri.ac.id/wp-content/uploads/2022/05/Object-Oriented-Python-Master-OOP-by-Building-Games-and-GUIs-Irv-Kalb-z-lib.org_.pdf

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

عامل‌های مبتنی بر LLM برای مهندسی نرم‌افزار
"Large Language Model-Based Agents for Software Engineering: A Survey".

https://github.com/FudanSELab/Agent4SE-Paper-List.


#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

Hyper-Representations: Learning from Populations of Neural Networks


Paper: https://arxiv.org/pdf/2410.05107v1.pdf

GitHub: https://github.com/hsg-aiml/sane

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

Deep Learning Cheat sheet

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer