🧠 CMU Advanced NLP – Spring 2025

جدیدترین دوره Advanced Natural Language Processing در سطح پیشرفته، که در ترم بهار ۲۰۲۵ توسط Carnegie Mellon University (CMU) ارائه شده است. این دوره به بررسی عمیق تکنیک‌های مدرن NLP، مدل‌های زبانی بزرگ (LLMs) و کاربردهای پیشرفته آن‌ها می‌پردازد.

https://www.youtube.com/playlist?list=PLqC25OT8ZpD3WxQ0FwWMGPS_BcWdcKyZy

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

🚀 دنبال یه نقشه راه کامل برای تبدیل شدن به Machine Learning Engineer هستی؟
گوگل یه مجموعه‌ی فوق‌العاده شامل ۱۵ دوره رایگان ارائه داده، چیزی حدود ۲۰۰ ساعت آموزش کاربردی!

این دوره‌ها طیف وسیعی از موضوعات رو پوشش می‌دن:
🔹 یادگیری ماشین
🔹 بینایی ماشین (Vision)
🔹 پردازش زبان طبیعی (NLP)
و کلی مهارت دیگه — همگی روی Google Cloud!

https://www.cloudskillsboost.google/paths/17

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

یکی از چالش‌های بزرگ مدل‌های زبانی، پردازش متن‌های خیلی طولانیه. مقاله‌ای جدید با الگوریتم DAPO، راه‌حل جالبی ارائه داده:
یه عامل هوشمند (Agent) متن رو مرحله‌به‌مرحله می‌خونه و نکات مهم رو به‌صورت پویا بازنویسی و به‌روز می‌کنه.
نکته جالب اینجاست که این عامل با یادگیری تقویتی (RL) یاد می‌گیره چی رو نگه داره و چی رو حذف کنه.
اگر موفق عمل کنه، می‌تونه راه LLMها رو برای فهم متن‌های طولانی باز کنه!

https://arxiv.org/abs/2507.02259

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

نقشه راه رایگان برای مهندسی هوش مصنوعی

1️⃣ مرحله اول: مبانی برنامه‌نویسی پایتون
دوره برنامه‌نویسی پایتون دانشگاه هاروارد (CS50):
https://pll.harvard.edu/course/cs50s-introduction-programming-python

2️⃣ مرحله دوم: مبانی یادگیری ماشین
دوره یادگیری ماشین دانشگاه استنفورد (CS229):
https://www.youtube.com/playlist?list=PLoROMvodv4rMiGQp3WXShtMGgzqpfVfbU

3️⃣ مرحله سوم: تسلط بر یادگیری عمیق
دوره یادگیری عمیق کاربردی :
https://course.fast.ai/

4️⃣ مرحله چهارم: پردازش زبان طبیعی (NLP)
دوره CS224N/Ling284 دانشگاه استنفورد:
https://www.youtube.com/playlist?list=PLoROMvodv4rMFqRtEuo6SGjY4XbRIVRd4

5️⃣ مرحله پنجم: مقدمه‌ای بر هوش مصنوعی مولد
دوره Generative AI for Beginners از مایکروسافت:
https://microsoft.github.io/generative-ai-for-beginners/#/

6️⃣ مرحله ششم: مدل‌های زبانی بزرگ (LLMs)
LLM University از Cohere:
https://cohere.com/llmu

📢 اگه مفید بود، حتماً به اشتراک بزارید!

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

📚 این ریپازیتوری یه مجموعه‌ی کامل از مثال‌های کاربردی با PyTorch رو در بر می‌گیره که به‌صورت قدم‌به‌قدم مفاهیم دیپ‌لرنینگ رو از پایه تا سطح پیشرفته آموزش می‌ده

https://github.com/yunjey/pytorch-tutorial

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

🎓 اگه دوست داری بدون رفتن به دانشگاه، علوم کامپیوتر رو درست و حسابی یاد بگیری، این لیست از دوره‌های رایگان MIT و Stanford رو از دست نده. همه‌چی هست،

https://github.com/ForrestKnight/open-source-cs


#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

اولین ایجنت رسمی OpenAI معرفی شد!

یه دستیار هوشمند جدید از شرکت OpenAI که از به تازگی معرفی شده. این ابزار متفاوت از نسخه‌های قبلی ChatGPT‌ فقط پاسخ نمی‌ده—بلکه خودش روی یک «کامپیوتر مجازی» کار می‌کنه و کارهای پیچیده رو مستقل انجام میده.

چه کارهایی بلده بکنه؟

1️⃣وب‌گردی و تعامل مستقل: مثل کلیک کردن روی سایت، پر کردن فرم‌ها یا خرید آنلاین .

2️⃣ساخت فایل‌های قابل ویرایش: مانند پاورپوینت، جدول اکسل، گزارش و متن .

3️⃣تحقیق عمیق و تحلیل اطلاعات: با مهارت‌های Deep Research قبلی، تحقیق‌های چندمرحله‌ای انجام میده.

4️⃣اجرای کد و تحلیل داده: توی ترمینال کد اجرا می‌کنه، داده پردازی می‌کنه یا فایل‌های خروجی می‌سازه .

هم‌اکنون برای کاربران Pro، Plus و Team در ChatGPT در دسترسه.کاربران Enterprise و Education در طول تابستان بهش دسترسی پیدا می‌کنن.

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

گوگل به شکل گسترده ویژگی Talk Live about this رو توی نسخه اندرویدی Gemini منتشر کرد، این ویژگی اینجوریه که میتونید عکس یا یه فایل و حتی ویدیو یوتیوب رو به جمنای بدید بعد در موردش باهاش مکالمه صوتی داشته باشید.

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

📌 یکی از جذاب‌ترین ویدیوهای یوتیوب درباره‌ی اینکه چرا و چطور شبکه‌های عصبی می‌تونن “تقریبا” هر چیزی رو یاد بگیرن

https://www.youtube.com/watch?v=0QczhVg5HaI

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

یک راه‌حل RAG مبتنی بر گراف برای کد!
(کاملاً متن‌باز - 100%)

روش‌های سنتی RAG برای کد شکست می‌خورند، چون هنگام تکه‌تکه کردن (chunking)، شبکه‌ی درهم‌تنیده‌ی وابستگی‌ها، ارجاع‌های بین‌فایلی، و روابط ساختاری را که برای درک عملکرد واقعی کد حیاتی‌اند، از بین می‌برند.

این بزار مشکلات زیر را حل میکند:

1. مخزن (repo) شما را اسکن می‌کند
2. گرافی از ارتباط فایل‌ها، توابع و کلاس‌ها می‌سازد
3. به شما اجازه می‌دهد تا با زبان طبیعی درباره‌ی آن گراف سؤال بپرسید

ویژگی‌های کلیدی:

🌍 پشتیبانی از چند زبان برنامه‌نویسی (Python، JS، TS، Rust، Go، Java، ++C)
📊 ذخیره دانش به صورت گراف و امکان پرس‌وجو با زبان طبیعی
🤖 تحلیل مبتنی بر هوش مصنوعی (Gemini، OpenAI، Ollama)
✍️ ویرایش دقیق کد با هدف‌گیری AST
🚀 بهینه‌سازی تعاملی کد طبق بهترین استانداردها
⚡️ اجرای دستورات شل و تحلیل وابستگی‌ها

https://github.com/vitali87/code-graph-rag

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

وقتی می‌خواهیم مدل‌های زبانی مثل GPT را برای کاربرد خاصی به‌کار بگیریم، دو راه اصلی پیش رو داریم: Fine-tuning و RAG. اما کدام مناسب‌تر است؟

🛠 Fine-tunining
مثل آموزش تخصصی به یک متخصص است!
مدل پایه را با داده‌های اختصاصی دوباره آموزش می‌دهیم تا در یک حوزه خاص (مثلاً پزشکی یا حقوقی) به‌طور عمیق متخصص شود.
✅ نقطه قوت: دقت بالا در وظایف مشخص
⚠️ چالش: هزینه‌بر، نیاز به داده‌های باکیفیت و زمان‌بر

🔍 RAG (Retrieval-Augmented Generation)
مثل دادن دسترسی به کتابخانه به یک مشاور هوشمند است!
مدل، اطلاعات لحظه‌ای را از منابع معتبر (مثل بانک اسناد شما) استخراج و پاسخ را بر اساس آن می‌سازد.
✅ نقطه قوت: به‌روزرسانی آسان، شفافیت منابع، کاهش خطاهای غیرواقعی
⚠️ چالش: وابستگی به کیفیت بانک اطلاعاتی

❓ کدام بهتر است؟
- نیاز به تخصص عمیقدارید؟
→ Fine-tuning
- نیاز به پاسخ‌های پویا با داده‌های به‌روز دارید؟
→ RAG
و گاهی هم ترکیب هر دو راهگشاست!

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

بهینه‌سازی عملکرد LLM با LMCache 🚀

در مکالمات طولانی یا سناریوهای RAG، بیش از ۹۰٪ زمان پاسخ‌دهی LLM ممکنه صرف مرحله‌ی prefill بشه!
🔻 این یعنی تأخیر زیاد در تولید اولین توکن، افزایش کلی زمان پاسخ، و مصرف شدید منابع حافظه و GPU تا حد بروز OOM!

راه‌حل چیه؟
استفاده از LMCache ✅

در واقع LMCache یک ابزار متن‌باز هوشمند و قدرتمند برای کش کردن KV cache مدل‌های زبانیه که با اون می‌تونید:

⚡️ زمان تولید اولین توکن (TTFT) رو تا ۱۰ برابر سریع‌تر کنید
💸 هزینه استفاده از GPU رو تا ۸ برابر کاهش بدید
🔀میتونید KV cache رو بین GPU، رم، دیسک یا حتی فضای ذخیره‌سازی شبکه‌ای جابجا کنید
🤝 کش‌ها رو بین چندین سرویس vLLM به‌صورت اشتراکی استفاده کنید

و حالا با افزونه‌ی نوآورانه‌ی CacheBlend (برنده‌ی بهترین مقاله EuroSys 2025):

🔥 در سناریوهای RAG به نرخ هیت کش نزدیک به ۱۰۰٪ می‌رسید
🚀 و سرعت پاسخ‌دهی‌تون تا ۳ برابر سریع‌تر میشه

https://github.com/LMCache/LMCache

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

دانشگاه آلتو فنلاند یک مرجع کامل و به‌روز از اصطلاحات، مفاهیم و تکنیک‌های یادگیری ماشین که می‌تونه توی پروژه‌ها و مصاحبه‌های ML کمکتون کنه رو منتشر کرد.


#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

بعد از برگزاری IMO 2025 (معتبرترین المپیاد ریاضی دانش‌آموزی جهان)، اومدن یه بنچمارک با مدل‌های AI گرفتن، این سوالات چون جدید هستن AIها قبلا روشون تمرین ندیدن به خاطر همین خروجی واقعی‌تره.
درسته هیچکدوم حتی برنز هم نگرفتن ولی Gemini 2.5 Pro با دقت ۳۱ درصدی اول شد.

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

یه زمانی دنبال یه مدل خوب می‌گشتیم… حالا وسط این‌همه LLM فقط دنبال یه دلیل واسه اعتمادیم!

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

🔥 معرفی یک پرامپت فوق‌العاده برای ساخت تیزر تبلیغاتی با هوش مصنوعی #Veo3
📌 اگه به ساخت محتوای حرفه‌ای علاقه‌مندین، این پست رو بوکمارک کنین یا ریتوییت تا بقیه هم ازش استفاده کنن!

🎥 ساخت تیزر و ویدیوهای تبلیغاتی با هوش مصنوعی داره آینده‌ی معرفی برندها، کانال‌ها و پروژه‌ها رو متحول می‌کنه — دقیق، سریع و سینمایی!

💡 این پرامپت رو شخصاً برای کانال خودم (Algorithm Design & Data Structure) نوشتم و با VEO3 تستش کردم. نتیجه؟ یه ویدیوی شگفت‌انگیز و حرفه‌ای بدون نیاز به تدوینگر!

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

🚀 نگاهی به ۸ معماری اصلی مدل‌های زبانی بزرگ (LLM) سال ۲۰۲۵
(بر اساس مقاله دکتر Sebastian Raschka, PhD)

در مقاله جدیدی که دکتر Sebastian Raschka نوشته، از DeepSeek V3 تا Kimi 2 به بررسی دقیق ۸ معماری مهم مدل‌های زبانی متن‌باز که امسال منتشر شده‌اند پرداخته شده. تمرکز اصلی این بررسی روی انتخاب‌های طراحی معماری بوده که هر کدوم چه ویژگی خاصی دارند.

🔍 خلاصه‌ای از مهم‌ترین نکات:

- DeepSeek V3 / R1: pairs Multi‑Head Latent Attention (MLA) with a 256‑expert MoE
- OLMo 2: New norm layer placement and QK-Norm
- Gemma 3:sliding‑window GQA and more norm layers
- Gemma 3n: introduces Per‑Layer Embedding and MatFormer slicing
- Mistral Small 3.1: trims layer count and KV cache, relies on standard GQA and a compact
- SmolLM3: No Positional Embeddings in some layer
...
- Kimi K2 – scales the DeepSeek design to 1 T parameters


https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

این ریپو یکی از بهترین‌هاست برای ساخت عامل‌های هوش مصنوعی واقعی — نه تئوری، بلکه پروژه‌های آماده برای اجرا! 👇🚀

https://github.com/gyoridavid/ai_agents_az?utm_source=linkedin

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

یک پروژه شسته رُفته از پیاده سازی یک RAG پیشرفته با استفاده از llamaIndex و روی Google Cloud Vertex AI. که این موضوعات را هم پوشش میده:
- RAG design, indexing, retrieval, evaluation metrics

میتونید کامل هم روی Cloud یا لوکال اجرا کنید و تکنیکهای مختلف را تست کنید.

https://t.co/wWmxBkfG7O

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

🔥 دوستان عزیز،
کانال ما با حمایت و همراهی شما روزبه‌روز بهتر میشه.
اگر می‌خواید این مسیر رو با هم قوی‌تر پیش ببریم، ازتون دعوت می‌کنم با یه حمایت کوچک همراه باشید.
و لطفاً این فرصت رو به دوستاتون هم بدید تا اون‌ها هم عضوش بشن و جمع‌مون بزرگ‌تر و پرانرژی‌تر بشه!
با هم می‌تونیم یادگیری رو به سطح جدیدی برسونیم.
ممنونم از اینکه هستید و کنارمید ❤️💪