PyTorch 2.5 is here 🔥

We are excited to announce the release of PyTorch® 2.5 featuring:

🔥 a new CuDNN backend for SDPA, enabling speedups by default for users of SDPA on H100s or newer GPUs
🔥 regional compilation of torch.compile, offering a way to reduce the cold start up time for torch.compile by allowing users to compile a repeated nn.Module (e.g. a transformer layer in LLM) without recompilations
🔥 TorchInductor CPP backend offering solid performance speedup with numerous enhancements like FP16 support, CPP wrapper, AOT-Inductor mode, and max-autotune mode

Read more in our PyTorch 2.5 Release Blog: https://pytorch.org/blog/pytorch2-5/?utm_content=312749700&utm_medium=social&utm_source=linkedin&hss_channel=lcp-78618366

https://fleuret.org/public/lbdl.pdf


== Table of Content ==

I Foundations
1 Machine Learning
- 1.1 Learning from data
- 1.2 Basis function regression
- 1.3 Under and overfitting
- 1.4 Categories of models

2 Efficient Computation
- 2.1 GPUs, TPUs, and batches
- 2.2 Tensors

3 Training
- 3.1 Losses
- 3.2 Autoregressive models
- 3.3 Gradient descent
- 3.4 Backpropagation
- 3.5 The value of depth
- 3.6 Training protocols
- 3.7 The benefits of scale

II Deep Models
4 Model Components
- 4.1 The notion of layer
- 4.2 Linear layers
- 4.3 Activation functions
- 4.4 Pooling
- 4.5 Dropout
- 4.6 Normalizing layers
- 4.7 Skip connections
- 4.8 Attention layers
- 4.9 Token embedding
- 4.10 Positional encoding

5 Architectures
- 5.1 Multi-Layer Perceptrons
- 5.2 Convolutional networks
- 5.3 Attention models

III Applications
6 Prediction
- 6.1 Image denoising
- 6.2 Image classification
- 6.3 Object detection
- 6.4 Semantic segmentation
- 6.5 Speech recognition
- 6.6 Text-image representations
- 6.7 Reinforcement learning

7 Synthesis
- 7.1 Text generation
- 7.2 Image generation

8 The Compute Schism
- 8.1 Prompt Engineering
- 8.2 Quantization
- 8.3 Adapters
- 8.4 Model merging

#deeplearning

ویرایش دوم و فیلمهای کلاسی RL از Dimitri P. Bertsekas استاد دانشگاه MIT منتشر شد.

REINFORCEMENT LEARNING AND OPTIMAL CONTROL
BOOKS, VIDEOLECTURES, AND COURSE MATERIAL

https://web.mit.edu/dimitrib/www/RLbook.html

#یادگیری_تقویتی #منابع #کلاس_آموزشی #کتاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

🎁Recurrent Neural Network
#RNN
#ML

اینم برا کسایی که Image Segmentation سوالات زیادی رو براشون به وجود آورده.

Deep Learning based Image Segmentation

#یادگیری_عمیق #کتابچه #کد #منابع

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

Transformers can be slow for real-time applications like robotics. We study if modern recurrent architectures, like xLSTM and Mamba, can be faster alternatives. Experiments on 432 tasks show that they compare favourably in terms of performance and speed

◾️ A Large Recurrent Action Model: xLSTM enables Fast Inference for Robotics Tasks

#مقاله #ایده_جذاب #رباتیک

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

🎞️ لينك ويديو

🎛️📡يادگيري تقويتي يا همان Reinforcement Learning جز مباحثي هست كه خوب براي موضوع پايان نامه و جالب .

💾از جمله ديتاست هاي معروفش :

1. OpenAI Gym
2. DeepMind Control Suite
3. Atari Games
4. MuJoCo
5. Roboschool


📄از جمله مقالات براي اشنايي :

▪️ Deep Reinforcement Learning: An Overview” by Yuxi Li (2017)

▪️ A Survey on Reinforcement Learning Algorithms for Control and Decision-Making Problems

#کلاس_آموزشی #منابع #فیلم #یادگیری_تقویتی #پیشرفته #مقاله

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
💠 @Recomendersystem2023
🔸 @AI_Person

X-Portrait 2: SOTA(?) Portrait Animation

ByteDance unveils a preview of X-Portrait2, the new SOTA expression encoder model that implicitly encodes every minuscule expressions from the input by training it on large-scale datasets. Impressive results but no paper & code announced.

Paper ?
Project byteaigc.github.io/X-Portrait2/
Repo ?

خداحافظ Adam
با معرفی ADOPT بهتره Optimizer مدل‌های Deep Learning و LLM رو تغییر بدیم. مشکل اساسی Adam در واقع عدم تضمین convergence در فرآیند آپدیت وزن‌ها بود که در ADOPT حل شده. اما این برتری فقط در تئوری نیست و در عمل هم در اکثریت مسائل از جمله pretraining در GPT-2 بهتر بوده.

ایده اصلی و راه حل برای تضمین هم‌گرایی هم دو مورد هست:

۱_ حذف گرادیان کنونی از تخمین momentum دوم
۲_ نرمالایز کردن گرادیان قبل از آپدیت momentum

Paper
Github
کد:

from adopt import ADOPT
#optimizer = Adam(model.parameters(), lr=1e-3)
optimizer = ADOPT(model.parameters(), lr=1e-3)

Meta AI Researchers Introduce Mixture-of-Transformers (MoT): A Sparse Multi-Modal Transformer Architecture that Significantly Reduces Pretraining Computational Costs

FAIR at Meta and Stanford University researchers introduced a new architecture called Mixture-of-Transformers (MoT). The MoT, built as a sparse, multi-modal transformer, reduces computational demands by incorporating modality-specific parameters. Unlike traditional dense models that rely on uniform processing, MoT utilizes distinct components for each modality, text, image, and speech, allowing for modality-specific optimization without requiring additional model components. For example, MoT assigns unique feed-forward networks, attention matrices, and normalization layers to each modality while maintaining a unified attention mechanism across the entire input data sequence, enhancing processing efficiency and output accuracy.

The Mixture-of-Transformers framework leverages this sparse design by decoupling the model parameters according to modality, optimizing training and inference phases. For instance, MoT separates text, image, and speech parameters during a multi-modal task, applying customized processing layers for each. This process reduces the need for dense model layers to accommodate all modalities simultaneously. As a result, MoT achieves a balance of efficiency and effectiveness that traditional dense models lack. For instance, in tests involving text and image generation within the Chameleon 7B model, MoT delivered comparable results to dense baselines with only 55.8% of the FLOPs and even less 37.2% when integrating a third modality, such as speech. This efficiency gain translates to significant reductions in resource usage, which, in large-scale AI models, can lead to major cost savings...

Read the full article here: https://www.marktechpost.com/2024/11/13/meta-ai-researchers-introduce-mixture-of-transformers-mot-a-sparse-multi-modal-transformer-architecture-that-significantly-reduces-pretraining-computational-costs/

Paper: https://arxiv.org/abs/2411.04996

يادگيرى تقويتى براى شروع خوبه

یکی از پیپرهای برگزیده EMNLP 2024 که در پست بالا معرفی شد تسک جدیدی به نام Image Transcreation رو ابداع کرده. به این صورت که یک تصویر رو باید از یک فرهنگ به یک تصویر دیگه ترجمه کرد (مفهومی بخوایم مثال بزنیم مثلا تو زوتوپیا تو نسخه چینی اخبارگو پاندا بود ولی تو نسخه برزیلی پلنگ بود)

کار دیگه‌ای هم که کرده نشون داده که استفاده از LLM در ترجمه تصویری باعث کیفیت بهتر خروجی‌ها شده. کار دیگه هم این که نشون داده اپلیکیشن آموزشی هم می‌تونه داشته باشه.

پی‌نوشت: فارغ از این پیپر، این صورت مساله و نیازی که مطرحش کرده چیز جالبیه. فرض کنید ده سال دیگه صداسیما به همچین تکنولوژی دست پیدا کنه :)) یا در حالت بهترش هر کسی بتونه transcreation شخصی‌سازی شده خودش رو داشته باشه. یا اصلا فکر کنید روی AR‌ها همچین ماژولی متصل بشه.

◾️ An image speaks a thousand words, but can everyone listen? On image transcreation for cultural relevance


✅ @AI_DeepMind
🔸 @out_of_distribution
🔸 @AI_Person

RoPE embedding, from scratch with all the math

▪️RoFormer: Enhanced Transformer with Rotary Position Embedding
▪️ You could have designed state of the art positional encoding


#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

انتشار 100 میلیون #دیتاست از همه جا که همه فارسی هستن
▪️ DIVAN – Diverse Valuable NLP Dataset for PERSIAN

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

حدود یک میلیون دیتاست فارسی ویکیپدیا

https://huggingface.co/datasets/codersan/Persian-Wikipedia-Corpus

#دیتاست

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

نمونه ابزار های نمایش معماری شبکه های عصبی و مدل های دیپ لرنینگ:

✅ https://texample.net/tikz/examples/neural-network/

✅ https://github.com/HarisIqbal88/PlotNeuralNet

✅ https://github.com/lutzroeder/netron

✅ https://math.mit.edu/ennui/

✅ https://tikz.net/neural_networks/

✅ https://alexlenail.me/NN-SVG/LeNet.html

✅ https://github.com/martisak/dotnets

✅ https://github.com/gwding/draw_convnet

✅ https://github.com/szagoruyko/pytorchviz

✅ https://github.com/mert-kurttutan/torchview

✅ https://keras.io/api/utils/model_plotting_utils/

✅ https://github.com/viscom-ulm/Net2Vis

✅ https://github.com/mlajtos/moniel

اگر ابزارهای دیگه ای هم برای نمایش معماری شبکه های عصبی میشناسید لطفا زیر همین پست کامنت کنید.
#Deep_learning
#Neural_Network

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

چگونه دنیای ترنسفورمرها رو برای کار با داده های RL بهینه کنیم؟

▪️ Improving Transformer World Models for Data-Efficient RL

#مقاله #ایده_جذاب #یادگیری_تقویتی #بازی_سازی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

اين جالبه دوستان، پيشنهاد ميدم اين كتابخانه جديد اومده رو استفاده كنيد