X-Portrait 2: SOTA(?) Portrait Animation

ByteDance unveils a preview of X-Portrait2, the new SOTA expression encoder model that implicitly encodes every minuscule expressions from the input by training it on large-scale datasets. Impressive results but no paper & code announced.

Paper ?
Project byteaigc.github.io/X-Portrait2/
Repo ?

خداحافظ Adam
با معرفی ADOPT بهتره Optimizer مدل‌های Deep Learning و LLM رو تغییر بدیم. مشکل اساسی Adam در واقع عدم تضمین convergence در فرآیند آپدیت وزن‌ها بود که در ADOPT حل شده. اما این برتری فقط در تئوری نیست و در عمل هم در اکثریت مسائل از جمله pretraining در GPT-2 بهتر بوده.

ایده اصلی و راه حل برای تضمین هم‌گرایی هم دو مورد هست:

۱_ حذف گرادیان کنونی از تخمین momentum دوم
۲_ نرمالایز کردن گرادیان قبل از آپدیت momentum

Paper
Github
کد:

from adopt import ADOPT
#optimizer = Adam(model.parameters(), lr=1e-3)
optimizer = ADOPT(model.parameters(), lr=1e-3)

Meta AI Researchers Introduce Mixture-of-Transformers (MoT): A Sparse Multi-Modal Transformer Architecture that Significantly Reduces Pretraining Computational Costs

FAIR at Meta and Stanford University researchers introduced a new architecture called Mixture-of-Transformers (MoT). The MoT, built as a sparse, multi-modal transformer, reduces computational demands by incorporating modality-specific parameters. Unlike traditional dense models that rely on uniform processing, MoT utilizes distinct components for each modality, text, image, and speech, allowing for modality-specific optimization without requiring additional model components. For example, MoT assigns unique feed-forward networks, attention matrices, and normalization layers to each modality while maintaining a unified attention mechanism across the entire input data sequence, enhancing processing efficiency and output accuracy.

The Mixture-of-Transformers framework leverages this sparse design by decoupling the model parameters according to modality, optimizing training and inference phases. For instance, MoT separates text, image, and speech parameters during a multi-modal task, applying customized processing layers for each. This process reduces the need for dense model layers to accommodate all modalities simultaneously. As a result, MoT achieves a balance of efficiency and effectiveness that traditional dense models lack. For instance, in tests involving text and image generation within the Chameleon 7B model, MoT delivered comparable results to dense baselines with only 55.8% of the FLOPs and even less 37.2% when integrating a third modality, such as speech. This efficiency gain translates to significant reductions in resource usage, which, in large-scale AI models, can lead to major cost savings...

Read the full article here: https://www.marktechpost.com/2024/11/13/meta-ai-researchers-introduce-mixture-of-transformers-mot-a-sparse-multi-modal-transformer-architecture-that-significantly-reduces-pretraining-computational-costs/

Paper: https://arxiv.org/abs/2411.04996

يادگيرى تقويتى براى شروع خوبه

یکی از پیپرهای برگزیده EMNLP 2024 که در پست بالا معرفی شد تسک جدیدی به نام Image Transcreation رو ابداع کرده. به این صورت که یک تصویر رو باید از یک فرهنگ به یک تصویر دیگه ترجمه کرد (مفهومی بخوایم مثال بزنیم مثلا تو زوتوپیا تو نسخه چینی اخبارگو پاندا بود ولی تو نسخه برزیلی پلنگ بود)

کار دیگه‌ای هم که کرده نشون داده که استفاده از LLM در ترجمه تصویری باعث کیفیت بهتر خروجی‌ها شده. کار دیگه هم این که نشون داده اپلیکیشن آموزشی هم می‌تونه داشته باشه.

پی‌نوشت: فارغ از این پیپر، این صورت مساله و نیازی که مطرحش کرده چیز جالبیه. فرض کنید ده سال دیگه صداسیما به همچین تکنولوژی دست پیدا کنه :)) یا در حالت بهترش هر کسی بتونه transcreation شخصی‌سازی شده خودش رو داشته باشه. یا اصلا فکر کنید روی AR‌ها همچین ماژولی متصل بشه.

◾️ An image speaks a thousand words, but can everyone listen? On image transcreation for cultural relevance


✅ @AI_DeepMind
🔸 @out_of_distribution
🔸 @AI_Person

RoPE embedding, from scratch with all the math

▪️RoFormer: Enhanced Transformer with Rotary Position Embedding
▪️ You could have designed state of the art positional encoding


#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

انتشار 100 میلیون #دیتاست از همه جا که همه فارسی هستن
▪️ DIVAN – Diverse Valuable NLP Dataset for PERSIAN

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

حدود یک میلیون دیتاست فارسی ویکیپدیا

https://huggingface.co/datasets/codersan/Persian-Wikipedia-Corpus

#دیتاست

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

نمونه ابزار های نمایش معماری شبکه های عصبی و مدل های دیپ لرنینگ:

✅ https://texample.net/tikz/examples/neural-network/

✅ https://github.com/HarisIqbal88/PlotNeuralNet

✅ https://github.com/lutzroeder/netron

✅ https://math.mit.edu/ennui/

✅ https://tikz.net/neural_networks/

✅ https://alexlenail.me/NN-SVG/LeNet.html

✅ https://github.com/martisak/dotnets

✅ https://github.com/gwding/draw_convnet

✅ https://github.com/szagoruyko/pytorchviz

✅ https://github.com/mert-kurttutan/torchview

✅ https://keras.io/api/utils/model_plotting_utils/

✅ https://github.com/viscom-ulm/Net2Vis

✅ https://github.com/mlajtos/moniel

اگر ابزارهای دیگه ای هم برای نمایش معماری شبکه های عصبی میشناسید لطفا زیر همین پست کامنت کنید.
#Deep_learning
#Neural_Network

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

چگونه دنیای ترنسفورمرها رو برای کار با داده های RL بهینه کنیم؟

▪️ Improving Transformer World Models for Data-Efficient RL

#مقاله #ایده_جذاب #یادگیری_تقویتی #بازی_سازی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

اين جالبه دوستان، پيشنهاد ميدم اين كتابخانه جديد اومده رو استفاده كنيد

این انیمیشن بامزه‌ی "‌آلبرت" یکی از بهترین محتواهاییه که راجع به آموزش هوش مصنوعی دیدم. توی این ویدیو با یه کاراکتر خیلی ساده و با یه نریتیو فوق‌العاده، "یادگیری تقویتی" یا همون Reinforcement Learning رو توضیح میده.

اینکه چطوری با چیدن یکسری مراحل حساب شده یک ایجنت خشک و خالی و بدون هوش رو آموزش بدیم که راه رفتن یاد بگیره. توی الگوریتمهای RL هر وقت ایجنت به انتهای یک مرحله از بازی میرسه، بهش پاداش یا reward میدیم و با این کار به مرور خودش میفهمه چه مسیری رو باید طی کنه تا پاداش بیشتری دریافت کنه.

این حوزه از نظر من یکی از زیبایی‌های هوش مصنوعیه ولی هنوز به اندازه کافی توی زمینه‌های مختلف بکار گیری نشده.
@zankoo_ai

اگر دوست دارید از این ویدئوهای شبیه‌سازی‌ یادگیری تقویتی بیشتر ببینید این کانال یوتوب رو پیشنهاد می‌کنم:

https://youtube.com/@aiwarehouse

#ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

How to use LLMs with Andrej Karpathy.
https://youtu.be/EWvNQjAaOHw?si=95cyM-wGMMSD6LnE

زن، معجزه‌ایست، مثل نور برای تاریکی، راه برای تردید و جان برای جهانی خسته.

روز جهانی زن مبارک☀️

کتاب معروف Hands-on ML پایتورچ منتشر شد!
🔗 link