بازگشت بعد از 30 سال، LSTM با قدرت برگشت!

⚠️ هفته گذشته یک مقاله ی جالبی منتشر شد. اگه محقق هستین پیشنهاد میشه حتما این مقاله رو دنبال کنید.

مدل #xLSTM ، نسخه جدیدی از #LSTM ، توسط Sepp Hochreiter، مخترع اصلی LSTM، منتشر شده که دارای نوآوری‌های مهمی هستش و در مقایسه با LSTM بهبودهای قابل توجهی داره، از جمله دروازه‌گذاری نمایی (sLSTM) و حافظه ماتریسی (mLSTM). این تغییرات باعث بهبود کارایی و عملکرد مدل شده.

رویکرد xLSTM میتونه رقیب مهمی برای #transformer باشه. اینا LSTM رو طوری توسعه دادن که قابلیت Scale شدن پیدا کنه. یعنی شبکه‌های LSTM بیلیون پارامتری هم داشته باشیم! مثل #LLM هایی که امروز استفاده میکنیم.

به‌صورت کلی، ساختار شبکه xLSTM در تصویر بالا نشون داده شده. سمت چپ که LSTM رو می‌بینید. با توسعه همون LSTM اصلی، دو تا Memory Cell با نام‌های sLSTM و mLSTM ساخته شده. وقتی sLSTM و mLSTM رو در ساختار Residual Block (همون شورتکات‌ها) قرار بدیم، xLSTM Block ساخته میشه. نهایتا با Stack کردن بلوک‌های xLSTM به معماری یا شبکه xLSTM می‌رسیم.
مقاله | گیتهاب | پیپرویدکد
@silicon_brain | از هوش مصنوعی عقب نمانید