یک دوره بسیار ارزشمند برای علاقه‌مندان هوش مصنوعی:

دوره "مدل های بزرگ زبانی" یا "LLMs"

مدرسان: دکتر محمدحسین رهبان، دکتر مهدیه سلیمانی و دکتر  احسان‌الدین عسگری

کیفیت این دوره خیلی بالاست و به شکل جامعی به موارد متنوعی پرداخته از جمله معماری، تکنیک‌های آموزشی و کاربردهای مدل‌های زبانی بزرگ، #یادگیری_چندوجهی، فرآیند‌های جمع‌آوری داده و روش‌های #PEFT)

صفحه اصلی دوره شامل ویدیوهای کلاس، اسلایدها و تمرین‌ها:
sharif-llm.ir

سرفصل‌های دوره

ویدیوهای‌ دوره

#معرفی_دوره #course  #مبدل #سلیمانی #GPT_3 #مراجع #LLM #شریف #رهبان
#منابع  #Transformer

@ml_nlp_cv

بازگشت بعد از 30 سال، LSTM با قدرت برگشت!

⚠️ هفته گذشته یک مقاله ی جالبی منتشر شد. اگه محقق هستین پیشنهاد میشه حتما این مقاله رو دنبال کنید.

مدل #xLSTM ، نسخه جدیدی از #LSTM ، توسط Sepp Hochreiter، مخترع اصلی LSTM، منتشر شده که دارای نوآوری‌های مهمی هستش و در مقایسه با LSTM بهبودهای قابل توجهی داره، از جمله دروازه‌گذاری نمایی (sLSTM) و حافظه ماتریسی (mLSTM). این تغییرات باعث بهبود کارایی و عملکرد مدل شده.

رویکرد xLSTM میتونه رقیب مهمی برای #transformer باشه. اینا LSTM رو طوری توسعه دادن که قابلیت Scale شدن پیدا کنه. یعنی شبکه‌های LSTM بیلیون پارامتری هم داشته باشیم! مثل #LLM هایی که امروز استفاده میکنیم.

به‌صورت کلی، ساختار شبکه xLSTM در تصویر بالا نشون داده شده. سمت چپ که LSTM رو می‌بینید. با توسعه همون LSTM اصلی، دو تا Memory Cell با نام‌های sLSTM و mLSTM ساخته شده. وقتی sLSTM و mLSTM رو در ساختار Residual Block (همون شورتکات‌ها) قرار بدیم، xLSTM Block ساخته میشه. نهایتا با Stack کردن بلوک‌های xLSTM به معماری یا شبکه xLSTM می‌رسیم.
مقاله | گیتهاب | پیپرویدکد
@silicon_brain | از هوش مصنوعی عقب نمانید

راهنمای تصمیم درباره Tune کردن یا Tune نکردن داده ها

https://cloud.google.com/blog/products/ai-machine-learning/to-tune-or-not-to-tune-a-guide-to-leveraging-your-data-with-llms

#LLM
#Google