سلام
اگر از اعضای کانال، کسی دو جلسه‌ی اول را موفق شده ضبط کنه، خیلی سپاس‌گزار می‌شوم تا به من پیام بدهند. متاسفانه این دو جلسه را موفق نشدیم ضبط کنیم. می‌خواهیم اگر شما ضبط کردید، منتشر کنیم.
راه ارتباطی:
@Moein_Salimi

🔔 اعلام برنامه جلسه‌ی چهارم ژورنال‌کلاب مدل‌های زبانی بزرگ

📚 موضوع: مروری بر روش‌های به‌کارگیری تکنیک‌های یادگیری تقویتی در مدل‌های زبانی بزرگ و برعکس
👤 ارائه‌دهنده: معین سلیمی
🗓 زمان: یک‌شنبه ۱۴۰۳/۰۷/۲۲، ساعت ۱۷:۰۰ تا ۱۸:۳۰
📍 مکان برگزاری: vc.sharif.edu/ch/mjafari
🔍 در این جلسه تکنیک‌های رایج در یادگیری تقویتی که برای بهبود کارایی مدل‌های زبانی بزرگ استفاده می‌شوند مرور خواهند شد. همچنین درباره‌ی استفاده از ظرفیت‌های مدل‌های زبانی بزرگ برای بهبود کارایی عامل‌های یادگیری تقویتی نیز گفتگو می‌کنیم.
منابع:
1. The RL/LLM Taxonomy Tree: Reviewing Synergies Between Reinforcement Learning and Large Language Models
2. Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL
3. Reward Design with Language Models
4. Guiding Pretraining in Reinforcement Learning with Large Language Models
از همه‌ی شما علاقه‌مندان به این زمینه دعوت می‌کنیم که در این جلسه شرکت کنید.

#LLM #LLM_JC #LLM_Club #RL
#INL_Lab

افزودن ژورنال‌کلاب هفتگی به تقویم گوگل:
https://calendar.app.google/VVfuY11Th79cxXXo8

متاسفانه جلسه‌ی امروز لغو شده و به هفته‌ی آینده یک‌شنبه موکول می‌شود.

جلسه‌ی امروز، ساعت ۱۷:۳۰ شروع می‌شود.

شروع جلسه

🔔 اعلام برنامه جلسه‌ی پنجم ژورنال‌کلاب مدل‌های زبانی بزرگ

📚 موضوع: یادگیری مدل‌های زبانی از اشتباهات با بازخورد کلامی به کمک یادگیری تقویتی
👤 ارائه‌دهنده: فرهان فرسی
🗓 زمان: یک‌شنبه ۱۴۰۳/۰۸/۰۶، ساعت ۱۷:۰۰ تا ۱۸:۳۰
📍 مکان برگزاری: vc.sharif.edu/ch/mjafari
🔍 این مقاله یک روش جدید به نام "بازتاب کلامی" (Reflexion) برای بهبود یادگیری مدل‌های زبانی بزرگ معرفی می‌کند. به جای تغییر وزن‌ها و آموزش مجدد مدل، این روش از بازخورد کلامی استفاده می‌کند. مدل پس از هر اشتباه، به صورت کلامی درباره آن فکر کرده و بازخوردی را به خود ارائه می‌دهد که در حافظه ذخیره می‌شود و در تلاش‌های بعدی تصمیمات بهتری می‌گیرد. این روش باعث بهبود عملکرد در وظایف مختلفی مانند برنامه‌نویسی، استدلال زبانی و تصمیم‌گیری‌ها شده و نیاز به آموزش مجدد مدل‌ها را کاهش می‌دهد.
🥡 منابع:
1. Reflexion: Language Agents with Verbal Reinforcement Learning
از همه‌ی شما علاقه‌مندان به این زمینه دعوت می‌کنیم که در این جلسه شرکت کنید.
📅 لینک افزودن ژورنال‌کلاب هفتگی به تقویم گوگل


#LLM #LLM_JC #LLM_Club #RL
#INL_Lab

سلام جلسه‌ی فردا لغو و به هفته‌ی آینده موکول می‌شود

گفتگوی زنده‌ی خانم دکتر مرضیه فدایی پیرامون مدل جدید آیا-اکسپنس، هم‌اکنون
https://www.youtube.com/live/AHFbAkX2e6o?si=KToT9eYEXADdTiY6

🔔 اعلام برنامه جلسه‌ی پنجم ژورنال‌کلاب مدل‌های زبانی بزرگ

📚 موضوع: روش‌های کارای فاین‌تیونینگ در مدل‌های زبانی بزرگ
👤 ارائه‌دهنده: معین سلیمی
🗓 زمان: یک‌شنبه ۱۴۰۳/۰۸/۱۳، ساعت ۱۷:۰۰ تا ۱۸:۳۰
📍 مکان برگزاری: vc.sharif.edu/ch/mjafari
🔍در این جلسه به بررسی و مرور برخی از روش‌های کارآمد فاین‌تیونیگ مدل‌های زبانی بزرگ می‌پردازیم. این روش‌ها که بسیار سریع‌تر از روش‌های فول‌فاین‌تیونیگ هستند، برای گستره‌ی وسیعی از تسک‌های زبان‌های طبیعی استفاده می‌شوند.
منابع:
1. https://arxiv.org/abs/2012.13255
2. https://arxiv.org/abs/2106.09685
3. https://arxiv.org/abs/2403.14608
از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.

#LLM #LLM_JC #LLM_Club #INL_Lab

جلسه با ده دقیقه تاخیر، و از ساعت ۱۷:۱۰ امروز آغاز می‌شود.

یادآوری
هم‌اکنون شروع جلسه...

از این پس ویدئوی ضبط‌شده‌ی جلسه‌های ژورنال‌کلاب در کانال یوتوب (LLM_JournalClub) قرار می‌گیرد. در حال حاضر جلسه‌های سوم و چهارم ژورنال‌کلاب در یوتیوب قرار داده شده و به مرور تکمیل می‌شود. نشانی ویدئوهای کانال یوتیوب:
https://www.youtube.com/@LLM_JournalClub/videos

🔔 اعلام برنامه جلسه‌ی ششم ژورنال‌کلاب مدل‌های زبانی بزرگ

📚 موضوع: رونمایی از LayerSkip؛ روش جدید Meta AI برای سرعت‌بخشی به فرآیند تولید توکن در مدل‌های زبانی بزرگ
👤 ارائه‌دهنده: معین سلیمی
🗓 زمان: یک‌شنبه ۱۴۰۳/۰۸/۲۰، ساعت ۱۸:۰۰ تا ۱۹:۳۰
🔍 در این جلسه، مقاله LayerSkip از پژوهشگران Meta AI را بررسی می‌کنیم؛ روشی نوآورانه که با ترکیب آموزش و حذف لایه‌ها، سرعت خروجی در مدل‌های زبانی بزرگ را افزایش می‌دهد. این راهکار امکان خروج زودهنگام از لایه‌ها را فراهم می‌کند و باعث کاهش هزینه‌های محاسباتی می‌شود بدون آنکه دقت مدل کاهش یابد.
منابع:
1. LayerSkip: Enabling Early Exit Inference and Self-Speculative Decoding
2. Fast Inference from Transformers via Speculative Decoding
از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.
افزودن رویداد به تقویم گوگل‌
کانال یوتیوب ژورنال‌کلاب

#LLM #LLM_JC #LLM_Club #INL_Lab

جلسه‌ی امروز لغو و هفته‌ی آینده برگزار می‌شود

یادآوری

جلسه متاسفانه با ده دقیقه تاخیر از ساعت ۱۸:۱۰ آغاز می‌شود

🔔 اعلام برنامه جلسه‌ی هفتم ژورنال‌کلاب مدل‌های زبانی بزرگ

📚 موضوع: بررسی پژوهش Self-Instruct
👤 سخنران مهمان: دکتر یگانه کردی
🗓 زمان: یک‌شنبه ۱۴۰۳/۰۹/۰۴، ساعت ۱۸:۰۰ تا ۱۹:۳۰
مکان برگزاری: vc.sharif.edu/ch/mjafari
🔍 در این جلسه میزبان دکتر یگانه کردی از دانشگاه Brown و از پژوهشگران اصلی پژوهش Self-Instruct هستیم. این مقاله روشی برای هم‌راستا کردن مدل‌های زبانی بزرگ (LLM) با استفاده از مجموعه‌ای از دستورالعمل‌های خودتولید شده ارائه داده است. این روش به مدل کمک می‌کند تا بدون نیاز به داده‌های برچسب‌خورده‌ی گسترده، قابلیت پاسخ‌دهی دقیق‌تر و منطبق‌تر با اهداف کاربر را به دست آورد.
منابع:
1. Self-Instruct: Aligning Language Models with Self-Generated Instructions
از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.
افزودن رویداد به تقویم گوگل‌
#LLM #LLM_JC #LLM_Club #INL_Lab

یادآوری

مکان برگزاری: vc.sharif.edu/ch/mjafari

🔔 اعلام برنامه جلسه‌ی هشتم ژورنال‌کلاب مدل‌های زبانی بزرگ

📚 موضوع: معماری دوگانه برای بهبود ایمنی و کارایی در مدل‌های زبانی بزرگ
👤 سخنران مهمان: دکتر شروین قاسملو از پژوهشگران ارشد هوش مصنوعی در شرکت متا
🗓 زمان: سه‌شنبه ۱۴۰۳/۰۹/۲۰، ساعت ۲۱:۳۰ تا ۲۳:۰۰
مکان برگزاری: vc.sharif.edu/ch/mjafari
🔍 در این جلسه، دکتر شروین قاسملو درباره‌ی معماری نوآورانه‌ی Doppelgänger صحبت خواهد کرد؛ روشی که به‌صورت همزمان به بهینه‌سازی ایمنی و مفید بودن مدل‌های زبانی بزرگ (LLM) می‌پردازد. این معماری با اضافه کردن یک ماژول موازی به مدل، ایمنی ورودی و خروجی را در لحظه‌ی تولید هر توکن پیش‌بینی می‌کند و نیاز به مدل‌های جداگانه برای ارزیابی ایمنی پس از تولید را حذف می‌کند. این رویکرد با استفاده از داده‌های کم، نتایجی دقیق‌تر و کارآمدتر ارائه می‌دهد و به بهبود سرعت و کاهش مصرف منابع منجر می‌شود.

منابع:
1. Doppelgänger’s Watch: A Split Objective Approach to Large Language Model
افزودن رویداد به تقویم گوگل‌
از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.
#LLM #LLM_JC #LLM_Club #INL_Lab