🔔 اعلام برنامه جلسه‌ی پنجم ژورنال‌کلاب مدل‌های زبانی بزرگ

📚 موضوع: یادگیری مدل‌های زبانی از اشتباهات با بازخورد کلامی به کمک یادگیری تقویتی
👤 ارائه‌دهنده: فرهان فرسی
🗓 زمان: یک‌شنبه ۱۴۰۳/۰۸/۰۶، ساعت ۱۷:۰۰ تا ۱۸:۳۰
📍 مکان برگزاری: vc.sharif.edu/ch/mjafari
🔍 این مقاله یک روش جدید به نام "بازتاب کلامی" (Reflexion) برای بهبود یادگیری مدل‌های زبانی بزرگ معرفی می‌کند. به جای تغییر وزن‌ها و آموزش مجدد مدل، این روش از بازخورد کلامی استفاده می‌کند. مدل پس از هر اشتباه، به صورت کلامی درباره آن فکر کرده و بازخوردی را به خود ارائه می‌دهد که در حافظه ذخیره می‌شود و در تلاش‌های بعدی تصمیمات بهتری می‌گیرد. این روش باعث بهبود عملکرد در وظایف مختلفی مانند برنامه‌نویسی، استدلال زبانی و تصمیم‌گیری‌ها شده و نیاز به آموزش مجدد مدل‌ها را کاهش می‌دهد.
🥡 منابع:
1. Reflexion: Language Agents with Verbal Reinforcement Learning
از همه‌ی شما علاقه‌مندان به این زمینه دعوت می‌کنیم که در این جلسه شرکت کنید.
📅 لینک افزودن ژورنال‌کلاب هفتگی به تقویم گوگل


#LLM #LLM_JC #LLM_Club #RL
#INL_Lab

سلام جلسه‌ی فردا لغو و به هفته‌ی آینده موکول می‌شود

گفتگوی زنده‌ی خانم دکتر مرضیه فدایی پیرامون مدل جدید آیا-اکسپنس، هم‌اکنون
https://www.youtube.com/live/AHFbAkX2e6o?si=KToT9eYEXADdTiY6

🔔 اعلام برنامه جلسه‌ی پنجم ژورنال‌کلاب مدل‌های زبانی بزرگ

📚 موضوع: روش‌های کارای فاین‌تیونینگ در مدل‌های زبانی بزرگ
👤 ارائه‌دهنده: معین سلیمی
🗓 زمان: یک‌شنبه ۱۴۰۳/۰۸/۱۳، ساعت ۱۷:۰۰ تا ۱۸:۳۰
📍 مکان برگزاری: vc.sharif.edu/ch/mjafari
🔍در این جلسه به بررسی و مرور برخی از روش‌های کارآمد فاین‌تیونیگ مدل‌های زبانی بزرگ می‌پردازیم. این روش‌ها که بسیار سریع‌تر از روش‌های فول‌فاین‌تیونیگ هستند، برای گستره‌ی وسیعی از تسک‌های زبان‌های طبیعی استفاده می‌شوند.
منابع:
1. https://arxiv.org/abs/2012.13255
2. https://arxiv.org/abs/2106.09685
3. https://arxiv.org/abs/2403.14608
از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.

#LLM #LLM_JC #LLM_Club #INL_Lab

جلسه با ده دقیقه تاخیر، و از ساعت ۱۷:۱۰ امروز آغاز می‌شود.

یادآوری
هم‌اکنون شروع جلسه...

از این پس ویدئوی ضبط‌شده‌ی جلسه‌های ژورنال‌کلاب در کانال یوتوب (LLM_JournalClub) قرار می‌گیرد. در حال حاضر جلسه‌های سوم و چهارم ژورنال‌کلاب در یوتیوب قرار داده شده و به مرور تکمیل می‌شود. نشانی ویدئوهای کانال یوتیوب:
https://www.youtube.com/@LLM_JournalClub/videos

🔔 اعلام برنامه جلسه‌ی ششم ژورنال‌کلاب مدل‌های زبانی بزرگ

📚 موضوع: رونمایی از LayerSkip؛ روش جدید Meta AI برای سرعت‌بخشی به فرآیند تولید توکن در مدل‌های زبانی بزرگ
👤 ارائه‌دهنده: معین سلیمی
🗓 زمان: یک‌شنبه ۱۴۰۳/۰۸/۲۰، ساعت ۱۸:۰۰ تا ۱۹:۳۰
🔍 در این جلسه، مقاله LayerSkip از پژوهشگران Meta AI را بررسی می‌کنیم؛ روشی نوآورانه که با ترکیب آموزش و حذف لایه‌ها، سرعت خروجی در مدل‌های زبانی بزرگ را افزایش می‌دهد. این راهکار امکان خروج زودهنگام از لایه‌ها را فراهم می‌کند و باعث کاهش هزینه‌های محاسباتی می‌شود بدون آنکه دقت مدل کاهش یابد.
منابع:
1. LayerSkip: Enabling Early Exit Inference and Self-Speculative Decoding
2. Fast Inference from Transformers via Speculative Decoding
از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.
افزودن رویداد به تقویم گوگل‌
کانال یوتیوب ژورنال‌کلاب

#LLM #LLM_JC #LLM_Club #INL_Lab

جلسه‌ی امروز لغو و هفته‌ی آینده برگزار می‌شود

یادآوری

جلسه متاسفانه با ده دقیقه تاخیر از ساعت ۱۸:۱۰ آغاز می‌شود

🔔 اعلام برنامه جلسه‌ی هفتم ژورنال‌کلاب مدل‌های زبانی بزرگ

📚 موضوع: بررسی پژوهش Self-Instruct
👤 سخنران مهمان: دکتر یگانه کردی
🗓 زمان: یک‌شنبه ۱۴۰۳/۰۹/۰۴، ساعت ۱۸:۰۰ تا ۱۹:۳۰
مکان برگزاری: vc.sharif.edu/ch/mjafari
🔍 در این جلسه میزبان دکتر یگانه کردی از دانشگاه Brown و از پژوهشگران اصلی پژوهش Self-Instruct هستیم. این مقاله روشی برای هم‌راستا کردن مدل‌های زبانی بزرگ (LLM) با استفاده از مجموعه‌ای از دستورالعمل‌های خودتولید شده ارائه داده است. این روش به مدل کمک می‌کند تا بدون نیاز به داده‌های برچسب‌خورده‌ی گسترده، قابلیت پاسخ‌دهی دقیق‌تر و منطبق‌تر با اهداف کاربر را به دست آورد.
منابع:
1. Self-Instruct: Aligning Language Models with Self-Generated Instructions
از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.
افزودن رویداد به تقویم گوگل‌
#LLM #LLM_JC #LLM_Club #INL_Lab

یادآوری

مکان برگزاری: vc.sharif.edu/ch/mjafari

🔔 اعلام برنامه جلسه‌ی هشتم ژورنال‌کلاب مدل‌های زبانی بزرگ

📚 موضوع: معماری دوگانه برای بهبود ایمنی و کارایی در مدل‌های زبانی بزرگ
👤 سخنران مهمان: دکتر شروین قاسملو از پژوهشگران ارشد هوش مصنوعی در شرکت متا
🗓 زمان: سه‌شنبه ۱۴۰۳/۰۹/۲۰، ساعت ۲۱:۳۰ تا ۲۳:۰۰
مکان برگزاری: vc.sharif.edu/ch/mjafari
🔍 در این جلسه، دکتر شروین قاسملو درباره‌ی معماری نوآورانه‌ی Doppelgänger صحبت خواهد کرد؛ روشی که به‌صورت همزمان به بهینه‌سازی ایمنی و مفید بودن مدل‌های زبانی بزرگ (LLM) می‌پردازد. این معماری با اضافه کردن یک ماژول موازی به مدل، ایمنی ورودی و خروجی را در لحظه‌ی تولید هر توکن پیش‌بینی می‌کند و نیاز به مدل‌های جداگانه برای ارزیابی ایمنی پس از تولید را حذف می‌کند. این رویکرد با استفاده از داده‌های کم، نتایجی دقیق‌تر و کارآمدتر ارائه می‌دهد و به بهبود سرعت و کاهش مصرف منابع منجر می‌شود.

منابع:
1. Doppelgänger’s Watch: A Split Objective Approach to Large Language Model
افزودن رویداد به تقویم گوگل‌
از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.
#LLM #LLM_JC #LLM_Club #INL_Lab

یادآوری

🔔 اعلام برنامه جلسه‌ی نهم ژورنال‌کلاب مدل‌های زبانی بزرگ

📚 موضوع: مروری بر برخی از نوآوری‌های اخیر در رگ و چالش‌های آن‌ها
👤 ارائه‌دهنده: حانیه سرتیپی
🗓 زمان: یک‌شنبه ۱۴۰۳/۰۹/۲۵، ساعت ۱۸:۰۰ تا ۱۹:۳۰
مکان برگزاری: vc.sharif.edu/ch/mjafari
🔍 در ارائه‌ی این هفته، روش‌های جدید برای بهبود رگ را بررسی می‌کنیم.
بحث‌ها شامل موارد زیر خواهند بود: اصلاح خطاهای مدل با استفاده از داده‌های بازیابی‌شده، نقد خودکار برای ارتقای کیفیت پاسخ‌ها، و بهینه‌سازی پرس‌وجوها برای دستیابی به پاسخ‌های دقیق‌تر.
منابع:
1. Corrective Retrieval Augmented Generation
2. Self-RAG: Learning to Retrieve, Generate, and Critique Through Self-Reflection
3. RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation
افزودن رویداد به تقویم گوگل‌
از همه‌ی شما دعوت می‌کنیم که در این جلسه‌ شرکت کنید.
#LLM #LLM_JC #LLM_Club #INL_Lab

یادآوری

🔔 اعلام برنامه جلسه‌ی دهم ژورنال‌کلاب مدل‌های زبانی بزرگ

📚 موضوع: انتساب مقیاس‌پذیر رفتار مدل‌های زبانی بزرگ به منابع داده و نورون‌ها
👤 سخنران مهمان: دکتر طاها بهادری، پژوهشگر ارشد یادگیری ماشین در آمازون و عضو هیئت علمی وابسته دانشگاه واشنگتن
🗓 زمان: یک‌شنبه ۱۴۰۳/۱۰/۰۹، ساعت ۱۹:۰۰ تا ۲۰:۳۰
مکان برگزاری: vc.sharif.edu/ch/mjafari
🔍 در این جلسه، دکتر طاها بهادری، به معرفی روش‌های نوین برای بررسی و تحلیل رفتار مدل‌های زبانی بزرگ خواهند پرداخت. این ارائه بر روی چگونگی نسبت دادن رفتار این مدل‌ها به داده‌های آموزشی و سازوکارهای داخلی (مانند نورون‌ها) تمرکز خواهد کرد. همچنین، از مفاهیم یادگیری درون‌متنی (In-Context Learning) برای انتساب سریع داده‌های آموزشی استفاده خواهد شد.
برخی از منابع مرتبط با جلسه:
1. Fast Training Dataset Attribution via In-Context Learning

افزودن رویداد به تقویم گوگل‌
کانال یوتیوب ژورنال‌کلاب
از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.
#LLM #LLM_JC #LLM_Club #INL_Lab

یادآوری

🔔 اعلام برنامه جلسه‌ی یازدهم ژورنال‌کلاب مدل‌های زبانی بزرگ

📚 موضوع: «بهبود قدرت استدلال در مدل‌های زبانی بزرگ»؛ بررسی شش پژوهش پذیرفته شده در آی‌سی‌ام‌ال ۲۰۲۴
👤 ارائه‌دهنده: معین سلیمی
🗓 زمان: یک‌شنبه ۱۴۰۳/۱۰/۱۶، ساعت ۱۸:۰۰ تا ۱۹:۳۰
مکان برگزاری: vc.sharif.edu/ch/mjafari
🔍 در این جلسه، پنج مقاله مرتبط با «استدلال» در مدل‌های زبانی بزرگ که در کنفرانس آی‌سی‌ام‌ال ۲۰۲۴ پذیرفته شده‌اند بررسی خواهند شد.
منابع:
1. NExT: Teaching Large Language Models to Reason about Code Execution
2. Premise Order Matters in Reasoning with Large Language Models
3. Improving Factuality and Reasoning in Language Models through Multiagent Debate
4. Chain of Code: Reasoning with a Language Model-Augmented Code Emulator
5. MathScale: Scaling Instruction Tuning for Mathematical Reasoning
6. language Agent Tree Search Unifies Reasoning, Acting, and Planning in Language Models

کانال یوتیوب ژورنال‌کلاب (اسلایدها و ویدئوها)
افزودن رویداد به تقویم گوگل‌
از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.
#LLM #LLM_JC #LLM_Club #INL_Lab #Reasoning