🔔 اعلام برنامه جلسه‌ی سیزدهم ژورنال‌کلاب مدل‌های زبانی بزرگ

📚 موضوع
Multi-Modal Agents: Memory, Tool Use and Reasoning
👤 سخنران مهمان: دکتر علی‌رضا فتحی، رهبر تیم در گوگل دیپ‌مایند، پژوهشگر پیشین هوش مصنوعی در اپل و پژوهشگر پیشین در دانشگاه استنفورد
🗓 زمان: یک‌شنبه ۱۴۰۳/۱۱/۱۴، ساعت ۲۱:۳۰ تا ۲۳:۰۰
مکان برگزاری: vc.sharif.edu/ch/mjafari
🔍 در این جلسه، دکتر علی‌رضا فتحی به بررسی چالش‌ها، پیشرفت‌ها و کاربردهای اخیر در حوزه مالتی‌مدال‌ها خواهند پرداخت. ایشان موضوعاتی مانند نقش حافظه در مالتی‌مدال‌ها، استفاده از ابزارهای مختلف و قابلیت استدلال این مدل‌ها را پوشش می‌دهند.

افزودن رویداد به تقویم گوگل‌
کانال یوتیوب ژورنال‌کلاب
از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.
#LLM #LLM_JC #LLM_Club #INL_Lab
@LLM_JC

یادآوری

ویدیوی جلسه‌های پیشین باشگاه مدل‌های زبانی بزرگ:
جلسه‌ی ۱. پرسش و پاسخ آزاد - دکتر علی اسلامی (ضبط نشده)
جلسه‌ی ۲. بهبود قدرت استدلال در مدل‌های زبانی بزرگ (اِستار و وی‌اِستار) - معین سلیمی (ضبط نشده)
جلسه‌ی ۳. مدل‌های زبانی چندزبانه؛ چرا و چگونه؟ - دکتر مرضیه فدایی
جلسه‌ی ۴. مروری بر روش‌های به‌کارگیری تکنیک‌های یادگیری تقویتی در مدل‌های زبانی بزرگ و برعکس - معین سلیمی
جلسه‌ی ۵. روش‌های کارای فاین‌تیونینگ در مدل‌های زبانی بزرگ - معین سلیمی
جلسه‌ی ۶. رونمایی از LayerSkip؛ روش جدید متا اِی‌آی برای سرعت‌بخشی به فرآیند تولید توکن در مدل‌های زبانی بزرگ - معین سلیمی
جلسه‌ی ۷. بررسی پژوهش Self-Instruct - یگانه کردی
جلسه‌ی ۸. معماری دوگانه برای بهبود ایمنی و کارایی در مدل‌های زبانی بزرگ - شروین قاسملو
جلسه‌ی ۹. مروری بر برخی از نوآوری‌های اخیر در رگ و چالش‌های آن‌ها - حانیه سرتیپی
جلسه‌ی ۱۰. انتساب مقیاس‌پذیر رفتار مدل‌های زبانی بزرگ به منابع داده و نورون‌ها - طاها بهادری
جلسه‌ی ۱۱. «بهبود قدرت استدلال در مدل‌های زبانی بزرگ»؛ بررسی شش پژوهش پذیرفته شده در آی‌سی‌ام‌ال ۲۰۲۴ - معین سلیمی
جلسه‌ی ۱۲. بررسی دو پژوهش مالتی‌مدال: مالمو و پیکسمو - محمدرضا صالحی (ضبط‌نشده‌‌)
جلسه‌ی ۱۳. عامل‌های مالتی‌مدال‌: استدلال، استفاده از ابزار و حافظه - علی‌رضا فتحی
جلسه‌ی ١۴. نحوه‌ی ساخت و آموزش مدل‌های زبانی چندزبانه و به طور خاص مدل Aya-expanse - دکتر مرضیه فدایی
جلسه‌ی ١۵. دیپ‌سیک دقیقا چگونه کار می‌کند؟ - دکتر محمدحسین رهبان
جلسه‌ی ١۶. عامل‌های هوشمند؛ تشخیص کلاهبرداری - دکتر منصوره کرمی (ضبط نشده)
جلسه‌ی ١٧. سامانه‌های توصیه‌گر بر پایه‌ی مدل‌های مولد - دکتر یاشار دلجو
جلسه‌ی ١٨. مروری سیستماتیک بر روش‌های پرامپتینگ در پردازش زبان طبیعی - رومینا اعتضادی
جلسه‌ی ۱۹. درس‌هایی از دیپ‌سیک: بهبود مشکلات دیپ‌سیک با روش DAPO - معین سلیمی
جلسه‌ی ۲۰. بهبود خودکار مدل‌های زبانی بزرگ با تخیل، جستجو و نقد هوشمندانه - فاطمه شاه‌حسینی
جلسه‌ی ۲۱. مواجهه‌ی مدل‌های زبانی با سوال‌های باز (Open-Ended Questions)؛ ارزیابی مدل‌های زبانی بزرگ در استدلال‌های انسان‌گونه - معین سلیمی
جلسه‌ی ٢٢. استدلال معکوس (Abductive Reasoning) در مدل‌های زبانی: تحلیل عملکرد آن‌ها در پرسش‌های چندگزینه‌ای و فرایندهای تشخیص پزشکی - معین سلیمی
جلسه‌ی ٢٣. آیا «شبکه‌های بازگشتی ساده‌شده» می‌توانند جایگزینی برای ترنسفورمر در مدل‌های زبانی بزرگ باشند؟ - دکتر حسین حاجی‌میرصادقی
جلسه‌ی ۲۴. مروری سیستماتیک بر کاربرد مدل‌های زبانی بزرگ در پژوهش علمی و ایده‌پردازی ـ معین سلیمی
جلسه‌ی ۲۵. بازتعریف معیارهای ارزیابی مدل‌های چندزبانی بزرگ - Julia Kreutzer
جلسه‌ی ۲۶. بررسی قدرت استدلال مدل‌های زبانی بزرگ در زمان تست - دکتر مهدی رضاقلی‌زاده (ضبط نشده)
جلسه‌ی ۲۷. آیا بهبود استدلال ریاضی، قابلیت‌های عمومی مدل‌های زبانی را بهبود می‌بخشد؟ – بررسی قابلیت انتقال استدلال در ال‌ال‌ام‌ها - معین سلیمی
جلسه‌ی ۲۸. بهبود یادگیری قوانین در مدل‌های زبانی بزرگ با بهره‌گیری از استنتاج استقرایی، قیاسی و ربایشی -شایگان ادیم
جلسه‌ی ۲۹. بررسی AlphaEvolve - نیما علیقارداشی
جلسه‌ی ٣٠. مدل استدلال سلسله‌مراتبی - یوسف میریوسفی
جلسه‌ی ٣١. برآورد عدم قطعیت در شبکه‌های عمیق - دکتر یاسین عباسی
این لیست به‌روز می‌شود.

🔔 اعلام برنامه جلسه‌ی چهاردهم باشگاه مدل‌های زبانی بزرگ

📚 موضوع: نحوه‌ی ساخت و آموزش مدل‌های زبانی چندزبانه و به طور خاص مدل Aya-expanse
👤 سخنران مهمان: دکتر مرضیه فدایی، پژوهشگر ارشد هوش مصنوعی در شرکت Cohere
🗓 زمان: یک‌شنبه ۱۴۰۳/۱۱/۲۸، ساعت ۱۹:۳۰ تا ۲۱:٠٠
مکان برگزاری: vc.sharif.edu/ch/mjafari
🔍 مدل زبانی آیا-اکسپنس یک مدل چندزبانه بزرگ است که توسط تیم Cohere For AI توسعه یافته و از ۲۳ زبان مختلف از جمله فارسی پشتیبانی می‌کند. این مدل با استفاده از تکنیک‌های پیشرفته‌ای مانند داوری داده، آموزش با ترجیح چندزبانه، تنظیمات ایمنی و ترکیب مدل‌ها، عملکرد بالایی را در پردازش زبان‌های مختلف ارائه می‌دهد. هدف از توسعه ایا-اکسپنس، ارائه یک مدل چندزبانه با کیفیت بالا برای استفاده پژوهشگران در سراسر جهان است. طبق معیارها و سنجه‌های مختلف (از جمله این سنجه) مدل آیا-اکسپنس کیفیت خوبی بر روی زبان فارسی نیز دارد.

لینک یوتیوب ‌(ویدئو و اسلاید جلسه‌ها)
افزودن رویداد به تقویم گوگل‌
توییتر

از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.
#LLM #LLM_JC #LLM_Club #INL_Lab #Aya_Expanse
@LLM_JC

یادآوری

🔔 برگزاری جلسه‌ی پانزدهم باشگاه مدل‌های زبانی بزرگ (به صورت حضوری و مجازی)

📚 موضوع: دیپ‌سیک دقیقا چگونه کار می‌کند؟
👤 سخنران: دکتر محمدحسین رهبان
🗓 زمان: چهارشنبه ۱۴۰۳/۱۲/۰۸، ساعت ۱۳:۰۰ تا ۱۴:۱۵
مکان برگزاری
لینک مجازی: http://vc.sharif.edu/mjafari
حضوری: اتاق ۲۰۳ دانشکده‌ی کامپیوتر
🔍 در این مقاله، نویسندگان با به‌کارگیری یک رویکرد نوین بر پایه‌ی یادگیری تقویتی خالص، بدون اتکا به تنظیم اولیه نظارتی، امکان تولید خودکار زنجیره‌های تفکر (Chain‑of‑Thought) را برای مدل‌های زبانی فراهم می‌کنند. سپس، با کمک داده‌های نظارت‌شده‌ی کوچکی، برای بهبود ثبات و خوانایی خروجی‌ها و به‌کارگیری تکنیک GRPO برای بهینه‌سازی فرآیند یادگیری، مشکلات مرتبط با خوانایی پایین و انسجام متن‌های تولیدی برطرف می‌شوند. افزون بر این، در این مقاله روند تقطیر توانایی‌های استدلال مدل‌های بزرگ به مدل‌های فشرده‌تر نیز ارائه شده است که این انتقال، کارایی مدل‌های کوچک‌تر را افزایش داده و دامنه‌ی کاربردهای آن‌ها را به‌طور قابل توجهی گسترش می‌دهد.
منابع:
1. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
2. DeepSeek-V3 Technical Report

یوتیوب (ویدئو و اسلاید جلسه‌ها)
توییتر
افزودن رویداد به تقویم گوگل‌


از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.

#LLM_Club #INL_Lab #DeepSeek
@LLM_JC

🔔 برگزاری جلسه‌ی شانزدهم باشگاه مدل‌های زبانی بزرگ

📚 موضوع: کدام هدهای توجه در یادگیری درون‌متنی (ICL) اهمیت دارند؟
👤 ارائه‌دهنده: معین سلیمی
🗓 زمان: یک‌شنبه ۱۴۰۳/۱۲/۱۲، ساعت ۱۹:۳۰ تا ۲۱:۰۰
📍 مکان برگزاری: vc.sharif.edu/mjafari
🔍 این پژوهش بررسی می‌کند که در مدل‌های زبانی بزرگ، بردارهای کارکردی (FV) نقش کلیدی‌تری نسبت به هدهای القایی (Induction Heads) در یادگیری درون‌متنی دارند. برخلاف تصور پیشین، حذف این بردارها کاهش چشمگیری در دقت مدل ایجاد می‌کند، در حالی که حذف هدهای القایی تأثیر چندانی ندارد. همچنین، یافته‌ها نشان می‌دهند که بسیاری از بردارهای کارکردی در ابتدا به‌صورت هدهای القایی عمل کرده و در طول آموزش تکامل می‌یابند. این نتایج دیدگاه جدیدی درباره‌ی نحوه‌ی یادگیری مدل‌های زبانی ارائه می‌دهد.
📄 منابع:
1. Which Attention Heads Matter for In-Context Learning?
2. Interpreting Context Look-ups in Transformers: Attention-MLP Interactions
3. In-Context Learning Creates Task Vectors
4. In-context Learning and Induction Heads

یوتیوب (ویدئو و اسلاید جلسه‌ها)
توییتر
افزودن رویداد به تقویم گوگل‌

از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.

#LLM_Club #ICL
@LLM_CLUB

ویدئوی جلسه‌های ۱۴ و ۱۵ بارگذاری شده و لیست بالا به‌روزرسانی شده است.

جلسه‌ی امروز لغو می‌شود و در هفته‌های آینده برگزار خواهد شد.

🔔 برگزاری جلسه‌ی شانزدهم باشگاه مدل‌های زبانی بزرگ

📚 موضوع: عامل‌های هوشمند؛ تشخیص کلاهبرداری
👤 سخنران: دکتر منصوره کرمی، پژوهشگر هوش مصنوعی در مایکروسافت و پژوهشگر پیشین در اسپاتیفای و دانشگاه آریزونا
🗓 زمان: یک‌شنبه ۱۴۰۳/۱۲/۱۹، ساعت ۱۹:۳۰ تا ۲۱:۰۰
📍 مکان برگزاری: vc.sharif.edu/mjafari
🔍 در این جلسه به مرور عامل‌های مبتنی بر مدل‌های زبانی بزرگ پرداخته می‌شود و سناریوهای رایج برای جلوگیری از حمله به آن‌ها مورد بررسی قرار می‌گیرد.

یوتیوب (ویدئو و اسلاید جلسه‌ها)
توییتر
افزودن رویداد به تقویم گوگل‌

از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.

#LLM_Club #LLM_Agent
@LLM_CLUB

یادآوری

🔔 برگزاری جلسه‌ی هفدهم باشگاه مدل‌های زبانی بزرگ

📚 موضوع: سامانه‌های توصیه‌گر بر پایه‌ی مدل‌های مولد
👤 سخنران: دکتر یاشار دلجو استادیار دانشگاه پلی‌تکنیک باری
🗓 زمان: یک‌شنبه ۱۴۰۳/۱۲/۲۶ ساعت ۱۹:۳۰ تا ۲۱:۰۰
📍 مکان برگزاری: vc.sharif.edu/mjafari
🔍 در این جلسه به بررسی کاربرد مدل‌های مولد در سامانه‌های توصیه‌گر پرداخته می‌شود. پژوهش‌های اخیر نشان می‌دهد که استفاده از مدل‌های مولد (مانند مدل‌های زبان بزرگ) می‌تواند با بهبود دقت توصیه‌ها و کاهش مشکلاتی مانند توهم‌گویی و تصادفی بودن توصیه‌ها، سامانه‌های توصیه‌گر را به سطح جدیدی ارتقا دهد. علاوه بر این، چارچوب‌های جامع ارزیابی پیشنهادی، جنبه‌های اخلاقی، امنیتی و عدالت در ارائه توصیه‌ها را نیز مورد توجه قرار می‌دهد. این رویکرد نوین، افق‌های تازه‌ای در توسعه سامانه‌های توصیه‌گر نسل بعدی و بهبود تجربه کاربری باز می‌کند.

یوتیوب (ویدئو و اسلاید جلسه‌ها)
توییتر
افزودن رویداد به تقویم گوگل‌

از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.

#LLM_Club
@LLM_CLUB

یادآوری

🔔 برگزاری جلسه‌ی هجدهم باشگاه مدل‌های زبانی بزرگ

📚 موضوع: مروری سیستماتیک بر روش‌های پرامپتینگ در پردازش زبان طبیعی
👤 سخنران: رومینا اعتضادی
🗓 زمان: یک‌شنبه ۱۴۰۴/۰۱/۱۷ ساعت ۱۹:۳۰ تا ۲۱:۰۰
📍 مکان برگزاری: vc.sharif.edu/mjafari

در این جلسه به بررسی برخی از روش‌های پرامپتینگ پرداخته می‌شود. در ابتدا مدل‌های از پیش‌آموزش دیده و نقش آن‌ها در شکل‌دهی به توانمندی‌های زبانی معرفی می‌شوند، سپس تکنیک‌های مختلف طراحی پرامپت برای بهبود عملکرد مدل‌ها و چالش‌های موجود در این مسیر مورد بررسی قرار می‌گیرند. هدف اصلی این مرور، ارائه یک دید سیستماتیک نسبت به روندهای نوین در استفاده از پرامپتینگ در کاربردهای مختلف زبانی است

منابع:
Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing


یوتیوب (ویدئو و اسلاید جلسه‌ها)
توییتر
افزودن رویداد به تقویم گوگل‌

از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.

#LLM_Club
@LLM_CLUB

یادآوری

ویدئوی جلسه‌های ۱۶ و ۱٧ بارگذاری شده و لیست بالا به‌روزرسانی شده است.

🔔 برگزاری جلسه‌ی نوزدهم باشگاه مدل‌های زبانی بزرگ

📚 موضوع: درس‌هایی از دیپ‌سیک: بهبود یادگیری تقویتی در مدل‌های زبانی بزرگ با الگوریتم DAPO
👤 سخنران: معین سلیمی
🗓 زمان: یک‌شنبه ۱۴۰۴/۰۱/۲۵ ساعت ۱۹:۳۰ تا ۲۱:۰۰
📍 مکان برگزاری: vc.sharif.edu/mjafari
🔍 در این جلسه، الگوریتم DAPO معرفی خواهد شد که با هدف بهبود توانایی‌های استدلالی مدل‌های زبانی بزرگ توسعه یافته است. این الگوریتم با ارائه تکنیک‌هایی مانند «Clip-Higher» برای افزایش تنوع سیستم و جلوگیری از فروپاشی آنتروپی، «نمونه‌برداری پویا» برای بهبود کارایی و پایداری آموزش، و «شکل‌دهی پاداش» برای کاهش نویز پاداش و تثبیت آموزش، عملکرد مدل‌های زبانی را بهبود می‌بخشد. نتایج نشان می‌دهد که DAPO با استفاده از مدل پایه Qwen2.5-32B، امتیاز ۵۰ را در آزمون AIME 2024 کسب کرده.
منابع:
1. DAPO: An Open-Source LLM Reinforcement Learning System at Scale

یوتیوب (ویدئو و اسلاید جلسه‌ها)
توییتر
افزودن رویداد به تقویم گوگل‌

از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.
#LLM_Club #RL #Deepseek
@LLM_CLUB

با پوزش، متاسفانه این جلسه لغو می‌‌شود و در هفته‌های آینده برگزار خواهد شد.

🔔 برگزاری جلسه‌ی نوزدهم باشگاه مدل‌های زبانی بزرگ

📚 موضوع: درس‌هایی از دیپ‌سیک: بهبود مشکلات دیپ‌سیک با روش DAPO
👤 سخنران: معین سلیمی
🗓 زمان: یک‌شنبه ۱۴۰۴/۰۱/۳۱ ساعت ۲۰:۰۰ تا ۲۱:۳۰
📍 مکان برگزاری: vc.sharif.edu/mjafari
🔍 در این جلسه، الگوریتم DAPO معرفی خواهد شد که با هدف بهبود توانایی‌های استدلالی مدل‌های زبانی بزرگ توسعه یافته است. این الگوریتم با ارائه تکنیک‌هایی مانند «Clip-Higher» برای افزایش تنوع سیستم و جلوگیری از فروپاشی آنتروپی، «نمونه‌برداری پویا» برای بهبود کارایی و پایداری آموزش، و «شکل‌دهی پاداش» برای کاهش نویز پاداش و تثبیت آموزش، عملکرد مدل‌های زبانی را بهبود می‌بخشد. نتایج نشان می‌دهد که DAPO با استفاده از مدل پایه Qwen2.5-32B، امتیاز ۵۰ را در آزمون AIME 2024 کسب کرده.
منابع:
1. DAPO: An Open-Source LLM Reinforcement Learning System at Scale

یوتیوب (ویدئو و اسلاید جلسه‌ها)
توییتر
افزودن رویداد به تقویم گوگل‌

از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.
#LLM_Club #RL #Deepseek
@LLM_CLUB

یادآوری