🔔 برگزاری جلسه‌ی پانزدهم باشگاه مدل‌های زبانی بزرگ (به صورت حضوری و مجازی)

📚 موضوع: دیپ‌سیک دقیقا چگونه کار می‌کند؟
👤 سخنران: دکتر محمدحسین رهبان
🗓 زمان: چهارشنبه ۱۴۰۳/۱۲/۰۸، ساعت ۱۳:۰۰ تا ۱۴:۱۵
مکان برگزاری
لینک مجازی: http://vc.sharif.edu/mjafari
حضوری: اتاق ۲۰۳ دانشکده‌ی کامپیوتر
🔍 در این مقاله، نویسندگان با به‌کارگیری یک رویکرد نوین بر پایه‌ی یادگیری تقویتی خالص، بدون اتکا به تنظیم اولیه نظارتی، امکان تولید خودکار زنجیره‌های تفکر (Chain‑of‑Thought) را برای مدل‌های زبانی فراهم می‌کنند. سپس، با کمک داده‌های نظارت‌شده‌ی کوچکی، برای بهبود ثبات و خوانایی خروجی‌ها و به‌کارگیری تکنیک GRPO برای بهینه‌سازی فرآیند یادگیری، مشکلات مرتبط با خوانایی پایین و انسجام متن‌های تولیدی برطرف می‌شوند. افزون بر این، در این مقاله روند تقطیر توانایی‌های استدلال مدل‌های بزرگ به مدل‌های فشرده‌تر نیز ارائه شده است که این انتقال، کارایی مدل‌های کوچک‌تر را افزایش داده و دامنه‌ی کاربردهای آن‌ها را به‌طور قابل توجهی گسترش می‌دهد.
منابع:
1. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
2. DeepSeek-V3 Technical Report

یوتیوب (ویدئو و اسلاید جلسه‌ها)
توییتر
افزودن رویداد به تقویم گوگل‌


از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.

#LLM_Club #INL_Lab #DeepSeek
@LLM_JC

🔔 برگزاری جلسه‌ی شانزدهم باشگاه مدل‌های زبانی بزرگ

📚 موضوع: کدام هدهای توجه در یادگیری درون‌متنی (ICL) اهمیت دارند؟
👤 ارائه‌دهنده: معین سلیمی
🗓 زمان: یک‌شنبه ۱۴۰۳/۱۲/۱۲، ساعت ۱۹:۳۰ تا ۲۱:۰۰
📍 مکان برگزاری: vc.sharif.edu/mjafari
🔍 این پژوهش بررسی می‌کند که در مدل‌های زبانی بزرگ، بردارهای کارکردی (FV) نقش کلیدی‌تری نسبت به هدهای القایی (Induction Heads) در یادگیری درون‌متنی دارند. برخلاف تصور پیشین، حذف این بردارها کاهش چشمگیری در دقت مدل ایجاد می‌کند، در حالی که حذف هدهای القایی تأثیر چندانی ندارد. همچنین، یافته‌ها نشان می‌دهند که بسیاری از بردارهای کارکردی در ابتدا به‌صورت هدهای القایی عمل کرده و در طول آموزش تکامل می‌یابند. این نتایج دیدگاه جدیدی درباره‌ی نحوه‌ی یادگیری مدل‌های زبانی ارائه می‌دهد.
📄 منابع:
1. Which Attention Heads Matter for In-Context Learning?
2. Interpreting Context Look-ups in Transformers: Attention-MLP Interactions
3. In-Context Learning Creates Task Vectors
4. In-context Learning and Induction Heads

یوتیوب (ویدئو و اسلاید جلسه‌ها)
توییتر
افزودن رویداد به تقویم گوگل‌

از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.

#LLM_Club #ICL
@LLM_CLUB

ویدئوی جلسه‌های ۱۴ و ۱۵ بارگذاری شده و لیست بالا به‌روزرسانی شده است.

جلسه‌ی امروز لغو می‌شود و در هفته‌های آینده برگزار خواهد شد.

🔔 برگزاری جلسه‌ی شانزدهم باشگاه مدل‌های زبانی بزرگ

📚 موضوع: عامل‌های هوشمند؛ تشخیص کلاهبرداری
👤 سخنران: دکتر منصوره کرمی، پژوهشگر هوش مصنوعی در مایکروسافت و پژوهشگر پیشین در اسپاتیفای و دانشگاه آریزونا
🗓 زمان: یک‌شنبه ۱۴۰۳/۱۲/۱۹، ساعت ۱۹:۳۰ تا ۲۱:۰۰
📍 مکان برگزاری: vc.sharif.edu/mjafari
🔍 در این جلسه به مرور عامل‌های مبتنی بر مدل‌های زبانی بزرگ پرداخته می‌شود و سناریوهای رایج برای جلوگیری از حمله به آن‌ها مورد بررسی قرار می‌گیرد.

یوتیوب (ویدئو و اسلاید جلسه‌ها)
توییتر
افزودن رویداد به تقویم گوگل‌

از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.

#LLM_Club #LLM_Agent
@LLM_CLUB

یادآوری

🔔 برگزاری جلسه‌ی هفدهم باشگاه مدل‌های زبانی بزرگ

📚 موضوع: سامانه‌های توصیه‌گر بر پایه‌ی مدل‌های مولد
👤 سخنران: دکتر یاشار دلجو استادیار دانشگاه پلی‌تکنیک باری
🗓 زمان: یک‌شنبه ۱۴۰۳/۱۲/۲۶ ساعت ۱۹:۳۰ تا ۲۱:۰۰
📍 مکان برگزاری: vc.sharif.edu/mjafari
🔍 در این جلسه به بررسی کاربرد مدل‌های مولد در سامانه‌های توصیه‌گر پرداخته می‌شود. پژوهش‌های اخیر نشان می‌دهد که استفاده از مدل‌های مولد (مانند مدل‌های زبان بزرگ) می‌تواند با بهبود دقت توصیه‌ها و کاهش مشکلاتی مانند توهم‌گویی و تصادفی بودن توصیه‌ها، سامانه‌های توصیه‌گر را به سطح جدیدی ارتقا دهد. علاوه بر این، چارچوب‌های جامع ارزیابی پیشنهادی، جنبه‌های اخلاقی، امنیتی و عدالت در ارائه توصیه‌ها را نیز مورد توجه قرار می‌دهد. این رویکرد نوین، افق‌های تازه‌ای در توسعه سامانه‌های توصیه‌گر نسل بعدی و بهبود تجربه کاربری باز می‌کند.

یوتیوب (ویدئو و اسلاید جلسه‌ها)
توییتر
افزودن رویداد به تقویم گوگل‌

از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.

#LLM_Club
@LLM_CLUB

یادآوری

🔔 برگزاری جلسه‌ی هجدهم باشگاه مدل‌های زبانی بزرگ

📚 موضوع: مروری سیستماتیک بر روش‌های پرامپتینگ در پردازش زبان طبیعی
👤 سخنران: رومینا اعتضادی
🗓 زمان: یک‌شنبه ۱۴۰۴/۰۱/۱۷ ساعت ۱۹:۳۰ تا ۲۱:۰۰
📍 مکان برگزاری: vc.sharif.edu/mjafari

در این جلسه به بررسی برخی از روش‌های پرامپتینگ پرداخته می‌شود. در ابتدا مدل‌های از پیش‌آموزش دیده و نقش آن‌ها در شکل‌دهی به توانمندی‌های زبانی معرفی می‌شوند، سپس تکنیک‌های مختلف طراحی پرامپت برای بهبود عملکرد مدل‌ها و چالش‌های موجود در این مسیر مورد بررسی قرار می‌گیرند. هدف اصلی این مرور، ارائه یک دید سیستماتیک نسبت به روندهای نوین در استفاده از پرامپتینگ در کاربردهای مختلف زبانی است

منابع:
Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing


یوتیوب (ویدئو و اسلاید جلسه‌ها)
توییتر
افزودن رویداد به تقویم گوگل‌

از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.

#LLM_Club
@LLM_CLUB

یادآوری

ویدئوی جلسه‌های ۱۶ و ۱٧ بارگذاری شده و لیست بالا به‌روزرسانی شده است.

🔔 برگزاری جلسه‌ی نوزدهم باشگاه مدل‌های زبانی بزرگ

📚 موضوع: درس‌هایی از دیپ‌سیک: بهبود یادگیری تقویتی در مدل‌های زبانی بزرگ با الگوریتم DAPO
👤 سخنران: معین سلیمی
🗓 زمان: یک‌شنبه ۱۴۰۴/۰۱/۲۵ ساعت ۱۹:۳۰ تا ۲۱:۰۰
📍 مکان برگزاری: vc.sharif.edu/mjafari
🔍 در این جلسه، الگوریتم DAPO معرفی خواهد شد که با هدف بهبود توانایی‌های استدلالی مدل‌های زبانی بزرگ توسعه یافته است. این الگوریتم با ارائه تکنیک‌هایی مانند «Clip-Higher» برای افزایش تنوع سیستم و جلوگیری از فروپاشی آنتروپی، «نمونه‌برداری پویا» برای بهبود کارایی و پایداری آموزش، و «شکل‌دهی پاداش» برای کاهش نویز پاداش و تثبیت آموزش، عملکرد مدل‌های زبانی را بهبود می‌بخشد. نتایج نشان می‌دهد که DAPO با استفاده از مدل پایه Qwen2.5-32B، امتیاز ۵۰ را در آزمون AIME 2024 کسب کرده.
منابع:
1. DAPO: An Open-Source LLM Reinforcement Learning System at Scale

یوتیوب (ویدئو و اسلاید جلسه‌ها)
توییتر
افزودن رویداد به تقویم گوگل‌

از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.
#LLM_Club #RL #Deepseek
@LLM_CLUB

با پوزش، متاسفانه این جلسه لغو می‌‌شود و در هفته‌های آینده برگزار خواهد شد.

🔔 برگزاری جلسه‌ی نوزدهم باشگاه مدل‌های زبانی بزرگ

📚 موضوع: درس‌هایی از دیپ‌سیک: بهبود مشکلات دیپ‌سیک با روش DAPO
👤 سخنران: معین سلیمی
🗓 زمان: یک‌شنبه ۱۴۰۴/۰۱/۳۱ ساعت ۲۰:۰۰ تا ۲۱:۳۰
📍 مکان برگزاری: vc.sharif.edu/mjafari
🔍 در این جلسه، الگوریتم DAPO معرفی خواهد شد که با هدف بهبود توانایی‌های استدلالی مدل‌های زبانی بزرگ توسعه یافته است. این الگوریتم با ارائه تکنیک‌هایی مانند «Clip-Higher» برای افزایش تنوع سیستم و جلوگیری از فروپاشی آنتروپی، «نمونه‌برداری پویا» برای بهبود کارایی و پایداری آموزش، و «شکل‌دهی پاداش» برای کاهش نویز پاداش و تثبیت آموزش، عملکرد مدل‌های زبانی را بهبود می‌بخشد. نتایج نشان می‌دهد که DAPO با استفاده از مدل پایه Qwen2.5-32B، امتیاز ۵۰ را در آزمون AIME 2024 کسب کرده.
منابع:
1. DAPO: An Open-Source LLM Reinforcement Learning System at Scale

یوتیوب (ویدئو و اسلاید جلسه‌ها)
توییتر
افزودن رویداد به تقویم گوگل‌

از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.
#LLM_Club #RL #Deepseek
@LLM_CLUB

یادآوری

🔔برگزاری جلسه‌ی بیستم باشگاه مدل‌های زبانی بزرگ

📚 موضوع: بهبود خودکار مدل‌های زبانی بزرگ با تخیل، جستجو و نقد هوشمندانه
👤 سخنران: فاطمه شاه‌حسینی
🗓 زمان: دوشنبه ۱۴۰۴/۰۲/۰۸ ساعت ۱۷:۰۰
📍 لینک جلسه: https://vc.sharif.edu/ch/mjafari
🔍 این مقاله چارچوب ALPHALLM را معرفی می‌کند که به مدل‌های زبانی بزرگ امکان می‌دهد بدون نیاز به داده‌های برچسب‌خورده‌ی جدید، خود را بهبود دهند. این سیستم با تولید خودکار سوالات جدید (تخیل)، جستجوی پاسخ‌های بهتر با الگوریتم ηMCTS (جستجو)، و ارزیابی پاسخ‌ها با سه مدل منتقد (نقد)، کیفیت مدل را در حل مسائل دشوار مثل ریاضیات به طور چشمگیری افزایش می‌دهد. نتایج نشان می‌دهد که ALPHALLM می‌تواند مدل‌هایی مثل Llama-2 را بدون داده‌ی انسانی به سطح عملکرد GPT-4 برساند

منابع:
1. Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing

یوتیوب (ویدئو و اسلاید جلسه‌ها)
توییتر
افزودن رویداد به تقویم گوگل‌

از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.
#LLM_Club
@LLM_CLUB

شروع جلسه ساعت ۱۸:٠٠ خواهد بود.

یادآوری

🔔 برگزاری جلسه‌ی بیست‌ویکم باشگاه مدل‌های زبانی بزرگ

📚 موضوع: مواجهه‌ی مدل‌های زبانی با سوال‌های باز (Open-Ended Questions)؛ ارزیابی مدل‌های زبانی بزرگ در استدلال‌های انسان‌گونه
👤 ارائه‌دهنده: معین سلیمی
🗓 زمان: یک‌شنبه ۱۴۰۴/۰۲/۱۴ ساعت ۲۰:۰۰
📍 مکان برگزاری: vc.sharif.edu/mjafari

🔍 در این جلسه، مقاله‌ای از دانشگاه واشینگتن در باب توانایی مدل‌های زبانی بزرگ برای درک «Theory of Mind» یا ذهن‌خوانی انسان‌گونه درباره‌ی سوال‌هایی که پاسخ مشخصی ندارند (open‑ended questions)، بررسی خواهد شد. این تحقیق با تحلیل پاسخ‌های انسانی و مدل‌های زبانی مختلف (روی دیتاست پست‌های ChangeMyView در ردیت)، نشان می‌دهد که حتی پیشرفته‌ترین مدل‌ها نیز در بازتولید کامل استدلال‌های انسانی ناتوان‌اند. با روش‌های مبتنی بر پرامپت و با ترکیبی از نیت، احساس و لحن پرسش، عملکرد آن‌ها به‌طور قابل‌توجهی بهبود می‌یابد اما هنوز فاصله‌ی زیادی تا رسیدن به سطح استدلال انسانی دارند.

📝 منابع
1. Do LLMs Exhibit Human-Like Reasoning? Evaluating Theory of Mind in LLMs for Open-Ended Responses

یوتیوب (ویدئو و اسلاید جلسه‌ها)
توییتر
افزودن رویداد به تقویم گوگل‌

از همه دعوت می‌کنیم در این جلسه شرکت کنید!
#LLM_Club #TheoryOfMind #OpenEnded #LLM_Research
@LLM_CLUB

یادآوری

🔔 برگزاری جلسه‌ی بیست‌ودوم باشگاه مدل‌های زبانی بزرگ

📚 موضوع: استدلال معکوس (Abductive Reasoning) در مدل‌های زبانی: تحلیل عملکرد آن‌ها در پرسش‌های چندگزینه‌ای و فرایندهای تشخیص پزشکی
👤 ارائه‌دهنده: معین سلیمی
🗓 زمان: یک‌شنبه ۱۴۰۴/۰۲/۲۱ ساعت ۲۰:۰۰
📍 مکان برگزاری: vc.sharif.edu/mjafari
🔍 در این ارائه به بررسی نحوه‌ی استدلال در مدل‌های زبانی بزرگ در دو زمینه‌ی متفاوت می‌پردازیم. ابتدا می‌بینیم که این مدل‌ها چگونه می‌توانند حتی بدون داشتن متن سوال، به‌درستی به سوالات چندگزینه‌ای پاسخ دهند و همچنین نقش الگوهای پنهان (artifacts) و استدلال معکوس (Abductive Reasoning) را بررسی می‌کنیم. سپس به دنیای پزشکی به سراغ روشی می‌رویم که با هم‌راستاسازی فرایندهای تشخیص پزشکی، تلاش می‌کند تا عملکرد تشخیص پزشکی را بهبود می‌دهد. هدف این است که درک عمیق‌تری از مسیرهای استدلالی این مدل‌ها به دست آوریم. هر دو مقاله، از زاویه‌های متفاوت، به توانایی مدل‌ها در استدلال و تصمیم‌گیری می‌پردازند. این جلسه تلاش دارد تا نقش استدلال معکوس را در هر دو حوزه‌ی پرسش و پاسخ عمومی و کاربردهای تخصصی پزشکی بررسی کند.
📝 منابع
1. Reasoning Like a Doctor: Improving Medical Dialogue Systems via Diagnostic Reasoning Process Alignment
2. Artifacts or Abduction: How Do LLMs Answer Multiple-Choice Questions Without the Question?

یوتیوب (ویدئو و اسلاید جلسه‌ها)
توییتر
افزودن رویداد به تقویم گوگل‌

از همه دعوت می‌کنیم در این جلسه شرکت کنید!
#LLM_Club #LLM_Research
@LLM_CLUB