📚 دوره آموزش ساخت مدل زبانی از صفر

مدل‌های زبانی پایه اصلی بیشتر ابزارهای NLP مدرن هستن و نشون دادن که یه سیستم عمومی می‌تونه چندین کار مختلف رو انجام بده. پس درک عمیق این مدل‌ها برای پژوهشگرها و مهندس‌ها ضروریه.

توی این دوره قراره مثل درس‌هایی که سیستم‌عامل رو از صفر می‌سازن، کل مسیر ساخت یه Language Model رو با هم قدم‌به‌قدم یاد بگیریم:

🔹 جمع‌آوری و پاک‌سازی داده‌ها برای pre-training
🔹 ساختار ترنسفورمر و نحوه طراحی مدل
🔹 آموزش مدل و تکنیک‌های مهم یادگیری
🔹 ارزیابی و آماده‌سازی برای استقرار (Deployment)

https://www.youtube.com/playlist?list=PLoROMvodv4rOY23Y0BoGoBGgQ1zmU_MT_

برای بررسی کد ها و اسلاید ها و... :
https://github.com/stanford-cs336/spring2025-lectures

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

کمپانی OpenAI بالاخره منتشر گرد که مردم چطور از ChatGPT استفاده می‌کنند. فرصت برای درست کردن محصولاتی که مردم نیاز دارند.


#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

🚀 معرفی VaultGemma
یه مدل زبانی جدیده که از پایه ساخته شده و فرق اصلیش با بقیه اینه که با روش حفظ حریم خصوصی (Differential Privacy) آموزش داده شده. یعنی چی؟
یعنی وقتی این مدل آموزش می‌بینه، دیگه نمی‌تونه اطلاعات حساس کاربرا یا متن‌هایی که روش تمرین داده شده رو حفظ کنه و بعداً پس بده. عملاً مثل این می‌مونه که هر چیزی رو که می‌خونه، سریع فراموش می‌کنه.

برای اطلاع بیشتر از جمله مقاله و ... :
https://research.google/blog/vaultgemma-the-worlds-most-capable-differentially-private-llm/

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer