معلم دل‌ها، معلم معلم‌ها، خوشگل پسر، آقای Andrej Karpathy، ویدئوی جدیدی منتشر کرده! 👏

موضوع ویدئو: Deep Dive into LLMs like ChatGPT

مدت زمان: 3 ساعت و 30 دقیقه

فهرست مطالب:

introduction
pretraining data (internet)
tokenization
neural network I/O
neural network internals
inference
GPT-2: training and inference
Llama 3.1 base model inference 🔴
pretraining to post-training
post-training data (conversations)
hallucinations, tool use, knowledge/working memory
knowledge of self
models need tokens to think
tokenization revisited: models struggle with spelling
jagged intelligence
supervised finetuning to reinforcement learning
reinforcement learning 🔥
DeepSeek-R1 🔥
AlphaGo
reinforcement learning from human feedback (RLHF)
preview of things to come
keeping track of LLMs
where to find LLMs
grand summary

باید در اسرع وقت زمان باز کنم و ببینمش. احتمالا مشاهده این ویدئو به یک روز کاری (8 ساعت) زمان نیاز داره.

لینک

📀 یادگیری ماشین خودکار با Auto-sklearn!


👩🏻‍💻 تو پروژه آخرم، از Auto-sklearn استفاده کردم و با چند خط کد یه مدل بهینه شده بهم تحویل داد!

✏️ دیگه نیازی نبود که خودم دستی هایپرپارامترها رو تنظیم کنم، کلی مدل مختلف رو تست کنم یا با Grid Search کلنجار برم! همه اینا رو خودش خودکار برام انجام داد.


🔥 چندتا ویژگی بی‌نظیر Auto-sklearn:

🔢 خودش چندین الگوریتم مختلف مثل MLP, Random Forest, AdaBoost رو برات امتحان می‌کنه، هایپرپارامترهای مختلف رو تست می‌کنه و بدون این‌که دستی کد بزن، بهترین مدل رو برات پیدا می‌کنه.


🔢 دیگه لازم نبود خودم دستی داده‌ها رو توی K-Fold Cross Validation تقسیم کنم. خودش این کارو انجام داد و من فقط روی ارزیابی مدل نهایی تمرکز کردم.

🔢 من دیتاستم نامتوازن بود (یعنی تعداد نمونه‌های بعضی کلاس‌ها خیلی کمتر از بقیه بود). ولی Auto-sklearn خودش اینو تشخیص داد و با تکنیک‌هایی مثل Weighting این مشکل رو حل کرد. دیگه نیازی نبود خودم دستی Oversampling یا Undersampling انجام بدم!


🔢 و نکته جالب اینکه فقط یه مدل انتخاب نکرد! اومد از چند تا از بهترین مدل‌ها استفاده کرد و یه Ensemble ساخت که دقت نهایی رو بیشتر کرد.


✅ نتیجه؟ یه مدل بهینه‌شده، دقیق و بدون دردسر! باورم نمی‌شد که کل این فرایند رو با چند خط کد انجام دادم! 😍


┌ 🏳️‍🌈 Auto-sklearn
├ 📄 Document
└ 🐱 GitHub-Repos



🌐 #یادگیری_ماشین #MachineLearning
➖➖➖➖➖➖➖➖➖➖➖➖➖➖
💡 مهندس ML شوید :
💡 @MachineLearning_ir
📱 پیج اینستاگرام:
💡 @MachineLearning_fa