🔥 دوره تخصصی پیاده سازی شبکه‌های عصبی در متلب🔥

مدرس: محمد نوری زاده چرلو
فارغ التحصیل دانشگاه علم و صنعت تهران

5⃣ جلسه پنجم: نحوه تعیین نرخ یادگیری در قانون یادگیری پس انتشار خطا (بخش اول)

✍ در جلسه چهارم #تئوری الگوریتم معروف #پس_انتشار_خطا را آموزش داده در متلب به صورت #مرحله_به_مرحله پیاده‌سازی کرده و چندین پروژه عملی از جلمه تشخیص سرطان سینه (پروژه عملی طبقه‌بندی) و پیش بینی میزان آلودگی هوا (پروژه عملی رگرسیون) با استفاده از شبکه عصبی پرسپترون چندلایه به صورت گام به گام در متلب پیاده‌سازی کردیم. الگوریتم پس انتشار خطا همانند LMS از گرادیان نزولی برای تنظیم وزنهای سیناپسی استفاده می‌کند. الگوریتم گرادیان نزولی در جهت شیب منفی خطا با یک گامی(نرخ یادگیری) حرکت می‌کند تا به مقدار بهینه برسد. مقدار بهینه جایی است که شیب خطا صفر شود. در حالت ایده آل با تعیین یک نرخ یادگیری مناسب می‌توان به خطای حداقل رسید. ولی در پروژه‌های عملی تعیین نرخ یادگیری بسیار سخت و چالش برانگیز است، زیرا که اگه نرخ یادگیری کم انتخاب شود، الگوریتم ممکن است در #مینیمم‌های_محلی گیر کند (زیرا که مینیمم محلی خواصی شبیه به مینیمم اصلی دارند و در این مناطق نیز شیب خطا صفر است و الگوریتم به اشتباه فکر می‌کند که به مقدار بهینه رسیده است) و در نتیجه شبکه به درستی آموزش نمی‌بیند و یا اگر نرخ یادگیری بزرگ انتخاب شود امکان دارد شبکه به حالت نوسانی و #ناپایدار برسد و در نتیجه همگرا نشده و آموزش نبیند. در این جلسه چالش‌های تعیین نرخ یادگیری را توضیح می‌دهیم و در ادامه چند روش ساده از قبیل ترم ممنتوم، search then converge و time variant  را برای حل این مسئله طبق مطالب کتاب ارائه می‌دهیم و در متلب پیاده‌سازی می‌کنیم و مزایا و معایب هر روش را توضیح می‌دهیم و در انتها توضیح می‌دهیم که روشهای ذکر شده با اینکه تا حدودی توانسته‌اند مشکل تعیین نرخ یادگیری را حل کنند ولی کافی نیستند و نیاز است که شرطهای دیگری نیز در تعیین #نرخ_یادگیری گنجانده شود.

برای درک بهتر مطالب ما در این جلسه نیز چندین مثال و #پروژه_عملی در متلب انجام داده‌ایم.

نکته: تمام مباحث‌این جلسه طبق مطالب فصل 6 کتاب Simon haykin است.
➖➖➖➖➖➖➖➖➖➖➖
💡 جهت خرید جلسه پنجم به لینک زیر مراجعه کنید👇👇👇
https://onlinebme.com/product/learning-rate-determination-in-mlp/

💡جهت تهیه کامل پکیج آموزشی شبکه عصبی به لینک زیر مراجعه کنید. 👇👇 👇👇
https://onlinebme.com/product/neural-networks-package/

🏢 آکادمی آنلاین مهندسی پزشکی و هوش مصنوعی
@onlinebme

📺 دوره تخصصی پیاده سازی شبکه‌های عصبی در متلب
مدرس: محمد نوری زاده چرلو
فارغ التحصیل دانشگاه علم و صنعت تهران
6⃣ جلسه ششم: پیاده‌سازی الگوریتم یادگیری #دلتا_دلتا برای تعیین نرخ یادگیری در قانون یادگیری پس انتشار خطا (بخش دوم)

✍ همانطور که در جلسه پنجم توضیح دادیم در پروژه‌های عملی تعیین نرخ یادگیری برای الگوریتم #گرادیان_نزولی بسیار سخت و چالش برانگیز است، زیرا که اگر نرخ یادگیری کم انتخاب شود، الگوریتم ممکن است در #مینیمم‌های_محلی گیر کند و در نتیجه شبکه به درستی آموزش نبیند و یا اگر نرخ یادگیری بزرگ انتخاب شود امکان دارد شبکه به حالت #نوسانی و #ناپایدار برسد و در نتیجه همگرا نشده و آموزش نبیند. برای حل این مشکل چند روش ساده از قبیل #ترم_ممنتوم،  search then converge و time variant  در متلب پیاده‌سازی کردیم و مزایا و معایب هر روش را توضیح دادیم و در انتها توضیح دادیم که روشهای ذکر شده با اینکه تا حدودی توانسته‌اند مشکل تعیین نرخ یادگیری را حل کنند ولی کافی نیستند و نیاز است که شرطهای دیگری نیز در تعیین نرخ یادگیری گنجانده شود.

در این جلسه شروط مورد نیاز جهت تعیین نرخ یادگیری بهینه را  توضیح میدهیم و سپس تئوری الگوریتم یادگیری دلتا دلتا را توضیح داده و در نهایت در متلب به صورت #گام_به_گام پیاده‌سازی می‌کنیم. و ایرادات اساسی این الگوریتم را توضیح میدهیم تا آماده شویم برای جلسه هفتم که الگورتیم دلتا بار دلتا را در آن آموزش می‌دهیم.  الگورتیم دلتا بار دلتا #گل_سرسبد الگورتیم‌های یادگیری پس انتشار خطا هست که به صورت بهینه نرخ یادگیری را تعیین می‌کند و مشکل اساسی الگوریتم پس انتشار خطا را حل می‌کند. برای اینکه جلسه هفتم را بهتر متوجه بشوید لازم است که این جلسه را مشاهده کنید.

نکته: تمام مباحث‌این جلسه طبق مطالب فصل 6 کتاب Simon haykin است.

 ➖➖➖➖➖➖➖➖➖➖➖
💡 جهت خرید جلسه ششم به لینک زیر مراجعه کنید👇👇👇
https://onlinebme.com/product/delta-delta-algorithm/

💡جهت تهیه کامل پکیج آموزشی شبکه عصبی به لینک زیر مراجعه کنید. 👇👇 👇👇
https://onlinebme.com/product/neural-networks-package/

🏢 آکادمی آنلاین مهندسی پزشکی و هوش مصنوعی
@onlinebme