📺 دوره تخصصی پیاده سازی شبکه‌های عصبی در متلب
مدرس: محمد نوری زاده چرلو
فارغ التحصیل دانشگاه علم و صنعت تهران
6⃣ جلسه ششم: پیاده‌سازی الگوریتم یادگیری #دلتا_دلتا برای تعیین نرخ یادگیری در قانون یادگیری پس انتشار خطا (بخش دوم)

✍ همانطور که در جلسه پنجم توضیح دادیم در پروژه‌های عملی تعیین نرخ یادگیری برای الگوریتم #گرادیان_نزولی بسیار سخت و چالش برانگیز است، زیرا که اگر نرخ یادگیری کم انتخاب شود، الگوریتم ممکن است در #مینیمم‌های_محلی گیر کند و در نتیجه شبکه به درستی آموزش نبیند و یا اگر نرخ یادگیری بزرگ انتخاب شود امکان دارد شبکه به حالت #نوسانی و #ناپایدار برسد و در نتیجه همگرا نشده و آموزش نبیند. برای حل این مشکل چند روش ساده از قبیل #ترم_ممنتوم،  search then converge و time variant  در متلب پیاده‌سازی کردیم و مزایا و معایب هر روش را توضیح دادیم و در انتها توضیح دادیم که روشهای ذکر شده با اینکه تا حدودی توانسته‌اند مشکل تعیین نرخ یادگیری را حل کنند ولی کافی نیستند و نیاز است که شرطهای دیگری نیز در تعیین نرخ یادگیری گنجانده شود.

در این جلسه شروط مورد نیاز جهت تعیین نرخ یادگیری بهینه را  توضیح میدهیم و سپس تئوری الگوریتم یادگیری دلتا دلتا را توضیح داده و در نهایت در متلب به صورت #گام_به_گام پیاده‌سازی می‌کنیم. و ایرادات اساسی این الگوریتم را توضیح میدهیم تا آماده شویم برای جلسه هفتم که الگورتیم دلتا بار دلتا را در آن آموزش می‌دهیم.  الگورتیم دلتا بار دلتا #گل_سرسبد الگورتیم‌های یادگیری پس انتشار خطا هست که به صورت بهینه نرخ یادگیری را تعیین می‌کند و مشکل اساسی الگوریتم پس انتشار خطا را حل می‌کند. برای اینکه جلسه هفتم را بهتر متوجه بشوید لازم است که این جلسه را مشاهده کنید.

نکته: تمام مباحث‌این جلسه طبق مطالب فصل 6 کتاب Simon haykin است.

 ➖➖➖➖➖➖➖➖➖➖➖
💡 جهت خرید جلسه ششم به لینک زیر مراجعه کنید👇👇👇
https://onlinebme.com/product/delta-delta-algorithm/

💡جهت تهیه کامل پکیج آموزشی شبکه عصبی به لینک زیر مراجعه کنید. 👇👇 👇👇
https://onlinebme.com/product/neural-networks-package/

🏢 آکادمی آنلاین مهندسی پزشکی و هوش مصنوعی
@onlinebme

📺 دوره تخصصی پیاده سازی شبکه‌های عصبی در متلب
مدرس: محمد نوری زاده چرلو
فارغ التحصیل دانشگاه علم و صنعت تهران

8⃣ جلسه هشتم: پیاده‌سازی الگوریتم شبکه عصبی توابع شعاعی پایه(#RBF)

✍ ما تا جلسه هفتم تمام تمرکزمون برروی شبکه عصبی معروف پرسپترون بود و این جلسه شبکه عصبی توابع شعاعی پایه(radial basis function) را آموزش می‌دهیم. این شبکه یک شبکه عصبی 3 لایه است که ازیک لایه پنهان تشکیل شده است. از قضیه  جالب #کاور برای حل مسائل پیچیده و غیرخطی استفاده می‌کند و کاربردهای زیادی در عمل دارد. شبکه عصبی rbf رویکرد متفاوتی نسبت به پرسپترون چندلایه دارد و با یک رویکرد بسیار ساده و جالب مسائل پیچیده را حل می‌کند. برخلاف mlp که در آن وزنهای سیناپسی تمام لایه ها باید محاسبه می‌شدند در این شبکه لایه ورودی به صورت #مستقیم و بدون اینکه #وزن_سیناپسی در بین دولایه  باشد به لایه پنهان وصل شده است. نورونهای لایه پنهان این شبکه به عنوان یک #کرنل_غیرخطی (گوسیrbf) عمل می‌کنند و وظیفه #نگاشت داده از فضای #غیرخطی به فضای #خطی را برعهده دارند. هر یک از نورنهای لایه پنهان به یک #مرکز و #سیگمای بهینه نیاز دارند تا به درستی داده را نگاشت دهند، برای محاسبه مراکز و سیگمای مراکز چندین روش مثل الگوریتم خوشه‌بند #kmeans مطرح شده که طبق کتاب این روشها را توضیح داده و در متلب #پیاده‌سازی کرده و مزایا و معایب هر روش را با مثال عملی توضیح می‌دهیم. در این جلسه به صورت مختصر مفهوم #خوشه‌بندی توضیح داده شده و سپس عملکرد الگوریتم kmeans جهت تعیین مراکز را توضیح داده‌ایم.  بعد از پیدا کردن مراکز و سیگماهای بهینه در این شبکه لازم است که وزنهای سیناپسی بین لایه پنهان و لایه خروجی نیز محاسبه شوند که برای محاسبه وزن سیناپسی بهینه سه روش #وینرهاف، #شبه_معکوس و #گرادیان_نزولی را توضیح داده و در متلب پیاده سازی کرده‌ایم. و در انتها چندین مثال و پروژه عملی از قبیل جلمه #تشخیص_سرطان_سینه (پروژه عملی طبقه‌بندی) ، #پیش_بینی_میزان_آلودگی_هوا (پروژه عملی #رگرسیون) و #کلاسبندی داده سه کلاسه iris (#گل_زنبق) با استفاده از شبکه عصبی RBF انجام داده ایم که با کارایی این شبکه عصبی آشنا شده و بتوانید #پروژه‌های_عملی خودتان را با استفاده از این الگوریتم در متلب پیاده‌سازی کنید.

نکته: تمام مباحث ‌این جلسه طبق مطالب فصل 7 کتاب Simon haykin است.


 ➖➖➖➖➖➖➖➖➖➖➖
💡 جهت خرید جلسه هشتم به لینک زیر مراجعه کنید👇👇👇

https://onlinebme.com/product/rbf/
💡جهت تهیه کامل پکیج آموزشی شبکه عصبی به لینک زیر مراجعه کنید. 👇👇 👇👇
https://onlinebme.com/product/neural-networks-package/

🏢 آکادمی آنلاین مهندسی پزشکی و هوش مصنوعی
@onlinebme

📺 دوره تخصصی پیاده سازی شبکه‌های عصبی در متلب
مدرس: محمد نوری زاده چرلو
فارغ التحصیل دانشگاه علم و صنعت تهران

9⃣ جلسه نهم: پیاده‌سازی شبکه عصبی Extreme Learning Machine ( #ELM )

ما تا جلسه هشتم از مباحث #کتاب معروف   Simon haykin استفاده کردیم و در دو جلسه آینده قصد داریم #پیاده‌سازی دو تا شبکه عصبی معروف #ELM و #PNN را طبق #مقالات_تخصصی آموزش دهیم تا با پیاده‌سازی مقالات تخصصی نیز آشنا شوید. شبکه عصبی #پرسپترون_چندلایه دو ایراد اساسی در زمان آموزش دارد: ایراد اول شبکه این است که از #گرادیان_نزولی برای تنظیم وزنها استفاده می‌کند و این باعث می‎شود که پروسه آموزش زمانبر باشد، مخصوصا زمانی که حجم داده آموزشی زیاد باشد! ایراد دوم این شبکه تعداد زیاد #پارامترها است. در این شبکه پارامترهای زیادی باید در پروسه آموزش تنظیم شوند و همین باعث می‌شود که زمان آموزش بسیار بالا باشد. شبکه عصبی ELM یک رویکرد بسیار ساده‌ای و در عین حال جالب برای حل این مسئله ارائه کرده است و به همین دلیل #سرعت_یادگیری بسیار بالایی دارد و سرعت یادگیری آن در مقایسه با #MLP شاید بتواند گفت 1000 برابر و حتی بیشتر شده است. این شبکه ساختاری همانند #RBF دارد ولی کلا یک پارامتر در طول آموزش تنظیم می‌‌کند. برخلاف RBF که وزنهای سیناپسی بین لایه ورودی و لایه پنهان ثابت و مقدار یک بود، در این شبکه لایه ورودی با یک سری وزن به لایه پنهان وصل شده شده است، البته خوبی #ماجرا اینجا هست که در این شبکه به وزنها یک مقدار #تصادفی در همان ابتدا اختصاص می‌دهند و نیازی نیست در طول آموزش تنظیم شوند. نورونهای لایه پنهان یک نورون معمولی هستند و نیازی به پیدا کردن مراکز و سیگمای هر نورون نیست و در نهایت تنها پارامتر قابل تنظیم این شبکه وزنهای سیناپسی بین لایه پنهان و لایه خروجی است. ELM یک شبکه #رو_به_جلو هست و با استفاده از روش #شبه_معکوس وزنهای سیناپسی را در یک لحظه محاسبه می‌کند. و همین امر باعث شده سرعت یادگیری این شبکه #بسیار_بالا باشد. نکته جالب ماجرا اینجاست که عملکرد این الگوریتم بسیار بالاست و با اینکه تعداد پارامتر قابل تنظیم کمتری دارد ولی عملکرد بسیار خوبی در مقالات برای این الگوریتم گزارش شده است.

🔘 در این ویدیو ما تئوری یادگیری این شبکه را طبق مقاله #به_زبان_ساده توضیح داده و سپس به صورت #مرحله_به_مرحله در متلب پیاده‌سازی کرده‌ایم. و در انتها برای اینکه با کارایی این مدل آشنا شوید چندین #پروژه_عملی از قبیل #تشخیص_سرطان_سینه (پروژه عملی طبقه‌بندی) ، #پیش_بینی_میزان_آلودگی_هوا (پروژه عملی رگرسیون) و کلاسبندی داده سه کلاسه iris ( #گل_زنبق ) با استفاده از شبکه عصبی ELM انجام داده‌ایم.

🔘 ما تا این جلسه برای #ارزیابی شبکه‌های عصبی از روش معمول (the hold out validation method) استفاده می‌کردیم که در آن یکبار داده به دو بخش #آموزش و #تست تقسیم شده و مدل یکبار آموزش و تست می‌شود. زمانی که تعداد داده کم باشد استفاده از این روش ارزیابی مناسب نیست و باید از روشهای استاندارد دیگری استفاده کنیم. ما در این جلسه #روشهای_ارزیابی 
k-fold cross validation، 
random subsampling 
leave one out validation 
را توضیح داده و سپس مرحله به مرحله در متلب پیاده سازی کرده‌ایم و درنهایت پروژه‌های عملی را با استفاده از این روشها ارزیابی می‌کنیم تا با #ارزیابی_استاندارد یک مدل #یادگیری_ماشین آشنا شوید و در پروژه های خود استفاده کنید.

🔺نکته: مباحث ‌این جلسه طبق مطالب مقاله پیوست می‌باشد.

 ➖➖➖➖➖➖➖➖➖➖➖
💡 جهت خرید جلسه نهم به لینک زیر مراجعه کنید👇👇👇

https://onlinebme.com/product/elm-neural-networks/

💡جهت تهیه کامل پکیج آموزشی شبکه عصبی به لینک زیر مراجعه کنید. 👇👇 👇👇
https://onlinebme.com/product/neural-networks-package/

🏢 آکادمی آنلاین مهندسی پزشکی و هوش مصنوعی
@onlinebme