#Vanishing_gradient
#Exploding_Gradient
وقتی گرادیانهای خطا بزرگ می شوند، منجر به تغییرات زیادی در وزن شبکه عصبی در حین آموزش میشوند که به آن مسئله گرادیان انفجاری میگویند.
مقادیر وزنها میتوانند آنقدر بزرگ شوند که دچار سرریز شوند و منجر به مقادیر nan شوند. این عامل باعث میشود مدل ناپایدار باشد و در مقابل مشکل گرادیان محوشونده برعکس روی گرادیانهای گوچک اتفاق میافتد و هردو عامل باعث عدم یادگیری در مدل میشوند.
🔶شبکههای عصبی بازگشتی ساده (RNN) مشکل محو شدن گرادیان دارند. راه حل مشکلشان چی بود؟
@silicon_brain
#Exploding_Gradient
وقتی گرادیانهای خطا بزرگ می شوند، منجر به تغییرات زیادی در وزن شبکه عصبی در حین آموزش میشوند که به آن مسئله گرادیان انفجاری میگویند.
مقادیر وزنها میتوانند آنقدر بزرگ شوند که دچار سرریز شوند و منجر به مقادیر nan شوند. این عامل باعث میشود مدل ناپایدار باشد و در مقابل مشکل گرادیان محوشونده برعکس روی گرادیانهای گوچک اتفاق میافتد و هردو عامل باعث عدم یادگیری در مدل میشوند.
🔶شبکههای عصبی بازگشتی ساده (RNN) مشکل محو شدن گرادیان دارند. راه حل مشکلشان چی بود؟
@silicon_brain