Forwarded from Tensorflow(@CVision) (Alireza Akhavan)
#مقاله جدید Google Deepmind :
Understanding deep learning through neuron deletion
Pic: https://bit.ly/2pHgwbK
یکی از راه هایی که دانشمندان هم در نوروساینس برای شناخت سیستم استفاده میکنند بررسی نورون های قابل تفسیر یا selective به یک شی یا چیز خاص است.
این نوع مطالعه در یادگیری عمیق و شبکه های عصبی نیز رایج است و برای اینکه دید جعبه سیاه و گنگ نسبت به یک شبکه عمیق آموزش دیده شده را کم کنیم مهم است که شبکه را بهتر بشناسیم. همان طور که اشاره شد یکی از روشها بررسی این است که هر نورون چه قدر در عملکرد شبکه تاثیر دارد.
در این تحقیق نشان داده شده که:
۱- نورون هایی که برای ما قابل تفسیرند(مثل نورونی که به چهره گربه حساس هستند) به هیچ عنوان از نورونهایی که برای ما قابل تفسیر نیستند مهمتر نیستند و حذف هر کدام از نورونهای قابل تفسیر و غیر قابل تفسیر تاثیر یکسانی روی افت کارایی عملکرد شبکه دارد.
۲- شبکه هایی که دیتا را حفظ نکرند و راحت روی دیتایی که در فرآیند آموزش ندیده اند میتوانند عمومیت بخشی کنند به حذف تک تک نورونها کمتر حساس هستند تا شبکه هایی که دیتای آموزشی را حفظ کرده اند.
https://deepmind.com/blog/understanding-deep-learning-through-neuron-deletion/
#neuroscience #deep_learning
#deepmind #selective
Understanding deep learning through neuron deletion
Pic: https://bit.ly/2pHgwbK
یکی از راه هایی که دانشمندان هم در نوروساینس برای شناخت سیستم استفاده میکنند بررسی نورون های قابل تفسیر یا selective به یک شی یا چیز خاص است.
این نوع مطالعه در یادگیری عمیق و شبکه های عصبی نیز رایج است و برای اینکه دید جعبه سیاه و گنگ نسبت به یک شبکه عمیق آموزش دیده شده را کم کنیم مهم است که شبکه را بهتر بشناسیم. همان طور که اشاره شد یکی از روشها بررسی این است که هر نورون چه قدر در عملکرد شبکه تاثیر دارد.
در این تحقیق نشان داده شده که:
۱- نورون هایی که برای ما قابل تفسیرند(مثل نورونی که به چهره گربه حساس هستند) به هیچ عنوان از نورونهایی که برای ما قابل تفسیر نیستند مهمتر نیستند و حذف هر کدام از نورونهای قابل تفسیر و غیر قابل تفسیر تاثیر یکسانی روی افت کارایی عملکرد شبکه دارد.
۲- شبکه هایی که دیتا را حفظ نکرند و راحت روی دیتایی که در فرآیند آموزش ندیده اند میتوانند عمومیت بخشی کنند به حذف تک تک نورونها کمتر حساس هستند تا شبکه هایی که دیتای آموزشی را حفظ کرده اند.
https://deepmind.com/blog/understanding-deep-learning-through-neuron-deletion/
#neuroscience #deep_learning
#deepmind #selective
Forwarded from Tensorflow(@CVision) (Alireza Akhavan)
#مقاله جدید Google Deepmind :
Understanding deep learning through neuron deletion
Pic: https://bit.ly/2pHgwbK
یکی از راه هایی که دانشمندان هم در نوروساینس برای شناخت سیستم استفاده میکنند بررسی نورون های قابل تفسیر یا selective به یک شی یا چیز خاص است.
این نوع مطالعه در یادگیری عمیق و شبکه های عصبی نیز رایج است و برای اینکه دید جعبه سیاه و گنگ نسبت به یک شبکه عمیق آموزش دیده شده را کم کنیم مهم است که شبکه را بهتر بشناسیم. همان طور که اشاره شد یکی از روشها بررسی این است که هر نورون چه قدر در عملکرد شبکه تاثیر دارد.
در این تحقیق نشان داده شده که:
۱- نورون هایی که برای ما قابل تفسیرند(مثل نورونی که به چهره گربه حساس هستند) به هیچ عنوان از نورونهایی که برای ما قابل تفسیر نیستند مهمتر نیستند و حذف هر کدام از نورونهای قابل تفسیر و غیر قابل تفسیر تاثیر یکسانی روی افت کارایی عملکرد شبکه دارد.
۲- شبکه هایی که دیتا را حفظ نکرند و راحت روی دیتایی که در فرآیند آموزش ندیده اند میتوانند عمومیت بخشی کنند به حذف تک تک نورونها کمتر حساس هستند تا شبکه هایی که دیتای آموزشی را حفظ کرده اند.
https://deepmind.com/blog/understanding-deep-learning-through-neuron-deletion/
#neuroscience #deep_learning
#deepmind #selective
Understanding deep learning through neuron deletion
Pic: https://bit.ly/2pHgwbK
یکی از راه هایی که دانشمندان هم در نوروساینس برای شناخت سیستم استفاده میکنند بررسی نورون های قابل تفسیر یا selective به یک شی یا چیز خاص است.
این نوع مطالعه در یادگیری عمیق و شبکه های عصبی نیز رایج است و برای اینکه دید جعبه سیاه و گنگ نسبت به یک شبکه عمیق آموزش دیده شده را کم کنیم مهم است که شبکه را بهتر بشناسیم. همان طور که اشاره شد یکی از روشها بررسی این است که هر نورون چه قدر در عملکرد شبکه تاثیر دارد.
در این تحقیق نشان داده شده که:
۱- نورون هایی که برای ما قابل تفسیرند(مثل نورونی که به چهره گربه حساس هستند) به هیچ عنوان از نورونهایی که برای ما قابل تفسیر نیستند مهمتر نیستند و حذف هر کدام از نورونهای قابل تفسیر و غیر قابل تفسیر تاثیر یکسانی روی افت کارایی عملکرد شبکه دارد.
۲- شبکه هایی که دیتا را حفظ نکرند و راحت روی دیتایی که در فرآیند آموزش ندیده اند میتوانند عمومیت بخشی کنند به حذف تک تک نورونها کمتر حساس هستند تا شبکه هایی که دیتای آموزشی را حفظ کرده اند.
https://deepmind.com/blog/understanding-deep-learning-through-neuron-deletion/
#neuroscience #deep_learning
#deepmind #selective