✅اولین موج سخت افزارهای شبکه عصبی اسپایکی
👩🏫نویسنده: هما کاشفی امیری
🔶در چند سال گذشته شاهد معماری های سخت افزاری جدید برای آموزش یادگیری عمیق بوده ایم اما در سال جاری، این معماری ها به نقطه ی عطف خود رسیده اند. تراشه هایی که می توانند دو حجم کاری را روی یک دستگاه مدیریت کنند، هرچند بازار هنوز در انتظار ورود این تراشه هاست.
🔶اکثر دستگاه های مربوط به شبکه های عصبی کانولوشنی، بازگشتی و سایر شبکه های عصبی بزرگ به مقدار نسبتاً زیادی حافظه ی در تراشه برای ذخیره ی وزن ها و لایه های فرآیندهای آموزش تکراری طولانی نیاز دارند. با در اختیار داشتن تراشه های مرکز داده که هر دو روند آموزش و تست را انجام می دهند، همان قطعه ی سیلیکونی بزرگ عملکرد بسیار بهتری خواهد داشت اما هرگز کارآمد نیست.
🔶این نواقص معماری های تراشه های حافظه AI مسیر جدیدی را پیش روی دستگاه های نورومورفیک و همچنین سایر روش های یادگیری ماشین از جمله شبکه های عصبی اسپایکی گشوده اند.
🔶محصولات True North متعلق به شرکتIBM و Loihiشرکت اینتل هنوز به محصولات سخت افزاری نئومورفیک تبدیل نشده اند و بیشتر تلاش های پژوهشی متمرکز بر مدلسازی نورون هاست به جای آنکه بر روند انتقال محاسبات نئومورفیک به خطوط تراشهAIتمرکز شود.
🔶این شرایط، فرصتی را برای شرکت Brainchip ارائه کرد که جزئیات اولیه ی معماری نئومورفیک خود را برای شبکه های عصبی اسپایکی منتشر کند که هم آموزش و هم تست را هدف قرار داده است و برای حوزه هایی چون بینایی ماشین، تکنیک های مالی و امنیت سایبری مدنظر قرار می گیرد. شرکت کارایی تراشه های AI کنونی را مدنظر قرار داده و نشان داده است که چگونه شبکه های اسپایکی می توانند مزیت های عمده ی نرم افزاری را مورد استفاده قرار دهند و شبکه های کانولوشنی بسازند که انتقال اسپایک ساده تر صورت گیرد.
🔶به طور قطع اعلام می کنیم که این اولین سیلیکون ساخته شده روی SNN با نوع معماری نئومورفیک نیست، اما اولین سیلیکونی است که برای اهداف یادگیری عمیق توسعه یافته است.
🔷توان عامل بسیار مهمی در سخت افزار اما برای چنین کاربردهایی مصرف زیر پنج وات مناسب است. ادعای Brainchip این است که بخش پس انتشار خطا و فرآیند تکراری CNN، سربار بسیار زیادی تولید می کنند. ایده این است که داده را از طریق شبکه برای آموزش بفرستیم و وزن سیناپسی و آستانه ی شلیک نورونی را انجام دهیم و با داده ی کمتر به بخش تست برگردیم که در آن حافظه ی فشرده برای هر واحد محاسبه بکار رود. به این صورت هیچHBM، هیچ واحد MAC و هیچ سربار توانی نداریم
🔷ادعای Brainchip این است شبکه ی کانولوشنی مشابه مدلسازی نورون با یک فیلتر بزرگ و وزن هاست، ضرب تکراری ماتریس جبر خطی روی داده در هر لایه و حافظه ی مورد نیاز و واحدهای MAC به تراشه های با توان بسیار بالا نیازمندند. به جای استفاده از این رویکرد کانولوشنی، SNN تابع نورونی را با سیناپس ها و نورون ها را با اسپایک های بین نورون ها مدل می کند. شبکه از طریق فرآیند تقویت و مهار این اسپایک ها آموزش می بیند (اسپایک های تکراری، تقویت کننده هستند).
🔷قابلیت تغییر آستانه ی شلیک نورونی و حساسیت به این اسپایک ها یک روش موثر و متفاوت برای آموزش است که البته محدودیت های پیچیدگی دارد. به این ترتیب به حافظه ی کمتر (حافظه ی 6 مگابایتی در هر هسته ی عصبی) نیاز خواهیم داشت
منبع:
https://www.nextplatform.com/2018/09/11/first-wave-of-spiking-neural-network-hardware-hits/
#خبر
#هوش_مصنوعی
#شبکه‌های_عصبی #اسپایکی
🏢 آکادمی آنلاین مهندسی پزشکی و هوش مصنوعی
➖➖➖➖
📖 @onlineBME
First Wave of Spiking Neural Network Hardware Hits
Over the last several years we have seen many new hardware architectures emerge for deep learning
👩🏫نویسنده: هما کاشفی امیری
🔶در چند سال گذشته شاهد معماری های سخت افزاری جدید برای آموزش یادگیری عمیق بوده ایم اما در سال جاری، این معماری ها به نقطه ی عطف خود رسیده اند. تراشه هایی که می توانند دو حجم کاری را روی یک دستگاه مدیریت کنند، هرچند بازار هنوز در انتظار ورود این تراشه هاست.
🔶اکثر دستگاه های مربوط به شبکه های عصبی کانولوشنی، بازگشتی و سایر شبکه های عصبی بزرگ به مقدار نسبتاً زیادی حافظه ی در تراشه برای ذخیره ی وزن ها و لایه های فرآیندهای آموزش تکراری طولانی نیاز دارند. با در اختیار داشتن تراشه های مرکز داده که هر دو روند آموزش و تست را انجام می دهند، همان قطعه ی سیلیکونی بزرگ عملکرد بسیار بهتری خواهد داشت اما هرگز کارآمد نیست.
🔶این نواقص معماری های تراشه های حافظه AI مسیر جدیدی را پیش روی دستگاه های نورومورفیک و همچنین سایر روش های یادگیری ماشین از جمله شبکه های عصبی اسپایکی گشوده اند.
🔶محصولات True North متعلق به شرکتIBM و Loihiشرکت اینتل هنوز به محصولات سخت افزاری نئومورفیک تبدیل نشده اند و بیشتر تلاش های پژوهشی متمرکز بر مدلسازی نورون هاست به جای آنکه بر روند انتقال محاسبات نئومورفیک به خطوط تراشهAIتمرکز شود.
🔶این شرایط، فرصتی را برای شرکت Brainchip ارائه کرد که جزئیات اولیه ی معماری نئومورفیک خود را برای شبکه های عصبی اسپایکی منتشر کند که هم آموزش و هم تست را هدف قرار داده است و برای حوزه هایی چون بینایی ماشین، تکنیک های مالی و امنیت سایبری مدنظر قرار می گیرد. شرکت کارایی تراشه های AI کنونی را مدنظر قرار داده و نشان داده است که چگونه شبکه های اسپایکی می توانند مزیت های عمده ی نرم افزاری را مورد استفاده قرار دهند و شبکه های کانولوشنی بسازند که انتقال اسپایک ساده تر صورت گیرد.
🔶به طور قطع اعلام می کنیم که این اولین سیلیکون ساخته شده روی SNN با نوع معماری نئومورفیک نیست، اما اولین سیلیکونی است که برای اهداف یادگیری عمیق توسعه یافته است.
🔷توان عامل بسیار مهمی در سخت افزار اما برای چنین کاربردهایی مصرف زیر پنج وات مناسب است. ادعای Brainchip این است که بخش پس انتشار خطا و فرآیند تکراری CNN، سربار بسیار زیادی تولید می کنند. ایده این است که داده را از طریق شبکه برای آموزش بفرستیم و وزن سیناپسی و آستانه ی شلیک نورونی را انجام دهیم و با داده ی کمتر به بخش تست برگردیم که در آن حافظه ی فشرده برای هر واحد محاسبه بکار رود. به این صورت هیچHBM، هیچ واحد MAC و هیچ سربار توانی نداریم
🔷ادعای Brainchip این است شبکه ی کانولوشنی مشابه مدلسازی نورون با یک فیلتر بزرگ و وزن هاست، ضرب تکراری ماتریس جبر خطی روی داده در هر لایه و حافظه ی مورد نیاز و واحدهای MAC به تراشه های با توان بسیار بالا نیازمندند. به جای استفاده از این رویکرد کانولوشنی، SNN تابع نورونی را با سیناپس ها و نورون ها را با اسپایک های بین نورون ها مدل می کند. شبکه از طریق فرآیند تقویت و مهار این اسپایک ها آموزش می بیند (اسپایک های تکراری، تقویت کننده هستند).
🔷قابلیت تغییر آستانه ی شلیک نورونی و حساسیت به این اسپایک ها یک روش موثر و متفاوت برای آموزش است که البته محدودیت های پیچیدگی دارد. به این ترتیب به حافظه ی کمتر (حافظه ی 6 مگابایتی در هر هسته ی عصبی) نیاز خواهیم داشت
منبع:
https://www.nextplatform.com/2018/09/11/first-wave-of-spiking-neural-network-hardware-hits/
#خبر
#هوش_مصنوعی
#شبکه‌های_عصبی #اسپایکی
🏢 آکادمی آنلاین مهندسی پزشکی و هوش مصنوعی
➖➖➖➖
📖 @onlineBME
First Wave of Spiking Neural Network Hardware Hits
Over the last several years we have seen many new hardware architectures emerge for deep learning
The Next Platform
First Wave of Spiking Neural Network Hardware Hits
Over the last several years we have seen many new hardware architectures emerge for deep learning training but this year, inference will have its turn in