#مقاله جدید Google Deepmind :
Understanding deep learning through neuron deletion
Pic: https://bit.ly/2pHgwbK
یکی از راه هایی که دانشمندان هم در نوروساینس برای شناخت سیستم استفاده میکنند بررسی نورون های قابل تفسیر یا selective به یک شی یا چیز خاص است.

این نوع مطالعه در یادگیری عمیق و شبکه های عصبی نیز رایج است و برای اینکه دید جعبه سیاه و گنگ نسبت به یک شبکه عمیق آموزش دیده شده را کم کنیم مهم است که شبکه را بهتر بشناسیم. همان طور که اشاره شد یکی از روشها بررسی این است که هر نورون چه قدر در عملکرد شبکه تاثیر دارد.

در این تحقیق نشان داده شده که:

۱- نورون هایی که برای ما قابل تفسیرند(مثل نورونی که به چهره گربه حساس هستند) به هیچ عنوان از نورونهایی که برای ما قابل تفسیر نیستند مهمتر نیستند و حذف هر کدام از نورونهای قابل تفسیر و غیر قابل تفسیر تاثیر یکسانی روی افت کارایی عملکرد شبکه دارد.

۲- شبکه هایی که دیتا را حفظ نکرند و راحت روی دیتایی که در فرآیند آموزش ندیده اند میتوانند عمومیت بخشی کنند به حذف تک تک نورونها کمتر حساس هستند تا شبکه هایی که دیتای آموزشی را حفظ کرده اند.

https://deepmind.com/blog/understanding-deep-learning-through-neuron-deletion/

#neuroscience #deep_learning
#deepmind #selective

این مقاله قبلا در کانال فرستاده شده بود،
کار چند هفته پیش گوگل دیپ مایند است ، و با بصری سازی نورونها که در جلسه گذشته داریم مرتبط است.

سایت با اسلایدها؛ لینک مقالات، لینک ویدیو جلسه 16 به روز شد.

برای دوستانی که علاقه دارند مقاله بخونند در گام نخست مقاله الکس‌نت
https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
به جز بخش های
3.3 Local Response Normalization
3.5 Overall Architecture

و در گام دوم مقاله
VGG
https://arxiv.org/pdf/1409.1556.pdf

توصیه میشود.

مقاله نخست چون حاوی ایده های
data augmentation
dropout
relu
است شدیدا توصیه میشه.
به هر حال هیچ ضرورت و اجباری برای این درس نیست.

#خبر

فیس بوک با میلیاردها تصویر آپلود شده در اینستاگرام یک شبکه کانولوشنالی را آموزش داد!

فیس بوک اخیرا با استفاده از 3.5 میلیارد تصویر اینستاگرام، در 17000 هشتگ مختلف یک شبکه عصبی کانولوشنالی را آموزش داده است.
این شبکه بر روی داده های تست چالش ImageNet به دقت 85.4 دست یافته است، که بهترین مدل قبل از این به دقت 83.1 دست یافته بود!

نکته قابل تامل نویزی بودن هشتگهای اینستاگرام در مقابل مجموعه داده ی بادقت برچسب زده شده ی آموزشی imagenet است.

به عقیده فیس بوک:

"As training data sets get larger, the need for weakly supervised — and, in the longer term, unsupervised — learning will become increasingly vital," said Facebook. "Understanding how to offset the disadvantages of noisier, less curated labels is critical to building and using larger-scale training sets."


https://www.engadget.com/2018/05/02/facebook-trained-image-recognition-ai-instagram-pics/

https://www.wired.com/story/your-instagram-dogs-and-cats-are-training-facebooks-ai/

#classification #image_recognition
#convolutional_neutral_network #cnn
#deep_learning #facebook #imagenet

اعدادی که برای مدل های AlexNet,VGG,ResNet و Inception در اسلایدهای جلسه 16 دیدید مربوط به Top-5 Error بود.
این 85.4 معیار Accuracy است. یا میشه دقت top-1

بازسازی صحنه های فیلم مشاهده شده توسط فرد با پردازش فعالیت های ناحیه ی بینایی مغز
آیا میتوان یک روز رویاها و خواب ها را با این تکنولوژی ضبط کرد و به صورت فیلم بازیابی کرد؟!
UC Berkeley researchers have succeeded in #decoding and #reconstructing people's dynamic #visual experiences.

The #brain activity recorded while subjects viewed a set of film clips was used to create a computer program that learned to associate visual patterns in the movie with the corresponding brain activity. The brain activity evoked by a second set of clips was used to test the movie reconstruction algorithm. This was done by feeding 18 million seconds of random YouTube videos into the computer program so that it could predict the brain activity that each film clip would most likely evoke in each subject. Using the new computer model, researchers were able to decode brain signals generated by the films and then reconstruct those moving images.

Eventually, practical applications of the technology could include a better understanding of what goes on in the minds of people who cannot communicate verbally, such as stroke victims, coma patients and people with neurodegenerative diseases. It may also lay the groundwork for brain-machine devices that would allow people with cerebral palsy or paralysis, for example, to guide computers with their minds.

The lead author of the study, published in Current Biology on September 22, 2011, is Shinji Nishimoto, a post-doctoral researcher in the laboratory of Professor Jack Gallant, neursoscientist and coauthor of the study. Other coauthors include Thomas Naselaris with UC Berkeley's Helen Wills #Neuroscience Institute, An T. Vu with UC Berkeley's Joint Graduate Group in Bioengineering, and Yuval Benjamini and Professor Bin Yu with the UC Berkeley Department of Statistics.
more:
http://news.berkeley.edu/2011/09/22/brain-movies/

سلام،
با بررسی کارهای دیکارلو، درک حداقلی از کاری که محققان در ویدیوی بالا کردند را باید پیدا کرده باشید.

#خبر #تمرین
سایت برای تمرین سری 6 باز شد.

سلام،
برای فرصت کافی برای کار روی پروژه پایانی که جلسه آخر کلاس تحویل گرفته خواهد شد تمرین سری 7 اختیاری خواهد بود و نمره نخواهد داشت.
اما لطفا برنامه ریزی کنید که برای هفته ی آتی تمرین سری 8 با موضوع تطبیق و بازشناسی چهره حتما پابرجا خواهد بود.

سلام، به خاطر کندی اینترنت برای سوال ج سری ششم، تا آخرین روز مهلت با تاخیر، هیچ تاخیری برای قسمت ج سری 6 نخواهید خورد.
قسمت الف و ب الزامی به گوگل کولب ندارد. و طبق قوانین از قبل اعلام شده عمل خواهد شد.

تبریک ویژه به گروه آقای خزایی، و آقای قربانی بابت کسب رتبه دوم در مسابقات رجاپینگ، این دوستان در بخش پردازش ویدیو شرکت کرده بودند و پروژه ایشان جست و جوی بازیگران در فریمهای ویدیو بوده است.🎁👏

#خبر

برنده ی این هفته kaggle با چالش شناسایی آسیب های شبکیه چشم از روی تصاویر پزشکی از Transfer learning با معماری VGG16 استفاده کرده است.

https://goo.gl/ji5a3o

#transfer_learning

How to do Modern Face Recognition with Deep Learning
pic: http://bit.ly/2qMmWce

🔗 http://www.iamwire.com/2017/03/modern-face-recognition-deep-learning/149697

#Face_Recognition #Deep_Learning

مدل VGG16 آموزش داده شده با 1.8 میلیون تصویر دیتاست places

VGG16-places365 model for scene classification, written in Keras 2.0

https://github.com/GKalliatakis/Keras-VGG16-places365

You have just found the #Keras (2.0) implementation of the pre-trained VGG 16 convolutional-layer #CNN model on Places365-Standard (~1.8 million images from 365 scene categories).

#pre_train #keras #places

سلام
تمرین سوم سری ششم به دلیل مشکلات اینترنت و فیلترینگ و تحریم تا این لحظه تاخیر نخورده و از الان تا یکشنبه، 30 اردیبهشت 1397، 3:00 عصر با تاخیر میتوانید آپلود کنید

#خبر
تمارین سری ۶ نمره دهی شد .
به این شرح :
تمرین آ)

کسر 5 نمره برای عدم تناسب batch_size و validation_step و step_per_epoch با تعداد data.

کسر 5 نمره برای عدم ترسیم نمودار.

کسر 5 نمره برای هر یک روز تاخیر.

تمرین ب )

کسر 5 نمره استفاده اشتباه از binary_crossentropy به جای categorical_crossentropy برای loss ( با توجه به 3 کلاسه بودن)

کسر 5 نمره برای عدم تناسب batch_size و validation_step و step_per_epoch با تعداد data.

کسر 5 نمره برای عدم قید class_mode='categorical'

کسر 5 نمره برای عدم ترسیم نمودار.

کسر 5 نمره برای استفاده از 1 نورون به جای 3 نورون در لایه اخر .

کسز 5 نمره برای استفاده از sigmoid به جای softmax در لایه اخر .

کسر 5 نمره برای هر یک روز تاخیر.

تمرین ج)
از هیچ فرد نمره ای کم نشده است.

برای همه ی دوستان دلایل کسر نمره نوشته شد

سایت با منابع 4 جلسه قبل به روز شد
http://blog.class.vision/winter-96-97-syllabus/

یک مقاله سال 2018 پیرامون face,
میتونید با توجه به مطالب جلسه قبل، جمله هایلایت شده را تفسیر کنید که منظورش چیه!؟