Deep learning
Yann LeCun, Yoshua Bengio & Geoffrey Hinton
http://www.nature.com/nature/journal/v521/n7553/full/nature14539.html

#Deep_learning allows computational models that are composed of multiple processing layers to learn representations of data with multiple levels of abstraction. These methods have dramatically improved the state-of-the-art in speech recognition, visual object #recognition, object detection and many other domains such as drug discovery and genomics. Deep learning discovers intricate structure in large data sets by using the backpropagation algorithm to indicate how a machine should change its internal parameters that are used to compute the representation in each layer from the representation in the previous layer. Deep #convolutional nets have brought about breakthroughs in processing #images, #video, #speech and #audio, whereas #recurrent nets have shone light on sequential data such as #text and speech.

انسان در واقع اشیاء را بدون ناظر یاد می‌گیرد و بعد اینکه مثلا مدتی یک شی را دید و یاد گرفت، بلافاصله پس از اینکه نام آن شی را شنید برچسب آن را نیز یاد میگیرد.
در حال حاضر بهترین مدلهای بینایی ماشین که در سالهای اخیر، خصوصا بعد از الکس‌نت سال 2012 ارائه شده اند با ناظر هستند. خیلی خوب عمل می‌کنند اما به داده ی برچسب گذاری شده ی زیادی نیاز دارند.
اگر به نحوی بتوانیم از داده های بدون برچسب استفاده کنیم و مدل را آموزش دهیم، سپس در فاز کوتاهی با داده های اندک اشیائی که مدل یاد گرفته است را به صورت با ناظرآموزش دهیم تحول بزرگی در یادگیری مدل ها ایجاد خواهد شد. در این صورت میتوان به سادگی میلیون ها ساعت ویدیو را مثلا با استفاده از یوتیوب به مدل آموزش داد و پس از آموزش مدل، شروع به آموزش نام اشیاء یادگرفته شده به مدل پرداخت روندی که در انسان هم مشاهده میشود! در واقع کودک از بدو تولد اشیاء مختلف را میبیند و آن ها را یاد میگیرد اما با یک یا چند بارشنیدن نام آن به آن دسته یا شئی که قبلا فراگرفته نام اختصاص میدهد.

The Next Frontier in AI: Unsupervised Learning
#Yann_LeCun
Director of AI Research at Facebook, Professor of Computer Science, New York University

November 18, 2016


https://www.youtube.com/watch?v=IbjF5VjniVE

Abstract
The rapid progress of #AI in the last few years are largely the result of advances in #deep_learning and neural nets, combined with the availability of large datasets and fast GPUs. We now have systems that can #recognize images with an accuracy that rivals that of humans. This will lead to revolutions in several domains such as autonomous transportation and #medical #image understanding. But all of these systems currently use #supervised learning in which the machine is trained with inputs labeled by humans. The challenge of the next several years is to let machines learn from raw, #unlabeled_data, such as #video or #text. This is known as #unsupervised learning. AI systems today do not possess "common sense", which humans and animals acquire by observing the world, acting in it, and understanding the physical constraints of it. Some of us see unsupervised learning as the key towards machines with common sense. Approaches to unsupervised learning will be reviewed. This presentation assumes some familiarity with the basic concepts of deep learning.

Deep Learning For Coders by #Jeremy_Howard

https://www.youtube.com/playlist?list=PLfYUBJiXbdtS2UQRzyrxmyVHoGW0gmLSM

#video_tutorial #Deep_Learning

Oxford Deep NLP 2017 course lecture notes and videos

🔗 https://github.com/oxford-cs-deepnlp-2017/lectures

#deep_learning #NLP #course #video #oxford

#کورس #دانشگاهی
دو کورس یادگیری ماشین از دانشگاه toronto :

CSC411: Machine Learning and Data Mining (Winter 2017)
http://www.cs.toronto.edu/~guerzhoy/411/

CSC321: Introduction to Machine Learning and Neural Networks (Winter 2016)
http://www.cs.toronto.edu/~guerzhoy/321/

ویدیوهای مربوط به این دو کورس در کانال یوتیوب مدرس آن موجود است:
https://www.youtube.com/channel/UCLGWA_gS-sGcChq3D2M4jSA/videos

لازم به ذکر است از زبان #پایتون و فریم ورک #TensorFlow در این دو کورس آموزشی استفاده میشود.

#course #machine_learning #ML #video

#سورس_کد #مقاله
Real-time Hand Gesture Recognition

paper (Submitted on 29 Jan 2019)
https://arxiv.org/abs/1901.10323

source code (pytorch):
https://github.com/ahmetgunduz/Real-time-GesRec

#gesture_recognition #pytorch
#video_processing

#مقاله #سورس_کد #ویدیو
#morphnet

MorphNet: Towards Faster and Smaller Neural Networks
در واقع میتوان این مقاله را نوعی روش بهینه سازی شبکه فرض کرد.

در این روش با تعریف Regularization روی منابعی مثل تعداد FLOPها در زمان inference شبکه یا حجم نهایی مدل شبکه های موجود با افت حداقلی درصد یا در خیلی از موارد بدون افت دقت شبکه ی بهینه تر خروجی خواهید گرفت.
مثلا ممکنه در شبکه ی resnet این روش تصمیم بگیره فقط skip-connection باقی بماند و بلاک resnet آن قسمت کلا حذف شود (این تصویر گویا است). یا در معماری Inception خیلی از موازی ها را پاک کند.


* The method was first introduced in #CVPR 2018,
* A overview of the approach as well as new device-specific latency regularizers were prestend in #GTC 2019



🔗Blog post:
https://ai.googleblog.com/2019/04/morphnet-towards-faster-and-smaller.html

🔗MorphNet paper :
https://arxiv.org/pdf/1711.06798.pdf

🔗Source code(#tensorflow ):
https://github.com/google-research/morph-net

🔗slides:
https://github.com/google-research/morph-net/blob/master/g3doc/MorphNet_GTC2019.pdf

🔗Recording and #Video:
https://youtu.be/UvTXhTvJ_wM
https://on-demand.gputechconf.com/gtc/2019/video/_/S9645/

#مقاله #سورس_کد

#CVPR2019 #face

Learning to Regress 3D Face Shape and Expressionfrom an Image without 3D Supervision

Get 3D faces from an image using RingNet. New CVPR paper with code on-line. The output is a 3D face/head model that can be animated. We do this with paired 3D-image training data.

#Video:
https://youtu.be/6wPQaJBgreE

#Source Code (#Tensorflow):
https://github.com/soubhiksanyal/RingNet

#Project_page:
https://ringnet.is.tue.mpg.de/

paper:
https://ps.is.tuebingen.mpg.de/uploads_file/attachment/attachment/509/paper_camera_ready.pdf