دوره آموزشی آنلاین «یادگیری ژرف (#deep_learning):

🔗URL: http://course.fast.ai/

در این دوره رایگان که مدت آن ۷ هفته و هر هفته 10 ساعت زمان نیاز است، مبانی یادگیری عمیق بر اساس سرفصل‌های دانشگاه سان فرانسیسکو در قالب ویدئو تدریس می‌شود:

این ویدیوها قسمت اول است و قسمت دوم ویدیوها در تاریخ
May 2017
در همین سایت به صورت آنلاین قرار خواهد گرفت...

پیش نیازها:
- حداقل یکسال سابقه برنامه نویسی
- ریاضی در حد دبیرستان

0—Why deep learning; Intro to convolutions
1—#Recognizing cats and dogs
2—#Convolutional neural networks
3—#Under_fitting and #over_fitting
4—#Collaborative filtering, embeddings, and more
5—Intro to #NLP and RNNs
6—Building RNNs
7—Exotic #CNN architectures; #RNN from scratch

#course

TensorFlow RNN Tutorial

🔗 https://svds.com/tensorflow-rnn-tutorial/
🔗 https://github.com/silicon-valley-data-science/RNN-Tutorial

#TensorFlow #rnn #tutorial

#آموزش

How to do time series prediction using RNNs, #TensorFlow and Cloud ML Engine

🔗 http://dataconomy.com/2017/05/how-to-do-time-series-prediction-using-rnns-tensorflow-and-cloud-ml-engine/

#RNN #deep_learning

#مقاله گوگل #سورس_کد #مدل
A Neural Representation of Sketch Drawings
مدل با هزاران نقاشی ابتدایی کشیده شده توسط افراد از صدها کلاس مختلف آموزش دیده شده است. سپس بر اساس نقاشی تا کنون شما, نقاشی شما را بر اساس آموزشهای قبلی تکمیل میکند.

🔗abstract:
https://arxiv.org/abs/1704.03477

🔗Paper:
https://arxiv.org/pdf/1704.03477.pdf

🔗Project Page:
https://magenta.tensorflow.org/sketch_rnn

🔗Code and Model:
https://github.com/tensorflow/magenta/tree/master/magenta/models/sketch_rnn

#sketch_generation #Sketch_RNN #RNN #deep_learning #TensorFlow

صفحه این محقق و پایان نامه ایشون برای علاقه مندان به LSTM و شبکه های Recurrent خصوصا برای بازشناسی جملات دست نویس توصیه میشود.
Alex Graves
https://www.cs.toronto.edu/~graves/

#lstm #handwriting #rnn

#آموزش

Recognizing Speech Commands Using Recurrent Neural Networks with Attention

https://towardsdatascience.com/recognizing-speech-commands-using-recurrent-neural-networks-with-attention-c2b2ba17c837

سورس کد:

A Keras implementation of neural attention model for speech command recognition
https://github.com/douglas125/SpeechCmdRecognition

مرتبط با:

سورس و مقاله wav2letter++ یک روش end2end
https://t.me/cvision/850
جلسه مربوط به Attention در RNNها:
https://www.aparat.com/v/SPZzH
جلسه مربوط به پردازش صوت در RNNها:
https://www.aparat.com/v/cEKal

#attention #rnn #lstm #keras #Speech

#آموزش
RNN-Based Handwriting Recognition in Gboard
https://ai.googleblog.com/2019/03/rnn-based-handwriting-recognition-in.html

#rnn #Handwriting_Recognition

#سورس_کد
Neural Machine Translation with Luong Attention - Tensorflow 2.0

https://github.com/tensorflow/examples/blob/master/community/en/nmt_with_luong_attention.ipynb

#tensorflow2 #nlp #rnn #attention

تغییرات تنسرفلو ۲ برای شبکه های بازگشتی
یکی از تغییرات تنسرفلو ۲ حذف API های اضافی بوده است.
مثلا در تنسرفلو قبلا با دو روش مختلف

TF RNN و Keras RNN

میتوانستیم شبکه ها را تعریف کنیم.
در نسخه جدید تنسرفلو روش TF RNN برای تعریف شبکه های بازگشتی منسوخ شده و کاربردهایی که قبلا داشته و در Keras نبوده به Keras پورت شده است.
حالا از این پس صرفا با API هایی که کراس در اختیارمون میگذاره باید شبکه های RNN را تعریف کنیم.

اطلاعات بیشتر را در این مورد میتوانید از اینجا مطالعه کنید:

https://github.com/tensorflow/community/blob/master/rfcs/20180920-unify-rnn-interface.md


tf.nn.rnn_cell.BasicRNNCell -> tf.keras.SimpleRNNCell
tf.nn.rnn_cell.BasicLSTMCell, tf.keras.LSTMCell -> tf.nn.rnn_cell.LSTMCell
tf.nn.rnn_cell.GRUCell -> tf.keras.GRUCell
tf.nn.rnn_cell.MultiRNNCell -> tf.keras.StackedRNNCells

#RNN, #tensorflow2

☑️تغییرات RNN ها در تنسرفلو۲
اگر خاطرتون باشه قبلا برای استفاده از GPU در مدلهای RNN باید شرط مینوشتیم و از لایه معادل CUDNN آن استفاده میکردیم که کد واقعا کثیف میشد!
مثلا برای تولید اشعاری شبیه شاهنامه کد زیر را که در عکس مشخص شده داشتیم

https://nbviewer.jupyter.org/github/Alireza-Akhavan/class.vision/blob/master/48-text-generation-on-shahnameh-tensorflow.ipynb
#tensorflow2 #rnn

در تنسرفلو ۲، به صورت پیش فرض اگر GPU در دسترس باشه و اگر از لایه های RNN ی استفاده کنید، از GPU استفاده خواهد شد.
اگر یادتون باشه قبلا اینطوری نبود که اینجا مثال زدم:

https://t.me/cvision/1446

پس به همین دلیل دیگه دو لایه ی keras.layers.CuDNNLSTM/CuDNNGRU layers
منقضی شدند. و میتونید بدون نگرانی به نوع سخت افزار کد بنویسید.

اما از اونجایی که لایه های rnn در کرنل CUDNN تحت شرایط خاص نوشته شده، نمیتونیم هر پارامتری که میخوایم را بهش پاس بدیم، در غیر این صورت کدمون فقط رو cpu ران میشه!

شرایطی که باعث میشه لایه های RNN ی روی GPU نره و فقط رو CPU اجرا شه!

🔴Changing the activation function from tanh to something else.
🔴Changing the recurrent_activation function from sigmoid to something else.
🔴Using recurrent_dropout > 0.
Setting unroll to True, which forces LSTM/GRU to decompose the inner tf.while_loop into an unrolled for loop.
🔴Setting use_bias to False.
🔴Using masking when the input data is not strictly right padded (if the mask corresponds to strictly right padded data, CuDNN can still be used. This is the most common case).

https://www.tensorflow.org/guide/keras/rnn

@cvision
#tensorflow2 #rnn

#آموزش #rnn #lsrm #gru
قسمت اول - مقدمات شبکه‌های بازگشتی:

https://www.aparat.com/v/zqbc8

#آموزش #rnn #lsrm #gru
قسمت دوم - ادامه مقدمات شبکه‌های بازگشتی:

https://www.aparat.com/v/WQyuo?playlist=287685