دوره آموزشی آنلاین «یادگیری ژرف (#deep_learning):

🔗URL: http://course.fast.ai/

در این دوره رایگان که مدت آن ۷ هفته و هر هفته 10 ساعت زمان نیاز است، مبانی یادگیری عمیق بر اساس سرفصل‌های دانشگاه سان فرانسیسکو در قالب ویدئو تدریس می‌شود:

این ویدیوها قسمت اول است و قسمت دوم ویدیوها در تاریخ
May 2017
در همین سایت به صورت آنلاین قرار خواهد گرفت...

پیش نیازها:
- حداقل یکسال سابقه برنامه نویسی
- ریاضی در حد دبیرستان

0—Why deep learning; Intro to convolutions
1—#Recognizing cats and dogs
2—#Convolutional neural networks
3—#Under_fitting and #over_fitting
4—#Collaborative filtering, embeddings, and more
5—Intro to #NLP and RNNs
6—Building RNNs
7—Exotic #CNN architectures; #RNN from scratch

#course

TensorFlow RNN Tutorial

🔗 https://svds.com/tensorflow-rnn-tutorial/
🔗 https://github.com/silicon-valley-data-science/RNN-Tutorial

#TensorFlow #rnn #tutorial

#آموزش

How to do time series prediction using RNNs, #TensorFlow and Cloud ML Engine

🔗 http://dataconomy.com/2017/05/how-to-do-time-series-prediction-using-rnns-tensorflow-and-cloud-ml-engine/

#RNN #deep_learning

#مقاله گوگل #سورس_کد #مدل
A Neural Representation of Sketch Drawings
مدل با هزاران نقاشی ابتدایی کشیده شده توسط افراد از صدها کلاس مختلف آموزش دیده شده است. سپس بر اساس نقاشی تا کنون شما, نقاشی شما را بر اساس آموزشهای قبلی تکمیل میکند.

🔗abstract:
https://arxiv.org/abs/1704.03477

🔗Paper:
https://arxiv.org/pdf/1704.03477.pdf

🔗Project Page:
https://magenta.tensorflow.org/sketch_rnn

🔗Code and Model:
https://github.com/tensorflow/magenta/tree/master/magenta/models/sketch_rnn

#sketch_generation #Sketch_RNN #RNN #deep_learning #TensorFlow

صفحه این محقق و پایان نامه ایشون برای علاقه مندان به LSTM و شبکه های Recurrent خصوصا برای بازشناسی جملات دست نویس توصیه میشود.
Alex Graves
https://www.cs.toronto.edu/~graves/

#lstm #handwriting #rnn

#آموزش

Recognizing Speech Commands Using Recurrent Neural Networks with Attention

https://towardsdatascience.com/recognizing-speech-commands-using-recurrent-neural-networks-with-attention-c2b2ba17c837

سورس کد:

A Keras implementation of neural attention model for speech command recognition
https://github.com/douglas125/SpeechCmdRecognition

مرتبط با:

سورس و مقاله wav2letter++ یک روش end2end
https://t.me/cvision/850
جلسه مربوط به Attention در RNNها:
https://www.aparat.com/v/SPZzH
جلسه مربوط به پردازش صوت در RNNها:
https://www.aparat.com/v/cEKal

#attention #rnn #lstm #keras #Speech

#آموزش
RNN-Based Handwriting Recognition in Gboard
https://ai.googleblog.com/2019/03/rnn-based-handwriting-recognition-in.html

#rnn #Handwriting_Recognition

#سورس_کد
Neural Machine Translation with Luong Attention - Tensorflow 2.0

https://github.com/tensorflow/examples/blob/master/community/en/nmt_with_luong_attention.ipynb

#tensorflow2 #nlp #rnn #attention

تغییرات تنسرفلو ۲ برای شبکه های بازگشتی
یکی از تغییرات تنسرفلو ۲ حذف API های اضافی بوده است.
مثلا در تنسرفلو قبلا با دو روش مختلف

TF RNN و Keras RNN

میتوانستیم شبکه ها را تعریف کنیم.
در نسخه جدید تنسرفلو روش TF RNN برای تعریف شبکه های بازگشتی منسوخ شده و کاربردهایی که قبلا داشته و در Keras نبوده به Keras پورت شده است.
حالا از این پس صرفا با API هایی که کراس در اختیارمون میگذاره باید شبکه های RNN را تعریف کنیم.

اطلاعات بیشتر را در این مورد میتوانید از اینجا مطالعه کنید:

https://github.com/tensorflow/community/blob/master/rfcs/20180920-unify-rnn-interface.md


tf.nn.rnn_cell.BasicRNNCell -> tf.keras.SimpleRNNCell
tf.nn.rnn_cell.BasicLSTMCell, tf.keras.LSTMCell -> tf.nn.rnn_cell.LSTMCell
tf.nn.rnn_cell.GRUCell -> tf.keras.GRUCell
tf.nn.rnn_cell.MultiRNNCell -> tf.keras.StackedRNNCells

#RNN, #tensorflow2

☑️تغییرات RNN ها در تنسرفلو۲
اگر خاطرتون باشه قبلا برای استفاده از GPU در مدلهای RNN باید شرط مینوشتیم و از لایه معادل CUDNN آن استفاده میکردیم که کد واقعا کثیف میشد!
مثلا برای تولید اشعاری شبیه شاهنامه کد زیر را که در عکس مشخص شده داشتیم

https://nbviewer.jupyter.org/github/Alireza-Akhavan/class.vision/blob/master/48-text-generation-on-shahnameh-tensorflow.ipynb
#tensorflow2 #rnn

در تنسرفلو ۲، به صورت پیش فرض اگر GPU در دسترس باشه و اگر از لایه های RNN ی استفاده کنید، از GPU استفاده خواهد شد.
اگر یادتون باشه قبلا اینطوری نبود که اینجا مثال زدم:

https://t.me/cvision/1446

پس به همین دلیل دیگه دو لایه ی keras.layers.CuDNNLSTM/CuDNNGRU layers
منقضی شدند. و میتونید بدون نگرانی به نوع سخت افزار کد بنویسید.

اما از اونجایی که لایه های rnn در کرنل CUDNN تحت شرایط خاص نوشته شده، نمیتونیم هر پارامتری که میخوایم را بهش پاس بدیم، در غیر این صورت کدمون فقط رو cpu ران میشه!

شرایطی که باعث میشه لایه های RNN ی روی GPU نره و فقط رو CPU اجرا شه!

🔴Changing the activation function from tanh to something else.
🔴Changing the recurrent_activation function from sigmoid to something else.
🔴Using recurrent_dropout > 0.
Setting unroll to True, which forces LSTM/GRU to decompose the inner tf.while_loop into an unrolled for loop.
🔴Setting use_bias to False.
🔴Using masking when the input data is not strictly right padded (if the mask corresponds to strictly right padded data, CuDNN can still be used. This is the most common case).

https://www.tensorflow.org/guide/keras/rnn

@cvision
#tensorflow2 #rnn

#آموزش #rnn #lsrm #gru
قسمت اول - مقدمات شبکه‌های بازگشتی:

https://www.aparat.com/v/zqbc8

#آموزش #rnn #lsrm #gru
قسمت دوم - ادامه مقدمات شبکه‌های بازگشتی:

https://www.aparat.com/v/WQyuo?playlist=287685

#آموزش #rnn #lsrm #gru
قسمت سوم - پیاده‌سازی تخمین تابع با شبکه‌های بازگشتی ساده

در این جلسه با فریم‌ورک Keras آموزش و تولید یک موج سینوسی به عنوان یک مثال ساده برای شروع با RNN آموزش داده شد.

https://www.aparat.com/v/4JYTU

#آموزش #rnn #lsrm #gru
قسمت ششم - محو شدگی و انفجار گرادیان‌ها در شبکه‌های بازگشتی

https://www.aparat.com/v/DRqG1

پ ن : این ویدیوها نیاز به پیش‌نیاز آشنایی با پیاده سازی شبکه های عصبی و کانولوشنالی در تنسرفلو و کراس دارد.
می‌توانید مسیر یادگیری یادگیری عمیق را از اینجا بخوانید، یا ویدیو مقدماتی را از اینجا ببنید. اگر هیچ دیدی هم نسبت به یادگیری عمیق ندارید به این پست یک نگاهی بیندازید.

#آموزش #rnn #lsrm #gru

قسمت هفتم - شبکه‌های GRU
https://www.aparat.com/v/fnlRB


پ ن : این ویدیوها نیاز به پیش‌نیاز آشنایی با پیاده سازی شبکه های عصبی و کانولوشنالی در تنسرفلو و کراس دارد.
می‌توانید مسیر یادگیری یادگیری عمیق را از اینجا بخوانید، یا ویدیو مقدماتی را از اینجا ببنید. اگر هیچ دیدی هم نسبت به یادگیری عمیق ندارید به این پست یک نگاهی بیندازید.

#آموزش #rnn #lsrm #gru

قسمت سی و دوم - Image captioning با توجه!

این ویدیو شبیه پیاده سازی مقاله
Show, Attend and Tell: Neural Image Caption Generation with Visual Attention[link]
است که با توجه به ویژگی‌های استخراج شده یک شبکه کانولوشنالی توسط شبکه RNN آن تصویر را تفسیر می‌کند.

https://www.aparat.com/v/qD1Mi

در صورت تمایل به کمک به جمع آوری مجموعه داده فارسی هم می‌توانید در سایت
imagecaptioning.ir

فعالیت کنید.

پک کامل این ویدیو هم در سایت class.vision با کد تخفیف cvision در دسترس است.

#آموزش #سورس_کد #RNN
در دوره‌ی آموزشی یادگیری عمیق پیشرفته صندوق نو آوری و شکوفایی،
که فیلم‌هایش را از اینجا می‌توانید تهیه کنید، در مبحث Seq2Seq networks در شبکه‌های بازگشتی یک مثال ساده تفسیر رشته‌ی محاسباتی و درک جمعشون را با RNNها دیدیم که کدش در اینجا قابل مشاهده است:

09_add-numbers-with-seq2seq.ipynb

حالا François Chollet خالق کراس کد مشابه ای را به سلیقه خودش زده که می‌توانید در گوگل کولب مشاهده کنید:
https://colab.research.google.com/drive/1yabxTmMA_-iZ8Dyifta28ux5FxDL90Ak

لینک به توئیت: https://twitter.com/fchollet/status/1251307555533406209?s=20

دموی دوره ی تخصصی rnn ها در آپارات قرار گرفت:
https://www.aparat.com/v/teHmF

به مناسبت میلاد با سعادت حضرت فاطمه و روز مادر کد تخفیف 40 درصدی mother تا انتهای هفته فعال شد.

mother


هم اکنون از یکی از دو لینک زیر این دوره ی آفلاین را تهیه بفرمایید:

http:/deeprnn.shop
http://class.vision/deeplearning2/

#rnn #tensorflow #lstm #gru #keras