پیدا کردن بهترین learning rate

Cyclical Learning Rates for Training Neural Networks

https://medium.com/@lipeng2/cyclical-learning-rates-for-training-neural-networks-4de755927d46
در کراس:
https://github.com/bckenstler/CLR/blob/master/clr_callback_tests.ipynb

در تنسرفلو یکی pull request کرده اما هنوز merge نشده - اما میشه کدشو دید:
https://github.com/tensorflow/tensorflow/pull/20785/commits/e1b30b2c50776fc1e660503d07451a6f169a7ff9

در کتابخانه fast.ai هم که خود کتابخانه پشتیبانی میکنه:
https://github.com/fastai/fastai/tree/master/fastai

مرتبط با مقاله ی
https://t.me/cvision/701

#learning_rate #keras #tensorflow #fastai

مقایسه تعداد آگهی های شغلی برای هر کدام از فریمورک های یادگیری عمیق.

🙏Thanks to: @partdpai

توئیت Jeremy Howard پیرامون تکنیک مقداردهی اولیه پارامترهای قابل یادگیری لایه های BN در مقاله Imagenet in 1 hour

مرتبط با
https://t.me/cvision/720

#batch_norm

#مقاله
آموزش روی مجموعه داده ImageNet در یک ساعت با سایز مینی بچ 8192 بدون افت کارایی.

Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour
https://arxiv.org/abs/1706.02677

مرتبط با پست

https://t.me/cvision/721
در مقاله ای که در توئیت یان لیکان معرفی شده بود، توصیه شده بود سایز بچ را بزرگتر از 32 نگذاریم
https://t.me/cvision/560

اما در این مقاله، با استفاده از تکنیک هایی که معرفی کرده توانسته سایز minibatch را با در اختیار داشتن ۲۵۶ پردازنه گرافیکی ۸۱۹۲ قرار بده و افت کارایی نداشته باشه!

#mini_batch

تعداد مقالات منتشر شده که به وسیله فریمورک های مختلف یادگیری عمیق پیاده سازی شده اند.

https://bit.ly/2QOkvPS

🙏Thanks to: @partdpai

#خبر
امروز به صورت همزمان هم (پیش نمایش) نسخه 1 فریمورک #پایتورچ و هم نسخه 1 کتابخانه یادگیری عمیق سطح بالای fastai (که بر روی پایتورچ نسخه 1 نوشته شده است) منتشر شدند.
کتابخانه :fastai
https://github.com/fastai/fastai
مستندات کتابخانه fastai هم بعد از مدت ها بالاخره منتشر شد.
http://docs.fast.ai

#خبر #framework
توصیه ی Andrej Karpathy برای استفاده از فریم ورک FastAI و خوشحالی شدید Jeremy Howard ...
https://twitter.com/jeremyphoward/status/1047215781023367168

#خبر
گوگل کولب file browser اضافه کرد...
اکنون شما میتوانید فایلهایتان را با یک کلیک آپلود و دانلود کنید.
#colab

‏در حال حاضرخلاصه راهنمای یادگیری ماشین،به زبان فارسی در دسترس است.

یادگیری عمیق:

https://stanford.edu/~shervine/l/fa/teaching/cs-229/cheatsheet-deep-learning

نکات و ترفندهای یادگیری ماشین:

https://stanford.edu/~shervine/l/fa/teaching/cs-229/cheatsheet-machine-learning-tips-and-tricks
یاگیری با نظارت:

https://stanford.edu/~shervine/l/fa/teaching/cs-229/cheatsheet-supervised-learning
یادگیری بدون نظارت:

https://stanford.edu/~shervine/l/fa/teaching/cs-229/cheatsheet-unsupervised-learning

یادآوری آمار و احتمالات

 https://stanford.edu/~shervine/l/fa/teaching/cs-229/refresher-probabilities-statistics

یادآوری جبر خطی و حسابان

 https://stanford.edu/~shervine/l/fa/teaching/cs-229/refresher-algebra-calculus

سلام.
گیت هاب درس با مباحث جلسات قبل به روز شده.
multi-label classification
و مقدمات تنسرفلو

لطفا حتما برای جلسه روز دوشنبه تسلط کامل به مقدمات تنسرفلو داشته باشید. مرور نخواهیم کرد و بک شبکه کاولوشنالی را پیاده سازی خواهیم کرد.

میتونید کدهای جلسه قبل را آنلاین ببینید:
http://nbviewer.jupyter.org/github/alireza-akhavan/class.vision/blob/master/35-intro-to-tensorflow.ipynb

همچنین تا آپلود شدن اسلایدها میتونید از روی این اسلایدها که شباهت زیادی دارد مطالعه کنید:
https://www.slideshare.net/Alirezaakhavanpour/tensorflow-71395844

برای مرور مباحث جلسات گذشته قسمت
low level Apis
سایت
https://www.tensorflow.org/guide/

توصیه میشود.

#مقاله #آموزش
توئیت جالب Jeremy Howard در مورد #transfer_learning
در این کار لایه های FC اضافه شده freeze شدند و لایه های pre-trained شده fine-tuned شده اند!!
https://bit.ly/2yelykx

ویدیوی 4 جلسه نخست آپلود شد:
https://www.aparat.com/video/video/listuser/username/cvision/usercat/187812

f2-score چیست؟

f2-score چیست؟

How efficient is an F2-score in evaluating the performance of a machine learning model?

مفهوم
True Positive
False Positive
True Negative
False Negative

اگر GPUکامپیوتر شما compute capability اش 5 یا کمتر است دیگر توسط پای تورچ پکیج آماده یا prebuild ارائه نمیشود.
میتوانید نسخه legacy غیر رسمی را دانلود کنید (نسخه 3.0 برای پایتون 3.6 و کودا 9 ویندوز)

ویدیوی جلسه 5-ام
https://www.aparat.com/v/BHS65

نوت بوک جلسه قبل از کورس fast.ai برداشته شده بود:
https://github.com/fastai/fastai/blob/master/courses/dl1/lesson1.ipynb