#آموزش #keras

#سوال:
به نظر شما چرا انقدر loss و accuracy دیتای validation نوسان دارد و از 0 تا 100 دائما نوسان میکند؟

#پاسخ احتمالی 1:
ممکن است بگویید lr زیاده! اما دیتای train نوسانی نداره. پس این جواب اشتباهه.
راهنمایی #پاسخ درست:
به اندزه‌ی سایز batch در validation_generator و تعداد عکسهایی که این generator پیدا کرده دقت کنید!

#خبر
ورک‌شاپ جرمی هاوارد در دانشگاه سان فرانسیسکو پیرامون استفاده از تنسرفلو در fast.ai
اینم یه نوع بازاریابیه :)
یه عمر از تنسرفلو بد بگو، بعد بیا سمتش!
بعد خود اکانت رسمی تنسرفلو تبلیغ ورکشاپ را برات انجام میده ...
https://twitter.com/TensorFlow/status/1118899208235495424

#آموزش
Create a real #TensorFlow production ML pipeline with this new #TFX step-by-step tutorial!

https://www.tensorflow.org/tfx/tutorials/tfx/workshop

#tensorflow2 #tfx

#آموزش
به صورت آنلاین تجربه کنید که یک مقداردهی اولیه نامناسب شبکه چه قدر روی روال آموزش تاثیر منفی می‌گذارد!
interactive tutorial on neural networks initialization.

https://www.deeplearning.ai/ai-notes/initialization/index.html

#خبر
نگارش جدید (4.1) اپن.سی.وی، و ظاهر جدید وب سایت OpenCV
https://opencv.org/

#مقاله
Semantic Adversarial Attacks:
Parametric Transformations That Fool Deep Classifiers

http://arxiv.org/pdf/1904.08489.pdf
🙏Thanks to: @vahidreza01

#مقاله
فریب شبکه های object detection در تشخیص افراد.
Fooling automated surveillance cameras: adversarial patches to attack person detection. https://arxiv.org/abs/1904.08653

🙏Thanks to: @vahidreza01
#adversarial #gan

Nils J. Nilsson
محقق و استاد هوش مصنوعی دانشگاه استنفورد، نویسنده مشهور کتاب های هوش مصنوعی و مبدع الگوریتم های A* و STRIPS درگذشت.
https://ai.stanford.edu/~nilsson/

#خبر
NVIDIA Tesla T4 GPUs are now available in Colab

Faster computations with more available memory.
https://cloud.google.com/blog/products/ai-machine-learning/nvidia-tesla-t4-gpus-now-available-in-beta

#آموزش
با تغییر مقدار eps در Adam از 1e-8 به 1e-4 مشکل آموزش دادن مدلش حل شده ....
https://twitter.com/KeremTurgutlu/status/1120125247330500610?s=19

@karpathy’s Tweet: https://twitter.com/karpathy/status/1121449636403638272?s=09
🙏Thanks to: @Alidiba

معروف ترین زبان های برنامه نویسی در گذر زمان از سال ۲۰۰۸ تا ۲۰۱۸
در سال های اخیر پایتون به دلیل استفاده در زمینه های متعدد مانند یادگیری ماشین، از معروف ترین زبان ها شده است.

🙏Thanks to: @techinsider_channel

#مقاله
Improving the Robustness of Deep Neural Networks via Stability Training
کسانی که دیپ در ویدیو کار کردند حتما با این مشکل مواجه شدند...
دو فریم کاملا مشابه از لحاظ بصری و جواب های کاملا متفات در طبقه بند.

How can we make computer vision networks more robust against image distortions so small that they’re undetectable to the human eye?

https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Zheng_Improving_the_Robustness_CVPR_2016_paper.pdf#utm_source=social&utm_medium=linkedin&utm_campaign=AINotesInitializationDiscussion1&utm_term=TechRecApril252019

"If you're not having fun, you're not learning. There's a pleasure in finding things out." - Richard Feynman

وقتی Chollet به کسایی که عقیده دارند به دلیل پیشرفتهای یادگیری ژرف داریم به strong AI نزدیک میشیم تیکه می اندازد!!
https://twitter.com/fchollet/status/1122330598968705025

#Narrow | #Weak | #Strong | #General #AI
#Super_Intelligence

توئیت های زیادی از افرادی مثل Chollet به اظهار نظر در مورد General/Strong AI و اینکه چه قدر ازش فاصله داریم پرداخته میشه.
ممکنه افرادی در گروه باشند که با این واژه ها آشنا نباشند.
پودمان 5 کتاب دانش فنی هنرستان تحت عنوان"کاربرد هوش مصنوعی" این عبارت را خیلی خلاصه و ساده توضیح داده است.
معرفی این مفاهیم در دبیرستان تحسین بر انگیزه👏👏👏

http://chap.sch.ir/sites/default/files/lbooks/97-98/949/123-156-C212287.pdf

Optimizing TensorFlow Models for Serving

https://medium.com/google-cloud/optimizing-tensorflow-models-for-serving-959080e9ddbf

#آموزش

پارامتر مربوط به regularization وزنها در Keras چیست؟!

#kernel_regularizer vs #activity_regularizer

اگر در مستندات مرتبط کراس نگاه کنید

سه پارامتر برای regularizer در این فریم ورک معرفی شده است:

-kernel_regularizer
-bias_regularizer
-activity_regularizer

برای مثال

from keras import regularizers
model.add(Dense(64, input_dim=64,
kernel_regularizer=regularizers.l2(0.01),
activity_regularizer=regularizers.l1(0.01)))

خب پارامتر bias_regularizer که بر روی وزنهای بایاس است و معمولا به دلیل ابعاد کم استفاده نمیشود.
اما دو پارامتر دیگر چیستند؟ کدام پارامتر برای استفاده از l2 regularization معروف به weight decay است؟

احتمالا با روش L2 Regularization به عنوان روشی برای جلوگیری از overfitting آشنا هستید.

دوستانی که دیپ لرنینگ را با کورس های اندروانگ دنبال کردند
در کورس دوم Deep learning specialization که توسط Andrew Ng تحت عنوان Improving Deep Neural Networks, Hyperparameter tuning, Regularization and Optimization ارائه شد در روش های مختلف Regularization ایشون روشی را با نام L2 regularization معرفی کردند.

روشی که در این کورس مطرح شد و سایر منابع معمولا مطرح میکنند پنالتی بر روی وزنهای شبکه است که قبلا در فریم ورک کراس با پارامتر weight_regularizer بود...

اما این فریم ورک در نسخه ی فعلیش پارامتر weight_regularizer را ندارد و دو پارامتر به نامهای
▪️kernel_regularizer
▪️activity_regularizer
اضافه کرده است.

از بین این پارامتر ها kernel_regularizer در واقع همان weight_regularizer یا روش weigh-decay است که در منابعی مثل کورس اندرو انگ مطرح شدند و پنالتی را بر روی وزنهای شبکه اعمال میکند.

اما activity_regularizer که در کورس اندروانگ توضیح داده نشده ولی کراس آن را پیاده سازی کرده روشی است که پنالتی را بر روی خروجی هر لایه(بعد از تابع فعالیت) اعمال میکند! نکته ی مهم اینکه این روش از قبل نسخه ۲.۱.۴ باگ داشته و اگر میخواهید استفاده کنید باید نسخه کراس شما به روز باشد.

در مورد روش دوم در این لینک کمی توضیح داده شده است:
https://datascience.stackexchange.com/questions/15187/regularization-practice-with-anns/15195#15195

این مطلب در stackoverflow هم مرتبطه با ابهامی که بیان کردم:
https://stackoverflow.com/questions/44495698/keras-difference-between-kernel-and-activity-regularizers

#regularization

#آموزش

پارامتر مربوط به regularization وزنها در Keras چیست؟!

#kernel_regularizer vs #activity_regularizer


https://t.me/cvision/1219

#keras #tensorflow2 #regularization

#سورس_کد

image similarity deep ranking

در این مخرن، کدهایی برای آموزش دادن ranking به یک شبکه عمیق با هدف یافتن تصاویر مشابه آورده شده است.

این تسک با طبقه بندی تفاوت دارد، مثلا ممکن است سه ماشین در یک خیابان با رنگهای مشکی، سفید و قرمز پارک باشد، از دید طبقه بند هر سه خودرو هستند، از دید شبکه ranking ماشین مشکی در جست و جو به ماشین مشکی تصویر نزدیکتر خواهد بود...

https://github.com/akarshzingade/image-similarity-deep-ranking