A tiny micro-framework for AutoGrad and Neural Networks by Andrej Karpathy.

https://github.com/karpathy/micrograd

Jupyter Notebook:
https://github.com/karpathy/randomfun/blob/master/MicroGrad.ipynb

توضیحات تکمیلی: AutoGrad معروف‌ترین پیاده‌سازی از الگوریتم AutoDiff است که در Pytorch از آن استفاده شده است. (پیاده‌سازی جدیدتر و سریعتر آن Google JAX است) از این الگوریتم به جای الگوریتم Backprop برای محاسبه گرادیان توابع چند‌متغیره استفاده می‌شود.
الگوریتم Backprop برای محاسبه گرادیان های میانی در یک Computation Graph نیاز به مرحله feed-forward و ذخیره مقادیر Tensor ها در حافظه دارد که فضای زیادی را برای گراف های بزرگ اشغال میکند. همچنین در این روش امکان محاسبه مشتقات بالاتر (مشتق دوم و ...) وجود ندارد. اما AutoDiff در واقع گراف محاسباتی تابع مشتق را به صورت ضمنی ایجاد میکند و بنابراین نیاز به ذخیره سازی مقادیر تنسور های میانی ندارد و میتوان مشتق های بالاتر را نیز برای آنها محاسبه کرد.
نوت‌بوک بالا یک پیاده سازی ساده و آموزنده از AutoDiff است که توسط Andrej Karpathy سرپرست تیم هوش مصنوعی Tesla و مدرس دوره محبوب CS231n 2016 پیاده سازی شده است.

در هنگام توسعه محصولات مرتبط با AI، بسیار پیش می‌آید که می‌خواهید میزان مشابهت (Similarity) یا فاصله (Distance) تعداد زیادی بردار (مثلا مقایسه feature map یک محصول با تمام محصولات موجود در سایت شما) را به کمک روش هایی مثل L2 Distance یا Dot-product بدست آورده و یا به جستجو برای یافتن شبیه ترین بردار ها به یک بردار بپردازید.
تفاوت ذاتی یک محیط عملیاتی حقیقی با یک محیط اکادمیک آزمایشگاهی ممکن است مشکلاتی را در این زمینه برای شما ایجاد کند. مثلا بسیار پیش می‌آید که بردار شما حتی به راحتی در حافظه RAM یک کامپیوتر جا نمی‌شود. یا به دلیل زیاد بودن تعداد بردار ها، جستجو در آنها بسیار کند اتفاق می‌افتد.
برای مقابله با این‌گونه محدودیت ها می‌توانید از کتابخانه faiss که توسط تیم مهندسی Facebook توسعه داده شده است استفاده کرده و در کسری از ثانیه به جستجوی بردار های مشابه در یک فضای برداری بزرگ بپردازید.

https://github.com/facebookresearch/faiss

اطلاعات بیشتر:
https://engineering.fb.com/data-infrastructure/faiss-a-library-for-efficient-similarity-search/

OpenAI Microscope, a collection of visualizations of every significant layer and neuron of eight vision “model organisms” which are often studied in interpretability.

https://openai.com/blog/microscope/

علاقه مندان به تحقیق در زمینه اتوموبیل های خودران (Self-driving cars) می‌توانند از Colab Notebook زیر برای کار با دیتاست Waymo استفاده کنند.

https://colab.sandbox.google.com/github/waymo-research/waymo-open-dataset/blob/master/tutorial/tutorial.ipynb

همینطور در صورت علاقه می‌توانید در یکی از ۵ چالش Waymo Open Dataset شرکت کرده و علاوه بر جوایز نقدی امکان شرکت و ارایه کار خود در CVPR 2020 را داشته باشید!
https://blog.waymo.com/2020/03/announcing-waymos-open-dataset-challenges.html

AI for Medicine Specialization by deeplearning.ai

https://www.coursera.org/specializations/ai-for-medicine

Implementing GAN in Keras by François Chollet.

👆👆👆
You can call compile() & fit(). It handles callbacks, it has built-in distribution support, etc. It does everything fit() usually does.
But with your own low-level training algorithm.

چگونه برنامه نوشته شده در TF2 را دیباگ کنیم:

https://youtu.be/RPocW_aMZKE

XABY, a fun project for functional machine learning:

https://github.com/mcleonard/xaby

Demo Notebook:
https://github.com/mcleonard/xaby/blob/master/examples/MNIST.ipynb

شرکت LandingAI با استفاده از هوش مصنوعی ابزاری جالب برای پایش فاصله اجتماعی در محیط های کاری در دوران کرونا ساخته است.

https://landing.ai/landing-ai-creates-an-ai-tool-to-help-customers-monitor-social-distancing-in-the-workplace/

این بلاگ‌پست با زبانی ساده و جذاب به توضیح مفاهیم پایه Deep RL به ویژه DQN (مدلی که برای اولین بار بازی های Atari رو در سطح انسان بازی کرد) پرداخته و آن را با Tensorflow 2 پیاده سازی می‌کند.

https://medium.com/analytics-vidhya/building-a-powerful-dqn-in-tensorflow-2-0-explanation-tutorial-d48ea8f3177a

A new approach for evaluating a #ReinforcementLearning policy entirely from offline data, with demonstrated performance on a number of classical control benchmarks by Ali Mousavi, et al.

https://ai.googleblog.com/2020/04/off-policy-estimation-for-infinite.html?m=1

آشنایی با Tensorflow Profiler:

https://blog.tensorflow.org/2020/04/introducing-new-tensorflow-profiler.html?m=1

Transfer Learning and fine-tuning with Keras by François Chollet.

https://colab.research.google.com/drive/17vHSAj7no7RMdJ18MJomTf8twqw1suYC

Audi releases Autonomous Driving Dataset. 2.3TB across 6 cameras and 5 LiDARs.

https://www.a2d2.audi/a2d2/en.html


Jupyter Notebook:
https://www.a2d2.audi/a2d2/en/tutorial.html

Endpoint layer in Keras

https://colab.research.google.com/drive/1zzLcJ2A2qofIvv94YJ3axRknlA6cBSIw

CS229 - 2018
Andrew Ng, Kian Katanforoush

https://www.youtube.com/playlist?list=PLoROMvodv4rMiGQp3WXShtMGgzqpfVfbU

در این ویدیو ، آندره کارپاثی (Andrej karpathy) مدیر بخش هوش‌مصنوعی تسلا، توضیح می‌ده که کاری به آسانی خواندن تابلوی راهنمایی ایست چه قدر می‌تونه چالش و مشکل داشته باشه!

https://twitter.com/Reza_Zadeh/status/1252863933959925766?s=20

A Scalable Approach to Reducing Gender Bias in Google Translate

https://ai.googleblog.com/2020/04/a-scalable-approach-to-reducing-gender.html?m=1

Bayesian Deep Learning and a Probabilistic Perspective of Generalization

https://arxiv.org/abs/2002.08791

Off road, but not offline: How simulation helps advance Waymo Driver

https://blog.waymo.com/2020/04/off-road-but-not-offline--simulation27.html?m=1