Необычная библиотека Automold для аугментации снимков дорог для self-driving car.

https://towardsdatascience.com/automold-specialized-augmentation-library-for-autonomous-vehicles-1d085ed1f578

Автору удалось сымитировать снег, дождь, тени на дороге, осень и другие специфические эффекты.

Давно ничего не писали, были заняты, извиняться не будем.

Сегодня хотим поговорить про RL или обучение с подкреплением.

Итак, все мы знаем как трудно учить RL агента, который так и норовит перестать работать при любом минимальном изменении условий среды. Однако, существуют попытки уменьшить данный негативный эффект, например тут https://hackernoon.com/learning-policies-for-learning-policies-meta-reinforcement-learning-rl²-in-tensorflow-b15b592a2ddf объясняется метод meta-RL, который пытается улучшить качество работы агента на смежных задачах (почитайте).

Это еще не все. Авторы метода совместно с учеными нейробиологами https://deepmind.com/blog/prefrontal-cortex-meta-reinforcement-learning-system/ опубликовали в nature(!) статью, (тут доступный препринт https://www.biorxiv.org/content/early/2018/04/06/295964) в который пытаются выдвинуть новую теорию о том, как дофамин(источник положительного подкрепление в головном мозге) влияет на способность мозга обучаться. В данной работе ученые пытаются применить идеи meta-RL для объяснения того, как работает дофамин. Интересно.

Очень хорошая статья о самой большой и полезной части работы над моделями: работе с данными. Все вроде бы знают, что данные - это самое важное, но так не хочется снова брать вилочку и чистить.

Основной вывод: если количество времени ограничено (т.е всегда), лучше еще раз проверьте свои данные.

https://petewarden.com/2018/05/28/why-you-need-to-improve-your-training-data-and-how-to-do-it/

В TWiML&AI пришёл Гарри Каспаров поговорить про шахматы, DeepBlue, AlphaGo Zero, ИИ, и о том, каково будет взаимоотношение людей и машин. https://itunes.apple.com/ru/podcast/this-week-in-machine-learning-artificial-intelligence/id1116303051?l=en&mt=2&i=1000412017937

Лекция "Методы машинного обучения и большие данные биоинформатики" https://www.youtube.com/watch?v=x3s5wdwt7Pw

Очень интересно рассказывается история открытия днк, расшифровки, метод секвенирования и собственно о том, как анализировать эту молекулу. ДНК это и есть самые настоящие большие данные, если для бактерии размер ДНК измеряется мегабайтами, то для человека гигабайтами. Мне лично понравилась история с клубом РНК галстуков https://en.wikipedia.org/wiki/RNA_Tie_Club

Андрей рассказал о проблемах, которые возникают при решении задач из реальной жизни с помощью машоба. Смотреть обязательно.

https://www.figure-eight.com/building-the-software-2-0-stack-by-andrej-karpathy-from-tesla/

А это та самая статья о том, как читать статьи.

https://www.albany.edu/spatial/WebsiteFiles/ResearchAdvices/how-to-read-a-paper.pdf

Ещё один сборник всего на свете, связанного с deep learning-ом.
В основном предобученные модели для разных фреймворков с поиском, но есть и библиотеки.

https://modelzoo.co/

Ооочень подробная статья о том, как работают однопроходные (single-shot) детекторы на примере Yolo и SSD:

http://machinethink.net/blog/object-detection/

https://github.com/Microsoft/VoTT

Microsoft открыли инструмент для разметки объектов на видео и картинках на electron-е с поддержкой трекинга. Vatic больше не нужон.

Фейсбук выложил DensePose на гитхаб.
Там и модели, и код, и примеры, и данные - всё на свете.

https://research.fb.com/facebook-open-sources-densepose/

https://youtu.be/MjViy6kyiqs

Nvidia Research показали демку super-slowmotion алгоритма, который из обычных видео синтезирует 240 fps. Результаты выглядят нечеловечески красиво.

Кода или демки, к сожалению, нет, зато есть статья:
https://arxiv.org/pdf/1712.00080.pdf

Астрологи объявили неделю NVidia:

Они выпустили 2 библиотеки:
DALI для аугментации картинок на гпу
и её компонент - nvJPEG для декодинга

https://github.com/NVIDIA/dali

Для DALI есть обвязка для MXNet, TensorFlow и PyTorch

https://paperswithcode.com/ Здесь даются одновременно ссылки на статьи и на код к ним. Видно сразу какой используется фреймворк и сколько «звёзд» поставили пользователи.

Вы, конечно же, помните бота от OpenAI, который крушил профессионалов 1х1 на прошлом The International (это главный турнир по Dota 2 с призовым фондом $24.7M). Тогда они не открыли того, как работает их бот, но обещали, что будут работать над алгоритмом, который играет за всю команду.

И вот, в преддверии нового TI, OpenAI доставляет: https://blog.openai.com/openai-five/. По ссылке статья с объяснением алгоритма с очень красивыми визуализациями.

Новый бот уже способен победить команду средних игроков!

Как же они душат: https://youtu.be/UZHTNBMAfAA

Очень жду, когда покажут бота, который играет в Starcraft 2 (его тоже уже делают).

hardmaru выложил картинку с архитектурой модели

В статье, оказывается, очень много ссылок:
1) Архитектура: https://d4mucfpksywv.cloudfront.net/research-covers/openai-five/network-architecture.pdf
2) Документация награды: https://gist.github.com/dfarhi/66ec9d760ae0c49a5c492c9fae93984a

У агентов нет прямой связи друг с другом, она осуществляется через Team Spirit - коэффициент при средней награде всей команды, который в процессе обучения меняется от 0 до 1

Если вам приходится использовать Tensorflow, то вот отличная статья из самых недр Гугл Брейна о том, как понять неочевидные (все) части Tensorflow:

https://jacobbuckman.com/post/tensorflow-the-confusing-parts-1/

анимированная схема о том, как работает обратное распространение ошибки https://google-developers.appspot.com/machine-learning/crash-course/backprop-scroll/

https://thomas-tanay.github.io/post--L2-regularization/

Статья с очень красивой визуализацией того, что такое adversarial examples и как они живут с L2-регуляризацией на примере линейного классификатора.

Обсуждение на реддите:
https://www.reddit.com/r/MachineLearning/comments/8vhyak/r_a_new_angle_on_l2_regularization/