Новая статья по RL от BAIR, на этот раз о Temporal Difference Models - алгоритме, который обучается как model-free, но может использоваться для планирования, как model-based.

http://bair.berkeley.edu/blog/2018/04/26/tdm/

В статье на пальцах объясняется, чем отличаются model-free и model-based алгоритмы, в чем их сильные и слабые стороны.

Реализацию TDM на PyTorch от авторов можно найти в https://github.com/vitchyr/rlkit

Uber AI сделали видеопредставление своей новой статьи об Intrinsic Dimension - они придумали метрику, которая позволяет оценить, сколько параметров нужно оптимизировать для заданной модели и задачи. С помощью неё можно понять, насколько "сложная" задача для модели или насколько хорошо подходит модель для задачи. Пока это всё работает только на игрушечных примерах, но направление очень интересное (и видео классное).

https://www.youtube.com/watch?v=uSZWeRADTFI
https://www.reddit.com/r/MachineLearning/comments/8f9dvm/ruberai_measuring_the_intrinsic_dimension_of/

Необычная библиотека Automold для аугментации снимков дорог для self-driving car.

https://towardsdatascience.com/automold-specialized-augmentation-library-for-autonomous-vehicles-1d085ed1f578

Автору удалось сымитировать снег, дождь, тени на дороге, осень и другие специфические эффекты.

Давно ничего не писали, были заняты, извиняться не будем.

Сегодня хотим поговорить про RL или обучение с подкреплением.

Итак, все мы знаем как трудно учить RL агента, который так и норовит перестать работать при любом минимальном изменении условий среды. Однако, существуют попытки уменьшить данный негативный эффект, например тут https://hackernoon.com/learning-policies-for-learning-policies-meta-reinforcement-learning-rl²-in-tensorflow-b15b592a2ddf объясняется метод meta-RL, который пытается улучшить качество работы агента на смежных задачах (почитайте).

Это еще не все. Авторы метода совместно с учеными нейробиологами https://deepmind.com/blog/prefrontal-cortex-meta-reinforcement-learning-system/ опубликовали в nature(!) статью, (тут доступный препринт https://www.biorxiv.org/content/early/2018/04/06/295964) в который пытаются выдвинуть новую теорию о том, как дофамин(источник положительного подкрепление в головном мозге) влияет на способность мозга обучаться. В данной работе ученые пытаются применить идеи meta-RL для объяснения того, как работает дофамин. Интересно.

Очень хорошая статья о самой большой и полезной части работы над моделями: работе с данными. Все вроде бы знают, что данные - это самое важное, но так не хочется снова брать вилочку и чистить.

Основной вывод: если количество времени ограничено (т.е всегда), лучше еще раз проверьте свои данные.

https://petewarden.com/2018/05/28/why-you-need-to-improve-your-training-data-and-how-to-do-it/

В TWiML&AI пришёл Гарри Каспаров поговорить про шахматы, DeepBlue, AlphaGo Zero, ИИ, и о том, каково будет взаимоотношение людей и машин. https://itunes.apple.com/ru/podcast/this-week-in-machine-learning-artificial-intelligence/id1116303051?l=en&mt=2&i=1000412017937

Лекция "Методы машинного обучения и большие данные биоинформатики" https://www.youtube.com/watch?v=x3s5wdwt7Pw

Очень интересно рассказывается история открытия днк, расшифровки, метод секвенирования и собственно о том, как анализировать эту молекулу. ДНК это и есть самые настоящие большие данные, если для бактерии размер ДНК измеряется мегабайтами, то для человека гигабайтами. Мне лично понравилась история с клубом РНК галстуков https://en.wikipedia.org/wiki/RNA_Tie_Club

Андрей рассказал о проблемах, которые возникают при решении задач из реальной жизни с помощью машоба. Смотреть обязательно.

https://www.figure-eight.com/building-the-software-2-0-stack-by-andrej-karpathy-from-tesla/

А это та самая статья о том, как читать статьи.

https://www.albany.edu/spatial/WebsiteFiles/ResearchAdvices/how-to-read-a-paper.pdf

Ещё один сборник всего на свете, связанного с deep learning-ом.
В основном предобученные модели для разных фреймворков с поиском, но есть и библиотеки.

https://modelzoo.co/

Ооочень подробная статья о том, как работают однопроходные (single-shot) детекторы на примере Yolo и SSD:

http://machinethink.net/blog/object-detection/

https://github.com/Microsoft/VoTT

Microsoft открыли инструмент для разметки объектов на видео и картинках на electron-е с поддержкой трекинга. Vatic больше не нужон.

Фейсбук выложил DensePose на гитхаб.
Там и модели, и код, и примеры, и данные - всё на свете.

https://research.fb.com/facebook-open-sources-densepose/

https://youtu.be/MjViy6kyiqs

Nvidia Research показали демку super-slowmotion алгоритма, который из обычных видео синтезирует 240 fps. Результаты выглядят нечеловечески красиво.

Кода или демки, к сожалению, нет, зато есть статья:
https://arxiv.org/pdf/1712.00080.pdf

Астрологи объявили неделю NVidia:

Они выпустили 2 библиотеки:
DALI для аугментации картинок на гпу
и её компонент - nvJPEG для декодинга

https://github.com/NVIDIA/dali

Для DALI есть обвязка для MXNet, TensorFlow и PyTorch

https://paperswithcode.com/ Здесь даются одновременно ссылки на статьи и на код к ним. Видно сразу какой используется фреймворк и сколько «звёзд» поставили пользователи.

Вы, конечно же, помните бота от OpenAI, который крушил профессионалов 1х1 на прошлом The International (это главный турнир по Dota 2 с призовым фондом $24.7M). Тогда они не открыли того, как работает их бот, но обещали, что будут работать над алгоритмом, который играет за всю команду.

И вот, в преддверии нового TI, OpenAI доставляет: https://blog.openai.com/openai-five/. По ссылке статья с объяснением алгоритма с очень красивыми визуализациями.

Новый бот уже способен победить команду средних игроков!

Как же они душат: https://youtu.be/UZHTNBMAfAA

Очень жду, когда покажут бота, который играет в Starcraft 2 (его тоже уже делают).

hardmaru выложил картинку с архитектурой модели

В статье, оказывается, очень много ссылок:
1) Архитектура: https://d4mucfpksywv.cloudfront.net/research-covers/openai-five/network-architecture.pdf
2) Документация награды: https://gist.github.com/dfarhi/66ec9d760ae0c49a5c492c9fae93984a

У агентов нет прямой связи друг с другом, она осуществляется через Team Spirit - коэффициент при средней награде всей команды, который в процессе обучения меняется от 0 до 1

Если вам приходится использовать Tensorflow, то вот отличная статья из самых недр Гугл Брейна о том, как понять неочевидные (все) части Tensorflow:

https://jacobbuckman.com/post/tensorflow-the-confusing-parts-1/

анимированная схема о том, как работает обратное распространение ошибки https://google-developers.appspot.com/machine-learning/crash-course/backprop-scroll/