В TWiML&AI пришёл Гарри Каспаров поговорить про шахматы, DeepBlue, AlphaGo Zero, ИИ, и о том, каково будет взаимоотношение людей и машин. https://itunes.apple.com/ru/podcast/this-week-in-machine-learning-artificial-intelligence/id1116303051?l=en&mt=2&i=1000412017937

Лекция "Методы машинного обучения и большие данные биоинформатики" https://www.youtube.com/watch?v=x3s5wdwt7Pw

Очень интересно рассказывается история открытия днк, расшифровки, метод секвенирования и собственно о том, как анализировать эту молекулу. ДНК это и есть самые настоящие большие данные, если для бактерии размер ДНК измеряется мегабайтами, то для человека гигабайтами. Мне лично понравилась история с клубом РНК галстуков https://en.wikipedia.org/wiki/RNA_Tie_Club

Андрей рассказал о проблемах, которые возникают при решении задач из реальной жизни с помощью машоба. Смотреть обязательно.

https://www.figure-eight.com/building-the-software-2-0-stack-by-andrej-karpathy-from-tesla/

А это та самая статья о том, как читать статьи.

https://www.albany.edu/spatial/WebsiteFiles/ResearchAdvices/how-to-read-a-paper.pdf

Ещё один сборник всего на свете, связанного с deep learning-ом.
В основном предобученные модели для разных фреймворков с поиском, но есть и библиотеки.

https://modelzoo.co/

Ооочень подробная статья о том, как работают однопроходные (single-shot) детекторы на примере Yolo и SSD:

http://machinethink.net/blog/object-detection/

https://github.com/Microsoft/VoTT

Microsoft открыли инструмент для разметки объектов на видео и картинках на electron-е с поддержкой трекинга. Vatic больше не нужон.

Фейсбук выложил DensePose на гитхаб.
Там и модели, и код, и примеры, и данные - всё на свете.

https://research.fb.com/facebook-open-sources-densepose/

https://youtu.be/MjViy6kyiqs

Nvidia Research показали демку super-slowmotion алгоритма, который из обычных видео синтезирует 240 fps. Результаты выглядят нечеловечески красиво.

Кода или демки, к сожалению, нет, зато есть статья:
https://arxiv.org/pdf/1712.00080.pdf

Астрологи объявили неделю NVidia:

Они выпустили 2 библиотеки:
DALI для аугментации картинок на гпу
и её компонент - nvJPEG для декодинга

https://github.com/NVIDIA/dali

Для DALI есть обвязка для MXNet, TensorFlow и PyTorch

https://paperswithcode.com/ Здесь даются одновременно ссылки на статьи и на код к ним. Видно сразу какой используется фреймворк и сколько «звёзд» поставили пользователи.

Вы, конечно же, помните бота от OpenAI, который крушил профессионалов 1х1 на прошлом The International (это главный турнир по Dota 2 с призовым фондом $24.7M). Тогда они не открыли того, как работает их бот, но обещали, что будут работать над алгоритмом, который играет за всю команду.

И вот, в преддверии нового TI, OpenAI доставляет: https://blog.openai.com/openai-five/. По ссылке статья с объяснением алгоритма с очень красивыми визуализациями.

Новый бот уже способен победить команду средних игроков!

Как же они душат: https://youtu.be/UZHTNBMAfAA

Очень жду, когда покажут бота, который играет в Starcraft 2 (его тоже уже делают).

hardmaru выложил картинку с архитектурой модели

В статье, оказывается, очень много ссылок:
1) Архитектура: https://d4mucfpksywv.cloudfront.net/research-covers/openai-five/network-architecture.pdf
2) Документация награды: https://gist.github.com/dfarhi/66ec9d760ae0c49a5c492c9fae93984a

У агентов нет прямой связи друг с другом, она осуществляется через Team Spirit - коэффициент при средней награде всей команды, который в процессе обучения меняется от 0 до 1

Если вам приходится использовать Tensorflow, то вот отличная статья из самых недр Гугл Брейна о том, как понять неочевидные (все) части Tensorflow:

https://jacobbuckman.com/post/tensorflow-the-confusing-parts-1/

анимированная схема о том, как работает обратное распространение ошибки https://google-developers.appspot.com/machine-learning/crash-course/backprop-scroll/

https://thomas-tanay.github.io/post--L2-regularization/

Статья с очень красивой визуализацией того, что такое adversarial examples и как они живут с L2-регуляризацией на примере линейного классификатора.

Обсуждение на реддите:
https://www.reddit.com/r/MachineLearning/comments/8vhyak/r_a_new_angle_on_l2_regularization/

Прекрасный конспект докладов с CVPR2018

https://olgalitech.wordpress.com/2018/06/30/cvpr-2018-recap-notes-and-trends/

Facebook AI Research разработали генеративно-состязательную нейросеть (GAN) для восстановления закрытых глаз на фотографии. Обычно GAN генерируют изображения, основываясь только на данных из обучающего набора, а в ExGAN разработчики добавили второй источник информации — ещё одно фото того же человека, полученное в другое время или в другой позе. Однако, вместо того, чтобы просто скопировать пиксели со второй фотографии, сеть учится использовать эту информацию в качестве семантического руководства для создания правдоподобных результатов. Подробнее о том, как сеть научилась открывать ваши глаза, читайте по ссылке:

https://medium.com/@neurohive/facebook-ai-research-presents-eye-in-painting-with-exemplar-gan-32cec575ba65

На прошлой неделе вышла новая статья про ГАНы, которую одобрил Гудфеллоу: The relativistic discriminator: a key element missing from standard GAN.

В ней авторка предлагает переформулировать задачу дискриминатора: вместо того, чтобы просто различать real и fake данные, пусть он оценивает вероятность того, что real пример выглядит более настоящим, чем fake. (или то же самое, но в среднем)

Выглядят дискриминаторы примерно так:
обычный:
D(x) = sigmoid(C(x))
относительный:
D(x_r, x_f) = sigmoid(C(x_r) - C(x_f))

Предлагается 3 объяснения, зачем всё это нужно, из которых я понял только то, что с картинкой. Это изменение дискриминатора позволяет сделать так, чтобы он действительно минимизировал Jensen–Shannon divergence, которую мы и хотели бы минимизировать на самом деле.

В результате ГАНы получаются гораздо более стабильными и даже обычный ГАН начинает генерировать картинки 256х256.

А ещё в статье можно посмотреть на корги:
Статья
Обсуждение на реддите
Код

Статья от Убера о простом трюке, который позволяет сверточной сети с точностью до пикселя предсказывать положения объектов на картинке: надо всего лишь добавить на вход слоя 2 дополнительных канала: с x и y координатами.

Эта штука должна быть полезна в задачах, где определение точного положения объекта важно: в object detection, генеративных моделях и RL.

Посмотрите прекрасное видео:
https://youtu.be/8yFQc6elePA