OpenAI сделали бота для доты 1х1 https://blog.openai.com/dota-2/

В общем, люди делом заняты

Sony подвезла новый дл фреймворк с динамическими графами и гуем под винду https://github.com/sony/nnabla

https://research.googleblog.com/2017/08/making-visible-watermarks-more-effective.html?m=1

На прошлой неделе Гугл опубликовал статью про алгоритм, позволяющий убирать ватермарки с изображений с фотохостингов.

Конечно же, ГАНами, подумал я. Но нет, никакого диплернинга, только оптимизация.

Для того, чтобы победить большинство полупрозрачных водяных знаков достаточно решить задачу разложения этого знака на "изображение" и "прозрачность". Оказывается, это легко делается для коллекции изображений, защищенных одинаковыми знаками.

Примеры тут: https://watermark-cvpr17.github.io/

Гугл также предлагает водяные знаки, устойчивые к этому алгоритму. Случайные смещения и изменения прозрачности от картинки к картинке не помогают, а вот с небольшими пространственными изменениями алгоритм уже не справляется.

Simon Kozlov (sim0nsays), активный член сообщества OpenDataScience, записал разбор интересных статей с CVPR2017

https://www.youtube.com/watch?v=PV73qhNQnA0
https://www.youtube.com/watch?v=Mljfam5zNJo

И еще из рубрики #спасибоОДС
Серёга из Ангарска (cepera_ang) очень сильно посоветовал посмотреть обзор современного состояния Object Detection https://www.youtube.com/watch?v=jHv37mKAhV4

Далее цитата https://opendatascience.slack.com/archives/C047H3N8L/p1503152010000003:
Шикарное видео, 90% того, что необходимо знать про object detection на текущий момент.
Сначала легенда мирового диплёнинга Kaiming He рассказывает в общем о сетях, традиционные архитектуры, про инициализацию на 15 мин., про резнет на 25, о разных применениях резнетов к распознаванию речи, текстам и т.д., на 30 минуте про resnext, который следующий шаг (основная мысль: как хитро посчитать несколько путей как в inception и в разы больше, но одной свёрткой), один слайдом другие архитектуры о которых стоит знать.
С 40-ой минуты рассказывает его коллега, легенда Ross Girshick, сначала о том какой фигней занимались всего 10 лет назад и какого прогресса достигли сейчас. Затем 25 минут рассказа об анатомии современных детекторных сетей:
1) про базу для извлечения фичей (и как в них шёл прогресс),
2) про инвариантность к масштабу (все пришли к одному практически — пирамиды фичей, тонкости как добиться пользы от них),
3) Region Proposal'ы
4) 58:40 Главная фишка Mask R-CNN ROIalign (наконец-то человеческими словами что это и почему важно!)
5) Специфические головы под задачу: детекция, классификация, сегментация, и неожиданно, предсказание позы людей (human keypoint prediction) просто для проверки того, что можно что угодно пихать, как я понял.

На этом про Маск RCNN заканчивается и начинается очень интересная обзорная часть, ландшафт с высоты птичьего полёта (1:12)
1) Что общего у методов, что отличается
2) One shot vs Multi-stage
3) Trade off между тяжестью базового фиче экстрактора и головой, которая делает классификацию (от R-CNN через Fast/Faster R-CNN к R-FCN)
4) Speed/Accuracy tradeoff. Ссылка на очень интересную статью от гугла, где они 150 сетей сравнивали по скорости/качеству
5) Куда дальше шагаем
https://www.youtube.com/watch?v=jHv37mKAhV4

Устали от обычной сходимости? Нейронные сети обучаются слишком медленно?
Вам поможет

С В Е Р Х С Х О Д И М О С Т Ь

Авторы показали, что на определенных датасетах с правильно подобранными гиперпараметрами резнетоподобные сети с помощью циклического изменения очень большого (до 3) learning rate обучаются в десятки раз быстрее, да еще и с более высокой точностью.

https://arxiv.org/pdf/1708.07120.pdf
Super-Convergence: Very Fast Training of Residual Networks Using Large Learning Rates
In this paper, we show a phenomenon where residual networks can be trained using an order of magnitude fewer iterations than is used with standard training methods, which we named "super-convergence". One of the key elements of super-convergence is training with cyclical learning rates and a large maximum learning rate. Furthermore, we present evidence that training with large learning rates improves performance by regularizing the network. In addition, we show that super-convergence provides a greater boost in performance relative to standard training when the amount of labeled training data is limited. We also provide an explanation for the benefits of a large learning rate using a simplification of the Hessian Free optimization method to compute an estimate of the optimal learning rate. The architectures and code to replicate the figures in this paper are available at github.com/lnsmith54/super-convergence.

Хватит это терпеть и ждать или как поклонник «Игры престолов» устал ждать, когда Джордж Мартин уже допишет свою сагу, и создал нейросеть, которая сделала это за него. Пока что можно прочитать только пять глав нового романа. Волнует вопрос: убъет ли нейросеть самого Мартина в его же лучших традициях?

https://nplus1.ru/news/2017/08/29/neural-game-of-thrones

Видео с летней школы в Монреале (все звёзды) http://videolectures.net/deeplearning2017_montreal/

Сегодня начинается хакатон Сбербанка по робопокеру http://sberbank.ai/

саммари из лагерей беркли по изучению обучения с подкреплением http://planspace.org/20170830-berkeley_deep_rl_bootcamp/

Очередное применение ИИ в медицине.

https://m.hightech.fm/2017/09/04/Aplphabet

Конечно, каждый из нас задумывался о том, что же делать с супермощным ИИ, который без сомнений будет изобретён в скором будущем. Тут можно почитать что думают люди https://ai-ethics.com/

На реддите обсуждают слайды Andrej Karpathy на тему AGI https://www.reddit.com/r/MachineLearning/comments/6xz43l/r_where_will_agi_come_from_andrej_karpathys_yconf/

вот сами слайды https://docs.google.com/presentation/d/119VW6ueBGLQXsw-jGMboGP2-WuOnyMAOYLgd44SL6xM/edit#slide=id.g1e3df2d686_0_224

Microsoft и Facebook анонсировали формат моделей Open Neural Network Exchange (ONNX). Хорошая новость в том, что теперь можно конвертировать модели между CNTK, PyTorch и Caffe2 https://research.fb.com/facebook-and-microsoft-introduce-new-open-ecosystem-for-interchangeable-ai-frameworks/

Продолжается расследование разницы производительности PyTorch vs DyNet https://github.com/pytorch/pytorch/issues/2518#issuecomment-327835296

Интересно почитать, как глубоко копают авторы фреймворков (спойлер: даже про режимы энергосбережения процессора подумали)

Началась новая итерация открытого курса по машинному обучению от OpenDataScience. Первая лекция о Pandas https://www.youtube.com/watch?v=dEFxoyJhm3Y