Возможно, многие уже слышали, а может даже и попробовали находить по селфи своих "двойников" среди классических портретов с помощью приложения «Google Arts and Culture».

На этот раз Google представило сразу два новых сервиса с нейросетью, анализирующие изображения - Life Tags и Art Palette.

Life Tags была создана совместно со старейшим изданием Life, в котором только за 20 век было опубликовано 6,5 миллионов фотографий. Google проанализировала все изображения журнала, и по ключевым словам можно найти нужный снимок (https://goo.gl/CQmi5P).

Art Palette позволяет загружать собственные изображения и сравнивать их цветовую гамму с произведениями искусства по всему миру (https://goo.gl/j1DEyg).

http://people.ee.ethz.ch/~ihnatova/

Ребята из Цюрихского политеха заинтересовались, можно ли с помощью машинного обучения сделать фотографии с телефона неотличимыми от фотографий, сделанных на фотоаппарат за $1000.

Они 3 недели ходили по городу с большой черной камерой и 3мя телефонами и фотографировали всё, что попадалось на глаза при помощи устройства, собранного из бабушкиного шкафа и фотоштатива: http://people.ee.ethz.ch/~ihnatova/assets/img/k800.jpg
Всего получилось около 22к картинок.

Дальше берется ГАН и 3 лосса: цветовой, текстурный и содержательный и обучается 20к итераций на кусочках изображений.

Испытания показали, что люди не замечают разницы между фотографиями, сделанными на зеркалку и улучшенными фотографиями с телефона. Шах и мат, компьютеры снова победили.

Испытать алгоритм можно тут: http://phancer.com

Вчера ночью Гугл выложил в опенсорс свою текущую реализацию системы семантической сегментации на tensorflow. Непонятно?

Это система, позволяющая различить какая область фотографии чем занята. Говоря очень грубо, компьютер понимает где на фотографии человек, где дом, где машина и так далее. Это важно не только для каких-то сложных штук (вроде самоуправляемый автомобилей), но и для банального размытия фона на фотографиях. Собственно для этого изначально deeplab и использовался для обработки фотографий.


Кроме исходных кодов реализации Гугл так же щедро выложил и уже предтренированные модели. Пользуйтесь, я сегодня вечером тоже попробую.

https://research.googleblog.com/2018/03/semantic-image-segmentation-with.html

Наконец-то сделали что-то действительно полезное с помощью дипленинга. Модель, на основе различных данных, таких как история браузинга и покупок, делает предсказания о том, какие нотификации вы бы не хотели видеть, и таким образом показываются только те нотификации, на которые вы хотите кликнуть, а не удалить. https://arxiv.org/abs/1803.00458

Вышла наша статья на хабре про то, как научить ИИ шутить. https://habrahabr.ru/company/funcorp/blog/351428/

Печальное событие для индустрии self-driving cars и, конечно, для семьи погибшей. Машина убер в режиме автоматической езды сбила насмерть велосипедистку. Водитель, который должен перехватывать управление в трудных ситуациях не успел среагировать. http://kdvr.com/2018/03/19/woman-killed-after-after-being-hit-by-self-driving-uber-vehicle-in-arizona/

Apple и IBM представили совместное решение по взаимодействию между Apple CoreML и IBM Watson. Идея в том, чтобы сделать более легкое обновление моделей в приложении на Iphone/Ipad. Модель загружается в приложение непосредственно из IBM, там же обучается/дообучается. https://developer.apple.com/ibm/

https://twimlai.com/twiml-talk-119-adversarial-attacks-reinforcement-learning-agents-ian-goodfellow-sandy-huang/
Ian Goodfellow и Sandy Huang рассказывают о статье, в которой они ломают сеть, обученную играть в Atari, объясняют, что такое adversarial attacks, какие они бывают и стоит ли их бояться уже сейчас.

Из интересных примеров:
* добавляем в обучающую выборку всего одну картинку, которая приводит к тому, что собаки начинают определяться как рыбы
* атака моделей с памятью, цель которой - изменить поведение агента так, чтобы в будущем он сделал то, что хочет от него атакующий

P.S.
В комментариях к подкасту можно почитать о несправедливости академического мира

Новая работа от авторов Face2Face - FaceVR.

Создает 3d-аватар реального человека, который может использовать другой человек. Выглядит криповато, но это дело времени.

https://www.youtube.com/watch?v=jIlujM5avU8

Проект Стенфорда для агрегации медицинских радиологических данных. Это то, чего действительно не хватает. http://langlotzlab.stanford.edu/projects/medical-image-net/

Израильский премьер заявил о старте проекта по открытию медицинских данных, и государство вкладывает в это больше 250 млн долларов. Пациенты, которые не захотят раскрытия своей медицинской истории, смогут отказаться. https://www.reuters.com/article/us-israel-health/israel-to-launch-big-data-health-project-idUSKBN1H10LW

Очень интересная статья в первую очередь про GPU на Apple и использованию его для ML задач, а так же про историю GPU. Легко и понятно. https://habrahabr.ru/company/jugru/blog/352192/

Тут Google Brain описывает несколько новых оптимизаторов для нейронных сетей, собранных автоматически из кусочков с помощью RL:
https://research.googleblog.com/2018/03/using-machine-learning-to-discover.html

По мотивам статьи:
https://arxiv.org/abs/1709.07417

Этот метод работает лучше, чем https://arxiv.org/abs/1707.07012 (1 день на 100 CPU против недель на 800 GPU).

Чтобы получить +0.4% accuracy на ImageNet не надо думать, как более эффективно использовать данные или анализировать архитектуру, надо просто добавить обучаемых компонент в пайплайн обучения, запустить на сотнях серверов и надеяться, что оно там само разберётся, как лучше. Что же с нами стало.

pytorch на ubuntu теперь можно устанавливать из pypi

pip install torch

feelsgood

А еще caffe2 переехал в репозиторий pytorch

Triplet loss не так прост, как может показаться из его формулы.

Статья о разных реализациях и их особенностях с кодом на tensorflow https://omoindrot.github.io/triplet-loss

Красивенький дашборд, показывающий загрузку GPU, в т.ч с нескольких машин: https://github.com/msalvaris/gpu_monitor

И nvidia-smi для кластера:
https://github.com/PatWie/cluster-smi

OpenAI проводит совершенно гениальный в своей простоте конкурс - на лучшую самообучаюущуюся систему, играющую в первые три игры Sonic The Hedgehot для Sega Genesis. Причем имплементация настолько технически простая, что прямо так и тянет потратить на это все выходные. Присоединяйтесь, конкурс крутой!

https://contest.openai.com/

SqueezeNext: Hardware-Aware Neural Network Design
https://arxiv.org/pdf/1803.10615.pdf

Несколько новых версий SqueezeNet, одна из которых при в 2 раза меньшем количестве операций даёт схожее accuracy на ImageNet, а в более глубокой версии, работает столько же, но с лучшим accuracy.

Отличие от mobilenet в том, что не используются depthwise separable convolutions, эффективной реализации которых пока нигде нет (https://www.reddit.com/r/MachineLearning/comments/8a7sf6/d_mobilenet_v2_paper_said_depthwise_separable/). Вместо них - обычные separable convolution, как в inception-ах. И переделанный SqueezeNet блок, в котором сжатие каналов теперь идёт в 2 этапа.

В статье можно почитать про виды архитектуры ускорителей нейронных сетей. Авторы добивались максимальной производительности для Intel Knights Landing (Xeon Phi) и на них же обучали.

Возможно, из-за сложности реализации из аугментаций для обучения использовался только random crop.

Deep Extreme Cut
http://www.vision.ee.ethz.ch/~cvlsegmentation/dextr/

Модель, которая делает сегментацию объекта по четырём точкам. В статье описана куча экспериментов, если кратко - сейчас это лучший инструмент для human-guided сегментации.

Работает интересно - на вход сети подается кусочек изображения, вырезанный вокруг отмеченных точек с небольшим зазором + дополнительным каналом размытые по гауссову распределению области точек. Именно такая конфигурация работает лучше всего.

Есть код с демо:
https://github.com/scaelles/DEXTR-PyTorch/

Я его попробовал, работает вот так. На объектах, которые были в обучающей выборке (машины и люди) работает практически идеально. На невыпуклых объектах работает так себе. Точки ставить непривычно.