Наконец-то сделали что-то действительно полезное с помощью дипленинга. Модель, на основе различных данных, таких как история браузинга и покупок, делает предсказания о том, какие нотификации вы бы не хотели видеть, и таким образом показываются только те нотификации, на которые вы хотите кликнуть, а не удалить. https://arxiv.org/abs/1803.00458

Вышла наша статья на хабре про то, как научить ИИ шутить. https://habrahabr.ru/company/funcorp/blog/351428/

Печальное событие для индустрии self-driving cars и, конечно, для семьи погибшей. Машина убер в режиме автоматической езды сбила насмерть велосипедистку. Водитель, который должен перехватывать управление в трудных ситуациях не успел среагировать. http://kdvr.com/2018/03/19/woman-killed-after-after-being-hit-by-self-driving-uber-vehicle-in-arizona/

Apple и IBM представили совместное решение по взаимодействию между Apple CoreML и IBM Watson. Идея в том, чтобы сделать более легкое обновление моделей в приложении на Iphone/Ipad. Модель загружается в приложение непосредственно из IBM, там же обучается/дообучается. https://developer.apple.com/ibm/

https://twimlai.com/twiml-talk-119-adversarial-attacks-reinforcement-learning-agents-ian-goodfellow-sandy-huang/
Ian Goodfellow и Sandy Huang рассказывают о статье, в которой они ломают сеть, обученную играть в Atari, объясняют, что такое adversarial attacks, какие они бывают и стоит ли их бояться уже сейчас.

Из интересных примеров:
* добавляем в обучающую выборку всего одну картинку, которая приводит к тому, что собаки начинают определяться как рыбы
* атака моделей с памятью, цель которой - изменить поведение агента так, чтобы в будущем он сделал то, что хочет от него атакующий

P.S.
В комментариях к подкасту можно почитать о несправедливости академического мира

Новая работа от авторов Face2Face - FaceVR.

Создает 3d-аватар реального человека, который может использовать другой человек. Выглядит криповато, но это дело времени.

https://www.youtube.com/watch?v=jIlujM5avU8

Проект Стенфорда для агрегации медицинских радиологических данных. Это то, чего действительно не хватает. http://langlotzlab.stanford.edu/projects/medical-image-net/

Израильский премьер заявил о старте проекта по открытию медицинских данных, и государство вкладывает в это больше 250 млн долларов. Пациенты, которые не захотят раскрытия своей медицинской истории, смогут отказаться. https://www.reuters.com/article/us-israel-health/israel-to-launch-big-data-health-project-idUSKBN1H10LW

Очень интересная статья в первую очередь про GPU на Apple и использованию его для ML задач, а так же про историю GPU. Легко и понятно. https://habrahabr.ru/company/jugru/blog/352192/

Тут Google Brain описывает несколько новых оптимизаторов для нейронных сетей, собранных автоматически из кусочков с помощью RL:
https://research.googleblog.com/2018/03/using-machine-learning-to-discover.html

По мотивам статьи:
https://arxiv.org/abs/1709.07417

Этот метод работает лучше, чем https://arxiv.org/abs/1707.07012 (1 день на 100 CPU против недель на 800 GPU).

Чтобы получить +0.4% accuracy на ImageNet не надо думать, как более эффективно использовать данные или анализировать архитектуру, надо просто добавить обучаемых компонент в пайплайн обучения, запустить на сотнях серверов и надеяться, что оно там само разберётся, как лучше. Что же с нами стало.

pytorch на ubuntu теперь можно устанавливать из pypi

pip install torch

feelsgood

А еще caffe2 переехал в репозиторий pytorch

Triplet loss не так прост, как может показаться из его формулы.

Статья о разных реализациях и их особенностях с кодом на tensorflow https://omoindrot.github.io/triplet-loss

Красивенький дашборд, показывающий загрузку GPU, в т.ч с нескольких машин: https://github.com/msalvaris/gpu_monitor

И nvidia-smi для кластера:
https://github.com/PatWie/cluster-smi

OpenAI проводит совершенно гениальный в своей простоте конкурс - на лучшую самообучаюущуюся систему, играющую в первые три игры Sonic The Hedgehot для Sega Genesis. Причем имплементация настолько технически простая, что прямо так и тянет потратить на это все выходные. Присоединяйтесь, конкурс крутой!

https://contest.openai.com/

SqueezeNext: Hardware-Aware Neural Network Design
https://arxiv.org/pdf/1803.10615.pdf

Несколько новых версий SqueezeNet, одна из которых при в 2 раза меньшем количестве операций даёт схожее accuracy на ImageNet, а в более глубокой версии, работает столько же, но с лучшим accuracy.

Отличие от mobilenet в том, что не используются depthwise separable convolutions, эффективной реализации которых пока нигде нет (https://www.reddit.com/r/MachineLearning/comments/8a7sf6/d_mobilenet_v2_paper_said_depthwise_separable/). Вместо них - обычные separable convolution, как в inception-ах. И переделанный SqueezeNet блок, в котором сжатие каналов теперь идёт в 2 этапа.

В статье можно почитать про виды архитектуры ускорителей нейронных сетей. Авторы добивались максимальной производительности для Intel Knights Landing (Xeon Phi) и на них же обучали.

Возможно, из-за сложности реализации из аугментаций для обучения использовался только random crop.

Deep Extreme Cut
http://www.vision.ee.ethz.ch/~cvlsegmentation/dextr/

Модель, которая делает сегментацию объекта по четырём точкам. В статье описана куча экспериментов, если кратко - сейчас это лучший инструмент для human-guided сегментации.

Работает интересно - на вход сети подается кусочек изображения, вырезанный вокруг отмеченных точек с небольшим зазором + дополнительным каналом размытые по гауссову распределению области точек. Именно такая конфигурация работает лучше всего.

Есть код с демо:
https://github.com/scaelles/DEXTR-PyTorch/

Я его попробовал, работает вот так. На объектах, которые были в обучающей выборке (машины и люди) работает практически идеально. На невыпуклых объектах работает так себе. Точки ставить непривычно.

И на тему уменьшения усилий, необходимых для разметки данных и ускорения этого процесса можно послушать подкаст https://twimlai.com/twiml-talk-125-human-loop-ai-emergency-response-robert-munro/ с CTO сервиса Figure Eight (бывший Crowd Flower).

Полезной информации немного, зато история у дядьки интересная: он устанавливал солнечные батареи в больнице для беженцев в Сьерра-Леоне, и там осознал проблему того, что никто не занимается применением ML для разработки базовых сервисов работающих с текстом, вроде спам-фильтров, для редких языков, на которых там говорят. Об этом он и написал PhD в Стэнфорде.

Rethinking Atrous Convolution for Semantic Image Segmentation
https://arxiv.org/pdf/1706.05587.pdf

Статья от гугла про использование atrous convolutions в сегментации и модель DeepLabv3. В статье есть неплохой обзор разных способов добиваться более точных масок и много результатов экспериментов с atrous convolution.

Интересные моменты:
1) Оказывается (простите за англорусский), если при обучении не ресайзить вниз ground truth мапу, а ресайзить вверх выходы сети, результат получается точнее.
2) Батч нормализация ОЧЕНЬ чувствительна к раазмеру батча в этой архитектуре (разница между лучшим и худшим результатом - 13 mIOU)
3) Atrous convolution дают использовать интересную фишку - можно сначала обучать модель с более большими дырками в конволюциях, так получаются меньшие по разрешению фичемапы и обучение работает быстрее, а потом уменьшать дырки и дообучать модель для лучшей точности.

Atrous convolutions дают возможность делать маленький stride на выходе, сохраняя нужную глубину и не раздувая количество параметров.

Все курсы Стенфорда по AI в одном месте
https://huyenchip.com/2018/03/30/guide-to-Artificial-Intelligence-Stanford.html