И на тему уменьшения усилий, необходимых для разметки данных и ускорения этого процесса можно послушать подкаст https://twimlai.com/twiml-talk-125-human-loop-ai-emergency-response-robert-munro/ с CTO сервиса Figure Eight (бывший Crowd Flower).

Полезной информации немного, зато история у дядьки интересная: он устанавливал солнечные батареи в больнице для беженцев в Сьерра-Леоне, и там осознал проблему того, что никто не занимается применением ML для разработки базовых сервисов работающих с текстом, вроде спам-фильтров, для редких языков, на которых там говорят. Об этом он и написал PhD в Стэнфорде.

Rethinking Atrous Convolution for Semantic Image Segmentation
https://arxiv.org/pdf/1706.05587.pdf

Статья от гугла про использование atrous convolutions в сегментации и модель DeepLabv3. В статье есть неплохой обзор разных способов добиваться более точных масок и много результатов экспериментов с atrous convolution.

Интересные моменты:
1) Оказывается (простите за англорусский), если при обучении не ресайзить вниз ground truth мапу, а ресайзить вверх выходы сети, результат получается точнее.
2) Батч нормализация ОЧЕНЬ чувствительна к раазмеру батча в этой архитектуре (разница между лучшим и худшим результатом - 13 mIOU)
3) Atrous convolution дают использовать интересную фишку - можно сначала обучать модель с более большими дырками в конволюциях, так получаются меньшие по разрешению фичемапы и обучение работает быстрее, а потом уменьшать дырки и дообучать модель для лучшей точности.

Atrous convolutions дают возможность делать маленький stride на выходе, сохраняя нужную глубину и не раздувая количество параметров.

Все курсы Стенфорда по AI в одном месте
https://huyenchip.com/2018/03/30/guide-to-Artificial-Intelligence-Stanford.html

Вышел pytorch 0.4.0 с кучей изменений.
https://github.com/pytorch/pytorch/releases/tag/v0.4.0

Из приятного:
1) Больше нет Variable
2) dtype в тензорах и более похожий на numpy интерфейс
3) Полная поддержка advanced indexing
4) Новый checkpoint контейнер, который позволяет экономить память за счет пересчета нужных для расчета градиентов выходов
5) Встроенный профайлер torch.utils.bottleneck
6) Новые генераторы случайных распределений
7) Официальная поддержка Windows
И еще много мелких изменений и улучшений.

Из не очень понятного:
1) Вместо volatile теперь есть контестные менеджеры для выключения расчета градиентов.

Изменения Variable ломающие, поэтому нужно будет переписать свой код до релиза 0.5.0 http://pytorch.org/2018/04/22/0_4_0-migration-guide.html

https://www.youtube.com/watch?v=liFKKcbP1I0 интересный доклад о повышении доверия к моделям в реальной жизни на примере кредитного скоринга

Новая статья по RL от BAIR, на этот раз о Temporal Difference Models - алгоритме, который обучается как model-free, но может использоваться для планирования, как model-based.

http://bair.berkeley.edu/blog/2018/04/26/tdm/

В статье на пальцах объясняется, чем отличаются model-free и model-based алгоритмы, в чем их сильные и слабые стороны.

Реализацию TDM на PyTorch от авторов можно найти в https://github.com/vitchyr/rlkit

Uber AI сделали видеопредставление своей новой статьи об Intrinsic Dimension - они придумали метрику, которая позволяет оценить, сколько параметров нужно оптимизировать для заданной модели и задачи. С помощью неё можно понять, насколько "сложная" задача для модели или насколько хорошо подходит модель для задачи. Пока это всё работает только на игрушечных примерах, но направление очень интересное (и видео классное).

https://www.youtube.com/watch?v=uSZWeRADTFI
https://www.reddit.com/r/MachineLearning/comments/8f9dvm/ruberai_measuring_the_intrinsic_dimension_of/

Необычная библиотека Automold для аугментации снимков дорог для self-driving car.

https://towardsdatascience.com/automold-specialized-augmentation-library-for-autonomous-vehicles-1d085ed1f578

Автору удалось сымитировать снег, дождь, тени на дороге, осень и другие специфические эффекты.

Давно ничего не писали, были заняты, извиняться не будем.

Сегодня хотим поговорить про RL или обучение с подкреплением.

Итак, все мы знаем как трудно учить RL агента, который так и норовит перестать работать при любом минимальном изменении условий среды. Однако, существуют попытки уменьшить данный негативный эффект, например тут https://hackernoon.com/learning-policies-for-learning-policies-meta-reinforcement-learning-rl²-in-tensorflow-b15b592a2ddf объясняется метод meta-RL, который пытается улучшить качество работы агента на смежных задачах (почитайте).

Это еще не все. Авторы метода совместно с учеными нейробиологами https://deepmind.com/blog/prefrontal-cortex-meta-reinforcement-learning-system/ опубликовали в nature(!) статью, (тут доступный препринт https://www.biorxiv.org/content/early/2018/04/06/295964) в который пытаются выдвинуть новую теорию о том, как дофамин(источник положительного подкрепление в головном мозге) влияет на способность мозга обучаться. В данной работе ученые пытаются применить идеи meta-RL для объяснения того, как работает дофамин. Интересно.

Очень хорошая статья о самой большой и полезной части работы над моделями: работе с данными. Все вроде бы знают, что данные - это самое важное, но так не хочется снова брать вилочку и чистить.

Основной вывод: если количество времени ограничено (т.е всегда), лучше еще раз проверьте свои данные.

https://petewarden.com/2018/05/28/why-you-need-to-improve-your-training-data-and-how-to-do-it/

В TWiML&AI пришёл Гарри Каспаров поговорить про шахматы, DeepBlue, AlphaGo Zero, ИИ, и о том, каково будет взаимоотношение людей и машин. https://itunes.apple.com/ru/podcast/this-week-in-machine-learning-artificial-intelligence/id1116303051?l=en&mt=2&i=1000412017937

Лекция "Методы машинного обучения и большие данные биоинформатики" https://www.youtube.com/watch?v=x3s5wdwt7Pw

Очень интересно рассказывается история открытия днк, расшифровки, метод секвенирования и собственно о том, как анализировать эту молекулу. ДНК это и есть самые настоящие большие данные, если для бактерии размер ДНК измеряется мегабайтами, то для человека гигабайтами. Мне лично понравилась история с клубом РНК галстуков https://en.wikipedia.org/wiki/RNA_Tie_Club

Андрей рассказал о проблемах, которые возникают при решении задач из реальной жизни с помощью машоба. Смотреть обязательно.

https://www.figure-eight.com/building-the-software-2-0-stack-by-andrej-karpathy-from-tesla/

А это та самая статья о том, как читать статьи.

https://www.albany.edu/spatial/WebsiteFiles/ResearchAdvices/how-to-read-a-paper.pdf

Ещё один сборник всего на свете, связанного с deep learning-ом.
В основном предобученные модели для разных фреймворков с поиском, но есть и библиотеки.

https://modelzoo.co/

Ооочень подробная статья о том, как работают однопроходные (single-shot) детекторы на примере Yolo и SSD:

http://machinethink.net/blog/object-detection/

https://github.com/Microsoft/VoTT

Microsoft открыли инструмент для разметки объектов на видео и картинках на electron-е с поддержкой трекинга. Vatic больше не нужон.

Фейсбук выложил DensePose на гитхаб.
Там и модели, и код, и примеры, и данные - всё на свете.

https://research.fb.com/facebook-open-sources-densepose/

https://youtu.be/MjViy6kyiqs

Nvidia Research показали демку super-slowmotion алгоритма, который из обычных видео синтезирует 240 fps. Результаты выглядят нечеловечески красиво.

Кода или демки, к сожалению, нет, зато есть статья:
https://arxiv.org/pdf/1712.00080.pdf

Астрологи объявили неделю NVidia:

Они выпустили 2 библиотеки:
DALI для аугментации картинок на гпу
и её компонент - nvJPEG для декодинга

https://github.com/NVIDIA/dali

Для DALI есть обвязка для MXNet, TensorFlow и PyTorch

https://paperswithcode.com/ Здесь даются одновременно ссылки на статьи и на код к ним. Видно сразу какой используется фреймворк и сколько «звёзд» поставили пользователи.