👾Spectre&Meltdown👽

Недавно весь интернет взрывался от новости про уязвимость в процессорах Intel на хардварном уровне. Разработчики всех систем быстро подлатали ядро, но при этом проявляется одна проблема: это значительно уменьшает мощность вашего железа.
Мощность - камень приткновения в ML, прочитайте небольшую заметку о том, как этот патч влияет на производительность в классических ML библиотеках.

https://medium.com/implodinggradients/meltdown-c24a9d5e254e

🐱Pusheen Machine 🐈

Наткнулся недавно на интересный канальчик про ML. Автор пишет не часто, но посты содержательные, так что кнопку mute можно не нажимать :)

https://t.me/pusheen_machine

☁Google AutoML🤖

С каждым годом ML становится все более потребительским. Недавно гугл представили свою новую платформу для распознавания изображений. Ранее вы могли использовать Vision API (претренерованная сетка от гугла), или же создать свою модель и загрузить ее в GoogleCloud Platform.
Сейчас с разработкой сервиса для распознавания изображений справится любой, вам просто необходимо загрузить данные в сервис, а дальше умные машины гугла сделают все за вас.

В видео продемонстрирован пример с распознаванием типа облаков:
https://youtu.be/GbLQE2C181U

💻Neural Compute Stick⚙️
Интересная статейка про необычный гаджет.
По своей сути это аппаратный ускоритель нейронных сетей, по большей части CNN 📷, с usb интерфейсом.
Конечно, это никак не поможет в обработке сеток на вашем ноутбуке, однако это очень полезный гаджет для IoT устройств, например ResberryPI, который не обладает своим GPU.
Neural Compute Stick в свою очередь позволяет снять лишнюю нагрузку с процессора.

В статье есть небольшая инструкция по переносу Tensorflow моделек на этот девайс.

https://habrahabr.ru/post/347438/

Небольшое видео в дополнение к посту выше.
https://youtu.be/VioTPaYcF98

😐FakeApp😳

Недавно на редите запустили новый челенж.
Юзеры с помощью приложения FaceApp заменяют все лица в фильме на Николоса Кейджа.
На некоторых кадрах выглядит очень натурально.
https://tjournal.ru/65510-novoe-primenenie-neyroseti-dlya-nakladyvaniya-lic-teper-vezde-podstavlyayut-nikolasa-keydzha

P.S. Помню как совсем недавно показывали удивительные кадры новых звездных войн.
Где с помощью 3D графики оживили умершего актера. Такими темпами киношники возьмут такие технологии к себе не вооружение.

https://youtu.be/xMB2sLwz0Do

⛈Google Colaboratory GPU⚙️

Не так давно я писал про проект от гугла, Google Colaboratory, сам я им пользуюсь. Вполне удобная среда, только датасеты приходится предворительно в облако загружать.
Но появилось важное обновление, с недавних пор они завезли БЕСПЛАТНОЕ GPU. Вы можете запускать ваши проекты на обучение абсолютно бесплатно, но только на 12 часов, после чего вам придется запустить их заново.

Обязательно попробуйте Google Colab: https://colab.research.google.com/
Как активировать GPU можно узнать здесь: https://towardsdatascience.com/fast-ai-lesson-1-on-google-colab-free-gpu-d2af89f53604

📈BTC price prediction📉

Интересное видео от Сараджа, в нем он расказывает как за пару шагов сделать простую LSTM сетку, которая основываясь на постах в Reddit предсказывает будующий курс криптовалюты.

Результат вышел вполне себе годный 👍

https://www.youtube.com/watch?v=EqWm8A-dRYg

🤖Визуализация работы перцептрона📉
Интересный сайтик визуализирующий работу перцептрона.
На нем наглядно показано как зависит поведение разделяющей гиперплоскости от параметров нейрона.
Поможет на случай, если понадобится на пальцах объяснить принцип работы нейронных сетей :)

http://www.emergentmind.com/the-perceptron

🎲IMPALA DeepMind🎮

DeepMind опубликовали статью о своем новом reinforcment learning алгоритме IMPALA, который позволяет ускорить обучение модели в 10 раз.

Ранее распределенное обучение моделей игроков происходило следующим образом: каждый из игроков исследовал среду в которой он находится, переодически они останавливались, чтобы обменяться градиентами через центральный сервер параметров.

Теперь каждый игрок не вычисляет градиентов, они лишь используются для сбора опыта, после чего все данные передаются Learner'у, который в свою очередь считает новые градиенты.

Чуть подробнее можно прочитать в блоге дипмайнда:
https://deepmind.com/blog/impala-scalable-distributed-deeprl-dmlab-30/

🤖 IMPALA играет в игру

https://youtu.be/nGddvGLvkbk

👨 Кожаный оператор играет в игру

https://youtu.be/_tUXM7ZfvU4

💱MMdnn🎭

Новый, невороятно крутой подгон от Microsoft в сфере DeepLearning.
MMdnn - новый нейросетевой фреймворк, который поддерживает все популярные фреймворки: pytorch, tensorflow, mxnet, keras и другие. MMdnn позволят импортировать модель из любого фреймворка, визуализировать и самое главное экспортировать ее в любой другой формат.

Это означает, что пропадает всякая надобность в специфических трансляторах, таких как caffe2keras, теперь все импортируется MMdnn, который является буфферным форматом для моделек.

https://github.com/Microsoft/MMdnn/blob/master/README.md

💻Intel nGraph🖥

В прошлый раз я рассказывал вам про универсальный фреймворк для нейронных сетей от Microsoft.
На прошлой неделе Intel представили свою реализацию подобной штуки :D
Суть сводится к тому, что вы можете загрузить модель из любого формата (сейчас нормально работает только Tensorflow и MxNet), после чего сконвертировать ее в формат nGraphs. Это дает вам возможность запускать более оптимизированный процесс обучения на таких девайсах как: Intel CPU, Intel NNP, Nvidia GPU (в процессе, пока не работает) .

По бенчмаркам это позволяет ускорить тренеровку сети на CPU на 20%, для GPU данных пока нет.

https://ai.intel.com/ngraph-a-new-open-source-compiler-for-deep-learning-systems/

P.S. Штука выглядит как минимум странно, ибо кейс тренеровки сеток на CPU очень узкий (поддержку GPU пока не завезли). Более того, фреймворк не особо помогает абстрагироваться от кода и заниматься только исследованиями, хотя именно так он себя позиционирует.

⭐️ Datafest ⭐️
Проверям активность в нашем невероятно крутом канальчике. Завтра начинается 🎉Datafest - крупнейшая конфа по ML в России. Я буду открывать DF своим выступлением про соревнование от Сбербанка на тренировках ML, а так же закрывать его последней секцией sigbovik, где будем говорить про всякий треш и угар в мире ИИ, а мы конкретно покажеи гннератор фейковых резюме :)

Всех жду 🎊
http://www.datafest.ru/

📈Основы анализа данных📊

Вчера наткнулся на интересный ютуб канал, на нем лежат различные лекции от ВШЭ по эконометрике, статистике и R. Простым языком и на примерах объясняются различные области математики, которые применяются как в статистике, так и в машинном обучении, например методы главных компонент, метод наименьших квадратов и т.д.

Советую посмотреть ролик по теме «Метод максимального правдоподобия»
https://www.youtube.com/watch?v=2iRIqkm1mug

👁Computer Vision Course📚

Тут недавно в серии курсов Advanced Machine Learning случилось пополнение в виде курса про компьютерное зрение. Выглядит в целом интересно, кстати, темы не ограничиваются только сверточными сеточками. Затрагиваются как классические методы, так и SOTA, в общем стоит внимания.

https://www.coursera.org/learn/deep-learning-in-computer-vision/home/welcome

💻ML.NET⌨️

Microsoft выпустили в OpenSource свой новый фреймворк ML.NET, который позволит C# разработчикам быстро и просто имплементровать простые ML модельки в свои проекты. Проект нацелен не на исследователей, а на простых разработчиков, по сути это новый тренд ML for coders, от которого каждая компания хочет откусить свой кусок.

Собственно, небольшой пример кода для создания модельки:
var pipeline = new LearningPipeline();
pipeline.Add(new TextLoader<SentimentData>(dataPath, separator: ","));
pipeline.Add(new TextFeaturizer("Features", "SentimentText"));
pipeline.Add(new FastTreeBinaryClassifier());
var model = pipeline.Train<SentimentData, SentimentPrediction>();

https://github.com/dotnet/machinelearning