📈Tangent - новая библиотека для автоматического дифференцирования📉

Тут гугл недавно представили свою новую библиотеку для ML, что само по себе уже событие.
Библиотека позволяет диффиринцировать различные функции, т.е. получить от некоторой функции f, вторую функцию Δf - градиент этой функции.

Она имеет достаточно простой интерфейс. Для того, что бы получить градиент, вам достаточно вызвать метод dfdW = tangent.grad(f) и передать функцию f. Изначальная функция может содержать как стандартные питоновские математические операции, так и работа с Numpy или Tensorflow.

Что бы лучше понять как это работает, советую зайти на их гитхаб репозеторий и посмотреть гифки с примерами.
https://github.com/google/tangent

P.S. У меня запустить библиотеку так и не удалось, хотя и поставил все зависимости. При импорте она крашится без репорта об ошибке, возможно дело в моем железе, а может в том, что утилита появилась совсем недавно.

📚Advanced Machine Learning Specialization📖

Тут Яндекс вместе с ВШЭ выпустили очередную специализацию по ML, на этот раз на английском языке.
Она содержит в себе погружение в DeepLearning, Reinforcment Learning, Computer Vision, NLP, а так же курс для побед в задачках на Kaggle :D
P.S. Некоторые из этих курсов я уже видел, видимо они выпустили некоторые новые и объединили все в одну новую специализацию

https://www.coursera.org/specializations/aml

P.P.S. Кстати, маленький инсайд, на прошлой тренировке по ML один из основателей курса по Kaggle-Winners выступил с мини-докладом, советую послушать, он рассказывает маленький хак, про то, как бесплатно пройти курс на Coursera :)
https://www.youtube.com/watch?v=-psvOsqPx1g&t=2130s

💊Капсульные нейронные сети💊

Недавно наткнулся на новую тему в области AI, а именно новый вид нейронных сетей - "капсульные сети".

По заявлению исследователей: они справляются не хуже, а на некоторых задачах распознавания изображений не хуже, чем классические CNN.

Принцип работы заключен в следующем:
У на существуют несколько групп нейронов (капсул), которые могут активироваться от входного сигнала. Каждая из капсул связана НЕ СО ВСЕМИ последующими нейронами, а лишь с определенной группой (капсулой выше по уровню).
От степени их активации нижних капсул зависит активация высокоуровневой капсулы.
Таким образом сигнал распространяется по сети.

Подробнее узнать про капсульные сети можно узнать здесь: https://tproger.ru/news/capsule-neural-network/

А как запустить свою капсульную нейронную сеть, можетк прочитать здесь: https://proglib.io/p/capsule-networks/

P.S. По моему весьма субъективному мнению, такие сетки будут учиться несколько дольше, в связи с большим колличеством весов на слоях для выделения фич с изображений. В любом случае все нужно проверять и тестировать :)

Вторая статья: https://proglib.io/p/capsule-networks

(Что бы работал instant view на мобильных девайсах)

📖Подборка курсов по Machine Learning📝

Ответы на Stack Owerflow всегда поражали меня своей полнотой и адекватностью.
Тут парень на типичный вопрос о курсах по ML ответил огромным списком, который стоит почитать: https://ru.stackoverflow.com/questions/678970/Книги-и-учебные-ресурсы-по-машинному-обучению/683632#683632

Для себя я нашел новый курс по Reinfrocment Learning - https://github.com/yandexdataschool/Practical_RL .

♠️Покер и ML♥️

В августе проходило соревнование от сбера, по созданию ботов для игры в покер.
В октябре прошел заключительный этап, где первое место заняли ребята, которые специализируются на создании ботов для покера.
Наиболее интересна здесь история человека, занявшего второе место. До самого соревнования он ничего не знал о покере, более того подключился лишь под конец соревнования.

Спойлер:

Он делал бота на основе CatBoost и тренировал его пародировать поведение топовых игроков (ботов в топе рейтинга).

Собственно его лекция на тренировках по ML:
https://youtu.be/74pTbshfERM

Решение с ботом выложено на гитхаб:
https://github.com/tyz910/sberbank-holdem-bot

Ну и он сам, если кто захочет пообщаться: @tyz910

🏚Генерация названий деревень🏠

Сальтолово
Ничичи
Каверная Голяна
Придориусловка
Старотипенки
Кюканово
Кутюшевка
Верхний Стед
Сабаревка

Сегодня наткнулся на новую статью на хабре, про генерацию названий деревень с помощью нейросеточки, автор взял за основу torch-rnn.

https://m.habrahabr.ru/post/343336/

Но вспомнил, про аналогичную статью в туториалах PyTorch 🔥.
Тут уже разбираются технческие аспекты и архитектура сети:

http://pytorch.org/tutorials/intermediate/char_rnn_generation_tutorial.html

📊UMAP - библиотека снижения размерности📑

Интересная библиотека, для снижения размерности данных, может быть использована для визуализации данных.
Но в отличие от TSNE (классический алгоритм снижения размерности), способна искать нелинейные зависимости параметров.

Использование библиотеки очень простое:

import umap 
from sklearn.datasets import load_digits 
digits = load_digits() embedding = umap.UMAP().fit_transform(digits.data)

https://github.com/lmcinnes/umap/blob/master/README.rst

🎥 Нейрофильм 📽
Просто не могу пройти мимо.

Чуваки из беларуской киностудии RitZeed сняли фильм по сценарию нейросети в рамках одного хакатона в Минске. Получилось 🔥🔥🔥

Вот несколько ключевых реплик:
Я просто подумал тебе подумать
Так, я думаю еще постоять с тобой, с тобой, с тобой, с ней... Кстати, она продала тебе ее на полу.
Если ты подождешь свой хлеб назад
Я похудел в стену. Я подхожу к столу.

И финал:
Не смогу с тобой собирать. С ним. С ним!

https://vk.com/video-31976785_456239720

💻Сервера для ML🖥

Наткнулся тут на краткую заметку про выбор железа для ресерча в области ML и CV. Она небольшая и комментировать особо нечего, но автор мне понравился, можете посмотреть другие его статьи, возможно что-то заинтересует.

http://cv-blog.ru/?p=207

💊Капсульные нейронные сети💊

В последнее время мои новости штурмуют различные новости и статейки про СapsNets. Решил собрать все в кучку 🗂.

🎥 Как написать свою капсульную сетку на TensorFlow
https://youtu.be/2Kawrd5szHE

📹 Видосик от Saraj, крутой парень, если еще не подписались - подпишитесь
https://youtu.be/VKoLGnq15RM

📖 Цикл статей от российского Датасайнтиста, про понимание капсульных нейронок.
https://goo.gl/hu3jga

📰 Как это все работает, но уже на русском :)
http://cv-blog.ru/?p=195

💻 TensorFlow имплементация капсульной сетки.
https://github.com/naturomics/CapsNet-Tensorflow

🖥 Имплементация на PyTorch
https://github.com/gram-ai/capsule-networks -

📝Если есть дополнения, присылайте их мне @alxmamaev, пост дополняется.

📷 Pix2PixHD 📸

Генерация фотореалистичных картинок

Тут ребята выложили интересную работу, по созданию GAN для рисования фотореалистичных картинок, на основе цветовых масок. Подобное вы могли увидеть в likemo.net , только там вы рисовали в стиле художника.

В видео они сравнивают результат с работой pix2pix (та штука, которая могла рисовать котиков). Pix2Pix генерит очень мыльную картинку, в свою очередь Pix2PixHD генерит все с высокой степенью детализации.

В общем, стоит внимания 👇
https://tcwang0509.github.io/pix2pixHD/


P.S. Сетка написана на Pytorch, код прилагается.

Пример работы Pix2Pix HD.

📑 Keras-Text 📄

Если вы занимаетесь NLP, то данная библиотека может вас заинтересовать, поскольку она позволит сильно автоматизировать процесс, освободив время на исследования и эксперименты.

Библиотека представляет из себя набор утилит для работы с текстом:
WordTokenizer - повзоляет перевести ваши слова в некоторые представления в виде токенов, это могут быть как tfidf, так и GloVE и word2vec (это задается в параметрах токенайзера).
Models - готовые к применению модели, представлены различные архитектуры сетей для работы с текстом, представлены как CNN, так и RNN модели.

В целом библиотека интересна, советую глянуть примеры работы с ней.

https://github.com/raghakot/keras-text

🍄AI Mario🚘

Нашел интересное видио, тут чувак описывает с технической стороны, как работает система, которая научилась играть в марио и гоночки-марио.

В вк былр множество гифок и видео с демонстрацией работы MarIO.

Если тема Reinforcment Learning для вас интересна, советую глянуть.

https://youtu.be/BQifVQPnRQk

🌲Data-Елка🎄
Тут идет онлайн трансляция новогодней конференции Яндекса.
Лекции весьма интересные:

14:10 Интересные идеи и статьи в Reinforcement learning в 2017 году - Сергей Свиридов
14:30 NLP – 2017 - Валентин Малых
14:50 NIPS, будущее и хайп - Александр Нотченко
15:10 Перерыв  
15:20 Алиса: что внутри? - Борис Янгель
15:40 Технологии беспилотных автомобилей - Антон Слесарев
16:00 ML в киберспорте - Пётр Ромов
16:20 Перерыв  
16:40 Соревнования по анализу данных – 2017 - Эмиль Каюмов
17:00 Data Science 2017 – 2018  -  Алексей Натекин

https://www.youtube.com/watch?v=yPKu2vE4UqM