🌄 Инцепционизм 🌅

Вы слышали что-нибудь об этом направлении искусства?

Суть его заключается в следующем: мы обучаем нейронную сеть распознавать различные картинки, после чего берем матрицу весов нейронки и отрисовываем ее перебирая значения пикселей входной картинки так, что бы активация нейронной сети была максимальной.

В результате мы получаем картинки-представления различных образов внутри нейронки.

Посмотреть картинки вы можете здесь: https://distill.pub/2017/feature-visualization/

Очень советую глянуть, помимо подробного разбора того, как это работает, есть множество примеров работы на разных уровнях сети, а так же несколько интерактивных примеров где вы можете покликать параметры генерирования картинки.

Пример представления картинок на каждом уровне нейронной сети.

💻 Colaboratory 🖥

Недавно гугл представили свою среду для разработки ML - Colaboratory, по факту это тот же самый jupyter, но с некоторыми плюшками. Например, работа происходит примерно как в гугл документах, что позволяет командам работать вместе и создавать небольшие прототипы.

Проект разработан в рамках программы гугла "Ai-first", которая направлена на предоставление лучших инструментов для ML-разработчиков.

Кстати, помимо разработчиков он может быть интересен и новичкам в ML, поскольку в данном случае единым хранилищем всех ноутбуков выступает GoogeDrive, что весьма удобно для экспериментов.

https://towardsdatascience.com/google-colaboratory-simplifying-data-science-workflow-c70059386323

👨‍💻 Классификатор технарей и гуманитариев 👨‍🏫

Веселая статейка, про создание классификатора для определения склада ума человека по его комментариям.
Обязательно прочитайте ее, там разбираются не только вопросы связанные с технической реализацией классификатора, но и некоторые исследовательские моменты, например: кто больше технарь женщины или мужчины, или в какое время суток активна та или иная группа людей.
Классификатор сделан на базе комментариев из Вконтакте, кстати в конце есть ссылка на веб-страничку, где вы можете проверить себя на то, кто вы: технарь или гуманитарий.

https://habrahabr.ru/post/342572/

📈Tangent - новая библиотека для автоматического дифференцирования📉

Тут гугл недавно представили свою новую библиотеку для ML, что само по себе уже событие.
Библиотека позволяет диффиринцировать различные функции, т.е. получить от некоторой функции f, вторую функцию Δf - градиент этой функции.

Она имеет достаточно простой интерфейс. Для того, что бы получить градиент, вам достаточно вызвать метод dfdW = tangent.grad(f) и передать функцию f. Изначальная функция может содержать как стандартные питоновские математические операции, так и работа с Numpy или Tensorflow.

Что бы лучше понять как это работает, советую зайти на их гитхаб репозеторий и посмотреть гифки с примерами.
https://github.com/google/tangent

P.S. У меня запустить библиотеку так и не удалось, хотя и поставил все зависимости. При импорте она крашится без репорта об ошибке, возможно дело в моем железе, а может в том, что утилита появилась совсем недавно.

📚Advanced Machine Learning Specialization📖

Тут Яндекс вместе с ВШЭ выпустили очередную специализацию по ML, на этот раз на английском языке.
Она содержит в себе погружение в DeepLearning, Reinforcment Learning, Computer Vision, NLP, а так же курс для побед в задачках на Kaggle :D
P.S. Некоторые из этих курсов я уже видел, видимо они выпустили некоторые новые и объединили все в одну новую специализацию

https://www.coursera.org/specializations/aml

P.P.S. Кстати, маленький инсайд, на прошлой тренировке по ML один из основателей курса по Kaggle-Winners выступил с мини-докладом, советую послушать, он рассказывает маленький хак, про то, как бесплатно пройти курс на Coursera :)
https://www.youtube.com/watch?v=-psvOsqPx1g&t=2130s

💊Капсульные нейронные сети💊

Недавно наткнулся на новую тему в области AI, а именно новый вид нейронных сетей - "капсульные сети".

По заявлению исследователей: они справляются не хуже, а на некоторых задачах распознавания изображений не хуже, чем классические CNN.

Принцип работы заключен в следующем:
У на существуют несколько групп нейронов (капсул), которые могут активироваться от входного сигнала. Каждая из капсул связана НЕ СО ВСЕМИ последующими нейронами, а лишь с определенной группой (капсулой выше по уровню).
От степени их активации нижних капсул зависит активация высокоуровневой капсулы.
Таким образом сигнал распространяется по сети.

Подробнее узнать про капсульные сети можно узнать здесь: https://tproger.ru/news/capsule-neural-network/

А как запустить свою капсульную нейронную сеть, можетк прочитать здесь: https://proglib.io/p/capsule-networks/

P.S. По моему весьма субъективному мнению, такие сетки будут учиться несколько дольше, в связи с большим колличеством весов на слоях для выделения фич с изображений. В любом случае все нужно проверять и тестировать :)

Вторая статья: https://proglib.io/p/capsule-networks

(Что бы работал instant view на мобильных девайсах)

📖Подборка курсов по Machine Learning📝

Ответы на Stack Owerflow всегда поражали меня своей полнотой и адекватностью.
Тут парень на типичный вопрос о курсах по ML ответил огромным списком, который стоит почитать: https://ru.stackoverflow.com/questions/678970/Книги-и-учебные-ресурсы-по-машинному-обучению/683632#683632

Для себя я нашел новый курс по Reinfrocment Learning - https://github.com/yandexdataschool/Practical_RL .

♠️Покер и ML♥️

В августе проходило соревнование от сбера, по созданию ботов для игры в покер.
В октябре прошел заключительный этап, где первое место заняли ребята, которые специализируются на создании ботов для покера.
Наиболее интересна здесь история человека, занявшего второе место. До самого соревнования он ничего не знал о покере, более того подключился лишь под конец соревнования.

Спойлер:

Он делал бота на основе CatBoost и тренировал его пародировать поведение топовых игроков (ботов в топе рейтинга).

Собственно его лекция на тренировках по ML:
https://youtu.be/74pTbshfERM

Решение с ботом выложено на гитхаб:
https://github.com/tyz910/sberbank-holdem-bot

Ну и он сам, если кто захочет пообщаться: @tyz910

🏚Генерация названий деревень🏠

Сальтолово
Ничичи
Каверная Голяна
Придориусловка
Старотипенки
Кюканово
Кутюшевка
Верхний Стед
Сабаревка

Сегодня наткнулся на новую статью на хабре, про генерацию названий деревень с помощью нейросеточки, автор взял за основу torch-rnn.

https://m.habrahabr.ru/post/343336/

Но вспомнил, про аналогичную статью в туториалах PyTorch 🔥.
Тут уже разбираются технческие аспекты и архитектура сети:

http://pytorch.org/tutorials/intermediate/char_rnn_generation_tutorial.html

📊UMAP - библиотека снижения размерности📑

Интересная библиотека, для снижения размерности данных, может быть использована для визуализации данных.
Но в отличие от TSNE (классический алгоритм снижения размерности), способна искать нелинейные зависимости параметров.

Использование библиотеки очень простое:

import umap 
from sklearn.datasets import load_digits 
digits = load_digits() embedding = umap.UMAP().fit_transform(digits.data)

https://github.com/lmcinnes/umap/blob/master/README.rst

🎥 Нейрофильм 📽
Просто не могу пройти мимо.

Чуваки из беларуской киностудии RitZeed сняли фильм по сценарию нейросети в рамках одного хакатона в Минске. Получилось 🔥🔥🔥

Вот несколько ключевых реплик:
Я просто подумал тебе подумать
Так, я думаю еще постоять с тобой, с тобой, с тобой, с ней... Кстати, она продала тебе ее на полу.
Если ты подождешь свой хлеб назад
Я похудел в стену. Я подхожу к столу.

И финал:
Не смогу с тобой собирать. С ним. С ним!

https://vk.com/video-31976785_456239720

💻Сервера для ML🖥

Наткнулся тут на краткую заметку про выбор железа для ресерча в области ML и CV. Она небольшая и комментировать особо нечего, но автор мне понравился, можете посмотреть другие его статьи, возможно что-то заинтересует.

http://cv-blog.ru/?p=207

💊Капсульные нейронные сети💊

В последнее время мои новости штурмуют различные новости и статейки про СapsNets. Решил собрать все в кучку 🗂.

🎥 Как написать свою капсульную сетку на TensorFlow
https://youtu.be/2Kawrd5szHE

📹 Видосик от Saraj, крутой парень, если еще не подписались - подпишитесь
https://youtu.be/VKoLGnq15RM

📖 Цикл статей от российского Датасайнтиста, про понимание капсульных нейронок.
https://goo.gl/hu3jga

📰 Как это все работает, но уже на русском :)
http://cv-blog.ru/?p=195

💻 TensorFlow имплементация капсульной сетки.
https://github.com/naturomics/CapsNet-Tensorflow

🖥 Имплементация на PyTorch
https://github.com/gram-ai/capsule-networks -

📝Если есть дополнения, присылайте их мне @alxmamaev, пост дополняется.

📷 Pix2PixHD 📸

Генерация фотореалистичных картинок

Тут ребята выложили интересную работу, по созданию GAN для рисования фотореалистичных картинок, на основе цветовых масок. Подобное вы могли увидеть в likemo.net , только там вы рисовали в стиле художника.

В видео они сравнивают результат с работой pix2pix (та штука, которая могла рисовать котиков). Pix2Pix генерит очень мыльную картинку, в свою очередь Pix2PixHD генерит все с высокой степенью детализации.

В общем, стоит внимания 👇
https://tcwang0509.github.io/pix2pixHD/


P.S. Сетка написана на Pytorch, код прилагается.