97% accuracy on MNIST with a single decision tree (+ t-SNE)

Я довольно много пишу про сложные модели их интересные применения (это 662 пост в канале). Но в этот раз, давайте поговорим про простые модели. Вообще-то, добиться хорошей точности классификации можно и путем уменьшения размерности.

Берём Truncated Singular Value Decomposition (TSVD), «сжимаем» наш датасет (в этом случае MNIST - рукописные цифры) и преобразовываем данные в 2х мерное пространство с помощью T-SNE. Получаем 97% точности.

Полностью (супер подробно) метод разобран в этом блокноте.

#basics #reduction

Многие алгоритмы машинного обучения, как supervised, так и self-supervised, используют метрики расстояния. В этой чудесной шпаргалке подробно рассмотрены основные 9.

Знание того, когда использовать ту или иную меру расстояния, может помочь вам пройти путь от плохого классификатора до точной модели.

🔭 Блог-пост

#basics #training

Back to basics

Праздники прошли, и самое время вкатываться в работу и в канал. Отличная лекция по Реккурентным Сетям (RNN) от New York University. Альфредо старается объяснять с точки зрения интуции, а не математики. И качество иллюстраций тоже на уровне!

#rnn #basics

Я все еще не могу себя заставить зайти в твиттер и почитать свежачок. Но тем не менее, вот вам отличная статья про Attention. Лучше пока ничего не написали (в том числе есть перевод на русский). Или если больше заходят видосы, посмотрите лекцию NYU.

#basics #attention #transformers

Good news, everyone!

Я уже почти год работаю в проекте MSU.ai и позвольте поделиться инсайдерской инфой - у нас новый набор на курс “Нейросети и их применение в научных исследованиях”.

Главная фишечка курса в том, что он бесплатный и у нас есть крутые плюшки в виде приличных стипендий (20к рублей/месяц) и премии за публикации (до 200к рублей, Карл! 200к рублей!!!). Но есть пара нюансов:
1) курс только для для тех кто учится и/или учился в МГУ (с прицелом на магистров и аспирантов).
2) у нас довольно хардкорный конкурс, но оно того стоит.

Если интересно, подробная инфа и регистрация (до 31ого января) тут.

#курсы #basics

OpenAI добавила возможность получать эмбеддинги текста или кода напрямую из своего API

Эмбеддинги - это числовые представления каких-то понятий (например слов или кусочков кода), преобразованные в последовательности чисел (например [1.,…,2.]), которые облегчают компьютеру понимание отношений между этими понятиями.

Эмбеддинги полезны при работе с естественным языком и кодом, поскольку их можно легко использовать и сравнивать с другими моделями машинного обучения и алгоритмами, такими как кластеризация или поиск.

То есть получается, берём например текст -> прогоняем его через OpenAI API -> получаем эмбеддинг -> и можем его использовать с любыми моделями машинного обучения (не только с OpenAI, а то получилось бы еще одна «экосистема» по типу Apple).

Для тех, кто потихонечку вкатывается в NLP рекомендую почитать блог-пост. Там простым и понятным языком написано.

📸 Блог-пост
📎 Статья

#gpt #nlp #basics

Туториал по Графовым нейросетям

Графовые нейросети сейчас горячая тема. Нашел классный Colab-туториал от DeepMind, который начинается с самого понятия графа и заканчивается подробной инструкцией по написанию Графовой Сверточной Сети (GCN) на питоне.

💻 Учиться

#graph #basics