Архитектуры на pytorch c построчными комментариями (фактически - описание всего алгоритма реализуемого)
https://nn.labml.ai/
#basics
https://nn.labml.ai/
#basics
Рубрика Back to Basics (в которой мы выкладываем хорошие ресурсы для того что бы с начать изучать нейросети)
Плейлист, составленный не кем иным, как @3blue1brown. В серии восхитительно иллюстрированных лекций,
объясняется, как работает прямое и обратное распространение ошибки, градиентный спуск и прочие базовые блоки позволяющие нам обучать нейросети.
Смотреть тут
#basics
Плейлист, составленный не кем иным, как @3blue1brown. В серии восхитительно иллюстрированных лекций,
объясняется, как работает прямое и обратное распространение ошибки, градиентный спуск и прочие базовые блоки позволяющие нам обучать нейросети.
Смотреть тут
#basics
Рубрика Back to Basics (в которой мы выкладываем хорошие ресурсы для того что бы с начать изучать нейросети)
Продолжая тему с основами - один из лучших каналов по основам статистики и машинному обучению - https://youtube.com/c/joshstarmer
Автор рассказывает про почти все практические области, с которыми сталкивается начинающий data scientist.
Акцент в примерах и темах смещен в сторону биологии, так как автор биостатистик. Однако каких-то дополнительных требований это не добавляет.
У автора одно из самых понятных объяснений идей bootstrapping (используется в случайном лесе, является вдохновителем dropout и тд). Очень понятно поясняются и другие базовые темы - SVM, PCA, tSNE. Также очень понятное (местами до скуки;( ) объяснение идей градиентного бустинга и xgboost.
У автора, как и у всех,случаются ляпы, но они очень редки и он оперативно отвечает и правит их в следующих версиях.
#basics
Продолжая тему с основами - один из лучших каналов по основам статистики и машинному обучению - https://youtube.com/c/joshstarmer
Автор рассказывает про почти все практические области, с которыми сталкивается начинающий data scientist.
Акцент в примерах и темах смещен в сторону биологии, так как автор биостатистик. Однако каких-то дополнительных требований это не добавляет.
У автора одно из самых понятных объяснений идей bootstrapping (используется в случайном лесе, является вдохновителем dropout и тд). Очень понятно поясняются и другие базовые темы - SVM, PCA, tSNE. Также очень понятное (местами до скуки;( ) объяснение идей градиентного бустинга и xgboost.
У автора, как и у всех,случаются ляпы, но они очень редки и он оперативно отвечает и правит их в следующих версиях.
#basics
How to avoid machine learning pitfalls: a guide for academic researchers
В статье дается краткое описание некоторых распространенных ошибок, которые встречаются
при использовании методов машинного обучения, и что можно сделать, чтобы их избежать.
Статья предназначена в первую очередь как руководство для студентов-исследователей и разбирает вопросы, которые особенно важны в академических исследованиях, например, необходимость проведения тщательного сравнения моделей и получение обоснованных выводов. Статья охватывает пять этапов процесса машинного обучения: что нужно сделать перед тем как строить модели, как надежно строить модели, как
как надежно оценивать модели, как справедливо сравнивать модели и как публиковать результаты.
Статья очень и очень хороша!
#basics
В статье дается краткое описание некоторых распространенных ошибок, которые встречаются
при использовании методов машинного обучения, и что можно сделать, чтобы их избежать.
Статья предназначена в первую очередь как руководство для студентов-исследователей и разбирает вопросы, которые особенно важны в академических исследованиях, например, необходимость проведения тщательного сравнения моделей и получение обоснованных выводов. Статья охватывает пять этапов процесса машинного обучения: что нужно сделать перед тем как строить модели, как надежно строить модели, как
как надежно оценивать модели, как справедливо сравнивать модели и как публиковать результаты.
Статья очень и очень хороша!
#basics
CNN Explainer
Интерактивная визуализация Convolutional Neural Networks, которая позволяет заглянуть на каждый слой и посмотреть что именно происходит с даннными. Помимо интерактивной части, объяснняются все основные элементы. CNN с красивыми и подробными иллюстрациями.
Играть тут (к сожалению работает только с компа, на телефоне очень глючит)
#basics #images #convolutions #XAI
Интерактивная визуализация Convolutional Neural Networks, которая позволяет заглянуть на каждый слой и посмотреть что именно происходит с даннными. Помимо интерактивной части, объяснняются все основные элементы. CNN с красивыми и подробными иллюстрациями.
Играть тут (к сожалению работает только с компа, на телефоне очень глючит)
#basics #images #convolutions #XAI
Online Hard Example Mining ⛏
Некоторые наборы данных для обнаружения объектов содержат подавляющее число легких примеров и небольшое число трудных примеров. Автоматический отбор этих трудных примеров может сделать обучение более эффективным и результативным. OHEM, или Online Hard Example Mining, - это метод бутстраппинга, который модифицирует SGD для неравномерной выборки сэмплов в зависимости от текущего лосса каждого рассматриваемого сэмпла.
arXiv
GitHub
#basics #detection #segmentation
Некоторые наборы данных для обнаружения объектов содержат подавляющее число легких примеров и небольшое число трудных примеров. Автоматический отбор этих трудных примеров может сделать обучение более эффективным и результативным. OHEM, или Online Hard Example Mining, - это метод бутстраппинга, который модифицирует SGD для неравномерной выборки сэмплов в зависимости от текущего лосса каждого рассматриваемого сэмпла.
arXiv
GitHub
#basics #detection #segmentation
Papers with code - сайт-сообщество. В первую очередь знаменит своими лидер-бордами, где можно посмотреть State-of-the-art (SOTA) практически по любой задаче машинного обучения и датасету (например ImageNet).
К большинству статей прилагается код (часто официальная версия и не официальные релизы).
Paperswithcode.com
#basics #ScientifcML #code
К большинству статей прилагается код (часто официальная версия и не официальные релизы).
Paperswithcode.com
#basics #ScientifcML #code
How to Create Any Image Using Only Sine Functions | 2D Fourier Transform in Python
Отлично написанный и очень подробный туториал для тех, кто только начинает свой путь в работе с изображениями и сигналами. В статье рассказывается о том что такое преобразования Фурье и как с их помощью можно представить любое изображение в виде синусов.
Эта идея например использована в такой знаменитой сети как SIREN, о которой я напишу как-нибудь в другой раз.
Почитать статью
#basics #processing #images
Отлично написанный и очень подробный туториал для тех, кто только начинает свой путь в работе с изображениями и сигналами. В статье рассказывается о том что такое преобразования Фурье и как с их помощью можно представить любое изображение в виде синусов.
Эта идея например использована в такой знаменитой сети как SIREN, о которой я напишу как-нибудь в другой раз.
Почитать статью
#basics #processing #images
Интуитивно понятное исследование задач Kaggle и построение моделей
В посте показано, как исследовать наборы данных и подготовить бэйслайн с помощью PyTorch Lightning и модели TorchVision.
The main steps will be: (1) loading data, (2) checking label distribution, and (3) watching some sample images from each class. Later we start (4) wrapping data to PyTorch classes, aka Dataset and Dataloader. In the end, we put it all together and (5) train a simple baseline CNN model.
Пост
#basics #images
В посте показано, как исследовать наборы данных и подготовить бэйслайн с помощью PyTorch Lightning и модели TorchVision.
The main steps will be: (1) loading data, (2) checking label distribution, and (3) watching some sample images from each class. Later we start (4) wrapping data to PyTorch classes, aka Dataset and Dataloader. In the end, we put it all together and (5) train a simple baseline CNN model.
Пост
#basics #images
Altair
Существует множество библиотек визуализации на языке python, но altair предлагает несколько оригинальных возможностей. Она предлагает широкий выбор графиков, грамматически понятный api, множество интерактивных функций и возможность экспорта непосредственно в браузер.
Нашёл отличный туториал (коротко, с видео и со вкусом)
#plotting #python #basics
Существует множество библиотек визуализации на языке python, но altair предлагает несколько оригинальных возможностей. Она предлагает широкий выбор графиков, грамматически понятный api, множество интерактивных функций и возможность экспорта непосредственно в браузер.
Нашёл отличный туториал (коротко, с видео и со вкусом)
#plotting #python #basics
97% accuracy on MNIST with a single decision tree (+ t-SNE)
Я довольно много пишу про сложные модели их интересные применения (это 662 пост в канале). Но в этот раз, давайте поговорим про простые модели. Вообще-то, добиться хорошей точности классификации можно и путем уменьшения размерности.
Берём Truncated Singular Value Decomposition (TSVD), «сжимаем» наш датасет (в этом случае MNIST - рукописные цифры) и преобразовываем данные в 2х мерное пространство с помощью T-SNE. Получаем 97% точности.
Полностью (супер подробно) метод разобран в этом блокноте.
#basics #reduction
Я довольно много пишу про сложные модели их интересные применения (это 662 пост в канале). Но в этот раз, давайте поговорим про простые модели. Вообще-то, добиться хорошей точности классификации можно и путем уменьшения размерности.
Берём Truncated Singular Value Decomposition (TSVD), «сжимаем» наш датасет (в этом случае MNIST - рукописные цифры) и преобразовываем данные в 2х мерное пространство с помощью T-SNE. Получаем 97% точности.
Полностью (супер подробно) метод разобран в этом блокноте.
#basics #reduction
Многие алгоритмы машинного обучения, как supervised, так и self-supervised, используют метрики расстояния. В этой чудесной шпаргалке подробно рассмотрены основные 9.
Знание того, когда использовать ту или иную меру расстояния, может помочь вам пройти путь от плохого классификатора до точной модели.
🔭 Блог-пост
#basics #training
Знание того, когда использовать ту или иную меру расстояния, может помочь вам пройти путь от плохого классификатора до точной модели.
🔭 Блог-пост
#basics #training