Do Vision Transformers See Like Convolutional Neural Networks? (Google AI)

Недавние работы показали, что (Vision) Transformer models (ViT) могут достигать высокой производительности в задачах классификации изображений. В связи с этим возникает главный вопрос: как они эти задачи решают? Действуют ли они подобно сверточным сетям или учат совершенно другие визуальные представления?

Анализируя внутреннюю структуру представления ViTs и CNNs, авторы обнаружили поразительные различия между этими двумя архитектурами, например, ViT имеет более однородное представление во всех слоях. Оказалось, решающую роль играют self-attention, который позволяет рано агрегировать глобальную информацию, и остаточные связи ViT, которые передают признаки от нижних слоев к верхним.

Ещё авторы демонстрируют влияние предварительного обучения и масштаба датасетовна промежуточные признаки и transfer learning, и в заключение обсуждают связи с новыми архитектурами, такими как MLP-Mixer.

ArXiv

#transformer #image #Convolutions #theory

TorchRS

В репозитории реализованы в PyTorch популярные наборы данных и моделей в задачах дистанционного зондирования (обнаружение изменений, сверхразрешение изображений, классификация/сегментация растительного покрова, создание подписей к изображениям, аудиовизуальное распознавание и т.д.) для различных оптических (Sentinel-2, Landsat и т.д.) и радиолокационных датчиков с синтезированной апертурой (SAR) (Sentinel-1).

GitHub

#ScientificML #images #code #datasets

Online Hard Example Mining ⛏

Некоторые наборы данных для обнаружения объектов содержат подавляющее число легких примеров и небольшое число трудных примеров. Автоматический отбор этих трудных примеров может сделать обучение более эффективным и результативным. OHEM, или Online Hard Example Mining, - это метод бутстраппинга, который модифицирует SGD для неравномерной выборки сэмплов в зависимости от текущего лосса каждого рассматриваемого сэмпла.

arXiv
GitHub

#basics #detection #segmentation

Просто представьте how cool would that be!

Facebook CodeGen

В репозитории представлен набор инструментов для машинного обучения на языках программирования. Он реализует токенизацию, предварительную обработку датасета, обучение модели и оценку модели.

Предоставлен эталонные реализации следующих работ:

DOBF: A Deobfuscation Pre-Training Objective for Programming Languages (2021)

TransCoder: Unsupervised Translation of Programming Languages (2020)

Также есть предобученные модели для языкового моделирования, перевода и деобфускации.

GitHub

#code

Consistency Regularization for Variational Auto-Encoders

Вариационные автоэнкодеры (ВАЕ) - мощный подход к self-supervised learning. VAE представляет собой вариационное семейство, параметризованное глубокой нейронной сетью, называемой кодером, которая принимает данные на вход.

Этот кодер VAE обладает нежелательным свойством: он отображает наблюдение и преобразование этого наблюдения в различные латентные представления. Такая "непоследовательность" кодировщика снижает качество изученных представлений.

В данной работе предлагают метод регуляризации для обеспечения согласованности в VAE. Идея заключается в минимизации расхождения Куллбэка-Лейблера (KL) между вариационным распределением при условии наблюдения и вариационным распределением при условии случайного семантически сохраняющего преобразования этого наблюдения. Эта регуляризация применима к любому VAE и более того улучшает любой из них.

arXiv

#SSL #vae #generative

DECORE: Deep Compression with Reinforcement Learning

Многие глубокие нейронные сети имеют от миллионов до миллиардов параметров, что делает их непригодными для реальных приложений с ограничениями памяти или работы с низкой задержкой. Поэтому для широкого распространения глубокого обучения необходимо использовать мощные методы сжатия сетей (включая квантизация и тд). Авторы представляют DECORE, подход к обучению с подкреплением для автоматизации процесса сжатия сети. Используя простой метод градиентной политики для изучения того, какие нейроны или каналы следует оставить или удалить.

В отличие от других методов, DECORE прост и быстр в обучении, требуя всего несколько часов обучения на 1 GPU. При применении к стандартным сетевым архитектурам на различных наборах данных наш подход достигает сжатия от 11x до 103x на различных архитектурах, сохраняя при этом точность, аналогичную точности исходных больших сетей.

arXiv

#compression #inference #RL

Стоит отметить, что валидируются авторы на сравнительно простых датасетах (CIFAR-10 и CIFAR-100), при этом используемые архитектуры не являются SOTA и даже не близки к ним.

Кроме того, метод авторов применим только в случае конволюционных сетей, так как его идея состоит в назначении веса каждому каналу выбранных конволюционных слоев (При этом метод должен быть адаптирован для случаев архитектур, где происходит параллельное использование каналов.
).

Далее RL-агент на основе назначенных весов (фактически - политики) для каждого слоя решает (при помощи простого сэмплирования), какие каналы сохранить, а какие оставить. В ходе обучение изначальные веса меняются агентом, в результате чего важные каналы остаются, а неважные - выкидываются.
После обучения каналы с низким весом удаляются из нейросети.

Идея очень простая и странно, если ее не использовали до этого.

Кода к статье пока нет, потому нельзя проверить гипотезу о том, что такой подход можно использовать для отбора признаков на первом слое.

Родственные такому подходы хотя в плане первого слоя нейросете мною наблюдались (здесь, например. Причем, RL не пригождалось).

В статье, кроме отсутствия кода, еще несколько странных моментов. Например, видно, что качество нейросети, сжатой MorphNet всегда сильно выше, чем у нейросети, сжатой авторами.
При этом качество MorphNet не уходит далеко от вообще несжатой сети.

Авторы не показывают графиков падения качества vs сжатие для других подходов, что не позволяет понять, что конкретно они творят с MorphNet. Возможно, если выкидывать из него веса пока не получишь качество, как у их подхода, сжатие будет и сравнимым.

Опять же, проверить это мешает то, что кода они не выложили.

Стоит отметить, что статья про MorhpNet тестируется как раз на больших датасетах (ImageNet) и на моделях, которые в тот момент (2018 год, кстати) были близки к SOTA.
И из графика из статьи видно, что незначительный перепад качества как раз может для MorphNet сильно увеличивать сжатия. Пусть здесь это и не напрямую, и не для того датасета (так-то - более сложного).

Papers with code - сайт-сообщество. В первую очередь знаменит своими лидер-бордами, где можно посмотреть State-of-the-art (SOTA) практически по любой задаче машинного обучения и датасету (например ImageNet).

К большинству статей прилагается код (часто официальная версия и не официальные релизы).

Paperswithcode.com

#basics #ScientifcML #code

Брошюрка про графовые нейросети
#gnn #graph

вот такая небольшая брошюрка сыскалась в пиратских чатах

QED: A Framework and Dataset for Explanations in Question Answering (Google AI)

QED - это лингвистически обоснованная система объяснений ответа на вопрос. Как представлено в статье, при наличии вопроса и отрывка QED представляет объяснение ответа как комбинацию дискретных, интерпретируемых человеком шагов:

* выбор предложения := определение предложения, подразумевающего ответ на вопрос
* референциальное равенство := идентификация именных фраз в вопросе и ответном предложении, которые относятся к одной и той же вещи
* предикатная эвиденциальность := подтверждение того, что предикат в предложении влечет за собой предикат в вопросе после абстрагирования от референтных равенств.

arXiv
GitHub

#datasets #nlp #linguistics #ScientificML

Быстрая "версия" pandas

Синтаксис очень красивый и более похож на dplyr/data.table из R, которые заслжуенно считаются SOTA для работы с табличными данными

GitHub
Введение

Кстати, по скорости исполнения может побеждать уже упомянутый гипер-быстрый data.table (не говоря о скорее синтаксически красивом dplyr )

Скорость достигается за счет написания "кишок" на Rust и за счет хороших архитектурных решений

#code #datascience #dataframes

Введение в JAX (рекомендовано Szegedy)

Этот туториал (colab) знакомит с важными концепциями JAX (autograd, pytree, JIT и др.), реализуя при этом простой алгоритм градиентного спуска.

#jax #basics #tutorial

Kipoi - model zoo for genomics

Интересный репозиторий с нейронными сетями в биологии. Есть пара архитектур из хороших статей. Репозиторий обновляется нечасто, непонятно, насколько инициатива жива. Например, в коде одной нейросети можно встретить Variable из pytorch (deprecated уже года 4 как). А статью по этой штуке хотели писать в 2018(

GitHub

#ScientificML #biology #dna #medicine

Efficient Self-supervised Vision Transformers for Representation Learning (Microsoft)

В работе исследуются два метода разработки эффективных self supervised трансформеров для зрения (EsViT).

Во-первых, авторы показывают, что многоступенчатые архитектуры с разреженным self attention могут значительно снизить сложность моделирования, но ценой потери способности улавливать тонкие соответствия между областями изображения.

Во-вторых, предлагают новую задачу для предварительного обучения - сопоставление регионов. Это позволяет модели улавливать тонкие зависимости между регионами и, как следствие, значительно улучшает качество обучаемых представлений зрения (vision representations).

Комбинируя эти два метода, EsViT достигает 81,3% топ-1 в оценке linear probe ImageNet, превосходя предыдущие разработки примерно на порядок. При переносе на последующие задачи линейной классификации EsViT превосходит свой аналог под наблюдением на 17 из 18 наборов данных.

arXiv
GitHub

#SSL #images #transformer

Large-Scale Unsupervised Object Discovery

Существующие подходы к обнаружению объектов без наблюдения (UOD) не масштабируются на большие наборы данных без аппроксимаций, которые снижают их производительность. Авторы предлагают новую формулировку UOD как задачи ранжирования, которая поддается арсеналу распределенных методов, доступных для решения проблем собственных значений и анализа связей. Обширные эксперименты с COCO и OpenImages показывают, что, когда на каждом изображении ищется один заметный объект, предлагаемый подход LOD (Large-scale Object Discovery) сравним с или превосходит SOTA средних наборов данных (до 120 тыс. изображений), и более чем на 37% превосходит единственные другие алгоритмы, способные масштабироваться до 1,7 млн. изображений. В условиях многообъектного обнаружения, когда на каждом изображении ищется несколько объектов, предлагаемый LOD более чем на 14% превосходит по средней точности (AP) все другие методы.

arXiv

#detection #SSL #images

MedMNIST

Для тех, кому не хватает MNIST-like наборов данных, на днях опубликовали MedMNIST v2. 12 наборов с 2D изображениями и 6 наборов с 3D (28x28x28). Все изображения под лицензией Creative Commons. Есть обертка для простого использования с PyTorch.

Сайт
GitHub

#datasets #images #medicine #3d #ScientificML