Neural Fields in Visual Computing and Beyond

Последние достижения в области машинного обучения вызвали растущий интерес к решению проблем визуальных вычислений с помощью нейросетей, которые параметризуют физические свойства сцен или объектов в пространстве и времени. Эти методы, которые называют нейронными полями, нашли успешное применение в синтезе 3D-форм и изображений, анимации человеческих тел, 3D-реконструкции и оценке позы.

В докладе, авторы предоставляют контекст, математическое обоснование и обширный обзор литературы по нейронным полям. В первой части доклада авторы разбирают методы нейронных полей, включая различные представления, архитектуры, прямое отображение и методы обобщения. Во второй части, они разбирают приложения нейронных полей к различным проблемам в визуальных вычислениях и не только (например, робототехника, аудио). Помимо этого, авторы выпустили сопутствующий веб-сайт, который представляет собой живую версию обзора, постоянно обновляемую сообществом.

📎 Статья
🌎 Сайт

#neurofields

Наконец-то нашел тулзу, которая может взять данные моих перемещений за много лет из GDPR-бекапа Google Maps и построить из них хитмап улиц. Теперь я знаю, что действительно ходил хотя бы раз уже почти по каждой улице внутри Берлина, но еще не по всем!

Давно хотел такой сервис, который бы автоматически рисовал такое, но они все жрут батарейку и не умеют в исторические данные. Один только Google шпионит за мной качественно.

Теперь-то мои сраные вечерние прогулки для сраного ментального здоровья станут целенаправленными! Ну и пригодится для следующего тревел-бложека.

P.S.: Тулза называется Location History Visualiser и работает без бекенда, а данные можно забрать в Google Takeout

DABS - The Domain Agnostic Benchmark for Self-Supervised Learning.

Можно ли использовать self-supervised обучение (SSL) с любыми данными? DABS - это бенчмарк методов SSL в семи различных областях, включая рентгеновские снимки грудной клетки, носимые датчики и мультиязычный текст.

Модели обучаются на не размеченном наборе данных в каждой области, а затем оценивают на последующих задачах в той же области.

Методы SSL, которые хорошо работают на DABS, могут быть особенно полезны для научных, медицинских, мультимодальных и других реальных задач, где не хватает меток или их дорого собирать.

📎 Статья
🖥 Код
📈 Бенчмарк
🌎 Красивый сайт

#SSL #ScientificML

An Image Patch is a Wave: Phase-Aware Vision MLP

В отличие от сверточных нейросетей (CNN) и визуальных трансформеров (ViT), многослойные перцептрон (MLP) - это вид моделей с чрезвычайно простой архитектурой, которая складывается только из линейных слоев. Входное изображение для зрительной MLP обычно разбивается на несколько патчей.

В статье предлагается представить каждый патч в виде волновой функции с двумя частями - амплитудой и фазой. Амплитуда - это исходная характеристика, а фаза - комплексное значение, изменяющееся в зависимости от семантического содержания входных изображений.

Основываясь на волновом представлении патчей, авторы создали новую архитектуру Wave-MLP для задач зрения.

Wave-MLP превосходит современные архитектуры MLP в различных задачах зрения, таких как классификация изображений, обнаружение объектов и семантическая сегментация.

📎 Статья

#MLP #images

Illustrated BERT

Пока я все ещё в дороге, почитайте этот прекрасный иллюстрированный обзор на BERT и ELMo. Это ваш шанс наконец-то разобраться о чем речь and why should you care.

PolyViT: Co-training Vision Transformers on Images, Videos and Audio

Можно ли обучить один трансформер, который сможет обрабатывать множество модальностей и наборов данных, шэря при этом почти все обучаемые параметры?

Оказалось что да. Тут выкатили PolyViT - модель, обученную на изображениях, аудио и видео. Совместное обучение различным задачам на одной модальности позволяет повысить точность каждой отдельной задачи и достичь SOTA на 5 стандартных наборах данных для классификации видео и аудио. Совместное обучение PolyViT на нескольких модальностях и задачах приводит к тому, что модель становится еще более эффективной по параметрам и обучается представлениям, которые обобщаются в различных областях.

📎 Статья

#multimodal #audio #video #images #transformer

End-to-End Referring Video Object Segmentation with Multimodal Transformers

Предположим вы хотите сегментировать объекты на видео по их текстовому описанию. Эту задачу можно разбить на составляющие части: понимание текста и видео, а так же непосредственно сегментация и треккинг объектов.

В данной работе авторы предлагают простой (забавное слово) подход на основе трансформеров. Их система, названная Multimodal Tracking Transformer (MTTR), моделирует задачу как проблему предсказания последовательности. MTTR основан на том, что видео и текст могут быть эффективно и элегантно обработаны одной мультимодальной трансформерной моделью.

Оценка на стандартных бэнчмарках показала, что MTTR значительно превосходит предыдущие методы по многим показателям. В частности, MTTR демонстрирует впечатляющий прирост точности при обработке 76 кадров в секунду (то есть ее можно гонять real-time даже на хороших камерах с 60 fps).

📎 Статья
🖥 Код

#multimodal #video #transformer #text #segmentation

PartImageNet: Большой датасет деталей и частей

В работе PartImageNet авторы заморочились настолько, что выпустили огроменный датасет с размеренными частями объектов (например лапы отдельно, хвосты отдельно).

Он состоит из 158 классов из ImageNet с приблизительно 24000 изображений.

📎 Статья
🗂 Датасет

#datasets #segmentation

Generalized Shape Metrics on Neural Representations

В нейронауках и в глубоком обучении количественная оценка (не)сходства нейронных представлений в разных сетях является темой, представляющей значительный интерес.

Ученые из Стэнфорда, Гугла и Института Аллена придумали как вычислять метрики между нейронными представлениями. Причём, эти представления могут быть записаны как с реальных животных, так и с нейросетей.

Они регистрируют активность K сетей, следовательно могут вычислить все попарные расстояния и собрать их в матрицу расстояний K × K. Поверх матрицы они применяют алгоритмы кластеризации и уменьшения размерности.

Таким образом, они придумали довольно элегантный и простой способ сравнивать нейронную активность между животными и нейросетями.

📎 Статья
🎥 Видео
🖥 Код

#ScientificML #biology

Artstation Artistic Face HQ

Не могу удержаться и не рассказать. Помните, этим летом обнаружили, что если в VQGAN + CLIP подавать дополнительные затравки типа “artstation”, то есть работает лучше?

Тут кто-то пошёл дальше и собрал целый датасет на 25к лиц с сайта Artstation.

🗂 Dataset
📎 Статья

#datasets #images

ClipCap: CLIP Prefix for Image Captioning

Нейронки научились хорошо предсказывать описания любых картинок. Сначала изображение прогоняют через CLIP (получают эмбеддинг изображения), а затем вытаскивают соответствующее текстовое описание из языковой модели.

Основная идея статьи заключается в том, что вместе с предварительно обученной языковой моделью (GPT2) авторы получают широкое понимание как визуальных, так и текстовых данных.

Таким образом, без дополнительных аннотаций или предварительного обучения, сеть эффективно генерирует осмысленные подписи для любых изображений.

📎 Статья
💻 Colab
🖥 Код
🤗 Онлайн

#clip #images #captioning #text

Ещё один звездный пример того, как ревьюверы совершенно необоснованно отклоняют статьи. Конечно про самую цитируемую стать Йорген загнул (смотрите внимательнее формулировку), но это не умаляет ценности LSTM.