Do Vision Transformers See Like Convolutional Neural Networks? (Google AI)
Недавние работы показали, что (Vision) Transformer models (ViT) могут достигать высокой производительности в задачах классификации изображений. В связи с этим возникает главный вопрос: как они эти задачи решают? Действуют ли они подобно сверточным сетям или учат совершенно другие визуальные представления?
Анализируя внутреннюю структуру представления ViTs и CNNs, авторы обнаружили поразительные различия между этими двумя архитектурами, например, ViT имеет более однородное представление во всех слоях. Оказалось, решающую роль играют self-attention, который позволяет рано агрегировать глобальную информацию, и остаточные связи ViT, которые передают признаки от нижних слоев к верхним.
Ещё авторы демонстрируют влияние предварительного обучения и масштаба датасетовна промежуточные признаки и transfer learning, и в заключение обсуждают связи с новыми архитектурами, такими как MLP-Mixer.
ArXiv
#transformer #image #Convolutions #theory
Недавние работы показали, что (Vision) Transformer models (ViT) могут достигать высокой производительности в задачах классификации изображений. В связи с этим возникает главный вопрос: как они эти задачи решают? Действуют ли они подобно сверточным сетям или учат совершенно другие визуальные представления?
Анализируя внутреннюю структуру представления ViTs и CNNs, авторы обнаружили поразительные различия между этими двумя архитектурами, например, ViT имеет более однородное представление во всех слоях. Оказалось, решающую роль играют self-attention, который позволяет рано агрегировать глобальную информацию, и остаточные связи ViT, которые передают признаки от нижних слоев к верхним.
Ещё авторы демонстрируют влияние предварительного обучения и масштаба датасетовна промежуточные признаки и transfer learning, и в заключение обсуждают связи с новыми архитектурами, такими как MLP-Mixer.
ArXiv
#transformer #image #Convolutions #theory
Efficient Self-supervised Vision Transformers for Representation Learning (Microsoft)
В работе исследуются два метода разработки эффективных self supervised трансформеров для зрения (EsViT).
Во-первых, авторы показывают, что многоступенчатые архитектуры с разреженным self attention могут значительно снизить сложность моделирования, но ценой потери способности улавливать тонкие соответствия между областями изображения.
Во-вторых, предлагают новую задачу для предварительного обучения - сопоставление регионов. Это позволяет модели улавливать тонкие зависимости между регионами и, как следствие, значительно улучшает качество обучаемых представлений зрения (vision representations).
Комбинируя эти два метода, EsViT достигает 81,3% топ-1 в оценке linear probe ImageNet, превосходя предыдущие разработки примерно на порядок. При переносе на последующие задачи линейной классификации EsViT превосходит свой аналог под наблюдением на 17 из 18 наборов данных.
arXiv
GitHub
#SSL #images #transformer
В работе исследуются два метода разработки эффективных self supervised трансформеров для зрения (EsViT).
Во-первых, авторы показывают, что многоступенчатые архитектуры с разреженным self attention могут значительно снизить сложность моделирования, но ценой потери способности улавливать тонкие соответствия между областями изображения.
Во-вторых, предлагают новую задачу для предварительного обучения - сопоставление регионов. Это позволяет модели улавливать тонкие зависимости между регионами и, как следствие, значительно улучшает качество обучаемых представлений зрения (vision representations).
Комбинируя эти два метода, EsViT достигает 81,3% топ-1 в оценке linear probe ImageNet, превосходя предыдущие разработки примерно на порядок. При переносе на последующие задачи линейной классификации EsViT превосходит свой аналог под наблюдением на 17 из 18 наборов данных.
arXiv
GitHub
#SSL #images #transformer
Simple Transformers
Очень классная библиотека для работы с трансформерами. Есть в том числе модели предобученные на научных текстах.
GitHub
#transformer #ScientificML
Очень классная библиотека для работы с трансформерами. Есть в том числе модели предобученные на научных текстах.
GitHub
#transformer #ScientificML
Simple Transformers
Using Transformer models has never been simpler! Built-in support for: Text Classification Token Classification Question Answering Language Modeling Language Generation Multi-Modal Classification Conversational AI Text Representation Generation
SwinIR: Image Restoration Using Swin Transformer
Трансформер для повышения разрешения изображения.
На бенчмарках показывает себя хорошо
arXiv
GitHub
#transformer #denoising #images
Трансформер для повышения разрешения изображения.
На бенчмарках показывает себя хорошо
arXiv
GitHub
#transformer #denoising #images
How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers (Google AI)
Visual Transformers (ViT) показали, что они достигают высокой конкурентоспособности в широком спектре задач зрения, таких как классификация изображений, обнаружение объектов и семантическая сегментация. По сравнению со сверточными нейронными сетями, более слабый индуктивный баес трансформатора зрения обычно приводит к увеличению зависимости от регуляризации модели или аугментации данных ("AugReg" для краткости) при обучении на небольших наборах данных. В статье проводится систематическое эмпирическое исследование взаимосвязанности между количеством обучающих данных, AugReg, размером модели и вычислительным бюджетом.
В результате этого исследования обнаружили, что сочетание увеличения вычислительных ресурсов и AugReg может выдавать модели с такой же производительностью, что и модели, обученные на значительно большем количестве обучающих данных.
arXiv
#transformer #images #training #theory
Visual Transformers (ViT) показали, что они достигают высокой конкурентоспособности в широком спектре задач зрения, таких как классификация изображений, обнаружение объектов и семантическая сегментация. По сравнению со сверточными нейронными сетями, более слабый индуктивный баес трансформатора зрения обычно приводит к увеличению зависимости от регуляризации модели или аугментации данных ("AugReg" для краткости) при обучении на небольших наборах данных. В статье проводится систематическое эмпирическое исследование взаимосвязанности между количеством обучающих данных, AugReg, размером модели и вычислительным бюджетом.
В результате этого исследования обнаружили, что сочетание увеличения вычислительных ресурсов и AugReg может выдавать модели с такой же производительностью, что и модели, обученные на значительно большем количестве обучающих данных.
arXiv
#transformer #images #training #theory
Новое видео от Яника о НЕтрансформере. Который тем не менее работает на некоторых задачах не хуже и линеен по памяти.
Очень интересное критическое видео. Хорошие пример как надо читать статью и почему не надо вестись на формулы и названия, которые дали авторы.(Спойлер - query у авторов по сути ими не являются. Это по сути value, а, точнее, ровно один выучиваемый value)
Код
#transformer #yannic
https://youtu.be/qgUegkefocg
Очень интересное критическое видео. Хорошие пример как надо читать статью и почему не надо вестись на формулы и названия, которые дали авторы.(Спойлер - query у авторов по сути ими не являются. Это по сути value, а, точнее, ровно один выучиваемый value)
Код
#transformer #yannic
https://youtu.be/qgUegkefocg
GitHub
GitHub - wuch15/Fastformer: A pytorch &keras implementation and demo of Fastformer.
A pytorch &keras implementation and demo of Fastformer. - GitHub - wuch15/Fastformer: A pytorch &keras implementation and demo of Fastformer.
Train short. Test long. Attention with linear biases enables input length extrapolation. (Facebook AI)
Ещё со времён появления первых трансформеров остается открытым фундаментальный вопрос: как добиться экстраполяции на более длинные последовательности, чем те, на которых сеть обучалась?
Авторы описывают простой и эффективный метод, Attention with Linear Biases (ALiBi), который позволяет проводить такую экстраполяцию. ALiBi не добавляет позиционные эмбединги к эмбедингам слов; вместо этого it biases the query-key attention scores with a term that is proportional to their distance.
Авторы показывают, что этот метод позволяет обучить модель с 1,3 миллиардами параметров на входных последовательностях длиной 1024, которая экстраполируется на входные последовательности длиной 2048, достигая той же сложности, что и синусоидальная модель позиционных эмбедингов, обученная на входных данных длиной 2048, на 11% быстрее и используя на 11% меньше памяти. Индуктивный баес ALiBi в сторону рекуррентности позволяет ему превзойти несколько сильных позиционных методов на эталоне WikiText-103.
Статья
GitHub
Видео-разбор от Яника
#training #transformer
Ещё со времён появления первых трансформеров остается открытым фундаментальный вопрос: как добиться экстраполяции на более длинные последовательности, чем те, на которых сеть обучалась?
Авторы описывают простой и эффективный метод, Attention with Linear Biases (ALiBi), который позволяет проводить такую экстраполяцию. ALiBi не добавляет позиционные эмбединги к эмбедингам слов; вместо этого it biases the query-key attention scores with a term that is proportional to their distance.
Авторы показывают, что этот метод позволяет обучить модель с 1,3 миллиардами параметров на входных последовательностях длиной 1024, которая экстраполируется на входные последовательности длиной 2048, достигая той же сложности, что и синусоидальная модель позиционных эмбедингов, обученная на входных данных длиной 2048, на 11% быстрее и используя на 11% меньше памяти. Индуктивный баес ALiBi в сторону рекуррентности позволяет ему превзойти несколько сильных позиционных методов на эталоне WikiText-103.
Статья
GitHub
Видео-разбор от Яника
#training #transformer
The Devil is in the Detail: Simple Tricks Improve Systematic Generalization of Transformers (Шмидтхубер)
В последнее время было предложено множество наборов данных для проверки способности нейронных сетей к систематическому обобщению. Базовые трансформеры, обычно обучаемые с гиперпараметрами по умолчанию на основе стандартных задач, с обобщением не справляются.
В статье демонстрируется, что, пересмотрев такие базовые конфигурации модели, как масштабирование embeddings, early stopping, relative positional embeddings и универсальные варианты трансформеров, мы можем значительно улучшить обобщающую способность трансформеров.
Авторские модели повышают точность с 50% до 85% в наборе PCFG и с 35% до 81% в наборе COGS. Важно отметить, что различия в производительности между этими моделями, как правило, незаметны на срезе данных IID. Это говорит о том, что для разработки нейронных сетей, которые обобщают систематически, необходимо использовать соответствующие валидационные наборы для обобщения.
Статья
Код
Видео
#training #transformer
В последнее время было предложено множество наборов данных для проверки способности нейронных сетей к систематическому обобщению. Базовые трансформеры, обычно обучаемые с гиперпараметрами по умолчанию на основе стандартных задач, с обобщением не справляются.
В статье демонстрируется, что, пересмотрев такие базовые конфигурации модели, как масштабирование embeddings, early stopping, relative positional embeddings и универсальные варианты трансформеров, мы можем значительно улучшить обобщающую способность трансформеров.
Авторские модели повышают точность с 50% до 85% в наборе PCFG и с 35% до 81% в наборе COGS. Важно отметить, что различия в производительности между этими моделями, как правило, незаметны на срезе данных IID. Это говорит о том, что для разработки нейронных сетей, которые обобщают систематически, необходимо использовать соответствующие валидационные наборы для обобщения.
Статья
Код
Видео
#training #transformer
Learning to Prompt for Vision-Language Models
Устали от настройки prompts для моделей языка зрения, таких как CLIP?
Почему бы не использовать CoOp для изучения prompts! Он эффективен с точки зрения данных и обобщаем в конкретных областях😎
Основная идея CoOp заключается в моделировании контекста в подсказках с помощью непрерывных представлений и выполнении сквозного обучения на основе данных. CoOp демонстрирует способность к эффективному обучению на основе данных, а также устойчивость к изменению распределения.
Статья
Код
#prompting #transformer #multimodal #images #text #text2image
Устали от настройки prompts для моделей языка зрения, таких как CLIP?
Почему бы не использовать CoOp для изучения prompts! Он эффективен с точки зрения данных и обобщаем в конкретных областях😎
Основная идея CoOp заключается в моделировании контекста в подсказках с помощью непрерывных представлений и выполнении сквозного обучения на основе данных. CoOp демонстрирует способность к эффективному обучению на основе данных, а также устойчивость к изменению распределения.
Статья
Код
#prompting #transformer #multimodal #images #text #text2image
Shatter: An Efficient Transformer Encoder with Single-Headed Self-Attention and Relative Sequence Partitioning (Google language)
Популярная архитектура Transformer, основанная на self-attention, является основой больших предварительно обученных моделей, таких как BERT, которые стали устойчивой парадигмой в NLP. Несмотря на свою мощь, вычислительные ресурсы и время, необходимые для предварительного обучения таких моделей, могут оказаться непомерно большими.
В этой работе авторы представляют альтернативную архитектуру self-attention, Shatter, которая более эффективно кодирует информацию о последовательности путем мягкого разделения пространства относительных позиций и применения различных матриц значений к различным частям последовательности.
Этот механизм позволяет упростить multi-head attention в Transformer до одноголового. Shatter достигает лучшей производительности, чем BERT, при этом предварительное обучение быстрее на шаг (15% на TPU), сходится за меньшее количество шагов и обеспечивает значительную экономию памяти (>50%). Вместе взятые, Shatter может быть предварительно обучен на 8 GPU V100 за 7 дней и сравним по производительности с BERT_Base, что делает стоимость предварительного обучения гораздо более доступной.
Статья
#transformer #attention #nlp
Популярная архитектура Transformer, основанная на self-attention, является основой больших предварительно обученных моделей, таких как BERT, которые стали устойчивой парадигмой в NLP. Несмотря на свою мощь, вычислительные ресурсы и время, необходимые для предварительного обучения таких моделей, могут оказаться непомерно большими.
В этой работе авторы представляют альтернативную архитектуру self-attention, Shatter, которая более эффективно кодирует информацию о последовательности путем мягкого разделения пространства относительных позиций и применения различных матриц значений к различным частям последовательности.
Этот механизм позволяет упростить multi-head attention в Transformer до одноголового. Shatter достигает лучшей производительности, чем BERT, при этом предварительное обучение быстрее на шаг (15% на TPU), сходится за меньшее количество шагов и обеспечивает значительную экономию памяти (>50%). Вместе взятые, Shatter может быть предварительно обучен на 8 GPU V100 за 7 дней и сравним по производительности с BERT_Base, что делает стоимость предварительного обучения гораздо более доступной.
Статья
#transformer #attention #nlp
PermuteFormer: Efficient Relative Position Encoding for Long Sequences
Performer, расширяет Transformer до более длинных последовательностей с линейным механизмом внимания. Однако он не совместим с кодированием относительной позиции, которое имеет преимущества перед кодированием абсолютной позиции.
В этой статье обсуждаются возможные способы добавления кодирования относительной позиции в Performer. Предлагают PermuteFormer с кодированием относительной позиции, которая линейно масштабируется на длинных последовательностях. PermuteFormer применяет позиционно-зависимое преобразование keys и queries для кодирования позиционной информации в модуле внимания. Это преобразование продумано таким образом, чтобы конечный результат self-attention не зависел от абсолютного положения лексем.
Эксперименты показывают, что PermuteFormer равномерно улучшает производительность Performer почти без вычислительных затрат и превосходит ванильный Transformer в большинстве задач.
Статья
Код
#transformer #nlp
Performer, расширяет Transformer до более длинных последовательностей с линейным механизмом внимания. Однако он не совместим с кодированием относительной позиции, которое имеет преимущества перед кодированием абсолютной позиции.
В этой статье обсуждаются возможные способы добавления кодирования относительной позиции в Performer. Предлагают PermuteFormer с кодированием относительной позиции, которая линейно масштабируется на длинных последовательностях. PermuteFormer применяет позиционно-зависимое преобразование keys и queries для кодирования позиционной информации в модуле внимания. Это преобразование продумано таким образом, чтобы конечный результат self-attention не зависел от абсолютного положения лексем.
Эксперименты показывают, что PermuteFormer равномерно улучшает производительность Performer почти без вычислительных затрат и превосходит ванильный Transformer в большинстве задач.
Статья
Код
#transformer #nlp
Panoptic Segformer
Panoptic SegFormer - общая архитектура для сквозной паноптической сегментации с использованием трансформеров. Предлагаемый метод расширяет деформируемый DETR с единым рабочим процессом предсказания масок для вещей и предметов, делая пайплайн паноптической сегментации лаконичным и эффективным. Используя за основу ResNet-50, метод достигает 50.0% PQ на тестовом сплите COCO, превосходя предыдущие современные методы на значительную величину без всяких прибамбасов.
Статья
#segmentation #transformer #images
Panoptic SegFormer - общая архитектура для сквозной паноптической сегментации с использованием трансформеров. Предлагаемый метод расширяет деформируемый DETR с единым рабочим процессом предсказания масок для вещей и предметов, делая пайплайн паноптической сегментации лаконичным и эффективным. Используя за основу ResNet-50, метод достигает 50.0% PQ на тестовом сплите COCO, превосходя предыдущие современные методы на значительную величину без всяких прибамбасов.
Статья
#segmentation #transformer #images
An End-to-End Transformer Model for 3D Object Detection (Facebook AI)
Фэйсбук продолжает свой курс на метавселенные. Выпустили 3DETR (3D DEtection TRansformer) - это трансформер для 3D детекции. 3DETR достигает сравнимой или лучшей производительности, чем методы 3D детекции, такие как VoteNet. Кодер также может быть использован для других 3D-задач, таких как классификация форм.
Статя
Проект
Код
#3d #transformer #detection
Фэйсбук продолжает свой курс на метавселенные. Выпустили 3DETR (3D DEtection TRansformer) - это трансформер для 3D детекции. 3DETR достигает сравнимой или лучшей производительности, чем методы 3D детекции, такие как VoteNet. Кодер также может быть использован для других 3D-задач, таких как классификация форм.
Статя
Проект
Код
#3d #transformer #detection
Sparse MLP for Image Recognition: Is Self-Attention Really Necessary?
В этой работе авторы исследуют, является ли основной модуль self-attention в трансформере ключом к достижению превосходных результатов в распознавании изображений. Для этого они строят сеть без внимания на основе MLP.
Для лексем двумерного изображения sMLP применяет одномерную MLP вдоль осевых направлений, а параметры разделяются между строками или столбцами. Благодаря разреженному соединению и разделению веса, модуль sMLP значительно сокращает количество параметров модели и вычислительную сложность. Успех sMLPNet говорит о том, что механизм self-attention не обязательно является серебряной пулей в компьютерном зрении.
📎 Статья
🖥 Код
#mlp #transformer
В этой работе авторы исследуют, является ли основной модуль self-attention в трансформере ключом к достижению превосходных результатов в распознавании изображений. Для этого они строят сеть без внимания на основе MLP.
Для лексем двумерного изображения sMLP применяет одномерную MLP вдоль осевых направлений, а параметры разделяются между строками или столбцами. Благодаря разреженному соединению и разделению веса, модуль sMLP значительно сокращает количество параметров модели и вычислительную сложность. Успех sMLPNet говорит о том, что механизм self-attention не обязательно является серебряной пулей в компьютерном зрении.
📎 Статья
🖥 Код
#mlp #transformer
Localizing Objects with Self-Supervised Transformers and no Labels 🏷
Аннотация или labelling данных, довольно нудное и трудоёмкое занятие.
В статье предлагают простой подход к решению этой проблемы. Давайте научимся локализоваться объекты в режиме self-supervised. В качестве нейросети - используют трансформер (ViT, про который я писал тут).
Авторы сравниваются с SOTA обнаружения объектов, превосходят на 8 баллов CorLoc на PASCAL VOC 2012. Более того, показывают многообещающие результаты в задаче обнаружения объектов без наблюдения.
Статья
Код
#SSL #transformer #detection
Аннотация или labelling данных, довольно нудное и трудоёмкое занятие.
В статье предлагают простой подход к решению этой проблемы. Давайте научимся локализоваться объекты в режиме self-supervised. В качестве нейросети - используют трансформер (ViT, про который я писал тут).
Авторы сравниваются с SOTA обнаружения объектов, превосходят на 8 баллов CorLoc на PASCAL VOC 2012. Более того, показывают многообещающие результаты в задаче обнаружения объектов без наблюдения.
Статья
Код
#SSL #transformer #detection
Relative Molecule Self-Attention Transformer
Self-supervised learning обещает произвести революцию в предсказании свойств молекул - центральной задаче открытия лекарств и многих других отраслей промышленности - благодаря возможности эффективного обучения на основе скудных экспериментальных данных.
Авторы полагают, что что-бы все реально заработало нужно решить проблему с выбором правильной архитектуры, которая, по их мнению, может быть самой проблемной частью.
Авторы предлагают новый вариант self-attention, адаптированный для обработки молекул, вдохновленный слоем relative self-attention, который предполагает объединение встроенного графа и отношений расстояния между атомами. Основной вклад работы - Relative Molecule Attention Transformer (R-MAT): новая модель на основе трансформера, которая достигает современных или очень конкурентоспособных результатов в широком диапазоне задач предсказания свойств молекул.
📎Статья
#ScientifcML #chemistry #transformer #SSL
Self-supervised learning обещает произвести революцию в предсказании свойств молекул - центральной задаче открытия лекарств и многих других отраслей промышленности - благодаря возможности эффективного обучения на основе скудных экспериментальных данных.
Авторы полагают, что что-бы все реально заработало нужно решить проблему с выбором правильной архитектуры, которая, по их мнению, может быть самой проблемной частью.
Авторы предлагают новый вариант self-attention, адаптированный для обработки молекул, вдохновленный слоем relative self-attention, который предполагает объединение встроенного графа и отношений расстояния между атомами. Основной вклад работы - Relative Molecule Attention Transformer (R-MAT): новая модель на основе трансформера, которая достигает современных или очень конкурентоспособных результатов в широком диапазоне задач предсказания свойств молекул.
📎Статья
#ScientifcML #chemistry #transformer #SSL