The Devil is in the Detail: Simple Tricks Improve Systematic Generalization of Transformers (Шмидтхубер)

В последнее время было предложено множество наборов данных для проверки способности нейронных сетей к систематическому обобщению. Базовые трансформеры, обычно обучаемые с гиперпараметрами по умолчанию на основе стандартных задач, с обобщением не справляются.

В статье демонстрируется, что, пересмотрев такие базовые конфигурации модели, как масштабирование embeddings, early stopping, relative positional embeddings и универсальные варианты трансформеров, мы можем значительно улучшить обобщающую способность трансформеров.

Авторские модели повышают точность с 50% до 85% в наборе PCFG и с 35% до 81% в наборе COGS. Важно отметить, что различия в производительности между этими моделями, как правило, незаметны на срезе данных IID. Это говорит о том, что для разработки нейронных сетей, которые обобщают систематически, необходимо использовать соответствующие валидационные наборы для обобщения.

Статья
Код
Видео

#training #transformer

Learning to Prompt for Vision-Language Models

Устали от настройки prompts для моделей языка зрения, таких как CLIP?

Почему бы не использовать CoOp для изучения prompts! Он эффективен с точки зрения данных и обобщаем в конкретных областях😎

Основная идея CoOp заключается в моделировании контекста в подсказках с помощью непрерывных представлений и выполнении сквозного обучения на основе данных. CoOp демонстрирует способность к эффективному обучению на основе данных, а также устойчивость к изменению распределения.

Статья
Код

#prompting #transformer #multimodal #images #text #text2image

Discovering Anomalous Data with Self-Supervised Learning (Google AI)

Обнаружение аномалий (иногда называемое обнаружением выбросов или выявлением нераспределенности) является одним из наиболее распространенных приложений машинного обучения во многих областях, от обнаружения дефектов в производстве до выявления мошеннических операций в финансовой сфере.

Статья описывает двухэтапную схему, которая использует последние достижения в self-supervised representation learning и классические одноклассовые алгоритмы. Алгоритм прост в обучении и показывает самые современные результаты на различных бэнчмарках, включая CIFAR, f-MNIST, Cat vs Dog и CelebA.

Блог-пост
Статья
Код

#SSL #anomaly

2D Animal Keypoint Dataset

Содержит датасеты:
* Animal pose 🦔
* Horse-10 🐎
* Macaque Pose 🐒
* Vinegar Fly 🪰
* Desert locust 🏜
* Grevy’s Zebra 🦓
* ATRW 🐅

Доступно через MMPose тут

#datasets #ScientificML #pose #detection #biology

A Novel Dataset for Keypoint Detection of quadruped Animals from Images

Этот набор данных содержит значительно больше ключевых точек на одно животное и имеет гораздо большее разнообразие животных, чем существующие датасеты для обнаружения ключевых точек животных.

Статья
Датасет

#datasets #ScientificML #pose #detection #biology

Common Objects in 3D (Facebook AI)

Common Objects in 3D - это крупномасштабный набор данных с реальными многоракурсными изображениями категорий объектов, аннотированными позами камер и наземными облаками точек 3D. Набор данных содержит в общей сложности 1,5 миллиона кадров из почти 19 000 видео, на которых запечатлены объекты из 50 категорий MS-COCO, и поэтому он значительно превосходит альтернативные варианты как по количеству категорий, так и объектов.

Датасет
Блог-пост
Статья

#datasets #3d #images #detection

Shatter: An Efficient Transformer Encoder with Single-Headed Self-Attention and Relative Sequence Partitioning (Google language)

Популярная архитектура Transformer, основанная на self-attention, является основой больших предварительно обученных моделей, таких как BERT, которые стали устойчивой парадигмой в NLP. Несмотря на свою мощь, вычислительные ресурсы и время, необходимые для предварительного обучения таких моделей, могут оказаться непомерно большими.

В этой работе авторы представляют альтернативную архитектуру self-attention, Shatter, которая более эффективно кодирует информацию о последовательности путем мягкого разделения пространства относительных позиций и применения различных матриц значений к различным частям последовательности.

Этот механизм позволяет упростить multi-head attention в Transformer до одноголового. Shatter достигает лучшей производительности, чем BERT, при этом предварительное обучение быстрее на шаг (15% на TPU), сходится за меньшее количество шагов и обеспечивает значительную экономию памяти (>50%). Вместе взятые, Shatter может быть предварительно обучен на 8 GPU V100 за 7 дней и сравним по производительности с BERT_Base, что делает стоимость предварительного обучения гораздо более доступной.

Статья

#transformer #attention #nlp

How to Create Any Image Using Only Sine Functions | 2D Fourier Transform in Python

Отлично написанный и очень подробный туториал для тех, кто только начинает свой путь в работе с изображениями и сигналами. В статье рассказывается о том что такое преобразования Фурье и как с их помощью можно представить любое изображение в виде синусов.

Эта идея например использована в такой знаменитой сети как SIREN, о которой я напишу как-нибудь в другой раз.

Почитать статью

#basics #processing #images

Seeing Implicit Neural Representations as Fourier Series

После того, как мы разобрались с тем как делать преобразование Фурье с картинками, обсудим самый свежачок.

Implicit Neural Representations (INR) используют многослойные перцептроны для представления высокочастотных функций в низкоразмерных областях задач. Недавно эти представления достигли передовых результатов в задачах, связанных со сложными трехмерными объектами и сценами. Основной проблемой является представление высокодетальных сигналов, которая решается с помощью сетей с периодическими функциями активации (SIREN) или применением отображений Фурье на вход. В данной работе показано, что перцептрон с отображением Фурье структурно похож на SIREN с одним скрытым слоем.

Более того, авторы модифицируют стратегию прогрессивного обучения для работы с произвольными отображениями Фурье.

Авторы подтверждают, что основной вклад в эффективность отображения вносит размер эмбединга и стандартное отклонение его элементов.

Статья

#representation #images

The Natural Scenes Dataset

Natural Scenes Dataset (NSD) - это крупномасштабный набор данных фМРТ, проведенный при сверхвысоком поле (7Т) в Центре магнитно-резонансных исследований (CMRR) Университета Миннесоты. Набор данных состоит из измерений фМРТ всего мозга с высоким разрешением (изотропность 1,8 мм, частота дискретизации 1,6 с) у 8 здоровых взрослых испытуемых во время просмотра тысяч цветных естественных сцен в течение 30-40 сеансов сканирования. Во время просмотра этих изображений испытуемые выполняли задачу непрерывного распознавания, в которой они сообщали, видели ли они каждое данное изображение в любой момент эксперимента. Эти данные представляют собой массивный benchmark для вычислительных моделей визуального представления и познания и могут поддержать широкий спектр научных исследований.

Датасет

#ScientificML #images #medicine #biology

классная интерактивная статья (открывать с компа). Очень рекомендую

#gnn

ONNX Runtime Web

Вышла ONNX Runtime Web (ORT Web), новая функция в ONNX Runtime, позволяющая разработчикам JavaScript запускать и развертывать модели машинного обучения в браузерах. Она также поможет создать новые классы вычислений на устройствах. ORT Web заменит собой скоро выходящий из употребления onnx.js, при этом будут реализованы такие улучшения, как более согласованный опыт разработчиков между пакетами для вычислений на стороне сервера и на стороне клиента, а также улучшенная производительность вычислений и покрытие моделей. В этом блоге вы найдете краткий обзор ORT Web, а также ресурсы для начала работы с ним.

#inference

How Computationally Complex Is a Single Neuron?

Вычислительные нейробиологи научили искусственную нейронную сеть имитировать биологический нейрон. Полученный результат позволяет по-новому взглянуть на сложность отдельных клеток мозга.

Статья на QuantaMagazine
Статья
Код

#theory #SceintificML

Finetuned Language Models Are Zero-Shot Learners (Google AI)

В этой статье рассматривается простой метод улучшения способности языковых моделей к обучению "zero shot".

Авторы берут предварительно обученную языковую модель с 137B параметров и тюнят ее на более чем 60 задачах НЛП, вербализованных с помощью шаблонов инструкций на естественном языке.

Эта модель существенно улучшает производительность своего немодифицированного аналога и превосходит zero-shot 175B GPT-3 на 19 из 25 задач, которые оценивали авторы.

Статья

#nlp #gpt #training #generative

Moser Flow: Divergence-based Generative Modeling on Manifolds

Потоки Мозера, новый класс непрерывных нормализующих потоков на многообразиях, основанный на дивергенциях нейронных сетей. Первые результаты генеративного моделирования на общих криволинейных поверхностях!

Учитывая две плотности вероятности на многообразии, Дж. Мозер (1965) построил поток, сдвигающий первую плотность ко второй. Поток определяется векторным полем, дивергенция которого равна разности между плотностями.

Это послужило мотивом для создания MF - универсального аппроксиматора, в котором разница в плотностях модели и предшествующей плотности выражается с помощью (локального, легко аппроксимируемого) оператора дивергенции, применяемого непосредственно к NN. В отличие от предыдущих методов CNF, он не требует решения ODE во время обучения!

МП с большим отрывом достигают вероятности SOTA на бэнчмарках наук о Земле с базовой сферической геометрией.

Статья

#ScientificML #generative

NLP - Cube

У Adobe неожиданно обнаружился сайт с различным опен-сорсом.

NLP Cube умеет в Sentence Splitting, Tokenization, Lemmatization, Part-of-speech Tagging, Dependency Parsing и Named Entity Recognition для >50 языков.

Код
Статья

#nlp

HuggingFace Datasets

🤗 Datasets - это легкая и расширяемая библиотека для удобного обмена и доступа к наборам данных и метрикам оценки для обработки естественного языка (NLP).

🤗 Datasets имеет много интересных особенностей (помимо простого обмена и доступа к наборам данных/метрикам):

* Встроенная совместимость с Numpy, Pandas, PyTorch и Tensorflow 2
* Наборы данных естественным образом освобождают пользователя от ограничений памяти RAM, все наборы данных по умолчанию отображаются на диске.
* Интеллектуальное кэширование: вам никогда не придётся ждать, пока ваши данные будут обрабатываться несколько раз
* В настоящее время 🤗 Datasets предоставляет доступ к ~1000 наборам данных и ~30 метрикам оценки и разработан для того, чтобы сообщество могло легко добавлять и делиться новыми наборами данных и метриками оценки. Вы можете просмотреть полный набор наборов данных в режиме реального времени с помощью программы просмотра 🤗 Datasets.

Датасеты
Статья
GitHub

#nlp #datasets #text

Новая модель машинного обучения позволяет использовать потенциал спутниковых данных для решения проблем

За последние несколько десятилетий спутниковая съемка стала все более популярной как важный инструмент для понимания социальных, экономических и экологических проблем во всем мире. К сожалению, многие ученые не могут применить спутниковые исследования в своей работе из-за высоких затрат на внедрение. В дополнение к высоким первоначальным затратам, регионы, испытывающие недостаток данных, не имеют финансовых или технологических средств для проверки или анализа полученных данных. MOSAIKS - это программа компьютерного зрения, которая использует self-supervised машинное обучение для превращения необработанных спутниковых изображений в пригодную для использования информацию. Организации выигрывают от использования этого программного обеспечения за счет снижения накладных расходов и необходимости сбора меньшего количества данных. MOSAIKS добивается успеха, сочетая машинное обучение с существующими вычислительными платформами. Новое исследование в журнале Nature Communications предоставляет бедным данными регионам по всему миру возможность анализировать богатые данными спутниковые снимки с помощью простого и быстрого машинного обучения. В статье описывается, как исследователи из "бедных данными регионов" могут получить доступ к глобальному обсуждению экологических/экономических/социальных проблем с помощью модели машинного обучения.

Блог-пост
#ScientificML #earth_science #images #SSL