The Devil is in the Detail: Simple Tricks Improve Systematic Generalization of Transformers (Шмидтхубер)
В последнее время было предложено множество наборов данных для проверки способности нейронных сетей к систематическому обобщению. Базовые трансформеры, обычно обучаемые с гиперпараметрами по умолчанию на основе стандартных задач, с обобщением не справляются.
В статье демонстрируется, что, пересмотрев такие базовые конфигурации модели, как масштабирование embeddings, early stopping, relative positional embeddings и универсальные варианты трансформеров, мы можем значительно улучшить обобщающую способность трансформеров.
Авторские модели повышают точность с 50% до 85% в наборе PCFG и с 35% до 81% в наборе COGS. Важно отметить, что различия в производительности между этими моделями, как правило, незаметны на срезе данных IID. Это говорит о том, что для разработки нейронных сетей, которые обобщают систематически, необходимо использовать соответствующие валидационные наборы для обобщения.
Статья
Код
Видео
#training #transformer
В последнее время было предложено множество наборов данных для проверки способности нейронных сетей к систематическому обобщению. Базовые трансформеры, обычно обучаемые с гиперпараметрами по умолчанию на основе стандартных задач, с обобщением не справляются.
В статье демонстрируется, что, пересмотрев такие базовые конфигурации модели, как масштабирование embeddings, early stopping, relative positional embeddings и универсальные варианты трансформеров, мы можем значительно улучшить обобщающую способность трансформеров.
Авторские модели повышают точность с 50% до 85% в наборе PCFG и с 35% до 81% в наборе COGS. Важно отметить, что различия в производительности между этими моделями, как правило, незаметны на срезе данных IID. Это говорит о том, что для разработки нейронных сетей, которые обобщают систематически, необходимо использовать соответствующие валидационные наборы для обобщения.
Статья
Код
Видео
#training #transformer
Learning to Prompt for Vision-Language Models
Устали от настройки prompts для моделей языка зрения, таких как CLIP?
Почему бы не использовать CoOp для изучения prompts! Он эффективен с точки зрения данных и обобщаем в конкретных областях😎
Основная идея CoOp заключается в моделировании контекста в подсказках с помощью непрерывных представлений и выполнении сквозного обучения на основе данных. CoOp демонстрирует способность к эффективному обучению на основе данных, а также устойчивость к изменению распределения.
Статья
Код
#prompting #transformer #multimodal #images #text #text2image
Устали от настройки prompts для моделей языка зрения, таких как CLIP?
Почему бы не использовать CoOp для изучения prompts! Он эффективен с точки зрения данных и обобщаем в конкретных областях😎
Основная идея CoOp заключается в моделировании контекста в подсказках с помощью непрерывных представлений и выполнении сквозного обучения на основе данных. CoOp демонстрирует способность к эффективному обучению на основе данных, а также устойчивость к изменению распределения.
Статья
Код
#prompting #transformer #multimodal #images #text #text2image
This media is not supported in your browser
VIEW IN TELEGRAM
Discovering Anomalous Data with Self-Supervised Learning (Google AI)
Обнаружение аномалий (иногда называемое обнаружением выбросов или выявлением нераспределенности) является одним из наиболее распространенных приложений машинного обучения во многих областях, от обнаружения дефектов в производстве до выявления мошеннических операций в финансовой сфере.
Статья описывает двухэтапную схему, которая использует последние достижения в self-supervised representation learning и классические одноклассовые алгоритмы. Алгоритм прост в обучении и показывает самые современные результаты на различных бэнчмарках, включая CIFAR, f-MNIST, Cat vs Dog и CelebA.
Блог-пост
Статья
Код
#SSL #anomaly
Обнаружение аномалий (иногда называемое обнаружением выбросов или выявлением нераспределенности) является одним из наиболее распространенных приложений машинного обучения во многих областях, от обнаружения дефектов в производстве до выявления мошеннических операций в финансовой сфере.
Статья описывает двухэтапную схему, которая использует последние достижения в self-supervised representation learning и классические одноклассовые алгоритмы. Алгоритм прост в обучении и показывает самые современные результаты на различных бэнчмарках, включая CIFAR, f-MNIST, Cat vs Dog и CelebA.
Блог-пост
Статья
Код
#SSL #anomaly
2D Animal Keypoint Dataset
Содержит датасеты:
* Animal pose 🦔
* Horse-10 🐎
* Macaque Pose 🐒
* Vinegar Fly 🪰
* Desert locust 🏜
* Grevy’s Zebra 🦓
* ATRW 🐅
Доступно через MMPose тут
#datasets #ScientificML #pose #detection #biology
Содержит датасеты:
* Animal pose 🦔
* Horse-10 🐎
* Macaque Pose 🐒
* Vinegar Fly 🪰
* Desert locust 🏜
* Grevy’s Zebra 🦓
* ATRW 🐅
Доступно через MMPose тут
#datasets #ScientificML #pose #detection #biology
A Novel Dataset for Keypoint Detection of quadruped Animals from Images
Этот набор данных содержит значительно больше ключевых точек на одно животное и имеет гораздо большее разнообразие животных, чем существующие датасеты для обнаружения ключевых точек животных.
Статья
Датасет
#datasets #ScientificML #pose #detection #biology
Этот набор данных содержит значительно больше ключевых точек на одно животное и имеет гораздо большее разнообразие животных, чем существующие датасеты для обнаружения ключевых точек животных.
Статья
Датасет
#datasets #ScientificML #pose #detection #biology
Common Objects in 3D (Facebook AI)
Common Objects in 3D - это крупномасштабный набор данных с реальными многоракурсными изображениями категорий объектов, аннотированными позами камер и наземными облаками точек 3D. Набор данных содержит в общей сложности 1,5 миллиона кадров из почти 19 000 видео, на которых запечатлены объекты из 50 категорий MS-COCO, и поэтому он значительно превосходит альтернативные варианты как по количеству категорий, так и объектов.
Датасет
Блог-пост
Статья
#datasets #3d #images #detection
Common Objects in 3D - это крупномасштабный набор данных с реальными многоракурсными изображениями категорий объектов, аннотированными позами камер и наземными облаками точек 3D. Набор данных содержит в общей сложности 1,5 миллиона кадров из почти 19 000 видео, на которых запечатлены объекты из 50 категорий MS-COCO, и поэтому он значительно превосходит альтернативные варианты как по количеству категорий, так и объектов.
Датасет
Блог-пост
Статья
#datasets #3d #images #detection
Shatter: An Efficient Transformer Encoder with Single-Headed Self-Attention and Relative Sequence Partitioning (Google language)
Популярная архитектура Transformer, основанная на self-attention, является основой больших предварительно обученных моделей, таких как BERT, которые стали устойчивой парадигмой в NLP. Несмотря на свою мощь, вычислительные ресурсы и время, необходимые для предварительного обучения таких моделей, могут оказаться непомерно большими.
В этой работе авторы представляют альтернативную архитектуру self-attention, Shatter, которая более эффективно кодирует информацию о последовательности путем мягкого разделения пространства относительных позиций и применения различных матриц значений к различным частям последовательности.
Этот механизм позволяет упростить multi-head attention в Transformer до одноголового. Shatter достигает лучшей производительности, чем BERT, при этом предварительное обучение быстрее на шаг (15% на TPU), сходится за меньшее количество шагов и обеспечивает значительную экономию памяти (>50%). Вместе взятые, Shatter может быть предварительно обучен на 8 GPU V100 за 7 дней и сравним по производительности с BERT_Base, что делает стоимость предварительного обучения гораздо более доступной.
Статья
#transformer #attention #nlp
Популярная архитектура Transformer, основанная на self-attention, является основой больших предварительно обученных моделей, таких как BERT, которые стали устойчивой парадигмой в NLP. Несмотря на свою мощь, вычислительные ресурсы и время, необходимые для предварительного обучения таких моделей, могут оказаться непомерно большими.
В этой работе авторы представляют альтернативную архитектуру self-attention, Shatter, которая более эффективно кодирует информацию о последовательности путем мягкого разделения пространства относительных позиций и применения различных матриц значений к различным частям последовательности.
Этот механизм позволяет упростить multi-head attention в Transformer до одноголового. Shatter достигает лучшей производительности, чем BERT, при этом предварительное обучение быстрее на шаг (15% на TPU), сходится за меньшее количество шагов и обеспечивает значительную экономию памяти (>50%). Вместе взятые, Shatter может быть предварительно обучен на 8 GPU V100 за 7 дней и сравним по производительности с BERT_Base, что делает стоимость предварительного обучения гораздо более доступной.
Статья
#transformer #attention #nlp
How to Create Any Image Using Only Sine Functions | 2D Fourier Transform in Python
Отлично написанный и очень подробный туториал для тех, кто только начинает свой путь в работе с изображениями и сигналами. В статье рассказывается о том что такое преобразования Фурье и как с их помощью можно представить любое изображение в виде синусов.
Эта идея например использована в такой знаменитой сети как SIREN, о которой я напишу как-нибудь в другой раз.
Почитать статью
#basics #processing #images
Отлично написанный и очень подробный туториал для тех, кто только начинает свой путь в работе с изображениями и сигналами. В статье рассказывается о том что такое преобразования Фурье и как с их помощью можно представить любое изображение в виде синусов.
Эта идея например использована в такой знаменитой сети как SIREN, о которой я напишу как-нибудь в другой раз.
Почитать статью
#basics #processing #images
Seeing Implicit Neural Representations as Fourier Series
После того, как мы разобрались с тем как делать преобразование Фурье с картинками, обсудим самый свежачок.
Implicit Neural Representations (INR) используют многослойные перцептроны для представления высокочастотных функций в низкоразмерных областях задач. Недавно эти представления достигли передовых результатов в задачах, связанных со сложными трехмерными объектами и сценами. Основной проблемой является представление высокодетальных сигналов, которая решается с помощью сетей с периодическими функциями активации (SIREN) или применением отображений Фурье на вход. В данной работе показано, что перцептрон с отображением Фурье структурно похож на SIREN с одним скрытым слоем.
Более того, авторы модифицируют стратегию прогрессивного обучения для работы с произвольными отображениями Фурье.
Авторы подтверждают, что основной вклад в эффективность отображения вносит размер эмбединга и стандартное отклонение его элементов.
Статья
#representation #images
После того, как мы разобрались с тем как делать преобразование Фурье с картинками, обсудим самый свежачок.
Implicit Neural Representations (INR) используют многослойные перцептроны для представления высокочастотных функций в низкоразмерных областях задач. Недавно эти представления достигли передовых результатов в задачах, связанных со сложными трехмерными объектами и сценами. Основной проблемой является представление высокодетальных сигналов, которая решается с помощью сетей с периодическими функциями активации (SIREN) или применением отображений Фурье на вход. В данной работе показано, что перцептрон с отображением Фурье структурно похож на SIREN с одним скрытым слоем.
Более того, авторы модифицируют стратегию прогрессивного обучения для работы с произвольными отображениями Фурье.
Авторы подтверждают, что основной вклад в эффективность отображения вносит размер эмбединга и стандартное отклонение его элементов.
Статья
#representation #images
The Natural Scenes Dataset
Natural Scenes Dataset (NSD) - это крупномасштабный набор данных фМРТ, проведенный при сверхвысоком поле (7Т) в Центре магнитно-резонансных исследований (CMRR) Университета Миннесоты. Набор данных состоит из измерений фМРТ всего мозга с высоким разрешением (изотропность 1,8 мм, частота дискретизации 1,6 с) у 8 здоровых взрослых испытуемых во время просмотра тысяч цветных естественных сцен в течение 30-40 сеансов сканирования. Во время просмотра этих изображений испытуемые выполняли задачу непрерывного распознавания, в которой они сообщали, видели ли они каждое данное изображение в любой момент эксперимента. Эти данные представляют собой массивный benchmark для вычислительных моделей визуального представления и познания и могут поддержать широкий спектр научных исследований.
Датасет
#ScientificML #images #medicine #biology
Natural Scenes Dataset (NSD) - это крупномасштабный набор данных фМРТ, проведенный при сверхвысоком поле (7Т) в Центре магнитно-резонансных исследований (CMRR) Университета Миннесоты. Набор данных состоит из измерений фМРТ всего мозга с высоким разрешением (изотропность 1,8 мм, частота дискретизации 1,6 с) у 8 здоровых взрослых испытуемых во время просмотра тысяч цветных естественных сцен в течение 30-40 сеансов сканирования. Во время просмотра этих изображений испытуемые выполняли задачу непрерывного распознавания, в которой они сообщали, видели ли они каждое данное изображение в любой момент эксперимента. Эти данные представляют собой массивный benchmark для вычислительных моделей визуального представления и познания и могут поддержать широкий спектр научных исследований.
Датасет
#ScientificML #images #medicine #biology
Forwarded from эйай ньюз
В элитном интерактивном онлайн-журнале distill.pub вышла статья: "Нежное Введение в Графовые Нейронные Сети"
Мой рекомендасион.
https://distill.pub/2021/gnn-intro/
Ктати, это одна из последних статей в этом журнале. К сожалению, редакторы жёстко выгорели за пять лет поддержания такой высокой планки качества.
Мой рекомендасион.
https://distill.pub/2021/gnn-intro/
Ктати, это одна из последних статей в этом журнале. К сожалению, редакторы жёстко выгорели за пять лет поддержания такой высокой планки качества.
ONNX Runtime Web
Вышла ONNX Runtime Web (ORT Web), новая функция в ONNX Runtime, позволяющая разработчикам JavaScript запускать и развертывать модели машинного обучения в браузерах. Она также поможет создать новые классы вычислений на устройствах. ORT Web заменит собой скоро выходящий из употребления onnx.js, при этом будут реализованы такие улучшения, как более согласованный опыт разработчиков между пакетами для вычислений на стороне сервера и на стороне клиента, а также улучшенная производительность вычислений и покрытие моделей. В этом блоге вы найдете краткий обзор ORT Web, а также ресурсы для начала работы с ним.
#inference
Вышла ONNX Runtime Web (ORT Web), новая функция в ONNX Runtime, позволяющая разработчикам JavaScript запускать и развертывать модели машинного обучения в браузерах. Она также поможет создать новые классы вычислений на устройствах. ORT Web заменит собой скоро выходящий из употребления onnx.js, при этом будут реализованы такие улучшения, как более согласованный опыт разработчиков между пакетами для вычислений на стороне сервера и на стороне клиента, а также улучшенная производительность вычислений и покрытие моделей. В этом блоге вы найдете краткий обзор ORT Web, а также ресурсы для начала работы с ним.
#inference
This media is not supported in your browser
VIEW IN TELEGRAM
How Computationally Complex Is a Single Neuron?
Вычислительные нейробиологи научили искусственную нейронную сеть имитировать биологический нейрон. Полученный результат позволяет по-новому взглянуть на сложность отдельных клеток мозга.
Статья на QuantaMagazine
Статья
Код
#theory #SceintificML
Вычислительные нейробиологи научили искусственную нейронную сеть имитировать биологический нейрон. Полученный результат позволяет по-новому взглянуть на сложность отдельных клеток мозга.
Статья на QuantaMagazine
Статья
Код
#theory #SceintificML
Finetuned Language Models Are Zero-Shot Learners (Google AI)
В этой статье рассматривается простой метод улучшения способности языковых моделей к обучению "zero shot".
Авторы берут предварительно обученную языковую модель с 137B параметров и тюнят ее на более чем 60 задачах НЛП, вербализованных с помощью шаблонов инструкций на естественном языке.
Эта модель существенно улучшает производительность своего немодифицированного аналога и превосходит zero-shot 175B GPT-3 на 19 из 25 задач, которые оценивали авторы.
Статья
#nlp #gpt #training #generative
В этой статье рассматривается простой метод улучшения способности языковых моделей к обучению "zero shot".
Авторы берут предварительно обученную языковую модель с 137B параметров и тюнят ее на более чем 60 задачах НЛП, вербализованных с помощью шаблонов инструкций на естественном языке.
Эта модель существенно улучшает производительность своего немодифицированного аналога и превосходит zero-shot 175B GPT-3 на 19 из 25 задач, которые оценивали авторы.
Статья
#nlp #gpt #training #generative
Moser Flow: Divergence-based Generative Modeling on Manifolds
Потоки Мозера, новый класс непрерывных нормализующих потоков на многообразиях, основанный на дивергенциях нейронных сетей. Первые результаты генеративного моделирования на общих криволинейных поверхностях!
Учитывая две плотности вероятности на многообразии, Дж. Мозер (1965) построил поток, сдвигающий первую плотность ко второй. Поток определяется векторным полем, дивергенция которого равна разности между плотностями.
Это послужило мотивом для создания MF - универсального аппроксиматора, в котором разница в плотностях модели и предшествующей плотности выражается с помощью (локального, легко аппроксимируемого) оператора дивергенции, применяемого непосредственно к NN. В отличие от предыдущих методов CNF, он не требует решения ODE во время обучения!
МП с большим отрывом достигают вероятности SOTA на бэнчмарках наук о Земле с базовой сферической геометрией.
Статья
#ScientificML #generative
Потоки Мозера, новый класс непрерывных нормализующих потоков на многообразиях, основанный на дивергенциях нейронных сетей. Первые результаты генеративного моделирования на общих криволинейных поверхностях!
Учитывая две плотности вероятности на многообразии, Дж. Мозер (1965) построил поток, сдвигающий первую плотность ко второй. Поток определяется векторным полем, дивергенция которого равна разности между плотностями.
Это послужило мотивом для создания MF - универсального аппроксиматора, в котором разница в плотностях модели и предшествующей плотности выражается с помощью (локального, легко аппроксимируемого) оператора дивергенции, применяемого непосредственно к NN. В отличие от предыдущих методов CNF, он не требует решения ODE во время обучения!
МП с большим отрывом достигают вероятности SOTA на бэнчмарках наук о Земле с базовой сферической геометрией.
Статья
#ScientificML #generative
Надоели абстракты?
Anonymous Poll
82%
Хоите пересказ от себя?
15%
Или все таки переведенные абстракты?
3%
Другое, пишу в комменты
HuggingFace Datasets
🤗 Datasets - это легкая и расширяемая библиотека для удобного обмена и доступа к наборам данных и метрикам оценки для обработки естественного языка (NLP).
🤗 Datasets имеет много интересных особенностей (помимо простого обмена и доступа к наборам данных/метрикам):
* Встроенная совместимость с Numpy, Pandas, PyTorch и Tensorflow 2
* Наборы данных естественным образом освобождают пользователя от ограничений памяти RAM, все наборы данных по умолчанию отображаются на диске.
* Интеллектуальное кэширование: вам никогда не придётся ждать, пока ваши данные будут обрабатываться несколько раз
* В настоящее время 🤗 Datasets предоставляет доступ к ~1000 наборам данных и ~30 метрикам оценки и разработан для того, чтобы сообщество могло легко добавлять и делиться новыми наборами данных и метриками оценки. Вы можете просмотреть полный набор наборов данных в режиме реального времени с помощью программы просмотра 🤗 Datasets.
Датасеты
Статья
GitHub
#nlp #datasets #text
🤗 Datasets - это легкая и расширяемая библиотека для удобного обмена и доступа к наборам данных и метрикам оценки для обработки естественного языка (NLP).
🤗 Datasets имеет много интересных особенностей (помимо простого обмена и доступа к наборам данных/метрикам):
* Встроенная совместимость с Numpy, Pandas, PyTorch и Tensorflow 2
* Наборы данных естественным образом освобождают пользователя от ограничений памяти RAM, все наборы данных по умолчанию отображаются на диске.
* Интеллектуальное кэширование: вам никогда не придётся ждать, пока ваши данные будут обрабатываться несколько раз
* В настоящее время 🤗 Datasets предоставляет доступ к ~1000 наборам данных и ~30 метрикам оценки и разработан для того, чтобы сообщество могло легко добавлять и делиться новыми наборами данных и метриками оценки. Вы можете просмотреть полный набор наборов данных в режиме реального времени с помощью программы просмотра 🤗 Datasets.
Датасеты
Статья
GitHub
#nlp #datasets #text
huggingface.co
Datasets
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
Новая модель машинного обучения позволяет использовать потенциал спутниковых данных для решения проблем
За последние несколько десятилетий спутниковая съемка стала все более популярной как важный инструмент для понимания социальных, экономических и экологических проблем во всем мире. К сожалению, многие ученые не могут применить спутниковые исследования в своей работе из-за высоких затрат на внедрение. В дополнение к высоким первоначальным затратам, регионы, испытывающие недостаток данных, не имеют финансовых или технологических средств для проверки или анализа полученных данных. MOSAIKS - это программа компьютерного зрения, которая использует self-supervised машинное обучение для превращения необработанных спутниковых изображений в пригодную для использования информацию. Организации выигрывают от использования этого программного обеспечения за счет снижения накладных расходов и необходимости сбора меньшего количества данных. MOSAIKS добивается успеха, сочетая машинное обучение с существующими вычислительными платформами. Новое исследование в журнале Nature Communications предоставляет бедным данными регионам по всему миру возможность анализировать богатые данными спутниковые снимки с помощью простого и быстрого машинного обучения. В статье описывается, как исследователи из "бедных данными регионов" могут получить доступ к глобальному обсуждению экологических/экономических/социальных проблем с помощью модели машинного обучения.
Блог-пост
#ScientificML #earth_science #images #SSL
За последние несколько десятилетий спутниковая съемка стала все более популярной как важный инструмент для понимания социальных, экономических и экологических проблем во всем мире. К сожалению, многие ученые не могут применить спутниковые исследования в своей работе из-за высоких затрат на внедрение. В дополнение к высоким первоначальным затратам, регионы, испытывающие недостаток данных, не имеют финансовых или технологических средств для проверки или анализа полученных данных. MOSAIKS - это программа компьютерного зрения, которая использует self-supervised машинное обучение для превращения необработанных спутниковых изображений в пригодную для использования информацию. Организации выигрывают от использования этого программного обеспечения за счет снижения накладных расходов и необходимости сбора меньшего количества данных. MOSAIKS добивается успеха, сочетая машинное обучение с существующими вычислительными платформами. Новое исследование в журнале Nature Communications предоставляет бедным данными регионам по всему миру возможность анализировать богатые данными спутниковые снимки с помощью простого и быстрого машинного обучения. В статье описывается, как исследователи из "бедных данными регионов" могут получить доступ к глобальному обсуждению экологических/экономических/социальных проблем с помощью модели машинного обучения.
Блог-пост
#ScientificML #earth_science #images #SSL
Nature
A generalizable and accessible approach to machine learning with global satellite imagery
Nature Communications - This paper presents MOSAIKS, a system for planet-scale prediction of multiple outcomes using satellite imagery and machine learning (SIML). MOSAIKS generalizes across...