Accelerate PyTorch models with ONNX Runtime

ONNX Runtime for PyTorch ускоряет обучение моделей PyTorch с помощью ONNX Runtime.

Он доступен через пакет torch-ort python. ONNX Runtime for PyTorch дает вам возможность ускорить обучение больших трансформеров. Время и стоимость обучения сокращаются всего лишь за счет изменения одной строки кода.

GitHub

#code #training #speed

SummerTime - Text Summarization Toolkit for Non-experts

Библиотека, помогающая пользователям выбрать подходящие инструменты обобщения на основе их конкретных задач или потребностей. Включает модели, метрики оценки и наборы данных.

SummerTime поддерживает различные модели (например, TextRank, BART, Longformer), а также обертки моделей для более сложных задач обобщения (например, JointModel для обобщения нескольких документов, BM25 retrieval для обобщения на основе запросов).

Код
Colab
Демо

#nlp #text #ScientificML

High-Dimensional Bayesian Optimisation with Variational Autoencoders and Deep Metric Learning

Метод, основанный на глубоком метрическом обучении, для выполнения байесовской оптимизации над высокоразмерными структурированными входными пространствами с использованием вариационных автоэнкодеров (VAE). Авторы решают давнюю проблему в байесовской оптимизации для высокоразмерных VAE, а именно, как обеспечить дискриминативное латентное пространство в качестве индуктивного баеса.

Статья

#theory #training #baes #autoencoders #ScientificML

Want To Reduce Labeling Cost? GPT-3 Can Help

Аннотирование данных - трудоемкий и длительный процесс для многих задач NLP. Хотя существуют различные методы получения псевдометок, они часто зависят от конкретной задачи и все равно требуют значительного количества размеренных данных.

В статье исследуются способы использования GPT-3 в качестве недорогого средства для разметки данных для обучения других моделей. Авторы обнаружили, что для того, чтобы последующая модель достигла одинаковой производительности в различных задачах NLU и NLG, использование меток из GPT-3 обходится на 50%-96% дешевле, чем использование меток от человека. Более того, авторы предлагают новую схему комбинирования псевдометок из GPT-3 с человеческими метками, что приводит к еще более высокой производительности при ограниченном бюджете на разметку. Эти результаты представляют экономически эффективную методологию разметки данных, которая может быть использована во многих практических приложениях.

Статья

#gpt #labeling #generative #nlp

🎨 ➿ Text2OneLine Draw — дифференцируемое рисование одной линией

Представьте себе, что вы можете заказать модную тату не у дизайнера, а у нейронной сети. Или векторный логотип в svg.

Собрал для вас новый colab:

🔮Text2OneLine Draw — дифференцируемое рисования одной линией!

🤖Описание:
- Создается рандомная кривая Безье. Толщина линии width и перегибов line_comlexity задается в интерфейсе
- Кривая рендерится через дифференцируемую векторную графику
- Текстовое описание превращается в вектор (текстовый CLIP)
- Затем градиенты текут на кривую Безье, максимизируя cossim картинки с тектом

💡Интуиция:
- Представьте, что перед вами на белом листе бумаги длинная запутанная черная нитка
- Алгоритм двигает эту нитку, пытаясь создать описанное изображение

p.s: Чтобы добиться желаемого результата, нужно поиграть с запросом и line_comlexity, и возможно запустить раз пять)

Подход показывает, что эра дифференцируемой векторной графики началась!

#colab #mishin_learning_colab #neuralart

MiniF2F: a cross-system benchmark for formal Olympiad-level mathematics (OpenAI)

Датасет формальных задач по математике олимпиадного уровня, предназначенный для создания единого межсистемного бенчмарка для нейронного доказательства теорем

Статья
GitHub

#datasets #math #ScientificML #gpt

Тут оказалось, что что бы найти человеческие лица сгенерированные GAN - нужно посмотреть на зрачок.
Но конечно это борьба снаряда и брони. Теперь когда мы знаем куда смотреть, мы знаем что улучшать.

Почти 100 лет назад Вольфганг Кёлер провёл свой известный эксперимент на звукосимволизм. Людям показывали две картинки (в верхнем ряду), и предлагали выбрать, которая из них "балуба", а какая "такете". Подавляющее большинство людей выбирало округлую балубу и угловатую такете.

С тех пор эксперимент повторяли с людьми, говорящими на разных языках, с двухлетними детьми и так далее. Пробовали также менять слова на буба/кики. Во всех случах эффект сохранялся.

Так как в этом году большую моду получили мультимодальные модели (о которых я тут периодически пишу), товарищ Nearcyan из Остина решил посмотреть, что про такие слова думает модель CLIP. Во втором ряду примеры сгенерированных изображений для "кики" и "бубы", в третьем — для формы "малумы" и "такете".

Больше подробностей, картинок и других слов — в оригинальном блогопосте.

Размышляя об успехе искусственного интеллекта AlphaFold от DeepMind - каково реальное значение для исследований сворачивания белков и открытия лекарств?

В этом лонгриде профессор Пол Воркман, исполнительный директор и президент ICR, а также ученый в области открытия лекарств, размышляет о значении последней версии AlphaFold - мощной системы искусственного интеллекта, которая была применена для предсказания структур почти 99% человеческих белков - для фундаментальных исследований и открытия лекарств.

#alphafold #ScientificML

The Devil is in the Detail: Simple Tricks Improve Systematic Generalization of Transformers (Шмидтхубер)

В последнее время было предложено множество наборов данных для проверки способности нейронных сетей к систематическому обобщению. Базовые трансформеры, обычно обучаемые с гиперпараметрами по умолчанию на основе стандартных задач, с обобщением не справляются.

В статье демонстрируется, что, пересмотрев такие базовые конфигурации модели, как масштабирование embeddings, early stopping, relative positional embeddings и универсальные варианты трансформеров, мы можем значительно улучшить обобщающую способность трансформеров.

Авторские модели повышают точность с 50% до 85% в наборе PCFG и с 35% до 81% в наборе COGS. Важно отметить, что различия в производительности между этими моделями, как правило, незаметны на срезе данных IID. Это говорит о том, что для разработки нейронных сетей, которые обобщают систематически, необходимо использовать соответствующие валидационные наборы для обобщения.

Статья
Код
Видео

#training #transformer

Learning to Prompt for Vision-Language Models

Устали от настройки prompts для моделей языка зрения, таких как CLIP?

Почему бы не использовать CoOp для изучения prompts! Он эффективен с точки зрения данных и обобщаем в конкретных областях😎

Основная идея CoOp заключается в моделировании контекста в подсказках с помощью непрерывных представлений и выполнении сквозного обучения на основе данных. CoOp демонстрирует способность к эффективному обучению на основе данных, а также устойчивость к изменению распределения.

Статья
Код

#prompting #transformer #multimodal #images #text #text2image

Discovering Anomalous Data with Self-Supervised Learning (Google AI)

Обнаружение аномалий (иногда называемое обнаружением выбросов или выявлением нераспределенности) является одним из наиболее распространенных приложений машинного обучения во многих областях, от обнаружения дефектов в производстве до выявления мошеннических операций в финансовой сфере.

Статья описывает двухэтапную схему, которая использует последние достижения в self-supervised representation learning и классические одноклассовые алгоритмы. Алгоритм прост в обучении и показывает самые современные результаты на различных бэнчмарках, включая CIFAR, f-MNIST, Cat vs Dog и CelebA.

Блог-пост
Статья
Код

#SSL #anomaly

2D Animal Keypoint Dataset

Содержит датасеты:
* Animal pose 🦔
* Horse-10 🐎
* Macaque Pose 🐒
* Vinegar Fly 🪰
* Desert locust 🏜
* Grevy’s Zebra 🦓
* ATRW 🐅

Доступно через MMPose тут

#datasets #ScientificML #pose #detection #biology

A Novel Dataset for Keypoint Detection of quadruped Animals from Images

Этот набор данных содержит значительно больше ключевых точек на одно животное и имеет гораздо большее разнообразие животных, чем существующие датасеты для обнаружения ключевых точек животных.

Статья
Датасет

#datasets #ScientificML #pose #detection #biology

Common Objects in 3D (Facebook AI)

Common Objects in 3D - это крупномасштабный набор данных с реальными многоракурсными изображениями категорий объектов, аннотированными позами камер и наземными облаками точек 3D. Набор данных содержит в общей сложности 1,5 миллиона кадров из почти 19 000 видео, на которых запечатлены объекты из 50 категорий MS-COCO, и поэтому он значительно превосходит альтернативные варианты как по количеству категорий, так и объектов.

Датасет
Блог-пост
Статья

#datasets #3d #images #detection

Shatter: An Efficient Transformer Encoder with Single-Headed Self-Attention and Relative Sequence Partitioning (Google language)

Популярная архитектура Transformer, основанная на self-attention, является основой больших предварительно обученных моделей, таких как BERT, которые стали устойчивой парадигмой в NLP. Несмотря на свою мощь, вычислительные ресурсы и время, необходимые для предварительного обучения таких моделей, могут оказаться непомерно большими.

В этой работе авторы представляют альтернативную архитектуру self-attention, Shatter, которая более эффективно кодирует информацию о последовательности путем мягкого разделения пространства относительных позиций и применения различных матриц значений к различным частям последовательности.

Этот механизм позволяет упростить multi-head attention в Transformer до одноголового. Shatter достигает лучшей производительности, чем BERT, при этом предварительное обучение быстрее на шаг (15% на TPU), сходится за меньшее количество шагов и обеспечивает значительную экономию памяти (>50%). Вместе взятые, Shatter может быть предварительно обучен на 8 GPU V100 за 7 дней и сравним по производительности с BERT_Base, что делает стоимость предварительного обучения гораздо более доступной.

Статья

#transformer #attention #nlp

How to Create Any Image Using Only Sine Functions | 2D Fourier Transform in Python

Отлично написанный и очень подробный туториал для тех, кто только начинает свой путь в работе с изображениями и сигналами. В статье рассказывается о том что такое преобразования Фурье и как с их помощью можно представить любое изображение в виде синусов.

Эта идея например использована в такой знаменитой сети как SIREN, о которой я напишу как-нибудь в другой раз.

Почитать статью

#basics #processing #images

Seeing Implicit Neural Representations as Fourier Series

После того, как мы разобрались с тем как делать преобразование Фурье с картинками, обсудим самый свежачок.

Implicit Neural Representations (INR) используют многослойные перцептроны для представления высокочастотных функций в низкоразмерных областях задач. Недавно эти представления достигли передовых результатов в задачах, связанных со сложными трехмерными объектами и сценами. Основной проблемой является представление высокодетальных сигналов, которая решается с помощью сетей с периодическими функциями активации (SIREN) или применением отображений Фурье на вход. В данной работе показано, что перцептрон с отображением Фурье структурно похож на SIREN с одним скрытым слоем.

Более того, авторы модифицируют стратегию прогрессивного обучения для работы с произвольными отображениями Фурье.

Авторы подтверждают, что основной вклад в эффективность отображения вносит размер эмбединга и стандартное отклонение его элементов.

Статья

#representation #images

The Natural Scenes Dataset

Natural Scenes Dataset (NSD) - это крупномасштабный набор данных фМРТ, проведенный при сверхвысоком поле (7Т) в Центре магнитно-резонансных исследований (CMRR) Университета Миннесоты. Набор данных состоит из измерений фМРТ всего мозга с высоким разрешением (изотропность 1,8 мм, частота дискретизации 1,6 с) у 8 здоровых взрослых испытуемых во время просмотра тысяч цветных естественных сцен в течение 30-40 сеансов сканирования. Во время просмотра этих изображений испытуемые выполняли задачу непрерывного распознавания, в которой они сообщали, видели ли они каждое данное изображение в любой момент эксперимента. Эти данные представляют собой массивный benchmark для вычислительных моделей визуального представления и познания и могут поддержать широкий спектр научных исследований.

Датасет

#ScientificML #images #medicine #biology

классная интерактивная статья (открывать с компа). Очень рекомендую

#gnn