NLP - Cube

У Adobe неожиданно обнаружился сайт с различным опен-сорсом.

NLP Cube умеет в Sentence Splitting, Tokenization, Lemmatization, Part-of-speech Tagging, Dependency Parsing и Named Entity Recognition для >50 языков.

Код
Статья

#nlp

HuggingFace Datasets

🤗 Datasets - это легкая и расширяемая библиотека для удобного обмена и доступа к наборам данных и метрикам оценки для обработки естественного языка (NLP).

🤗 Datasets имеет много интересных особенностей (помимо простого обмена и доступа к наборам данных/метрикам):

* Встроенная совместимость с Numpy, Pandas, PyTorch и Tensorflow 2
* Наборы данных естественным образом освобождают пользователя от ограничений памяти RAM, все наборы данных по умолчанию отображаются на диске.
* Интеллектуальное кэширование: вам никогда не придётся ждать, пока ваши данные будут обрабатываться несколько раз
* В настоящее время 🤗 Datasets предоставляет доступ к ~1000 наборам данных и ~30 метрикам оценки и разработан для того, чтобы сообщество могло легко добавлять и делиться новыми наборами данных и метриками оценки. Вы можете просмотреть полный набор наборов данных в режиме реального времени с помощью программы просмотра 🤗 Datasets.

Датасеты
Статья
GitHub

#nlp #datasets #text

Новая модель машинного обучения позволяет использовать потенциал спутниковых данных для решения проблем

За последние несколько десятилетий спутниковая съемка стала все более популярной как важный инструмент для понимания социальных, экономических и экологических проблем во всем мире. К сожалению, многие ученые не могут применить спутниковые исследования в своей работе из-за высоких затрат на внедрение. В дополнение к высоким первоначальным затратам, регионы, испытывающие недостаток данных, не имеют финансовых или технологических средств для проверки или анализа полученных данных. MOSAIKS - это программа компьютерного зрения, которая использует self-supervised машинное обучение для превращения необработанных спутниковых изображений в пригодную для использования информацию. Организации выигрывают от использования этого программного обеспечения за счет снижения накладных расходов и необходимости сбора меньшего количества данных. MOSAIKS добивается успеха, сочетая машинное обучение с существующими вычислительными платформами. Новое исследование в журнале Nature Communications предоставляет бедным данными регионам по всему миру возможность анализировать богатые данными спутниковые снимки с помощью простого и быстрого машинного обучения. В статье описывается, как исследователи из "бедных данными регионов" могут получить доступ к глобальному обсуждению экологических/экономических/социальных проблем с помощью модели машинного обучения.

Блог-пост
#ScientificML #earth_science #images #SSL

Интуитивно понятное исследование задач Kaggle и построение моделей

В посте показано, как исследовать наборы данных и подготовить бэйслайн с помощью PyTorch Lightning и модели TorchVision.

The main steps will be: (1) loading data, (2) checking label distribution, and (3) watching some sample images from each class. Later we start (4) wrapping data to PyTorch classes, aka Dataset and Dataloader. In the end, we put it all together and (5) train a simple baseline CNN model.

Пост

#basics #images

Завтра (10.09.21) заканчивается набор на второй поток!

Курс «Нейронные сети и их применение в научных исследованиях» доступен для аспирантов и магистров со всех факультетов МГУ, а также для тех, кто закончил МГУ, и теперь обучается в аспирантуре в другом вузе или НИИ.

Продолжительность курса: 2 семестра (1 учебный год). Осенний семестр — 15 лекций, совмещенных с практическими заданиями на программирование по пройденной теме. Весенний семестр — работа аспиранта над статьей по выбранной им теме под руководством преподавателя курса, который выступает в роли «второго научного руководителя».

Начало занятий — в октябре.
Обучение бесплатное (даже наоборот мы платим стипендии)

Срок приема заявок до 10 сентября 23:59.

Подробнее
Регистрируйся!

#news #этополюбви

Git Education

GitHub Education помогает студентам, преподавателям и школам получить доступ к инструментам и мероприятиям, необходимым для формирования нового поколения разработчиков программного обеспечения.

По сути, регистрируясь как образовательное учреждение вы получаете бесплатный Git Enterprise со всеми вытекающими плюшками

Сайт

#resources

π-GAN: Periodic Implicit Generative Adversarial Networks for 3D-Aware Image Synthesis

Последние достижения в области генеративных визуальных моделей и нейронного рендеринга ускорили прогресс в синтезе изображений с учетом 3D. Однако существующие подходы могут не обеспечивать адекватное представление на уровне слоев или генерировать изображения, не соответствующие многоракурсному представлению. Periodic Implicit Generative Adversarial Networks (π-GAN) предлагаются для высококачественного синтеза изображений с учетом 3D. π-GAN визуализирует сцены как контекстуальные 3D-представления с высокой детализацией, используя нейронные представления с периодическими функциями активации. Предложенный подход позволяет получить самые современные результаты для синтеза 3D-изображений на различных реальных и синтетических наборах данных.

Статья
Проект
Код

#gan #generative #images

PermuteFormer: Efficient Relative Position Encoding for Long Sequences

Performer, расширяет Transformer до более длинных последовательностей с линейным механизмом внимания. Однако он не совместим с кодированием относительной позиции, которое имеет преимущества перед кодированием абсолютной позиции.

В этой статье обсуждаются возможные способы добавления кодирования относительной позиции в Performer. Предлагают PermuteFormer с кодированием относительной позиции, которая линейно масштабируется на длинных последовательностях. PermuteFormer применяет позиционно-зависимое преобразование keys и queries для кодирования позиционной информации в модуле внимания. Это преобразование продумано таким образом, чтобы конечный результат self-attention не зависел от абсолютного положения лексем.

Эксперименты показывают, что PermuteFormer равномерно улучшает производительность Performer почти без вычислительных затрат и превосходит ванильный Transformer в большинстве задач.

Статья
Код

#transformer #nlp

Лекции по RL от DeepMind

Преподаваемая исследователями DeepMind, эта серия была создана в сотрудничестве с Университетским колледжем Лондона (UCL), чтобы предложить студентам всестороннее введение в современное обучение с подкреплением.

Сайт

#RL

Panoptic Segformer

Panoptic SegFormer - общая архитектура для сквозной паноптической сегментации с использованием трансформеров. Предлагаемый метод расширяет деформируемый DETR с единым рабочим процессом предсказания масок для вещей и предметов, делая пайплайн паноптической сегментации лаконичным и эффективным. Используя за основу ResNet-50, метод достигает 50.0% PQ на тестовом сплите COCO, превосходя предыдущие современные методы на значительную величину без всяких прибамбасов.

Статья

#segmentation #transformer #images

TorchIO

TorchIO - это библиотека для эффективного чтения, предварительной обработки, выборки, дополнения и записи 3D медицинских изображений в приложениях глубокого обучения, написанных на PyTorch, включая преобразования интенсивности и пространственные преобразования для дополнения и предварительной обработки данных. Преобразования включают типичные операции компьютерного зрения, такие как рандомные аффинные преобразования, а также специфические для данной области, такие как моделирование артефактов интенсивности из-за неоднородности магнитного поля МРТ или артефактов движения в k-пространстве.

Сайт
GitHub
Статья

#code #medicine #images #3d #ScientificML

Textless NLP: Generating expressive speech from raw audio

Facebook AI представили Generative Spoken Language Model (GSLM), первую высокопроизводительную модель NLP, которая освобождается от зависимости от текста. GSLM использует последние достижения в области representation learning, что позволяет ей работать непосредственно на основе только необработанных аудиосигналов, без каких-либо меток или текста. Это открывает дверь в новую эру безтекстовых приложений НЛП для потенциально любого языка, на котором говорят на Земле - даже тех, которые не имеют значительных наборов текстовых данных.

Модель работает примерно как BERT, но естественно со своими особенностями.

По сути, Facebook говорит - ASR устарел и работать теперь распознованием речи будет по принципу "из конца в конец", от речевого входа до речевого выхода. Они сравнивают свою систему с дошкольником, который увит язык исключительно на основе сенсорного опыта.

Блог-пост
Статья 1
Статья 2
Статья 3
Код

#audio #speech #SSL #nlp

По мотивам статьи Large-Scale Self- and Semi-Supervised Learning for Speech Translation HuggingFace вместе с FB опубликовали четыре претрейнд модели для end-to-end перевода из речи в тест на разных языках.
Например, речь на английском напрямую переводится в текст на арабском. Также есть пары английский-немецкий, английский-турецкий и английский-каталанский.

Инференс можно запустить в пару строк кода!

Модели уже доступны в каталоге HuggingFace.

WarpDrive: Extremely Fast End-to-End Deep Multi-Agent Reinforcement Learning on a GPU

WarpDrive - это гибкая, легкая и простая в использовании система обучения с подкреплением (RL) с открытым исходным кодом, которая реализует многоагентный RL на одном GPU.

Используя возможности экстремального распараллеливания графических процессоров, WarpDrive позволяет на порядки ускорить RL по сравнению с симуляцией на CPU + реализацией моделей на GPU. Он чрезвычайно эффективен, поскольку позволяет избежать копирования данных "туда-сюда" между CPU и GPU, а также параллельно выполнять моделирование для нескольких агентов и нескольких копий среды. В совокупности это позволяет пользователю запускать тысячи параллельных мультиагентных симуляций и тренироваться на очень больших батчах, достигая более чем 100-кратной пропускной способности по сравнению с аналогами на базе CPU.

GitHub

#RL #resources

Обновился блокнот CLIPPixelArt, ещё более красивые картинки и ещё больше вариантов генерации

Colab

#generative #text2image #clip #multimodal

На днях нашёл новый формат для Jupyter - Jupyter Books.

Позволяет собрать несколько разных блокнотов в одну интерактивную книгу с оглавлением и всем таким. Выглядит классно!

Сайт

#resources #presentation

Тут в статье A Recipe For Arbitrary Text Style Transfer with Large Language Models предложили прикольный рецепт для авто-аугментации текста в режиме Few-Shot. Берем затравку как на картинке, а дальше начинаем фантазировать. У меня получилось (курсивом на вход, жирным на выход):

1. {I need to go to the bathroom}. Here is a rewrite of the text, which is more like a geoscientist: {A huge volume of rock, called a pluton, is pushed up rapidly into the Earth's crust}.

2. {Мне нужно в туалет}. Here is
a rewrite of the text, which is more like a president: {Мне не нужно в туалет}

3. {Give me a BigMac and some chips}. Here is a rewrite of the text, which is more like a CEO of Burger King: {Let's start a BurgerKing store in my neighborhood}

Ну вы поняли идею =) Много крутых примеров тут. А попробовать самим можно в ElutherAI GPT-J (GPT-3 для бедных) на их интеркативном демо-сайте. Делитесь в комментах что получилось!

#gpt #generative #fewshot #nlp

MEDIC

MEDIC - это большой набор данных классификации изображений из социальных сетей для гуманитарного реагирования, состоящий из 71 198 изображений для решения четырех различных задач. Он составлен из данных из нескольких источников (таких как CrisisMMD, AIDR и Damage Multimodal Dataset)

Датасет

#datasets #images #ScientifcML

Набор данных LAION-400M находится в полном открытом, свободном доступе (400 миллионов пар картинка-текст).

Собран благодаря crowd-computing усилиям ElutherAI (я тоже поучаствовал 🤏).

Все изображения и тексты в LAION-400M были отфильтрованы с помощью OpenAI's CLIP путем вычисления косинусного сходства между эмбедингами текста и изображения и отбрасывания тех, чье сходство ниже 0,3.

Датасет

Инсайдерская инфа (Скоро будет 1 миллиард)

#datasets #multimodal #clip

Learning Fast Sample Re-weighting Without Reward Data (Google Cloud AI)

Перевзвешивание обучающей выборки является эффективным подходом для борьбы с проблемами в данных, такими как несбалансированные и испорченные метки.

Существующие методы перевзвешивания выборок на основе обучения требуют вложенной оптимизации моделей и весовых параметров, что в свою очередь требует дорогостоящих вычислений. В этой работе представлен новый метод быстрого перевзвешивания выборки (FSR) на основе обучения, который не требует дополнительных данных о вознаграждении.

В основе метода лежат две ключевые идеи: обучение на основе истории для построения прокси-данных вознаграждения и совместное использование признаков для снижения стоимости оптимизации.

Предложенный метод достигает конкурентоспособных результатов по сравнению с современными методами в отношении устойчивости к шуму меток и распознавания длинных хвостов, и при этом достигает значительно более высокой эффективности обучения.

Статья
Код

#training #imbalance

ConvMLP: Hierarchical Convolutional MLPs for Vision

Недавно было показано, что архитектуры на основе MLP, состоящие из последовательных блоков многослойных перцептронов (см тут), сравнимы с сверточными и трансформерными методами. Однако большинство этих пространственных MLP принимают фиксированные размерные входные данные, поэтому их нельзя применять для решения последующих задач, таких как обнаружение объектов и семантическая сегментация. Более того, одноступенчатые конструкции еще больше ограничивают производительность в других задачах компьютерного зрения, а полностью связанные слои требуют больших вычислений.

Для решения этих проблем авторы предлагают ConvMLP: иерархический сверточный MLP для визуального распознавания, который представляет собой легкую, поэтапную, совместную конструкцию сверточных слоев и MLP. В частности, ConvMLP-S достигает 76,8% точности top-1 на ImageNet-1k с 9M параметрами и 2,4G MACs (15% и 19% от MLP-Mixer-B/16, соответственно).

Статья
Код

#MLP #CNN #segmentation #detetctiton