2D Animal Keypoint Dataset

Содержит датасеты:
* Animal pose 🦔
* Horse-10 🐎
* Macaque Pose 🐒
* Vinegar Fly 🪰
* Desert locust 🏜
* Grevy’s Zebra 🦓
* ATRW 🐅

Доступно через MMPose тут

#datasets #ScientificML #pose #detection #biology

A Novel Dataset for Keypoint Detection of quadruped Animals from Images

Этот набор данных содержит значительно больше ключевых точек на одно животное и имеет гораздо большее разнообразие животных, чем существующие датасеты для обнаружения ключевых точек животных.

Статья
Датасет

#datasets #ScientificML #pose #detection #biology

Common Objects in 3D (Facebook AI)

Common Objects in 3D - это крупномасштабный набор данных с реальными многоракурсными изображениями категорий объектов, аннотированными позами камер и наземными облаками точек 3D. Набор данных содержит в общей сложности 1,5 миллиона кадров из почти 19 000 видео, на которых запечатлены объекты из 50 категорий MS-COCO, и поэтому он значительно превосходит альтернативные варианты как по количеству категорий, так и объектов.

Датасет
Блог-пост
Статья

#datasets #3d #images #detection

Shatter: An Efficient Transformer Encoder with Single-Headed Self-Attention and Relative Sequence Partitioning (Google language)

Популярная архитектура Transformer, основанная на self-attention, является основой больших предварительно обученных моделей, таких как BERT, которые стали устойчивой парадигмой в NLP. Несмотря на свою мощь, вычислительные ресурсы и время, необходимые для предварительного обучения таких моделей, могут оказаться непомерно большими.

В этой работе авторы представляют альтернативную архитектуру self-attention, Shatter, которая более эффективно кодирует информацию о последовательности путем мягкого разделения пространства относительных позиций и применения различных матриц значений к различным частям последовательности.

Этот механизм позволяет упростить multi-head attention в Transformer до одноголового. Shatter достигает лучшей производительности, чем BERT, при этом предварительное обучение быстрее на шаг (15% на TPU), сходится за меньшее количество шагов и обеспечивает значительную экономию памяти (>50%). Вместе взятые, Shatter может быть предварительно обучен на 8 GPU V100 за 7 дней и сравним по производительности с BERT_Base, что делает стоимость предварительного обучения гораздо более доступной.

Статья

#transformer #attention #nlp

How to Create Any Image Using Only Sine Functions | 2D Fourier Transform in Python

Отлично написанный и очень подробный туториал для тех, кто только начинает свой путь в работе с изображениями и сигналами. В статье рассказывается о том что такое преобразования Фурье и как с их помощью можно представить любое изображение в виде синусов.

Эта идея например использована в такой знаменитой сети как SIREN, о которой я напишу как-нибудь в другой раз.

Почитать статью

#basics #processing #images

Seeing Implicit Neural Representations as Fourier Series

После того, как мы разобрались с тем как делать преобразование Фурье с картинками, обсудим самый свежачок.

Implicit Neural Representations (INR) используют многослойные перцептроны для представления высокочастотных функций в низкоразмерных областях задач. Недавно эти представления достигли передовых результатов в задачах, связанных со сложными трехмерными объектами и сценами. Основной проблемой является представление высокодетальных сигналов, которая решается с помощью сетей с периодическими функциями активации (SIREN) или применением отображений Фурье на вход. В данной работе показано, что перцептрон с отображением Фурье структурно похож на SIREN с одним скрытым слоем.

Более того, авторы модифицируют стратегию прогрессивного обучения для работы с произвольными отображениями Фурье.

Авторы подтверждают, что основной вклад в эффективность отображения вносит размер эмбединга и стандартное отклонение его элементов.

Статья

#representation #images

The Natural Scenes Dataset

Natural Scenes Dataset (NSD) - это крупномасштабный набор данных фМРТ, проведенный при сверхвысоком поле (7Т) в Центре магнитно-резонансных исследований (CMRR) Университета Миннесоты. Набор данных состоит из измерений фМРТ всего мозга с высоким разрешением (изотропность 1,8 мм, частота дискретизации 1,6 с) у 8 здоровых взрослых испытуемых во время просмотра тысяч цветных естественных сцен в течение 30-40 сеансов сканирования. Во время просмотра этих изображений испытуемые выполняли задачу непрерывного распознавания, в которой они сообщали, видели ли они каждое данное изображение в любой момент эксперимента. Эти данные представляют собой массивный benchmark для вычислительных моделей визуального представления и познания и могут поддержать широкий спектр научных исследований.

Датасет

#ScientificML #images #medicine #biology

классная интерактивная статья (открывать с компа). Очень рекомендую

#gnn

ONNX Runtime Web

Вышла ONNX Runtime Web (ORT Web), новая функция в ONNX Runtime, позволяющая разработчикам JavaScript запускать и развертывать модели машинного обучения в браузерах. Она также поможет создать новые классы вычислений на устройствах. ORT Web заменит собой скоро выходящий из употребления onnx.js, при этом будут реализованы такие улучшения, как более согласованный опыт разработчиков между пакетами для вычислений на стороне сервера и на стороне клиента, а также улучшенная производительность вычислений и покрытие моделей. В этом блоге вы найдете краткий обзор ORT Web, а также ресурсы для начала работы с ним.

#inference

How Computationally Complex Is a Single Neuron?

Вычислительные нейробиологи научили искусственную нейронную сеть имитировать биологический нейрон. Полученный результат позволяет по-новому взглянуть на сложность отдельных клеток мозга.

Статья на QuantaMagazine
Статья
Код

#theory #SceintificML

Finetuned Language Models Are Zero-Shot Learners (Google AI)

В этой статье рассматривается простой метод улучшения способности языковых моделей к обучению "zero shot".

Авторы берут предварительно обученную языковую модель с 137B параметров и тюнят ее на более чем 60 задачах НЛП, вербализованных с помощью шаблонов инструкций на естественном языке.

Эта модель существенно улучшает производительность своего немодифицированного аналога и превосходит zero-shot 175B GPT-3 на 19 из 25 задач, которые оценивали авторы.

Статья

#nlp #gpt #training #generative

Moser Flow: Divergence-based Generative Modeling on Manifolds

Потоки Мозера, новый класс непрерывных нормализующих потоков на многообразиях, основанный на дивергенциях нейронных сетей. Первые результаты генеративного моделирования на общих криволинейных поверхностях!

Учитывая две плотности вероятности на многообразии, Дж. Мозер (1965) построил поток, сдвигающий первую плотность ко второй. Поток определяется векторным полем, дивергенция которого равна разности между плотностями.

Это послужило мотивом для создания MF - универсального аппроксиматора, в котором разница в плотностях модели и предшествующей плотности выражается с помощью (локального, легко аппроксимируемого) оператора дивергенции, применяемого непосредственно к NN. В отличие от предыдущих методов CNF, он не требует решения ODE во время обучения!

МП с большим отрывом достигают вероятности SOTA на бэнчмарках наук о Земле с базовой сферической геометрией.

Статья

#ScientificML #generative

NLP - Cube

У Adobe неожиданно обнаружился сайт с различным опен-сорсом.

NLP Cube умеет в Sentence Splitting, Tokenization, Lemmatization, Part-of-speech Tagging, Dependency Parsing и Named Entity Recognition для >50 языков.

Код
Статья

#nlp

HuggingFace Datasets

🤗 Datasets - это легкая и расширяемая библиотека для удобного обмена и доступа к наборам данных и метрикам оценки для обработки естественного языка (NLP).

🤗 Datasets имеет много интересных особенностей (помимо простого обмена и доступа к наборам данных/метрикам):

* Встроенная совместимость с Numpy, Pandas, PyTorch и Tensorflow 2
* Наборы данных естественным образом освобождают пользователя от ограничений памяти RAM, все наборы данных по умолчанию отображаются на диске.
* Интеллектуальное кэширование: вам никогда не придётся ждать, пока ваши данные будут обрабатываться несколько раз
* В настоящее время 🤗 Datasets предоставляет доступ к ~1000 наборам данных и ~30 метрикам оценки и разработан для того, чтобы сообщество могло легко добавлять и делиться новыми наборами данных и метриками оценки. Вы можете просмотреть полный набор наборов данных в режиме реального времени с помощью программы просмотра 🤗 Datasets.

Датасеты
Статья
GitHub

#nlp #datasets #text

Новая модель машинного обучения позволяет использовать потенциал спутниковых данных для решения проблем

За последние несколько десятилетий спутниковая съемка стала все более популярной как важный инструмент для понимания социальных, экономических и экологических проблем во всем мире. К сожалению, многие ученые не могут применить спутниковые исследования в своей работе из-за высоких затрат на внедрение. В дополнение к высоким первоначальным затратам, регионы, испытывающие недостаток данных, не имеют финансовых или технологических средств для проверки или анализа полученных данных. MOSAIKS - это программа компьютерного зрения, которая использует self-supervised машинное обучение для превращения необработанных спутниковых изображений в пригодную для использования информацию. Организации выигрывают от использования этого программного обеспечения за счет снижения накладных расходов и необходимости сбора меньшего количества данных. MOSAIKS добивается успеха, сочетая машинное обучение с существующими вычислительными платформами. Новое исследование в журнале Nature Communications предоставляет бедным данными регионам по всему миру возможность анализировать богатые данными спутниковые снимки с помощью простого и быстрого машинного обучения. В статье описывается, как исследователи из "бедных данными регионов" могут получить доступ к глобальному обсуждению экологических/экономических/социальных проблем с помощью модели машинного обучения.

Блог-пост
#ScientificML #earth_science #images #SSL

Интуитивно понятное исследование задач Kaggle и построение моделей

В посте показано, как исследовать наборы данных и подготовить бэйслайн с помощью PyTorch Lightning и модели TorchVision.

The main steps will be: (1) loading data, (2) checking label distribution, and (3) watching some sample images from each class. Later we start (4) wrapping data to PyTorch classes, aka Dataset and Dataloader. In the end, we put it all together and (5) train a simple baseline CNN model.

Пост

#basics #images

Завтра (10.09.21) заканчивается набор на второй поток!

Курс «Нейронные сети и их применение в научных исследованиях» доступен для аспирантов и магистров со всех факультетов МГУ, а также для тех, кто закончил МГУ, и теперь обучается в аспирантуре в другом вузе или НИИ.

Продолжительность курса: 2 семестра (1 учебный год). Осенний семестр — 15 лекций, совмещенных с практическими заданиями на программирование по пройденной теме. Весенний семестр — работа аспиранта над статьей по выбранной им теме под руководством преподавателя курса, который выступает в роли «второго научного руководителя».

Начало занятий — в октябре.
Обучение бесплатное (даже наоборот мы платим стипендии)

Срок приема заявок до 10 сентября 23:59.

Подробнее
Регистрируйся!

#news #этополюбви

Git Education

GitHub Education помогает студентам, преподавателям и школам получить доступ к инструментам и мероприятиям, необходимым для формирования нового поколения разработчиков программного обеспечения.

По сути, регистрируясь как образовательное учреждение вы получаете бесплатный Git Enterprise со всеми вытекающими плюшками

Сайт

#resources