Немного растянуто, но зато на русском. Текст про применение ML в астрономии.

#ScientificML #astronomy

StyleGAN-NADA преобразует предварительно обученный генератор в новые домены, используя только текстовую подсказку и без обучающих данных.

Естественно направляет его CLIP.

Project

#GAN #CLIP #multimodal

Kaggle про патологии растений.

#ScientificML #biology #botany #images

Репозиторий для fine-tuning (ну и обучения с нуля, если надо) CLIP.

#CLIP #multimodal #training

Туториал + Colab по DeepChem от Weights & Biases

#ScientificML #chemistry #tutorial

Датасет жужжания москитов. Видимо что бы по звуку можно было определять виды этих комаров.

#datasets #ScientificML #sound #audio

#SSL
#noise
#LNL

Contrast to Divide

Статья про то, как использовать self-supervised метод, если у вас много данных, но они все шумные (Learning with noisy labels, LNL)
Обычно в таких случаях пытаются пользоваться допущением, что на нейросеть поначалу будет учить лучше правильные примеры, а на тех, где метка неверна - будет выдавать большую ошибку. Потом же она войдет в memoization phase, где эта разница пропадет.
Потому главная проблема в таком подходе - "поймать момент", когда нейросеть уже выучила правильное, не запомнила кучу мусора.
Авторы показывают, что в общем случае это сделать сложно.
Кроме того они разбирают вариант, когда для LNL используется не архитектура с нуля, а self-superised предобученная на близком домене нейросеть. Первая проблема подхода в том, что не всегда такая сеть / чистый набор данных в принципе есть. Вторая - что он тоже может не работать.
Авторы предлагают использовать предобучение на именно целевом датасете и показывают, что это работает лучше других подходов.

Тема может очень подойти части студентов - у биологов часто данные получены с огромным шумом из-за артефактов эксперимента, неправильной аннотации, врущих пациентов и тд

Иллюстрация к поведению метода

neural waveshaping synthesis

С помощью нейросетей теперь можно переиграть любой звук виолончелью, флейтой или трубой. Любой желающий может сделать это, перейдя по ссылке.

А вот код для запуска у себя на ПК и cтатья на arxiv про эту нейросеть.

На сайте Gradio есть ещё очень много интересных демо-приложений с разными нейросетями.

Пример: известная мелодия из Rick Astley - Never Gonna Give You Up на виолончели. Звук сгенерирован полностью нейросетью.

Советую сделать звук динамиков потише.

#code #sound #signal #generative

Я прошелся по всем сообщениям в канале и проставил тэги, что бы было потом удобнее искать (когда понадобится) + поформатировал ссылки. По возможности старайтесь использовать теги которые уже есть и не плодить сущностей типа #image и #images

Ещё одна версия VQGAN + CLIP с другим типом аугментации и сэмплирования из модели. Предположительно даёт лучшее качество.

Colab

#text2image #generative #gan #CLIP

Image to Latex

Позволяет преобразовывать картинки с формулами из LaTeX в собственно TeX код. Очень удобно, надо только онлайн демку где-то захостить (на Gradio) или на Spaces.

#image2text #latex #ScientificML

Набор данных iNaturalist 2017 (iNat) содержит 675 170 обучающих и тестовых изображений из 5 089 природных мелкодисперсных категорий. Эти категории принадлежат к 13 суперкатегориям, включая Plantae (растения), Insecta (насекомые), Aves (птицы), Mammalia (млекопитающие) и так далее. Набор данных iNat очень несбалансирован, количество изображений в каждой категории резко отличается. Например, самая большая суперкатегория "Plantae (Растения)" содержит 196 613 изображений из 2 101 категории, в то время как самая маленькая суперкатегория "Protozoa" содержит только 381 изображение из 4 категорий.

По ссылке доступны датасеты по годам 2017-2021.

https://github.com/visipedia/inat_comp

#datasets #ScientificML #images

Машинное обучение помогает детектировать гравитационные волны.

Чтобы задетектировать гравитационную волну, надо сначала записать смещение пробного тела, а потом в этих записях найти формы сигнала, которые соответствуют волновой форме, которую могли вызвать гравитационные волны.

В статье рассказывается про то как вот этот второй этап оптимизировать, то есть, среди смещения пробной массы найти похожие на вызванные гравитационными волнами.

https://developer.nvidia.com/blog/ai-detects-gravitational-waves-faster-than-real-time/?linkId=100000059156832

#ScientificML #astronomy

Video contrastive learning with global context.

Предлагают новый метод контрастивного обучения на уровне видео, основанный на сегментах для формирования положительных пар.

Формулировка в статье позволяет улавливать глобальный контекст в видео, что делает ее устойчивой к временным изменениям контента. Авторы так же включают термин регуляризации временного порядка, чтобы обеспечить соблюдение присущей видео последовательной структуры.

GitHub

#ContrastiveLearning #video

EarthQuake Transformer.

Обнаружение сигналов землетрясений и выделение сейсмических фаз - сложные задачи в обработке зашумленных данных и мониторинге микроземлетрясений. Здесь авторы представляют глобальную модель глубокого обучения для одновременного обнаружения землетрясений и выделения фаз.

Авторы показывают, что их модель превосходит предыдущие алгоритмы глубокого обучения и традиционные алгоритмы выделения и обнаружения фаз.

Применив модель к данным, записанных во время землетрясения 2000 года в Японии, авторы смогли обнаружить и локализовать в два раза большее количество землетрясений, используя только часть (менее 1/3) сейсмических станций. Их модель выбирает P и S фазы с точностью, близкой к точности ручного выбора человеческими аналитиками; однако ее высокая эффективность и более высокая чувствительность может привести к обнаружению и определению характеристик большего числа и меньших событий.

Статья
GitHub

#ScientificML #earthscience #transformer #waveforms

The AI Economist: Optimal Economic Policy Design via Two-level Deep Reinforcement Learning

ArXiv
Работа расширяющая Фреймворк

#ScientificML #RL #economics

Sketch your own #GAN.

Работа показывает как можно манипулировать латентным пространством с помощью скетчей нарисованных от руки.

Выглядит очень интересно! (видео по ссылке)
Видео-обзор Яника

#images

🦠 AGAR: база данных изображений колоний микроорганизмов, выращенных на агаровой пластине.

Содержит 18000 фотографий пяти различных микроорганизмов, сделанных при различных условиях освещения двумя разными камерами.

Датасет

#ScientificML #datasets #biology