Моя версия блокнота VQGAN+CLIP добралась до 🤗 Spaces.

Поиграться можно хоть с телефона

#text2image #GAN #CLIP #demo

SpeechBrain - классный репозиторий для всего связанного со звуком. Сам им пользовался пару раз.

#sound #speech #audio

Где машинка применяется в drug design
Довольно по верхам имхо. Только общее представление получить.

И, да, генерация молекул упоминается.

YouTube
NeurIPS

#ScientificML #medicine

Ну или вот талк от главы Insilico Medicine. Про то, как у них пайплайн по разработке лекарств работает
Про longevity я бы не слушал, но это у меня аллергия.

YouTube

#ScientificML #medicine

На NeurIPS будет целая отдельная секция про AI for Science:

http://ai4sciencecommunity.github.io

Шикарный line-up и до 18 сентября можно подать абстракты

#ScientificML #conference

Немного растянуто, но зато на русском. Текст про применение ML в астрономии.

#ScientificML #astronomy

StyleGAN-NADA преобразует предварительно обученный генератор в новые домены, используя только текстовую подсказку и без обучающих данных.

Естественно направляет его CLIP.

Project

#GAN #CLIP #multimodal

Kaggle про патологии растений.

#ScientificML #biology #botany #images

Репозиторий для fine-tuning (ну и обучения с нуля, если надо) CLIP.

#CLIP #multimodal #training

Туториал + Colab по DeepChem от Weights & Biases

#ScientificML #chemistry #tutorial

Датасет жужжания москитов. Видимо что бы по звуку можно было определять виды этих комаров.

#datasets #ScientificML #sound #audio

#SSL
#noise
#LNL

Contrast to Divide

Статья про то, как использовать self-supervised метод, если у вас много данных, но они все шумные (Learning with noisy labels, LNL)
Обычно в таких случаях пытаются пользоваться допущением, что на нейросеть поначалу будет учить лучше правильные примеры, а на тех, где метка неверна - будет выдавать большую ошибку. Потом же она войдет в memoization phase, где эта разница пропадет.
Потому главная проблема в таком подходе - "поймать момент", когда нейросеть уже выучила правильное, не запомнила кучу мусора.
Авторы показывают, что в общем случае это сделать сложно.
Кроме того они разбирают вариант, когда для LNL используется не архитектура с нуля, а self-superised предобученная на близком домене нейросеть. Первая проблема подхода в том, что не всегда такая сеть / чистый набор данных в принципе есть. Вторая - что он тоже может не работать.
Авторы предлагают использовать предобучение на именно целевом датасете и показывают, что это работает лучше других подходов.

Тема может очень подойти части студентов - у биологов часто данные получены с огромным шумом из-за артефактов эксперимента, неправильной аннотации, врущих пациентов и тд

Иллюстрация к поведению метода

neural waveshaping synthesis

С помощью нейросетей теперь можно переиграть любой звук виолончелью, флейтой или трубой. Любой желающий может сделать это, перейдя по ссылке.

А вот код для запуска у себя на ПК и cтатья на arxiv про эту нейросеть.

На сайте Gradio есть ещё очень много интересных демо-приложений с разными нейросетями.

Пример: известная мелодия из Rick Astley - Never Gonna Give You Up на виолончели. Звук сгенерирован полностью нейросетью.

Советую сделать звук динамиков потише.

#code #sound #signal #generative

Я прошелся по всем сообщениям в канале и проставил тэги, что бы было потом удобнее искать (когда понадобится) + поформатировал ссылки. По возможности старайтесь использовать теги которые уже есть и не плодить сущностей типа #image и #images

Ещё одна версия VQGAN + CLIP с другим типом аугментации и сэмплирования из модели. Предположительно даёт лучшее качество.

Colab

#text2image #generative #gan #CLIP

Image to Latex

Позволяет преобразовывать картинки с формулами из LaTeX в собственно TeX код. Очень удобно, надо только онлайн демку где-то захостить (на Gradio) или на Spaces.

#image2text #latex #ScientificML

Набор данных iNaturalist 2017 (iNat) содержит 675 170 обучающих и тестовых изображений из 5 089 природных мелкодисперсных категорий. Эти категории принадлежат к 13 суперкатегориям, включая Plantae (растения), Insecta (насекомые), Aves (птицы), Mammalia (млекопитающие) и так далее. Набор данных iNat очень несбалансирован, количество изображений в каждой категории резко отличается. Например, самая большая суперкатегория "Plantae (Растения)" содержит 196 613 изображений из 2 101 категории, в то время как самая маленькая суперкатегория "Protozoa" содержит только 381 изображение из 4 категорий.

По ссылке доступны датасеты по годам 2017-2021.

https://github.com/visipedia/inat_comp

#datasets #ScientificML #images

Машинное обучение помогает детектировать гравитационные волны.

Чтобы задетектировать гравитационную волну, надо сначала записать смещение пробного тела, а потом в этих записях найти формы сигнала, которые соответствуют волновой форме, которую могли вызвать гравитационные волны.

В статье рассказывается про то как вот этот второй этап оптимизировать, то есть, среди смещения пробной массы найти похожие на вызванные гравитационными волнами.

https://developer.nvidia.com/blog/ai-detects-gravitational-waves-faster-than-real-time/?linkId=100000059156832

#ScientificML #astronomy