Иллюстрация к поведению метода

neural waveshaping synthesis

С помощью нейросетей теперь можно переиграть любой звук виолончелью, флейтой или трубой. Любой желающий может сделать это, перейдя по ссылке.

А вот код для запуска у себя на ПК и cтатья на arxiv про эту нейросеть.

На сайте Gradio есть ещё очень много интересных демо-приложений с разными нейросетями.

Пример: известная мелодия из Rick Astley - Never Gonna Give You Up на виолончели. Звук сгенерирован полностью нейросетью.

Советую сделать звук динамиков потише.

#code #sound #signal #generative

Я прошелся по всем сообщениям в канале и проставил тэги, что бы было потом удобнее искать (когда понадобится) + поформатировал ссылки. По возможности старайтесь использовать теги которые уже есть и не плодить сущностей типа #image и #images

Ещё одна версия VQGAN + CLIP с другим типом аугментации и сэмплирования из модели. Предположительно даёт лучшее качество.

Colab

#text2image #generative #gan #CLIP

Image to Latex

Позволяет преобразовывать картинки с формулами из LaTeX в собственно TeX код. Очень удобно, надо только онлайн демку где-то захостить (на Gradio) или на Spaces.

#image2text #latex #ScientificML

Набор данных iNaturalist 2017 (iNat) содержит 675 170 обучающих и тестовых изображений из 5 089 природных мелкодисперсных категорий. Эти категории принадлежат к 13 суперкатегориям, включая Plantae (растения), Insecta (насекомые), Aves (птицы), Mammalia (млекопитающие) и так далее. Набор данных iNat очень несбалансирован, количество изображений в каждой категории резко отличается. Например, самая большая суперкатегория "Plantae (Растения)" содержит 196 613 изображений из 2 101 категории, в то время как самая маленькая суперкатегория "Protozoa" содержит только 381 изображение из 4 категорий.

По ссылке доступны датасеты по годам 2017-2021.

https://github.com/visipedia/inat_comp

#datasets #ScientificML #images

Машинное обучение помогает детектировать гравитационные волны.

Чтобы задетектировать гравитационную волну, надо сначала записать смещение пробного тела, а потом в этих записях найти формы сигнала, которые соответствуют волновой форме, которую могли вызвать гравитационные волны.

В статье рассказывается про то как вот этот второй этап оптимизировать, то есть, среди смещения пробной массы найти похожие на вызванные гравитационными волнами.

https://developer.nvidia.com/blog/ai-detects-gravitational-waves-faster-than-real-time/?linkId=100000059156832

#ScientificML #astronomy

Video contrastive learning with global context.

Предлагают новый метод контрастивного обучения на уровне видео, основанный на сегментах для формирования положительных пар.

Формулировка в статье позволяет улавливать глобальный контекст в видео, что делает ее устойчивой к временным изменениям контента. Авторы так же включают термин регуляризации временного порядка, чтобы обеспечить соблюдение присущей видео последовательной структуры.

GitHub

#ContrastiveLearning #video

EarthQuake Transformer.

Обнаружение сигналов землетрясений и выделение сейсмических фаз - сложные задачи в обработке зашумленных данных и мониторинге микроземлетрясений. Здесь авторы представляют глобальную модель глубокого обучения для одновременного обнаружения землетрясений и выделения фаз.

Авторы показывают, что их модель превосходит предыдущие алгоритмы глубокого обучения и традиционные алгоритмы выделения и обнаружения фаз.

Применив модель к данным, записанных во время землетрясения 2000 года в Японии, авторы смогли обнаружить и локализовать в два раза большее количество землетрясений, используя только часть (менее 1/3) сейсмических станций. Их модель выбирает P и S фазы с точностью, близкой к точности ручного выбора человеческими аналитиками; однако ее высокая эффективность и более высокая чувствительность может привести к обнаружению и определению характеристик большего числа и меньших событий.

Статья
GitHub

#ScientificML #earthscience #transformer #waveforms

The AI Economist: Optimal Economic Policy Design via Two-level Deep Reinforcement Learning

ArXiv
Работа расширяющая Фреймворк

#ScientificML #RL #economics

Sketch your own #GAN.

Работа показывает как можно манипулировать латентным пространством с помощью скетчей нарисованных от руки.

Выглядит очень интересно! (видео по ссылке)
Видео-обзор Яника

#images

🦠 AGAR: база данных изображений колоний микроорганизмов, выращенных на агаровой пластине.

Содержит 18000 фотографий пяти различных микроорганизмов, сделанных при различных условиях освещения двумя разными камерами.

Датасет

#ScientificML #datasets #biology

27.23TB of research data in torrents! Includes dataset such as:
- Breast Cancer Cell Segmentation
- Liver Tumor Segmentation
- MRI Lesion Segmentation in Multiple Sclerosis
- Electron Microscopy, Hippocampus
- Digital Surface & Digital Terrain Model

And courses recordings, including:
- Introduction to Computer Science [CS50x] [Harvard] [2018]
- Artificial Intelligence(EDX)
- Richard Feynman's Lectures on Physics (The Messenger Lectures) (🔥)
- [Coursera] Machine Learning (Stanford University) (ml)
- [Coursera] Natural Language Processing (Stanford University) (nlp)
- [Coursera] Neural Networks for Machine Learning (University of Toronto) (neuralnets)

http://academictorrents.com/

#course #torrent #dataset

And #Google also launched #DataSet search. This is a huge breakthrough for the DS community, because now it will be easier to access some interesting data.

https://toolbox.google.com/datasetsearch

Тэги доступные в канале на данный момент:
#alphafold2, #astronomy, #audio, #augmentation, #automl, #bayes, #biology, #botany, #captioning, #categorical, #chemistry, #classification, #clip, #cnn, #code, #community, #competition, #compression, #conference, #contrastivelearning, #course, #datasets, #debugging, #demo, #depth, #detection, #diffusion, #dilation, #dimensionality, #distillation, #earthscience, #economics, #explainability, #gan, #generative, #geometric, #gnn, #gpt, #gpu, #graph, #hardware, #holdontoyoirpapers, #image2text, #images, #inference, #joke, #julia, #jupyterlab, #jupyterlite, #labeling, #latex, #lnl, #medicine, #metrics, #mlp, #money, #multimodal, #nas, #news, #nlp, #noise, #novelviews, #optimizer, #outliers, #physics, #presentation, #python, #resnet, #resources, #rl, #rnn, #rocauc, #science, #scientificml, #segmentation, #SSL, #XAI, #separation, #sequences, #signal, #social, #sound, #speech, #styletransfer, #superresolution, #tabular, #text2image, #theory, #torrent, #training, #transformer, #translate, #tutorial, #twominutespapers, #video, #visualization, #waveforms, #гумунитарии, #дьяконов, #книги, #отборочные

MedCLIP

Позволяет осуществлять поиск по медицинским изображениям.

Поиграть можно тут 👉
Онлайн-демо

#CLIP #images #medicine #multimodal #demo

Свежайший выпуск новостей от Яника: youtu.be/SPOqoI0zOPQ

#news

Genji - CoPilot для бедных.

Модель GPT-J (open-source версия GPT-3 от Eluther AI) затюненая на генерацию кода на Python.

Colab
Модель на Huggingface
Spaces

#code #generative #nlp #gpt

Раз уже на то пошло. GPT-J это модель обученная сообществом EutherAI (к которому я скромно тоже немного причастен, правда больше в области генерации картинок).

Онлайн демо open-source версии GPT-3 доступно тут (с телефона работает не всегда, с компа проблем нет)

Colab
Блог-пост
Видео-разбор

#gpt #nlp #generative