Коллекция Self-Supervised методов.

Twitter тред

#SSL

Обзор от Microsoft Research по генерации речи

#Speech #generative

Большая статья о том как учить GAN.

По сути конечно многое из этого только в индивидуальных случаях работает, но все же

#gan #training

Кажется большое достижение. Одна модель to rule all of the modalities - Google Preciver.

#multimodal

Сегодня доклад был неплохой. Там нет прям вау идей, но информацию об области и ссылку на два датасета (DAVIS, KIBA) на задачки дает.

🚀 @SBERLOGA - представляет два онлайн эвента за один раз
⌚️ Вторник 6 июля, 19.00 и 19.30 по Москве
⌚️ В 19.00 мы продолжим просмотр и обсуждение Лекция 7 "Knowledge Graph Embeddings" курса М.Галкина
👨‍🔬 В 19.30 доклад по граф-мл: Илья Сенаторов (Helmholtz Institute) "Предсказания взаимодействий молекул и белков с помощью глубокого обучения и графовых нейросетей"

Предсказание взаимодействия между белком и молекулой - нетривиальная задача, которая активно решается последние 5 лет. Множество подходов комбинируют машинное обучение с теорией графов для решение этой задачи. Однако датасеты, используемые для сравнения разных моделей сильно отличаются от датасетов которые встречаются в реальной жизни - они гораздо более полные и сбалансированые. В этой лекции я расскажу о проблемах, которые встречаются при попытке применить модели, натренированые на стандартных датасетах KIBA и Davis и способах их решения - weighted loss, biologically relevant protein graph augmentation и graph-level pre-training.

PS
Ссылка на зум будет доступна через тг чат https://t.me/sberlogawithgraphs ближе к началу доклада.
Видео записи докладов доступны на ютуб канале SBERLOGA https://www.youtube.com/c/sberloga

https://tdcommons.ai/multi_pred_tasks/dti/

#ScientificML #biology

Новый метод и теоретические обоснования не-контрастивного self-supervision от Facebook

#SSL #theory

Статья с U-Net, но теперь на трансформерах.

Качество по дов. интервалам не отличается от обычного U-Net. Но идея интересная.

Практическая реализация и то же тексты (без доверительных интервалов ))

#transformer #segmentation

Прикольная статья на медиум. У многих естественников (как минимум) задача ставится таким образом, что качество 1.0 на ROC недостижимо. Например, наследственные заболевания не всегда проявляются (пенетрантность). Потому полезно им про это рассказывать


#metrics

Иииии поехали комбинировать

#transformer #images #CNN

А вот про это я уже пару лет рассказываю, но они сделали.

Audiovisual self-supervised representation learning

#SSL #audio #video

Интерактивная статья по Gaussian Believe Propagation

#bayes

Ещё разочек про Perciever

#multimodal

​​DeepMind опубликовал статью, где они представляют новую архитектуру - Perceiver.
Главная идея и мотивация — учиться на данных любой модальности (картинки, аудио, видео, точки, и т.д.) без использования каких-либо предположений о структуре этих данных знаний, таких как, например, локально гладкая 2D-структура картинок, которая повсеместно эксплойтится конволюционными нейронными сетями.

Предлагаемая модель Perceiver — это хитрый трансформер, который имеет несколько преимуществ перед существующими архитектурами:

➞ 1) Он может работать со входными последовательностями огромной длины (> 100k входов). Это достигается за счет использования Cross Atention блока, который принимает входные данные как ключи (K) и как значения (V), а вместо запросов (Q) использует гораздо меньшее число (512, если быть точным) скрытых векторов. Интуитивно это можно представить как этакий ботлнек на основе self-attention. На вход N векторов (где N может быть очень большим), а на выходе получаем ровно 512 (что является гиперпараметром).

➞ 2) Из-за описанного выше Cross Atention блока, который выступает в роли ботлнека, мы можем сделать Perceiver очень глубоким. Все потому что каждый последующий self-attention блок будет работать со входами длины 512, а не N. Поэтому даже квадратичная по сложности от длины входа наивная реализация self-attention'а будет быстро работать и не будет выжирать всю память.

➞ 3) Архитектура не опирается ни на какие структурные предположения о данных. Она настолько универсальная, что может применяться к различным модальностям почти без изменений (если не считать positional encoding). Можно запускать на картинках - Perciever бьет базовый ViT-B, хотя вообще не содержит ни одной конволюции и на вход берет тупо 50 тыщ пикселей (для картинки 224x224). Также Perciever отлично работает на аудио, видео, на комбинации аудио+видео, и на облаках 3D точек.

Сама статья довольно хорошо написана, можете в ней почитать подробности.

интересная штука про аутлайеры и разные способы понижения размерности

Kaggle

Брать целиком не полуучится, но вырезать чего-нить интересное можно

#outliers #dimensionality

Automated Machine Learning Library

Simple but powerful Automated Machine Learning library for tabular data. It uses efficient in-memory SAP HANA algorithms to automate routine Data Science tasks. Beats built-in solution in HANA, database from SAP. Written by 2 students as diploma project.

Features:
• Easy to use Python interface
• Automates most Machine Learning steps
• Complete documentation
• Intuitive web client
• Supports Regression and Binary Classification tasks

Roadmap:
• Text classification
• Multi class classification
• Forecasting
• Automate all ML steps
• Beat other libraries in accuracy
• More hyperparameter tuning methods


GitHub: https://github.com/dan0nchik/SAP-HANA-AutoML
Web app: https://share.streamlit.io/dan0nchik/sap-hana-automl/main/web.py
Docs: https://sap-hana-automl.readthedocs.io/en/latest/index.html#
Authors: @dan0nchik, @m_whiskas

#automl

Хороший ресурс для вдохновления. Все как мы хотим, только тем больше и на английском.

#resources