Ещё разочек про Perciever

#multimodal

​​DeepMind опубликовал статью, где они представляют новую архитектуру - Perceiver.
Главная идея и мотивация — учиться на данных любой модальности (картинки, аудио, видео, точки, и т.д.) без использования каких-либо предположений о структуре этих данных знаний, таких как, например, локально гладкая 2D-структура картинок, которая повсеместно эксплойтится конволюционными нейронными сетями.

Предлагаемая модель Perceiver — это хитрый трансформер, который имеет несколько преимуществ перед существующими архитектурами:

➞ 1) Он может работать со входными последовательностями огромной длины (> 100k входов). Это достигается за счет использования Cross Atention блока, который принимает входные данные как ключи (K) и как значения (V), а вместо запросов (Q) использует гораздо меньшее число (512, если быть точным) скрытых векторов. Интуитивно это можно представить как этакий ботлнек на основе self-attention. На вход N векторов (где N может быть очень большим), а на выходе получаем ровно 512 (что является гиперпараметром).

➞ 2) Из-за описанного выше Cross Atention блока, который выступает в роли ботлнека, мы можем сделать Perceiver очень глубоким. Все потому что каждый последующий self-attention блок будет работать со входами длины 512, а не N. Поэтому даже квадратичная по сложности от длины входа наивная реализация self-attention'а будет быстро работать и не будет выжирать всю память.

➞ 3) Архитектура не опирается ни на какие структурные предположения о данных. Она настолько универсальная, что может применяться к различным модальностям почти без изменений (если не считать positional encoding). Можно запускать на картинках - Perciever бьет базовый ViT-B, хотя вообще не содержит ни одной конволюции и на вход берет тупо 50 тыщ пикселей (для картинки 224x224). Также Perciever отлично работает на аудио, видео, на комбинации аудио+видео, и на облаках 3D точек.

Сама статья довольно хорошо написана, можете в ней почитать подробности.

интересная штука про аутлайеры и разные способы понижения размерности

Kaggle

Брать целиком не полуучится, но вырезать чего-нить интересное можно

#outliers #dimensionality

Automated Machine Learning Library

Simple but powerful Automated Machine Learning library for tabular data. It uses efficient in-memory SAP HANA algorithms to automate routine Data Science tasks. Beats built-in solution in HANA, database from SAP. Written by 2 students as diploma project.

Features:
• Easy to use Python interface
• Automates most Machine Learning steps
• Complete documentation
• Intuitive web client
• Supports Regression and Binary Classification tasks

Roadmap:
• Text classification
• Multi class classification
• Forecasting
• Automate all ML steps
• Beat other libraries in accuracy
• More hyperparameter tuning methods


GitHub: https://github.com/dan0nchik/SAP-HANA-AutoML
Web app: https://share.streamlit.io/dan0nchik/sap-hana-automl/main/web.py
Docs: https://sap-hana-automl.readthedocs.io/en/latest/index.html#
Authors: @dan0nchik, @m_whiskas

#automl

Хороший ресурс для вдохновления. Все как мы хотим, только тем больше и на английском.

#resources

ViTGAN: Training GANs with Vision Transformers

ArXiv

achieves comparable performance to state-of-the-art CNN-based StyleGAN2 on CIFAR-10, CelebA, and LSUN bedroom datasets

#gan #transformer #images

Доступно про Diffusion models
Ещё один блог-пост

#generative #diffusion #images

напомнило вот этот источник.

Что не нравится в https://madewithml.com/ - очень скупые объяснения. Те же трансформеры вообще не объяснены - просто запуск кода.

#resources

Случайно сделал идеальную картинку к переобучению:
#joke

Очень крутой пример про способность мозга к генерации
#generative #joke

GitHub с моделями для Video Super Resolution.

#video #superresolution #generative

Очень достойно про трансформеры

Notion

#transformer

ESM-1v: новая языковая модель протеинов. Способна предсказывать zero-shot эффекты мутаций на функции протеинов

Twitter

#ScientificML #biology

Не знаю, почему авторы не ссылаются на эту модель и не сравниваются с ней, которая вышла раньше и не проверяют свои предсказания на ClinVar (де факто стандарт).

Конечно, это не умаляет сделанного ими, но даже подходы к zeroshot переносу у них похожие. И там и там есть вероятность, давайте введеме метрику на основе разницы вероятность референса и мутации. Было бы очень круто, будь у них сравнение.

#ScientificML #biology

Large-scale clinical interpretation of genetic variants using evolutionary data and deep learning

Текст: https://www.biorxiv.org/content/10.1101/2020.12.21.423785v1
Код: модификация предыдущей работы авторов https://github.com/debbiemarkslab/DeepSequence
Модель: байесовский вариационный автоэнкодер

Что предсказывали
В конечном счете -- патогенность миссенс-мутаций в геноме человека. Но делали это очень красивым непрямым способом.

Предобучение
Сначала для каждого белок-кодирующего гена брали выравнивание гомологов из всех возможных геномов (> 139 тыс. организмов). Вариационный автоэнкодер обучали сжимать такие выравнивания. В процессе этого автоэнкодер выучивал распределения, по которым для каждой возможной мутации в каждой позиции можно было оценить, насколько она вероятна. Выражением этой вероятности считался некоторый “эволюционный индекс”.

Классификация
Эволюционные индексы всех возможных мутаций (каждого белка по отдельности?) собрали в одно распределение. Оно оказалось двугорбым, и его разделили на две гауссианы, условно соответствующие патогенным и не патогенным мутациям. Исходя из этих двух гауссиан, каждой отдельной мутации присвоили метку -- вероятность этой мутации оказаться или не оказаться патогенной.

Что получилось
Полученные скоры хорошо предсказывают метки из базы ClinVar (AUC 0.90) и дают уверенные предсказания для многих мутаций, эффект которых не известен.

Авторы особо подчеркивают, что их модель не видит меток при обучении, и это лишает ее возможности переобучиться. Что же касается возможности неявно переобучиться на конкретные группы организмов, которых просто больше секвенировано, -- то и эту проблему авторы успешно обходят. Они взвешивают последовательности в выравнивании пропорционально их уникальности.

По ссылкам в твиттере уввидел вот это:

Проект
ArXiv

Мне кажется интересным. Сравниваются авторы в основном не с state-of-art #GAN, где идет State-of-thee-art - результаты хуже (как в таблице выше).

Основано все на #diffusion process, который скидывал ранее Артемий и который ему очень понравился.
Предлагалось добавить его в лекцию по GAN.

Видим, что идея работает. Работает ли она лучше GAN - нет, потому по логике ее надо добавлять в конец.
И после того, как мы добавим объяснение тех же StyleGAN.

Но если у кого-то есть примеры успехов в сравнении с GAN - можно посмотреть, не добавить ли в часть с практическим кодом.

#generative #images

Продолжаем про #diffusion. Вот крутая сетка которая делает super-resolution.

И блог пост.

#generative #images

Кроме того, у Lilian Weng есть целая серия крутых постов о генеративных моделях:
- Про Generative Adversarial Netowrks (GANs)
- Про Aunoencoders & Variational Autoencoders (VAE)
- Про модели основанные на Normalizing Flows

В закладки!

Оказывается попиксельная классификация в задачах сегментации In not all you need.
Facebook предлагает ещё в добавок предсказывать бинарные маски, а затем уже для них предсказывать класс

#segmentation #transformer

Combiner: Full Attention Transformer with Sparse Computation Cost

Предлагается O(L log L) эффективный преобразователь внимания, который дает результаты SotA на нескольких задачах моделирования изображений и текстов, как авторегрессионных, так и MLM.

ArXiv

#transformer

Появился код и предобученные модели для Efficient Self-supervised ViT.

Точность выше чем у BYOL и DINO 🦖, обратите внимание на скорость работы (на порядок выше чем у предыдущих моделей). Достигается за счёт sparse attention

#SSL #images #transformer