Случайно сделал идеальную картинку к переобучению:
#joke

Очень крутой пример про способность мозга к генерации
#generative #joke

GitHub с моделями для Video Super Resolution.

#video #superresolution #generative

Очень достойно про трансформеры

Notion

#transformer

ESM-1v: новая языковая модель протеинов. Способна предсказывать zero-shot эффекты мутаций на функции протеинов

Twitter

#ScientificML #biology

Не знаю, почему авторы не ссылаются на эту модель и не сравниваются с ней, которая вышла раньше и не проверяют свои предсказания на ClinVar (де факто стандарт).

Конечно, это не умаляет сделанного ими, но даже подходы к zeroshot переносу у них похожие. И там и там есть вероятность, давайте введеме метрику на основе разницы вероятность референса и мутации. Было бы очень круто, будь у них сравнение.

#ScientificML #biology

Large-scale clinical interpretation of genetic variants using evolutionary data and deep learning

Текст: https://www.biorxiv.org/content/10.1101/2020.12.21.423785v1
Код: модификация предыдущей работы авторов https://github.com/debbiemarkslab/DeepSequence
Модель: байесовский вариационный автоэнкодер

Что предсказывали
В конечном счете -- патогенность миссенс-мутаций в геноме человека. Но делали это очень красивым непрямым способом.

Предобучение
Сначала для каждого белок-кодирующего гена брали выравнивание гомологов из всех возможных геномов (> 139 тыс. организмов). Вариационный автоэнкодер обучали сжимать такие выравнивания. В процессе этого автоэнкодер выучивал распределения, по которым для каждой возможной мутации в каждой позиции можно было оценить, насколько она вероятна. Выражением этой вероятности считался некоторый “эволюционный индекс”.

Классификация
Эволюционные индексы всех возможных мутаций (каждого белка по отдельности?) собрали в одно распределение. Оно оказалось двугорбым, и его разделили на две гауссианы, условно соответствующие патогенным и не патогенным мутациям. Исходя из этих двух гауссиан, каждой отдельной мутации присвоили метку -- вероятность этой мутации оказаться или не оказаться патогенной.

Что получилось
Полученные скоры хорошо предсказывают метки из базы ClinVar (AUC 0.90) и дают уверенные предсказания для многих мутаций, эффект которых не известен.

Авторы особо подчеркивают, что их модель не видит меток при обучении, и это лишает ее возможности переобучиться. Что же касается возможности неявно переобучиться на конкретные группы организмов, которых просто больше секвенировано, -- то и эту проблему авторы успешно обходят. Они взвешивают последовательности в выравнивании пропорционально их уникальности.

По ссылкам в твиттере уввидел вот это:

Проект
ArXiv

Мне кажется интересным. Сравниваются авторы в основном не с state-of-art #GAN, где идет State-of-thee-art - результаты хуже (как в таблице выше).

Основано все на #diffusion process, который скидывал ранее Артемий и который ему очень понравился.
Предлагалось добавить его в лекцию по GAN.

Видим, что идея работает. Работает ли она лучше GAN - нет, потому по логике ее надо добавлять в конец.
И после того, как мы добавим объяснение тех же StyleGAN.

Но если у кого-то есть примеры успехов в сравнении с GAN - можно посмотреть, не добавить ли в часть с практическим кодом.

#generative #images

Продолжаем про #diffusion. Вот крутая сетка которая делает super-resolution.

И блог пост.

#generative #images

Кроме того, у Lilian Weng есть целая серия крутых постов о генеративных моделях:
- Про Generative Adversarial Netowrks (GANs)
- Про Aunoencoders & Variational Autoencoders (VAE)
- Про модели основанные на Normalizing Flows

В закладки!

Оказывается попиксельная классификация в задачах сегментации In not all you need.
Facebook предлагает ещё в добавок предсказывать бинарные маски, а затем уже для них предсказывать класс

#segmentation #transformer

Combiner: Full Attention Transformer with Sparse Computation Cost

Предлагается O(L log L) эффективный преобразователь внимания, который дает результаты SotA на нескольких задачах моделирования изображений и текстов, как авторегрессионных, так и MLM.

ArXiv

#transformer

Появился код и предобученные модели для Efficient Self-supervised ViT.

Точность выше чем у BYOL и DINO 🦖, обратите внимание на скорость работы (на порядок выше чем у предыдущих моделей). Достигается за счёт sparse attention

#SSL #images #transformer

Дедупликация обучающих данных делает языковые модели лучше.

Дедупликация позволяет обучать модели, которые выдают запомненный текст в десять раз реже и требуют меньшего количества шагов обучения для достижения той же или лучшей точности.

Тут ещё крутая история в том что сначала это сделали на ProteinBERT, а только потом уже применили в общем ML.

#NLP #Training

Про то, как нейросетки преобразуют под себя исходное пространство

ArXiv
GitHub

#theory

Новый CLIP art блокнот от RiverHasWings.
Результаты просто ошеломительные!

#generative #images #CLIP

Релиз AlphaFold v2.

#ScientificML #biology

FLEX Unifying Evaluation for Few-Shot NLP

#datasets #NLP

Мультимодальный датасет для representation learning.

ArXiv

#datasets #multimodal

JupyterLite is a JupyterLab distribution that runs entirely in the web browser, backed by in-browser language kernels.

Scientific, Data science and visualisation packages are supported.

Basically it means you can use Jupyter just by opening a new browser tab. Starting to learn Data Science has never been easier.

Read the intro[1] for full feature list, or try it online[2].

#jupyterlab #jupyterlite
[1] https://blog.jupyter.org/jupyterlite-jupyter-%EF%B8%8F-webassembly-%EF%B8%8F-python-f6e2e41ab3fa

[2] https://jupyterlite.github.io/demo