Epistemic Neural Networks (это те которые с погрешностями)

#ScientificML

QuantumNAS

#ScientificML

парад душнил в самом разгаре :)

Архитектуры на pytorch c построчными комментариями (фактически - описание всего алгоритма реализуемого)

https://nn.labml.ai/

#basics

GradCam для CLIP

Будет круто его использовать при разборе CLIP

#images #SSL #CLIP

Neural video compression

#GAN #video #compression #generative

H-Transformer-1D: Fast One-Dimensional Hierarchical Attention for Sequences

#sequences #transformer

Фреймворк для генерации шумных таргетов от DeepMind

#Training #labeling

Contextual Transformer Network for Visual Recognition:

GitHub

Использует контекст для направления self-attention

#transformer #images

Кто бы сомневался: Go Wider, instead of Deeper

Хотя я думаю мы ещё увидим статьи в стиле: go wider AND deeper

#transformer #images

Segmentation in Style: Unsupervised Semantic Image Segmentation with Stylegan and CLIP

ArXiv
Код

#SSL #segmentation #CLIP

Self-supervised предобучение для детекции DETReg

#detection #SSL #transformer

Интересная статья про аугментации в self-supervised режимах от хорошего коллектива авторов.

Статья
Код

#SSL #training #augmentation

Раз в год и OpenAI выпускает что-то по-настоящему open 😛.

Видео-разбор

#training #gpu

Open Building dataset от Гугла
Видео-разбор

#datasets #ScientificML

Теперь мы публичный канал, зовите друзей. Админские права сохраняются за персоналом msu.ai, комментарии открытые

В статье предлагается использовать автоенкодер, полученный модификацией VAE для self-supervised learning.

Дает неплохие результаты, хотя пока хуже self-supervised SOTA. Будем посмотреть

У Яндекса и Британских коллег стартовал конкурс по предсказанию погоды, и не абы как, а с data shift. Тренировочные данные даны по одному городу, а проверяют по другому.

#competition #ScientificML #datasets #earthscience

В одном из моих любимых каналов “Don’t panic!” @psycholetters нашёл сегодня прекрасную ссылку на тему data science в литературоведении
https://www.pnas.org/content/118/30/e2102061118
Проанализировав тексты 14 млн. книг за последние 125 лет (на английском, немецком и испанском языках) на предмет присутствия в них явных признаков когнитивных искажений, характерных для депрессивных расстройств, авторы обнаружили отчетливо наблюдающиеся «хоккейные клюшки»: после примерно постоянного многолетнего уровня с 80-х годов прошлого века начался подъем, и теперь эти искажения присутствуют в количествах, которых не было ни во времена Великой депрессии, ни в периоды I и II Мировых войн.
Автор канала так суммирует выводы исследования:
«Оказалось, что с 90-х годов прошлого века таких когнитивных искажений в литературе стало больше. То есть в книгах сейчас гораздо легче найти примеры катастрофизации, овергенерализации, черно-белого мышления итд.
Авторы предполагают, что это показывает некие глобальные общественные сдвиги - т.е. мы стали более склонны к депрессии как целый вид, что отражается в творчестве. Но это, конечно, очень спекулятивно и лишь одно из десятков возможных объяснений.» https://t.me/psycholetters/1205
Независимо от выводов (они действительно выглядят спекулятивными) мне очень нравится такой подход к литературоведению :))