Конечно же оказалось, что BERT like претрейнинг поможет в Image Transformers
#SSL #images #transformer
#SSL #images #transformer
Twitter
Li Dong
BEiT-large (pretrained on ImageNet-22k) achieves SoTA on ADE20K (57.0 mIoU), and 88.6% top-1 accuracy on ImageNet-1k. Self-supervised learning is the future. Code and pretrained checkpoints: github.com/microsoft/unil… twitter.com/ak92501/status…
Архитектуры на pytorch c построчными комментариями (фактически - описание всего алгоритма реализуемого)
https://nn.labml.ai/
#basics
https://nn.labml.ai/
#basics
Contextual Transformer Network for Visual Recognition:
GitHub
Использует контекст для направления self-attention
#transformer #images
GitHub
Использует контекст для направления self-attention
#transformer #images
GitHub
GitHub - JDAI-CV/CoTNet: This is an official implementation for "Contextual Transformer Networks for Visual Recognition".
This is an official implementation for "Contextual Transformer Networks for Visual Recognition". - GitHub - JDAI-CV/CoTNet: This is an official implementation for "Contex...
Кто бы сомневался: Go Wider, instead of Deeper
Хотя я думаю мы ещё увидим статьи в стиле: go wider AND deeper
#transformer #images
Хотя я думаю мы ещё увидим статьи в стиле: go wider AND deeper
#transformer #images
Twitter
AK
Go Wider Instead of Deeper pdf: arxiv.org/pdf/2107.11817… abs: arxiv.org/abs/2107.11817 best model outperforms Vision Transformer (ViT) by 1.46% with 0.72× trainable parameters
Segmentation in Style: Unsupervised Semantic Image Segmentation with Stylegan and CLIP
ArXiv
Код
#SSL #segmentation #CLIP
ArXiv
Код
#SSL #segmentation #CLIP
Интересная статья про аугментации в self-supervised режимах от хорошего коллектива авторов.
Статья
Код
#SSL #training #augmentation
Статья
Код
#SSL #training #augmentation
Теперь мы публичный канал, зовите друзей. Админские права сохраняются за персоналом msu.ai, комментарии открытые
В статье предлагается использовать автоенкодер, полученный модификацией VAE для self-supervised learning.
Дает неплохие результаты, хотя пока хуже self-supervised SOTA. Будем посмотреть
Дает неплохие результаты, хотя пока хуже self-supervised SOTA. Будем посмотреть