#resources #literature #normalization #optimizer #transformer #nlp #generative #cnn
Наверно, стоит в принципе отметить сайт https://theaisummer.com/
На сайте есть много приятных статей с очень хорошими, часто авторскими, иллюстрациями.
На мой вкус порой они делают порой плохие по качеству рассказа или материала статьи, но фактических ошибок у них не замечал. И такие статьи редки.
Потому сайт является хорошим местом, которое можно посмотреть при подготовке или перед чтением лекции.
Примеры приятных статей:
In-layer normalization techniques for training very deep neural networks
A journey into Optimization algorithms for Deep Neural Networks
Intuitive Explanation of Skip Connections in Deep Learning
How Transformers work in deep learning and NLP: an intuitive introduction
The theory behind Latent Variable Models: formulating a Variational Autoencoder
Best deep CNN architectures and their principles: from AlexNet to EfficientNet
Наверно, стоит в принципе отметить сайт https://theaisummer.com/
На сайте есть много приятных статей с очень хорошими, часто авторскими, иллюстрациями.
На мой вкус порой они делают порой плохие по качеству рассказа или материала статьи, но фактических ошибок у них не замечал. И такие статьи редки.
Потому сайт является хорошим местом, которое можно посмотреть при подготовке или перед чтением лекции.
Примеры приятных статей:
In-layer normalization techniques for training very deep neural networks
A journey into Optimization algorithms for Deep Neural Networks
Intuitive Explanation of Skip Connections in Deep Learning
How Transformers work in deep learning and NLP: an intuitive introduction
The theory behind Latent Variable Models: formulating a Variational Autoencoder
Best deep CNN architectures and their principles: from AlexNet to EfficientNet
AI Summer
AI Summer | Learn Deep Learning and Artificial Intelligence
VideoGPT: Video Generation using VQ-VAE and Transformers
Концептуально простая архитектура для масштабирования генеративного моделирования на основе правдоподобия (likelihood modeling) на естественное видео.
VideoGPT использует VQ-VAE, который выучивает латентные представления исходного видео с пониженной дискретизацией (downsampled), используя 3D-свертки и осевой self-attention.
Затем простая архитектура, типа #GPT, используется для авторегрессионного моделирования дискретных латентных представлений с помощью пространственно-временных позиционных кодировок (spatio-temporal position encodings).
Сеть способна генерировать видосы, конкурентоспособные с современными #GAN-моделями для генерации видео.
ArXiv
Проект
Colab
#video #generative
Концептуально простая архитектура для масштабирования генеративного моделирования на основе правдоподобия (likelihood modeling) на естественное видео.
VideoGPT использует VQ-VAE, который выучивает латентные представления исходного видео с пониженной дискретизацией (downsampled), используя 3D-свертки и осевой self-attention.
Затем простая архитектура, типа #GPT, используется для авторегрессионного моделирования дискретных латентных представлений с помощью пространственно-временных позиционных кодировок (spatio-temporal position encodings).
Сеть способна генерировать видосы, конкурентоспособные с современными #GAN-моделями для генерации видео.
ArXiv
Проект
Colab
#video #generative