Новый оптимизатор от OpenAI.

В 2 раза быстрее чем Adam на ImageNet, в 2.5 раза быстрее на языковых задачах

ArXiv

#Training #optimizer

Тэги доступные в канале на данный момент:
#alphafold2, #astronomy, #audio, #augmentation, #automl, #bayes, #biology, #botany, #captioning, #categorical, #chemistry, #classification, #clip, #cnn, #code, #community, #competition, #compression, #conference, #contrastivelearning, #course, #datasets, #debugging, #demo, #depth, #detection, #diffusion, #dilation, #dimensionality, #distillation, #earthscience, #economics, #explainability, #gan, #generative, #geometric, #gnn, #gpt, #gpu, #graph, #hardware, #holdontoyoirpapers, #image2text, #images, #inference, #joke, #julia, #jupyterlab, #jupyterlite, #labeling, #latex, #lnl, #medicine, #metrics, #mlp, #money, #multimodal, #nas, #news, #nlp, #noise, #novelviews, #optimizer, #outliers, #physics, #presentation, #python, #resnet, #resources, #rl, #rnn, #rocauc, #science, #scientificml, #segmentation, #SSL, #XAI, #separation, #sequences, #signal, #social, #sound, #speech, #styletransfer, #superresolution, #tabular, #text2image, #theory, #torrent, #training, #transformer, #translate, #tutorial, #twominutespapers, #video, #visualization, #waveforms, #гумунитарии, #дьяконов, #книги, #отборочные

#resources #literature #normalization #optimizer #transformer #nlp #generative #cnn

Наверно, стоит в принципе отметить сайт https://theaisummer.com/

На сайте есть много приятных статей с очень хорошими, часто авторскими, иллюстрациями.

На мой вкус порой они делают порой плохие по качеству рассказа или материала статьи, но фактических ошибок у них не замечал. И такие статьи редки.

Потому сайт является хорошим местом, которое можно посмотреть при подготовке или перед чтением лекции.

Примеры приятных статей:

In-layer normalization techniques for training very deep neural networks

A journey into Optimization algorithms for Deep Neural Networks

Intuitive Explanation of Skip Connections in Deep Learning

How Transformers work in deep learning and NLP: an intuitive introduction

The theory behind Latent Variable Models: formulating a Variational Autoencoder

Best deep CNN architectures and their principles: from AlexNet to EfficientNet