Идея проста как валенок: а что если применять контрастные методы в полностью supervised режиме. Естественно у гугла получается прям хорошо.

Блог-пост

#ContrastiveLearning #images

Классная идея использовать генеративные сетки для репрезентативного обучения:

Project

Но подозреваю что тренировать этого монстра очень и очень сложно.

#ContrastiveLearning #generative #GAN

Video contrastive learning with global context.

Предлагают новый метод контрастивного обучения на уровне видео, основанный на сегментах для формирования положительных пар.

Формулировка в статье позволяет улавливать глобальный контекст в видео, что делает ее устойчивой к временным изменениям контента. Авторы так же включают термин регуляризации временного порядка, чтобы обеспечить соблюдение присущей видео последовательной структуры.

GitHub

#ContrastiveLearning #video

Тэги доступные в канале на данный момент:
#alphafold2, #astronomy, #audio, #augmentation, #automl, #bayes, #biology, #botany, #captioning, #categorical, #chemistry, #classification, #clip, #cnn, #code, #community, #competition, #compression, #conference, #contrastivelearning, #course, #datasets, #debugging, #demo, #depth, #detection, #diffusion, #dilation, #dimensionality, #distillation, #earthscience, #economics, #explainability, #gan, #generative, #geometric, #gnn, #gpt, #gpu, #graph, #hardware, #holdontoyoirpapers, #image2text, #images, #inference, #joke, #julia, #jupyterlab, #jupyterlite, #labeling, #latex, #lnl, #medicine, #metrics, #mlp, #money, #multimodal, #nas, #news, #nlp, #noise, #novelviews, #optimizer, #outliers, #physics, #presentation, #python, #resnet, #resources, #rl, #rnn, #rocauc, #science, #scientificml, #segmentation, #SSL, #XAI, #separation, #sequences, #signal, #social, #sound, #speech, #styletransfer, #superresolution, #tabular, #text2image, #theory, #torrent, #training, #transformer, #translate, #tutorial, #twominutespapers, #video, #visualization, #waveforms, #гумунитарии, #дьяконов, #книги, #отборочные

Efficient Visual Pretraining with Contrastive Detection

Self-supervised learning обещает использовать огромные объемы данных, но существующие методы - медленные и дорогостоящие.

Звездный коллектив авторов из DeepMind представляет контрастное обнаружение (contrastive detection)- новый таргет, который позволяет получать полезные представления для многих задач, используя в 10 раз меньше вычислений.

Контрастное обнаружение усиливает полезный сигнал от каждого изображения, разрезая его на части и обучаясь на каждой из них одновременно. Этот подход особенно хорошо работает при переносе на сложные задачи, такие как обнаружение, сегментация и оценка глубины.

Статья

#SSL #ContrastiveLearning #detection #images