Compressed Vision for Efficient Video Understanding

DeepMind опубликовал интересную статью, с далеко идущими последствиями. Идея довольно простая и элегантная:

У нас есть много длинных видео, работать с ними сложно по ряду причин (long sequences, размер и тп). Так почему бы нам сначала не сжать эти видосы (с помощью нейрокодека), а потом обучать нейросеть уже на сжатых видео?

Так они и поступили. Мне кажется этот подход будет хорошо работать и с другими долгими последовательностями, например со стримами с датчиков.

🌟 Блог-пост
📖 Статья

#CV #compression #pretraining

Adversarial Latent Autoencoders

Авторы статьи добавили к StyleGAN дополнительный лосс из Autoencoders, который минимизирует разницу латентных векторов (вместо минимизации разницы в пиксельном пространстве между восстановленным изображением и оригиналом; привет Stable Diffusion). Это решило проблему генерации “мыльных” изображений, которой страдают AE.

Для этого они разбили дискриминатор, сделав его CNN часть энкодером, а оставшаяся FCN часть теперь принимает на вход эмбеддинг и, как и раньше, классифицирует его как фейк/реальный. Таким образом, можно повторно использовать веса дискриминатора.

Такой нехитрый трюк позволяет:
1. изменять реальные изображения, извлекая и манипулируя их скрытыми признаками
2. искать похожие изображения, сравнивая эмбеддинги
3. кластеризовать и размечать датасеты небольшим количеством лейблов

👨‍💻 Код
📖 Статья

#GAN #AE #CV
@karray