Adversarial Latent Autoencoders

Авторы статьи добавили к StyleGAN дополнительный лосс из Autoencoders, который минимизирует разницу латентных векторов (вместо минимизации разницы в пиксельном пространстве между восстановленным изображением и оригиналом; привет Stable Diffusion). Это решило проблему генерации “мыльных” изображений, которой страдают AE.

Для этого они разбили дискриминатор, сделав его CNN часть энкодером, а оставшаяся FCN часть теперь принимает на вход эмбеддинг и, как и раньше, классифицирует его как фейк/реальный. Таким образом, можно повторно использовать веса дискриминатора.

Такой нехитрый трюк позволяет:
1. изменять реальные изображения, извлекая и манипулируя их скрытыми признаками
2. искать похожие изображения, сравнивая эмбеддинги
3. кластеризовать и размечать датасеты небольшим количеством лейблов

👨‍💻 Код
📖 Статья

#GAN #AE #CV
@karray