This is Heloween

На просторах твиттера откопал колабчик, который позволяет преобразовать любое лицо во что угодно с помощью текста (CLIP). Самое то для следующих выходных 🎃

💻 Colab

#gan #text2image #CLIP

Image Manipulation with Only Pretrained StyleGAN

StyleGAN позволяет манипулировать и редактировать изображения благодаря своему обширному латентному пространству.

В данной работе, авторы показывают, что с помощью предварительно обученного StyleGAN вместе с некоторыми операциями, без какой-либо дополнительной архитектуры, можно смешивать изображения, генерировать панорамы, применять стили и много другое. Look mum, no clip!

💻 Colab
📎 Статья
🖥 Код

#gan #images

EditGAN: High-Precision Semantic Image Editing

NVidia продолжает наступать на пятки компании Adobe, предложив EditGAN. Этот метод, позволяет пользователям редактировать изображения.

EditGAN может манипулировать изображениями с беспрецедентным уровнем детализации и свободы, сохраняя при этом полное качество изображения.

EditGAN - это первая система редактирования изображений на основе GAN, которая одновременно (i) обеспечивает очень высокую точность редактирования, (ii) требует очень мало аннотированных обучающих данных (и не полагается на внешние классификаторы), (iii) может работать интерактивно в реальном времени, (iv) обеспечивает простую композицию нескольких правок, (v) и работает на реальных встроенных, сгенерированных GAN и даже внедоменных изображениях.

код обещают soon

🖥 Проект
📎 Статья

#GAN #editing #images

Шустрый diffusion GAN

За последнее пару лет было разработано большое разнообразие глубоких генеративных моделей. Эти модели обычно генерируют либо хорошо, либо быстро.

В частности, диффузионные модели продемонстрировали впечатляющее качество, но они просто невыносимо медленные (что не позволяет их применять во многих реальных приложениях). Исследователи из NVIDIA придумали как значительно ускорить процесс с помощью сложного мультимодального распределения. Они показали, что их диффузионные GAN сравнимы по качеству с оригинальными диффузионными моделями, но при этом работают в 2000 раз быстрее (на датасете CIFAR-10).

Denoising diffusion GAN - первая модель, которая снижает стоимость сэмплинга в диффузионных моделях до такой степени, что позволяет задёшево применять их в реальных приложениях.

📎 Статья
🖥 Проект
💻 Код

#diffusion #gan #generative

MaskGIT: Masked Generative Image Transformer

Генеративные трансформаторы быстро завоевали популярность для синтеза реалистичных изображений.

В статье предлагается новая парадигма синтеза изображений с использованием двунаправленного декодера трансформера, который авторы называют MaskGIT. Во время обучения, MaskGIT учится предсказывать случайные спрятанные кусочки. Во время инференса модель начинает с одновременной генерации всех кусочков изображения, а затем итеративно уточняет изображение с учетом предыдущей генерации.

Эксперименты показывают, что MaskGIT значительно превосходит SOTA на ImageNet и ускоряет декодинг до 64 раз.

📎 Статья

#transformer #gan #generative #images

Adversarial Latent Autoencoders

Авторы статьи добавили к StyleGAN дополнительный лосс из Autoencoders, который минимизирует разницу латентных векторов (вместо минимизации разницы в пиксельном пространстве между восстановленным изображением и оригиналом; привет Stable Diffusion). Это решило проблему генерации “мыльных” изображений, которой страдают AE.

Для этого они разбили дискриминатор, сделав его CNN часть энкодером, а оставшаяся FCN часть теперь принимает на вход эмбеддинг и, как и раньше, классифицирует его как фейк/реальный. Таким образом, можно повторно использовать веса дискриминатора.

Такой нехитрый трюк позволяет:
1. изменять реальные изображения, извлекая и манипулируя их скрытыми признаками
2. искать похожие изображения, сравнивая эмбеддинги
3. кластеризовать и размечать датасеты небольшим количеством лейблов

👨‍💻 Код
📖 Статья

#GAN #AE #CV
@karray