Моя версия блокнота VQGAN+CLIP добралась до 🤗 Spaces.

Поиграться можно хоть с телефона

#text2image #GAN #CLIP #demo

StyleGAN-NADA преобразует предварительно обученный генератор в новые домены, используя только текстовую подсказку и без обучающих данных.

Естественно направляет его CLIP.

Project

#GAN #CLIP #multimodal

Ещё одна версия VQGAN + CLIP с другим типом аугментации и сэмплирования из модели. Предположительно даёт лучшее качество.

Colab

#text2image #generative #gan #CLIP

Sketch your own #GAN.

Работа показывает как можно манипулировать латентным пространством с помощью скетчей нарисованных от руки.

Выглядит очень интересно! (видео по ссылке)
Видео-обзор Яника

#images

Тэги доступные в канале на данный момент:
#alphafold2, #astronomy, #audio, #augmentation, #automl, #bayes, #biology, #botany, #captioning, #categorical, #chemistry, #classification, #clip, #cnn, #code, #community, #competition, #compression, #conference, #contrastivelearning, #course, #datasets, #debugging, #demo, #depth, #detection, #diffusion, #dilation, #dimensionality, #distillation, #earthscience, #economics, #explainability, #gan, #generative, #geometric, #gnn, #gpt, #gpu, #graph, #hardware, #holdontoyoirpapers, #image2text, #images, #inference, #joke, #julia, #jupyterlab, #jupyterlite, #labeling, #latex, #lnl, #medicine, #metrics, #mlp, #money, #multimodal, #nas, #news, #nlp, #noise, #novelviews, #optimizer, #outliers, #physics, #presentation, #python, #resnet, #resources, #rl, #rnn, #rocauc, #science, #scientificml, #segmentation, #SSL, #XAI, #separation, #sequences, #signal, #social, #sound, #speech, #styletransfer, #superresolution, #tabular, #text2image, #theory, #torrent, #training, #transformer, #translate, #tutorial, #twominutespapers, #video, #visualization, #waveforms, #гумунитарии, #дьяконов, #книги, #отборочные

VideoGPT: Video Generation using VQ-VAE and Transformers

Концептуально простая архитектура для масштабирования генеративного моделирования на основе правдоподобия (likelihood modeling) на естественное видео.

VideoGPT использует VQ-VAE, который выучивает латентные представления исходного видео с пониженной дискретизацией (downsampled), используя 3D-свертки и осевой self-attention.

Затем простая архитектура, типа #GPT, используется для авторегрессионного моделирования дискретных латентных представлений с помощью пространственно-временных позиционных кодировок (spatio-temporal position encodings).

Сеть способна генерировать видосы, конкурентоспособные с современными #GAN-моделями для генерации видео.

ArXiv
Проект
Colab

#video #generative

SofGAN: A Portrait Image Generator with Dynamic Styling

Генератор изображений SofGAN разделяет латентное пространство портретов на два подпространства: пространство геометрии и пространство текстур. Латентные коды, отобранные из двух подпространств, подаются на две ветви сети по отдельности: одна для генерации 3D-геометрии портретов с канонической позой, а другая - для генерации текстур.

Но это все фигня по сравнению с редактором который они поставляют вместе со своим ганом!

Статья
Проект
GitHub

#images #gan #generative

π-GAN: Periodic Implicit Generative Adversarial Networks for 3D-Aware Image Synthesis

Последние достижения в области генеративных визуальных моделей и нейронного рендеринга ускорили прогресс в синтезе изображений с учетом 3D. Однако существующие подходы могут не обеспечивать адекватное представление на уровне слоев или генерировать изображения, не соответствующие многоракурсному представлению. Periodic Implicit Generative Adversarial Networks (π-GAN) предлагаются для высококачественного синтеза изображений с учетом 3D. π-GAN визуализирует сцены как контекстуальные 3D-представления с высокой детализацией, используя нейронные представления с периодическими функциями активации. Предложенный подход позволяет получить самые современные результаты для синтеза 3D-изображений на различных реальных и синтетических наборах данных.

Статья
Проект
Код

#gan #generative #images

#gan сам собирался написать, но меня опередили 😂

#gan #multimodal

FreeStyleGAN: Редактируемый портретный рендеринг со свободным обзором

Смотрите какую штуку забабахали французы. Успеха добиваются благодаря camera manifold и отдельному обучению малой сети для каждого лица. FSGAN предлагает первый действительно свободный рендеринг реалистичных лиц с интерактивной скоростью. Закидываешь лишь небольшое количество случайных фотографий в качестве входных данных и получаешь возможности редактирования, такие как изменение выражения лица или освещения.

Сайт
Статья
Код обещают в октябре

#gan

Anti-alias GAN, про который я писал тут, будет переименован в StyleGan3 и зарелизен на гите 11 октября.

#gan #news

5 минут назад выложили код StyleGan3 (он же Alias-Free GAN, про который я писал тут) - го тестить кто может!

Код

UPD: собрал Colab StyleGAN3

#gan

🔥StyleGAN3 + CLIP

В твиттере выложили Colab для StyleGAN3+CLIP (с помощью текста, можно направлять генерацию картинки, а потом создавать красивые видосы), а я привел его к божескому виду, что бы было просто играться (и это что-то!)

💻Colab

P.S.: на картинке an amazon warrior трансформированный из MetFaces

#gan #text2image #clip

StyleGAN3. Смешать, но не взбалтывать.

Я тут попробовал кое-что безумное, и на удивление это сработало. Берем веса обученого SG3 на MetFace (картины) и берем веса обученые на FFHQ (фотографии лиц). Складываем между собой и делим на 2. И вуаля - получаем GAN который рисует что-то среднее между портретом и фотографией

UPD: я вообще не намереваюсь этот канал превратить в обитель StyleGAN 😂

#gan

Pixray Panorama

Ещё чуть чуть искусства в нашем научном сообществе. Недавно, Алексей Тихонов выложил крутейший блокнот для генерации пиксельных панорам с помощью PixelDraw + CLIP. Присылайте в комменты что получилось!

💻Colab

#text2image #gan #clip

StyleGAN3 Music Video

Вдохновившись танцующими котиками, сделал демку для генерации музыкальных видео. Можно использовать со всеми доступнами моделями StyleGAN и с любыми музыкальными трэками (привзяно к частотам)

💻Играть в моем колабе

#GAN #demo #audio