Моя версия блокнота VQGAN+CLIP добралась до 🤗 Spaces.
Поиграться можно хоть с телефона
#text2image #GAN #CLIP #demo
Поиграться можно хоть с телефона
#text2image #GAN #CLIP #demo
Twitter
AK
VQGAN + CLIP public now on @huggingface Spaces using @Gradio link: huggingface.co/spaces/akhaliq…
StyleGAN-NADA преобразует предварительно обученный генератор в новые домены, используя только текстовую подсказку и без обучающих данных.
Естественно направляет его CLIP.
Project
#GAN #CLIP #multimodal
Естественно направляет его CLIP.
Project
#GAN #CLIP #multimodal
Ещё одна версия VQGAN + CLIP с другим типом аугментации и сэмплирования из модели. Предположительно даёт лучшее качество.
Colab
#text2image #generative #gan #CLIP
Colab
#text2image #generative #gan #CLIP
Sketch your own #GAN.
Работа показывает как можно манипулировать латентным пространством с помощью скетчей нарисованных от руки.
Выглядит очень интересно! (видео по ссылке)
Видео-обзор Яника
#images
Работа показывает как можно манипулировать латентным пространством с помощью скетчей нарисованных от руки.
Выглядит очень интересно! (видео по ссылке)
Видео-обзор Яника
#images
Twitter
AK
Sketch Your Own GAN pdf: arxiv.org/pdf/2108.02774… abs: arxiv.org/abs/2108.02774 project page: peterwang512.github.io/GANSketching/ method can mold GANs to match shapes and poses specified by sketches while maintaining realism and diversity
Тэги доступные в канале на данный момент:
#alphafold2, #astronomy, #audio, #augmentation, #automl, #bayes, #biology, #botany, #captioning, #categorical, #chemistry, #classification, #clip, #cnn, #code, #community, #competition, #compression, #conference, #contrastivelearning, #course, #datasets, #debugging, #demo, #depth, #detection, #diffusion, #dilation, #dimensionality, #distillation, #earthscience, #economics, #explainability, #gan, #generative, #geometric, #gnn, #gpt, #gpu, #graph, #hardware, #holdontoyoirpapers, #image2text, #images, #inference, #joke, #julia, #jupyterlab, #jupyterlite, #labeling, #latex, #lnl, #medicine, #metrics, #mlp, #money, #multimodal, #nas, #news, #nlp, #noise, #novelviews, #optimizer, #outliers, #physics, #presentation, #python, #resnet, #resources, #rl, #rnn, #rocauc, #science, #scientificml, #segmentation, #SSL, #XAI, #separation, #sequences, #signal, #social, #sound, #speech, #styletransfer, #superresolution, #tabular, #text2image, #theory, #torrent, #training, #transformer, #translate, #tutorial, #twominutespapers, #video, #visualization, #waveforms, #гумунитарии, #дьяконов, #книги, #отборочные
#alphafold2, #astronomy, #audio, #augmentation, #automl, #bayes, #biology, #botany, #captioning, #categorical, #chemistry, #classification, #clip, #cnn, #code, #community, #competition, #compression, #conference, #contrastivelearning, #course, #datasets, #debugging, #demo, #depth, #detection, #diffusion, #dilation, #dimensionality, #distillation, #earthscience, #economics, #explainability, #gan, #generative, #geometric, #gnn, #gpt, #gpu, #graph, #hardware, #holdontoyoirpapers, #image2text, #images, #inference, #joke, #julia, #jupyterlab, #jupyterlite, #labeling, #latex, #lnl, #medicine, #metrics, #mlp, #money, #multimodal, #nas, #news, #nlp, #noise, #novelviews, #optimizer, #outliers, #physics, #presentation, #python, #resnet, #resources, #rl, #rnn, #rocauc, #science, #scientificml, #segmentation, #SSL, #XAI, #separation, #sequences, #signal, #social, #sound, #speech, #styletransfer, #superresolution, #tabular, #text2image, #theory, #torrent, #training, #transformer, #translate, #tutorial, #twominutespapers, #video, #visualization, #waveforms, #гумунитарии, #дьяконов, #книги, #отборочные
VideoGPT: Video Generation using VQ-VAE and Transformers
Концептуально простая архитектура для масштабирования генеративного моделирования на основе правдоподобия (likelihood modeling) на естественное видео.
VideoGPT использует VQ-VAE, который выучивает латентные представления исходного видео с пониженной дискретизацией (downsampled), используя 3D-свертки и осевой self-attention.
Затем простая архитектура, типа #GPT, используется для авторегрессионного моделирования дискретных латентных представлений с помощью пространственно-временных позиционных кодировок (spatio-temporal position encodings).
Сеть способна генерировать видосы, конкурентоспособные с современными #GAN-моделями для генерации видео.
ArXiv
Проект
Colab
#video #generative
Концептуально простая архитектура для масштабирования генеративного моделирования на основе правдоподобия (likelihood modeling) на естественное видео.
VideoGPT использует VQ-VAE, который выучивает латентные представления исходного видео с пониженной дискретизацией (downsampled), используя 3D-свертки и осевой self-attention.
Затем простая архитектура, типа #GPT, используется для авторегрессионного моделирования дискретных латентных представлений с помощью пространственно-временных позиционных кодировок (spatio-temporal position encodings).
Сеть способна генерировать видосы, конкурентоспособные с современными #GAN-моделями для генерации видео.
ArXiv
Проект
Colab
#video #generative
This media is not supported in your browser
VIEW IN TELEGRAM
SofGAN: A Portrait Image Generator with Dynamic Styling
Генератор изображений SofGAN разделяет латентное пространство портретов на два подпространства: пространство геометрии и пространство текстур. Латентные коды, отобранные из двух подпространств, подаются на две ветви сети по отдельности: одна для генерации 3D-геометрии портретов с канонической позой, а другая - для генерации текстур.
Но это все фигня по сравнению с редактором который они поставляют вместе со своим ганом!
Статья
Проект
GitHub
#images #gan #generative
Генератор изображений SofGAN разделяет латентное пространство портретов на два подпространства: пространство геометрии и пространство текстур. Латентные коды, отобранные из двух подпространств, подаются на две ветви сети по отдельности: одна для генерации 3D-геометрии портретов с канонической позой, а другая - для генерации текстур.
Но это все фигня по сравнению с редактором который они поставляют вместе со своим ганом!
Статья
Проект
GitHub
#images #gan #generative
This media is not supported in your browser
VIEW IN TELEGRAM
π-GAN: Periodic Implicit Generative Adversarial Networks for 3D-Aware Image Synthesis
Последние достижения в области генеративных визуальных моделей и нейронного рендеринга ускорили прогресс в синтезе изображений с учетом 3D. Однако существующие подходы могут не обеспечивать адекватное представление на уровне слоев или генерировать изображения, не соответствующие многоракурсному представлению. Periodic Implicit Generative Adversarial Networks (π-GAN) предлагаются для высококачественного синтеза изображений с учетом 3D. π-GAN визуализирует сцены как контекстуальные 3D-представления с высокой детализацией, используя нейронные представления с периодическими функциями активации. Предложенный подход позволяет получить самые современные результаты для синтеза 3D-изображений на различных реальных и синтетических наборах данных.
Статья
Проект
Код
#gan #generative #images
Последние достижения в области генеративных визуальных моделей и нейронного рендеринга ускорили прогресс в синтезе изображений с учетом 3D. Однако существующие подходы могут не обеспечивать адекватное представление на уровне слоев или генерировать изображения, не соответствующие многоракурсному представлению. Periodic Implicit Generative Adversarial Networks (π-GAN) предлагаются для высококачественного синтеза изображений с учетом 3D. π-GAN визуализирует сцены как контекстуальные 3D-представления с высокой детализацией, используя нейронные представления с периодическими функциями активации. Предложенный подход позволяет получить самые современные результаты для синтеза 3D-изображений на различных реальных и синтетических наборах данных.
Статья
Проект
Код
#gan #generative #images
Media is too big
VIEW IN TELEGRAM
FreeStyleGAN: Редактируемый портретный рендеринг со свободным обзором
Смотрите какую штуку забабахали французы. Успеха добиваются благодаря camera manifold и отдельному обучению малой сети для каждого лица. FSGAN предлагает первый действительно свободный рендеринг реалистичных лиц с интерактивной скоростью. Закидываешь лишь небольшое количество случайных фотографий в качестве входных данных и получаешь возможности редактирования, такие как изменение выражения лица или освещения.
Сайт
Статья
Код обещают в октябре
#gan
Смотрите какую штуку забабахали французы. Успеха добиваются благодаря camera manifold и отдельному обучению малой сети для каждого лица. FSGAN предлагает первый действительно свободный рендеринг реалистичных лиц с интерактивной скоростью. Закидываешь лишь небольшое количество случайных фотографий в качестве входных данных и получаешь возможности редактирования, такие как изменение выражения лица или освещения.
Сайт
Статья
Код обещают в октябре
#gan
5 минут назад выложили код StyleGan3 (он же Alias-Free GAN, про который я писал тут) - го тестить кто может!
Код
UPD: собрал Colab StyleGAN3
#gan
Код
UPD: собрал Colab StyleGAN3
#gan
🔥StyleGAN3 + CLIP
В твиттере выложили Colab для StyleGAN3+CLIP (с помощью текста, можно направлять генерацию картинки, а потом создавать красивые видосы), а я привел его к божескому виду, что бы было просто играться (и это что-то!)
💻Colab
P.S.: на картинке an amazon warrior трансформированный из MetFaces
#gan #text2image #clip
В твиттере выложили Colab для StyleGAN3+CLIP (с помощью текста, можно направлять генерацию картинки, а потом создавать красивые видосы), а я привел его к божескому виду, что бы было просто играться (и это что-то!)
💻Colab
P.S.: на картинке an amazon warrior трансформированный из MetFaces
#gan #text2image #clip
StyleGAN3. Смешать, но не взбалтывать.
Я тут попробовал кое-что безумное, и на удивление это сработало. Берем веса обученого SG3 на MetFace (картины) и берем веса обученые на FFHQ (фотографии лиц). Складываем между собой и делим на 2. И вуаля - получаем GAN который рисует что-то среднее между портретом и фотографией
UPD: я вообще не намереваюсь этот канал превратить в обитель StyleGAN 😂
#gan
Я тут попробовал кое-что безумное, и на удивление это сработало. Берем веса обученого SG3 на MetFace (картины) и берем веса обученые на FFHQ (фотографии лиц). Складываем между собой и делим на 2. И вуаля - получаем GAN который рисует что-то среднее между портретом и фотографией
UPD: я вообще не намереваюсь этот канал превратить в обитель StyleGAN 😂
#gan
Pixray Panorama
Ещё чуть чуть искусства в нашем научном сообществе. Недавно, Алексей Тихонов выложил крутейший блокнот для генерации пиксельных панорам с помощью PixelDraw + CLIP. Присылайте в комменты что получилось!
💻Colab
#text2image #gan #clip
Ещё чуть чуть искусства в нашем научном сообществе. Недавно, Алексей Тихонов выложил крутейший блокнот для генерации пиксельных панорам с помощью PixelDraw + CLIP. Присылайте в комменты что получилось!
💻Colab
#text2image #gan #clip
This media is not supported in your browser
VIEW IN TELEGRAM
This is Heloween
На просторах твиттера откопал колабчик, который позволяет преобразовать любое лицо во что угодно с помощью текста (CLIP). Самое то для следующих выходных 🎃
💻 Colab
#gan #text2image #CLIP
На просторах твиттера откопал колабчик, который позволяет преобразовать любое лицо во что угодно с помощью текста (CLIP). Самое то для следующих выходных 🎃
💻 Colab
#gan #text2image #CLIP
Image Manipulation with Only Pretrained StyleGAN
StyleGAN позволяет манипулировать и редактировать изображения благодаря своему обширному латентному пространству.
В данной работе, авторы показывают, что с помощью предварительно обученного StyleGAN вместе с некоторыми операциями, без какой-либо дополнительной архитектуры, можно смешивать изображения, генерировать панорамы, применять стили и много другое. Look mum, no clip!
💻 Colab
📎 Статья
🖥 Код
#gan #images
StyleGAN позволяет манипулировать и редактировать изображения благодаря своему обширному латентному пространству.
В данной работе, авторы показывают, что с помощью предварительно обученного StyleGAN вместе с некоторыми операциями, без какой-либо дополнительной архитектуры, можно смешивать изображения, генерировать панорамы, применять стили и много другое. Look mum, no clip!
💻 Colab
📎 Статья
🖥 Код
#gan #images