Ещё одна версия VQGAN + CLIP с другим типом аугментации и сэмплирования из модели. Предположительно даёт лучшее качество.
Colab
#text2image #generative #gan #CLIP
Colab
#text2image #generative #gan #CLIP
Sketch your own #GAN.
Работа показывает как можно манипулировать латентным пространством с помощью скетчей нарисованных от руки.
Выглядит очень интересно! (видео по ссылке)
Видео-обзор Яника
#images
Работа показывает как можно манипулировать латентным пространством с помощью скетчей нарисованных от руки.
Выглядит очень интересно! (видео по ссылке)
Видео-обзор Яника
#images
Twitter
AK
Sketch Your Own GAN pdf: arxiv.org/pdf/2108.02774… abs: arxiv.org/abs/2108.02774 project page: peterwang512.github.io/GANSketching/ method can mold GANs to match shapes and poses specified by sketches while maintaining realism and diversity
Тэги доступные в канале на данный момент:
#alphafold2, #astronomy, #audio, #augmentation, #automl, #bayes, #biology, #botany, #captioning, #categorical, #chemistry, #classification, #clip, #cnn, #code, #community, #competition, #compression, #conference, #contrastivelearning, #course, #datasets, #debugging, #demo, #depth, #detection, #diffusion, #dilation, #dimensionality, #distillation, #earthscience, #economics, #explainability, #gan, #generative, #geometric, #gnn, #gpt, #gpu, #graph, #hardware, #holdontoyoirpapers, #image2text, #images, #inference, #joke, #julia, #jupyterlab, #jupyterlite, #labeling, #latex, #lnl, #medicine, #metrics, #mlp, #money, #multimodal, #nas, #news, #nlp, #noise, #novelviews, #optimizer, #outliers, #physics, #presentation, #python, #resnet, #resources, #rl, #rnn, #rocauc, #science, #scientificml, #segmentation, #SSL, #XAI, #separation, #sequences, #signal, #social, #sound, #speech, #styletransfer, #superresolution, #tabular, #text2image, #theory, #torrent, #training, #transformer, #translate, #tutorial, #twominutespapers, #video, #visualization, #waveforms, #гумунитарии, #дьяконов, #книги, #отборочные
#alphafold2, #astronomy, #audio, #augmentation, #automl, #bayes, #biology, #botany, #captioning, #categorical, #chemistry, #classification, #clip, #cnn, #code, #community, #competition, #compression, #conference, #contrastivelearning, #course, #datasets, #debugging, #demo, #depth, #detection, #diffusion, #dilation, #dimensionality, #distillation, #earthscience, #economics, #explainability, #gan, #generative, #geometric, #gnn, #gpt, #gpu, #graph, #hardware, #holdontoyoirpapers, #image2text, #images, #inference, #joke, #julia, #jupyterlab, #jupyterlite, #labeling, #latex, #lnl, #medicine, #metrics, #mlp, #money, #multimodal, #nas, #news, #nlp, #noise, #novelviews, #optimizer, #outliers, #physics, #presentation, #python, #resnet, #resources, #rl, #rnn, #rocauc, #science, #scientificml, #segmentation, #SSL, #XAI, #separation, #sequences, #signal, #social, #sound, #speech, #styletransfer, #superresolution, #tabular, #text2image, #theory, #torrent, #training, #transformer, #translate, #tutorial, #twominutespapers, #video, #visualization, #waveforms, #гумунитарии, #дьяконов, #книги, #отборочные
VideoGPT: Video Generation using VQ-VAE and Transformers
Концептуально простая архитектура для масштабирования генеративного моделирования на основе правдоподобия (likelihood modeling) на естественное видео.
VideoGPT использует VQ-VAE, который выучивает латентные представления исходного видео с пониженной дискретизацией (downsampled), используя 3D-свертки и осевой self-attention.
Затем простая архитектура, типа #GPT, используется для авторегрессионного моделирования дискретных латентных представлений с помощью пространственно-временных позиционных кодировок (spatio-temporal position encodings).
Сеть способна генерировать видосы, конкурентоспособные с современными #GAN-моделями для генерации видео.
ArXiv
Проект
Colab
#video #generative
Концептуально простая архитектура для масштабирования генеративного моделирования на основе правдоподобия (likelihood modeling) на естественное видео.
VideoGPT использует VQ-VAE, который выучивает латентные представления исходного видео с пониженной дискретизацией (downsampled), используя 3D-свертки и осевой self-attention.
Затем простая архитектура, типа #GPT, используется для авторегрессионного моделирования дискретных латентных представлений с помощью пространственно-временных позиционных кодировок (spatio-temporal position encodings).
Сеть способна генерировать видосы, конкурентоспособные с современными #GAN-моделями для генерации видео.
ArXiv
Проект
Colab
#video #generative
This media is not supported in your browser
VIEW IN TELEGRAM
SofGAN: A Portrait Image Generator with Dynamic Styling
Генератор изображений SofGAN разделяет латентное пространство портретов на два подпространства: пространство геометрии и пространство текстур. Латентные коды, отобранные из двух подпространств, подаются на две ветви сети по отдельности: одна для генерации 3D-геометрии портретов с канонической позой, а другая - для генерации текстур.
Но это все фигня по сравнению с редактором который они поставляют вместе со своим ганом!
Статья
Проект
GitHub
#images #gan #generative
Генератор изображений SofGAN разделяет латентное пространство портретов на два подпространства: пространство геометрии и пространство текстур. Латентные коды, отобранные из двух подпространств, подаются на две ветви сети по отдельности: одна для генерации 3D-геометрии портретов с канонической позой, а другая - для генерации текстур.
Но это все фигня по сравнению с редактором который они поставляют вместе со своим ганом!
Статья
Проект
GitHub
#images #gan #generative
This media is not supported in your browser
VIEW IN TELEGRAM
π-GAN: Periodic Implicit Generative Adversarial Networks for 3D-Aware Image Synthesis
Последние достижения в области генеративных визуальных моделей и нейронного рендеринга ускорили прогресс в синтезе изображений с учетом 3D. Однако существующие подходы могут не обеспечивать адекватное представление на уровне слоев или генерировать изображения, не соответствующие многоракурсному представлению. Periodic Implicit Generative Adversarial Networks (π-GAN) предлагаются для высококачественного синтеза изображений с учетом 3D. π-GAN визуализирует сцены как контекстуальные 3D-представления с высокой детализацией, используя нейронные представления с периодическими функциями активации. Предложенный подход позволяет получить самые современные результаты для синтеза 3D-изображений на различных реальных и синтетических наборах данных.
Статья
Проект
Код
#gan #generative #images
Последние достижения в области генеративных визуальных моделей и нейронного рендеринга ускорили прогресс в синтезе изображений с учетом 3D. Однако существующие подходы могут не обеспечивать адекватное представление на уровне слоев или генерировать изображения, не соответствующие многоракурсному представлению. Periodic Implicit Generative Adversarial Networks (π-GAN) предлагаются для высококачественного синтеза изображений с учетом 3D. π-GAN визуализирует сцены как контекстуальные 3D-представления с высокой детализацией, используя нейронные представления с периодическими функциями активации. Предложенный подход позволяет получить самые современные результаты для синтеза 3D-изображений на различных реальных и синтетических наборах данных.
Статья
Проект
Код
#gan #generative #images
Media is too big
VIEW IN TELEGRAM
FreeStyleGAN: Редактируемый портретный рендеринг со свободным обзором
Смотрите какую штуку забабахали французы. Успеха добиваются благодаря camera manifold и отдельному обучению малой сети для каждого лица. FSGAN предлагает первый действительно свободный рендеринг реалистичных лиц с интерактивной скоростью. Закидываешь лишь небольшое количество случайных фотографий в качестве входных данных и получаешь возможности редактирования, такие как изменение выражения лица или освещения.
Сайт
Статья
Код обещают в октябре
#gan
Смотрите какую штуку забабахали французы. Успеха добиваются благодаря camera manifold и отдельному обучению малой сети для каждого лица. FSGAN предлагает первый действительно свободный рендеринг реалистичных лиц с интерактивной скоростью. Закидываешь лишь небольшое количество случайных фотографий в качестве входных данных и получаешь возможности редактирования, такие как изменение выражения лица или освещения.
Сайт
Статья
Код обещают в октябре
#gan
5 минут назад выложили код StyleGan3 (он же Alias-Free GAN, про который я писал тут) - го тестить кто может!
Код
UPD: собрал Colab StyleGAN3
#gan
Код
UPD: собрал Colab StyleGAN3
#gan
🔥StyleGAN3 + CLIP
В твиттере выложили Colab для StyleGAN3+CLIP (с помощью текста, можно направлять генерацию картинки, а потом создавать красивые видосы), а я привел его к божескому виду, что бы было просто играться (и это что-то!)
💻Colab
P.S.: на картинке an amazon warrior трансформированный из MetFaces
#gan #text2image #clip
В твиттере выложили Colab для StyleGAN3+CLIP (с помощью текста, можно направлять генерацию картинки, а потом создавать красивые видосы), а я привел его к божескому виду, что бы было просто играться (и это что-то!)
💻Colab
P.S.: на картинке an amazon warrior трансформированный из MetFaces
#gan #text2image #clip
StyleGAN3. Смешать, но не взбалтывать.
Я тут попробовал кое-что безумное, и на удивление это сработало. Берем веса обученого SG3 на MetFace (картины) и берем веса обученые на FFHQ (фотографии лиц). Складываем между собой и делим на 2. И вуаля - получаем GAN который рисует что-то среднее между портретом и фотографией
UPD: я вообще не намереваюсь этот канал превратить в обитель StyleGAN 😂
#gan
Я тут попробовал кое-что безумное, и на удивление это сработало. Берем веса обученого SG3 на MetFace (картины) и берем веса обученые на FFHQ (фотографии лиц). Складываем между собой и делим на 2. И вуаля - получаем GAN который рисует что-то среднее между портретом и фотографией
UPD: я вообще не намереваюсь этот канал превратить в обитель StyleGAN 😂
#gan
Pixray Panorama
Ещё чуть чуть искусства в нашем научном сообществе. Недавно, Алексей Тихонов выложил крутейший блокнот для генерации пиксельных панорам с помощью PixelDraw + CLIP. Присылайте в комменты что получилось!
💻Colab
#text2image #gan #clip
Ещё чуть чуть искусства в нашем научном сообществе. Недавно, Алексей Тихонов выложил крутейший блокнот для генерации пиксельных панорам с помощью PixelDraw + CLIP. Присылайте в комменты что получилось!
💻Colab
#text2image #gan #clip
This media is not supported in your browser
VIEW IN TELEGRAM
This is Heloween
На просторах твиттера откопал колабчик, который позволяет преобразовать любое лицо во что угодно с помощью текста (CLIP). Самое то для следующих выходных 🎃
💻 Colab
#gan #text2image #CLIP
На просторах твиттера откопал колабчик, который позволяет преобразовать любое лицо во что угодно с помощью текста (CLIP). Самое то для следующих выходных 🎃
💻 Colab
#gan #text2image #CLIP
Image Manipulation with Only Pretrained StyleGAN
StyleGAN позволяет манипулировать и редактировать изображения благодаря своему обширному латентному пространству.
В данной работе, авторы показывают, что с помощью предварительно обученного StyleGAN вместе с некоторыми операциями, без какой-либо дополнительной архитектуры, можно смешивать изображения, генерировать панорамы, применять стили и много другое. Look mum, no clip!
💻 Colab
📎 Статья
🖥 Код
#gan #images
StyleGAN позволяет манипулировать и редактировать изображения благодаря своему обширному латентному пространству.
В данной работе, авторы показывают, что с помощью предварительно обученного StyleGAN вместе с некоторыми операциями, без какой-либо дополнительной архитектуры, можно смешивать изображения, генерировать панорамы, применять стили и много другое. Look mum, no clip!
💻 Colab
📎 Статья
🖥 Код
#gan #images
This media is not supported in your browser
VIEW IN TELEGRAM
EditGAN: High-Precision Semantic Image Editing
NVidia продолжает наступать на пятки компании Adobe, предложив EditGAN. Этот метод, позволяет пользователям редактировать изображения.
EditGAN может манипулировать изображениями с беспрецедентным уровнем детализации и свободы, сохраняя при этом полное качество изображения.
EditGAN - это первая система редактирования изображений на основе GAN, которая одновременно (i) обеспечивает очень высокую точность редактирования, (ii) требует очень мало аннотированных обучающих данных (и не полагается на внешние классификаторы), (iii) может работать интерактивно в реальном времени, (iv) обеспечивает простую композицию нескольких правок, (v) и работает на реальных встроенных, сгенерированных GAN и даже внедоменных изображениях.
код обещают soon
🖥 Проект
📎 Статья
#GAN #editing #images
NVidia продолжает наступать на пятки компании Adobe, предложив EditGAN. Этот метод, позволяет пользователям редактировать изображения.
EditGAN может манипулировать изображениями с беспрецедентным уровнем детализации и свободы, сохраняя при этом полное качество изображения.
EditGAN - это первая система редактирования изображений на основе GAN, которая одновременно (i) обеспечивает очень высокую точность редактирования, (ii) требует очень мало аннотированных обучающих данных (и не полагается на внешние классификаторы), (iii) может работать интерактивно в реальном времени, (iv) обеспечивает простую композицию нескольких правок, (v) и работает на реальных встроенных, сгенерированных GAN и даже внедоменных изображениях.
код обещают soon
🖥 Проект
📎 Статья
#GAN #editing #images
This media is not supported in your browser
VIEW IN TELEGRAM
Шустрый diffusion GAN
За последнее пару лет было разработано большое разнообразие глубоких генеративных моделей. Эти модели обычно генерируют либо хорошо, либо быстро.
В частности, диффузионные модели продемонстрировали впечатляющее качество, но они просто невыносимо медленные (что не позволяет их применять во многих реальных приложениях). Исследователи из NVIDIA придумали как значительно ускорить процесс с помощью сложного мультимодального распределения. Они показали, что их диффузионные GAN сравнимы по качеству с оригинальными диффузионными моделями, но при этом работают в 2000 раз быстрее (на датасете CIFAR-10).
Denoising diffusion GAN - первая модель, которая снижает стоимость сэмплинга в диффузионных моделях до такой степени, что позволяет задёшево применять их в реальных приложениях.
📎 Статья
🖥 Проект
💻 Код
#diffusion #gan #generative
За последнее пару лет было разработано большое разнообразие глубоких генеративных моделей. Эти модели обычно генерируют либо хорошо, либо быстро.
В частности, диффузионные модели продемонстрировали впечатляющее качество, но они просто невыносимо медленные (что не позволяет их применять во многих реальных приложениях). Исследователи из NVIDIA придумали как значительно ускорить процесс с помощью сложного мультимодального распределения. Они показали, что их диффузионные GAN сравнимы по качеству с оригинальными диффузионными моделями, но при этом работают в 2000 раз быстрее (на датасете CIFAR-10).
Denoising diffusion GAN - первая модель, которая снижает стоимость сэмплинга в диффузионных моделях до такой степени, что позволяет задёшево применять их в реальных приложениях.
📎 Статья
🖥 Проект
💻 Код
#diffusion #gan #generative
MaskGIT: Masked Generative Image Transformer
Генеративные трансформаторы быстро завоевали популярность для синтеза реалистичных изображений.
В статье предлагается новая парадигма синтеза изображений с использованием двунаправленного декодера трансформера, который авторы называют MaskGIT. Во время обучения, MaskGIT учится предсказывать случайные спрятанные кусочки. Во время инференса модель начинает с одновременной генерации всех кусочков изображения, а затем итеративно уточняет изображение с учетом предыдущей генерации.
Эксперименты показывают, что MaskGIT значительно превосходит SOTA на ImageNet и ускоряет декодинг до 64 раз.
📎 Статья
#transformer #gan #generative #images
Генеративные трансформаторы быстро завоевали популярность для синтеза реалистичных изображений.
В статье предлагается новая парадигма синтеза изображений с использованием двунаправленного декодера трансформера, который авторы называют MaskGIT. Во время обучения, MaskGIT учится предсказывать случайные спрятанные кусочки. Во время инференса модель начинает с одновременной генерации всех кусочков изображения, а затем итеративно уточняет изображение с учетом предыдущей генерации.
Эксперименты показывают, что MaskGIT значительно превосходит SOTA на ImageNet и ускоряет декодинг до 64 раз.
📎 Статья
#transformer #gan #generative #images