CLIP Guided Diffusion Uncond

Вновь обновился Colab с Guided Diffusion (нейросеть которая позволяет из любого текста сделать картинку). Качество изображений стало ещё лучше, теперь неплохо получаются лица.

Бежим играть - делитесь в комментах, что у вас получилось.

(Prompt с обложки поста: the rise of consciousness)

#generative #diffusion #CLIP #images #multimodal #text2image

CLIPIT PixelDraw

Возможно некоторые из вас уже видели новую сеть для генерации Pixel Art из текстового описания. И вот наконец к ней выложили Colab с которым можно поиграться самостоятельно.

#generative #CLIP #multimodal #images #text2image

Learning to Prompt for Vision-Language Models

Устали от настройки prompts для моделей языка зрения, таких как CLIP?

Почему бы не использовать CoOp для изучения prompts! Он эффективен с точки зрения данных и обобщаем в конкретных областях😎

Основная идея CoOp заключается в моделировании контекста в подсказках с помощью непрерывных представлений и выполнении сквозного обучения на основе данных. CoOp демонстрирует способность к эффективному обучению на основе данных, а также устойчивость к изменению распределения.

Статья
Код

#prompting #transformer #multimodal #images #text #text2image

Обновился блокнот CLIPPixelArt, ещё более красивые картинки и ещё больше вариантов генерации

Colab

#generative #text2image #clip #multimodal

Guided diffusion update

Обновился блокнот guided diffusion 512x512. Модификация позволяет использовать cutn=128 на графических процессорах Colab (более высокое качество вывода). Для этого cutn разделяется на четыре батча с cutn=32 и накапливает градиенты, но быстрым способом.

Colab

#text2image #diffusion #generative

🔥StyleGAN3 + CLIP

В твиттере выложили Colab для StyleGAN3+CLIP (с помощью текста, можно направлять генерацию картинки, а потом создавать красивые видосы), а я привел его к божескому виду, что бы было просто играться (и это что-то!)

💻Colab

P.S.: на картинке an amazon warrior трансформированный из MetFaces

#gan #text2image #clip

Pixray Panorama

Ещё чуть чуть искусства в нашем научном сообществе. Недавно, Алексей Тихонов выложил крутейший блокнот для генерации пиксельных панорам с помощью PixelDraw + CLIP. Присылайте в комменты что получилось!

💻Colab

#text2image #gan #clip

This is Heloween

На просторах твиттера откопал колабчик, который позволяет преобразовать любое лицо во что угодно с помощью текста (CLIP). Самое то для следующих выходных 🎃

💻 Colab

#gan #text2image #CLIP

Не знаю какую чёрную магию они туда прикрутили, но их генеративная модель (да, это нарисовала нейросеть) выглядит на порядок стильнее, чем все, что мы видели до этого! И вроде как пускают тестить бету

#text2image

Обновился блокнот DiscoDiffusion по генерации чумовых картинок и видео.

- Turbo Mode from @zippy731
- Smoother video init
- 3D rotation params are now in degrees rather than radians
- diffusion_sampling_mode allows selection of DDIM vs PLMS

Играть тут

#text2image

DiffusionCLIP: Text-Guided Diffusion Models for Robust Image Manipulation

За последний год, методы инверсии GAN в сочетании с CLIP позволили редактировать фотографии на совершенно новом уровне. Однако их применение в продакшене все еще затруднено из-за ограниченных возможностей инверсии GAN. Вместо GAN можно использовать DiffusionCLIP, который выполняет редактирование изображений с помощью текста с использованием диффузионных моделей и делает это лучше.

🖥 Colab
📎 Статья
🐙 Git

#diffusion #text2image

Долгое время, проблемой генерации картинок был текст. Оказалось, что если использовать ещё больше данных (ну и парочку доп трюков), то все с ним становиться хорошо.

Обновлённый блокнот LAION-400M умеет выдавать до 8 картинок за 20 секунд на бесплатной версии Colab.

🦄 Творить

Присылайте ваши шедевры в комменты (лучшие работы вставлю в 8ую лекцию курса про генеративные сети)

#text2image