OpenAI выложили код и урезанную модель для GLIDE - своего ответа своему же DALL-E.
В отличие от полноценного GLIDE из публикации, публичная версия обучалась на отфильтрованном датасете. Видимо, чтобы исключить генерацию всякого непристойного или закопирайченного контента.
Бумага
Код
В отличие от полноценного GLIDE из публикации, публичная версия обучалась на отфильтрованном датасете. Видимо, чтобы исключить генерацию всякого непристойного или закопирайченного контента.
Бумага
Код
GitHub
GitHub - openai/glide-text2im: GLIDE: a diffusion-based text-conditional image synthesis model
GLIDE: a diffusion-based text-conditional image synthesis model - openai/glide-text2im
👍1
Forwarded from Мишин Лернинг
🎲 OpenAI создали и выложили конкурента DALL-E | GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models
Ни для кого не секрет, что диффузионные модели генерируют высококачественные синтетические изображения, особенно в сочетании с CLIP.
Ресерчеры начали прикручивать CLIP к Diffusion уже давно, но тут за дело (Diffusion по текстовому описанию) взялись ребята из OpenAI!
Результат — просто топ! И для синтеза, и для изменения изображений!
Кроме топовой 3.5B модели, OpenAI выложили модель поменьше в открытый доступ! Уже сделал колаб..
📰 Paper 💻 Code
🔮 Colab GLIDE OpenAI от Мишин Лернинг
Ни для кого не секрет, что диффузионные модели генерируют высококачественные синтетические изображения, особенно в сочетании с CLIP.
Ресерчеры начали прикручивать CLIP к Diffusion уже давно, но тут за дело (Diffusion по текстовому описанию) взялись ребята из OpenAI!
Результат — просто топ! И для синтеза, и для изменения изображений!
Кроме топовой 3.5B модели, OpenAI выложили модель поменьше в открытый доступ! Уже сделал колаб..
📰 Paper 💻 Code
🔮 Colab GLIDE OpenAI от Мишин Лернинг
ArcaneGAN - топ-1 в трендинге huggingface.co
Спасибо соотечественникам :D
Сейчас ажиотаж немного спал, но в пике очереди доходили до 10к человек.
Спасибо соотечественникам :D
Сейчас ажиотаж немного спал, но в пике очереди доходили до 10к человек.
Тут недавно выложили целый зоопарк из Latent Diffusion Models для различных задач, от Text Conditional Image Synthesis до Super Resolution.
Я могу сказать, что результаты работы CLIP guided diffusion они апскейлят гораздо лучше, чем делает тот же RealESR-GAN, топаз, и иже с ними.
Результат, как говорится, на лицо.
Код
Колаб для апскейла
Я могу сказать, что результаты работы CLIP guided diffusion они апскейлят гораздо лучше, чем делает тот же RealESR-GAN, топаз, и иже с ними.
Результат, как говорится, на лицо.
Код
Колаб для апскейла
Forwarded from Denis Sexy IT 🤖
Когда нейронка пытается сгенерировать трансформеров 🌚
Автор | Сделано с помощью ruDalle, в этом колабе (да, теперь можно делать длинные картинки)
Автор | Сделано с помощью ruDalle, в этом колабе (да, теперь можно делать длинные картинки)
Forwarded from ExMuffin
✍️ NeuralCorrector v.1.0 🦦
Вчера появилась новая нейронка GLIDE от OpenAI, которая помимо уже привычной генерации картинок из текстовых описаний умела дорисовывать объекты на изображение, которое мы подадим. Нужно просто маской указать где хочется добавить объект и все. Но требовать от пользователей заранее готовить картинку с этой маской мне не хотелось, поэтому я прямо в колаб добавил рисовалку, которой нужно будет закрашивать изменяемую область. Плюс встроенный переводчик для тех, кто привык писать запросы на родном языке. Ну и учитывая то, что на выходе мы получаем изображение 256х256, я добавил свежий алгоритм апскейла на диффьюзивных моделях. Инструмент очень сырой, поэтому если объект не добавится, нужно перезапустить блок с генерацией.
P.S. На фото «мужчина и пирог на столе»
https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/NeuralCorrector.ipynb
Вчера появилась новая нейронка GLIDE от OpenAI, которая помимо уже привычной генерации картинок из текстовых описаний умела дорисовывать объекты на изображение, которое мы подадим. Нужно просто маской указать где хочется добавить объект и все. Но требовать от пользователей заранее готовить картинку с этой маской мне не хотелось, поэтому я прямо в колаб добавил рисовалку, которой нужно будет закрашивать изменяемую область. Плюс встроенный переводчик для тех, кто привык писать запросы на родном языке. Ну и учитывая то, что на выходе мы получаем изображение 256х256, я добавил свежий алгоритм апскейла на диффьюзивных моделях. Инструмент очень сырой, поэтому если объект не добавится, нужно перезапустить блок с генерацией.
P.S. На фото «мужчина и пирог на столе»
https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/NeuralCorrector.ipynb
Forwarded from Мишин Лернинг
💖🎓 StyleSwin: Transformer-based GAN for High-resolution Image Generation | Microsoft не отстает!
Все мы помним, любим, скорбим и даже … на NVIDIA StyleGAN 1-2-ada-3, и это нормально!
StyleGAN зарекомендовал себя как топовая генеративная модель, способная, за «относительно» небольшие деньги и «относительно» небольшой датасет, обучиться генерировать очень качественные и реалистичные изображения!
Архитектуры StyleGAN базировались на сверхточных генераторах и дискриминаторах. Конечно были попытки, обучить TransGAN (на трансформерах), но увы, резолюшен был не очень. Зато мы получили важный опыт: нужны трюки с постепенным увеличением attention window для стабильности и ускорения обучения.
А кто у нас такой оконный и классный среди Трансформеров? - SWIN!
С сегодняшнего дня объявлена эпоха NEXT GEN для GAN’ов! Свертка мертва, Да здравствует Трансформер!
p.s.: Андрей, спасибо за новость!
📰 paper 💻 code (весов пока нет)
Все мы помним, любим, скорбим и даже … на NVIDIA StyleGAN 1-2-ada-3, и это нормально!
StyleGAN зарекомендовал себя как топовая генеративная модель, способная, за «относительно» небольшие деньги и «относительно» небольшой датасет, обучиться генерировать очень качественные и реалистичные изображения!
Архитектуры StyleGAN базировались на сверхточных генераторах и дискриминаторах. Конечно были попытки, обучить TransGAN (на трансформерах), но увы, резолюшен был не очень. Зато мы получили важный опыт: нужны трюки с постепенным увеличением attention window для стабильности и ускорения обучения.
А кто у нас такой оконный и классный среди Трансформеров? - SWIN!
С сегодняшнего дня объявлена эпоха NEXT GEN для GAN’ов! Свертка мертва, Да здравствует Трансформер!
p.s.: Андрей, спасибо за новость!
📰 paper 💻 code (весов пока нет)
👍1