👘 NeuralWardrobe v.1.0 👔

Около месяца назад меня посещала мысль погенерировать СтайлГАНом какие-нибудь новые модные наряды, но буквально недавно я наткнулся на примеры создания образов с помощью ruDALL-E и был приятно удивлен. Качество потрясающее и генерируется относительно быстро. А с помощью встроенного переводчика вы можете на любом языке подсказывать этому НейроГардеробу то, какую именно одежду вы хотите на себе видеть.

P.S. На примере выше Илон в спортивном костюме, Девушка из Матрицы в деловом костюме и Кристиан в платье. Каждый из этих наборов (8 картинок) генерировался 30 минут.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/NeuralWardrobe.ipynb

допилил колаб для стилизации видео в аниме. теперь обрабатывает весь кадр. из нового:
можно подключить гугл.диск (с ним загрузка и скачивание гораздо быстрее);
фреймрейт и звук оригинального видео сохранятся в стилизованном;
после стилизации добавил улучшение алгоритмом Real-ESRGAN.

нужно помнить что сеть обучена на лицах и если их в кадре не определит, получится абстракция, примеры можно увидеть тут

новый колаб
предыдущая версия
animegan2-pytorch
Real-ESRGAN

ArcaneGAN для видео на huggingface! без регистрации и смс) отправляешь файл, жмешь submit, ждешь, забираешь

а почему нет

свершилось! теперь Lucid Sonic Dreams и StyleGAN3 дружат в этом колабе. все очень доступно и просто - подаешь на вход музыку, выбираешь модель для генерации и на выходе получаешь музыкальное видео.

🎲 OpenAI создали и выложили конкурента DALL-E | GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models

Ни для кого не секрет, что диффузионные модели генерируют высококачественные синтетические изображения, особенно в сочетании с CLIP.

Ресерчеры начали прикручивать CLIP к Diffusion уже давно, но тут за дело взялись ребята из OpenAI!

Результат — просто топ! И для синтеза, и для изменения изображений!

Кроме топовой 3.5B модели, OpanAI выложили модель поменьше в открытый доступ!

Paper Code

🔮Colab GLIDE OpenAI от Мишин Лернинг

принял участие в интересном проекте - создание инсталляции для международной биеннале - искусство будущего. в компании приятных ребят генерировали контент с помощью StyleGAN и VQGAN+CLIP. а техническим сетапом и программированием инсталляции занимались ребята из Inty. увидеть объект в живую можно в мультимедиа арт музее на остоженке

в честь нового года немного обучил stylegan2 на эстетически прекрасных снежинках Кеннета Либбрехта. результат не такой идеальный как хотелось бы но все равно красиво. кстати недавно вышло видео про процесс выращивания этих снежинок, обязательно к просмотру!

модель снежинок доступна для музыкальных экспериментов в этом колабе

завершить этот год хочу таким нейро-ностальгическим постом

спасибо что были рядом)
и всех с наступающим новым годом!

✍️ Text2Voxel v.1.0 👽

Наступил 2022 год и мне хотелось бы пожелать всем вам счастья, любви и благополучия. Я благодарен каждому кто проявляет интерес к моему труду. В новом году будем знакомиться с еще большим количеством интересных нейронок и собирать на них Колабы.

Сегодня мне хотелось бы поделиться Колабом, который по текстовому описанию генерирует воксельный объект. Двухмерные генерации стали трендом предыдущего года. Кто знает, может 3D будет трендом текущего. Внутри основного блока есть куча всяких переменных. Не хотелось усложнять интерфейс, но кому нужна тонкая настройка, тот может открыть код и подправить.

P.S. На видео процесс генерации новогодней елки.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Text2Voxel.ipynb

попробовал новый отличный колаб Disco Diffusion v4 для анимации по текстовому запросу. интересно было проверить технику работы с ключами - изменениями параметров во времени, получилось вот такое музыкальное видео. на мой взгляд это готовый для продакшна инструмент. он странный, но для каких то задач точно подойдет, он не очень быстрый, зато очень красивый, в нем нельзя дважды получить один результат, но все же это инструмент. очень жду когда же этот метод генерации картинки прикрутят к pytti, это будет вообще бомба!

поймал себя на том что не могу перестать смотреть как генерируется изображение, это похоже на магию, слишком уж художественный результат. каждая картинка прекрасна. но это же и является проблемой - заметны различия между кадрами, это немного похоже на пластилиновую анимацию. уверен в скором времени придумают какой то замедлятор или оптимизируют нынешний способ чтобы картинка менялась более плавно но сохранила такую же степень художественной детализации.

референсом к видео из прошлого поста для меня стало вот это видео. здесь картинку создавали VQGAN+CLIP. но самое крутое тут - работа с анимацией параметров поворота и зума. есть привязка к звуку, да не простая а нейросетевая - через Musicnn который "слушает" музыку и GPT-Neo который придумывает текстовый образ. в итоге получается такая "живая" анимация. на минуте очень нравится эффект

оригинальный колаб VQGAN+CLIP с анимацией ключей
видео на ютуб
твиттер

и горячие пирожки!! два новых интересных колаба:
тут есть интерфейс для создания и настраивания ключей
а этот обещает под музыку анимировать, потому что music driven