Годнота подъехала.

👍 Би-2 решили побаловаться нейросетями и применили эффект "мультяшки" на свой клип к песне Пекло.
YouTube
Как сделать похожее видео самому можно прочитать тут.

Новый вид дипфейков подвезли 👻
Фотореалистичная анимация говорящей головы в реальном времени.

Live Speech Portraits: Real-Time Photorealistic Talking-Head Animation. https://yuanxunlu.github.io/projects/LiveSpeechPortraits

GitHub

Автор канала Derplearning любезно сделал колаб для нас всех на ру 👍
Подробнее на его канале
https://t.me/derplearning/589

✍️ Text2Animation 🎬

Что-то последнее время только генерация картинок по текстовому описанию у меня и появляется. Настало время исправить ситуацию и представить вам генерацию видео. Управлять всем этим добром не так просто, но внутри Колаба описана вся механика создания анимации, поэтому при желании каждый сможет разобраться. Гененрируется все очень шустро и итоговое качество весьма впечатляющее. Как и прошлый раз добавил переводчик, поэтому текст можете писать на любом языке.

P.S. в прикрепленном видео мы влетаем в Мону Лизу и оказываемся внутри Сальвадора Дали. Что бы это не значило :-)

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Text2Animation.ipynb

Небольшой, но весьма полезный для каждого обзор улучшалок 2021.
Telegraph Pikabu

Раз речь пошла о стилизации фото, хочу напомнить о очень годном алгоритме нашего знакомого с канала @derplearning

Если коротко, бот 👉 @face2comicsbot
Чуть подробнее тут.
+ Адаптированный бот для создания стикеров в комикс стиле @face2stickerbot

Все боты автора - посмотреть.

Выкатили веб версию StyleClip
(текстовое манипулирование изображениями с помощью StyleGAN).
https://replicate.ai/orpatashnik/styleclip

Суть проста, грузим фото с лицом, задаём текстовое описание neutral, target.

Пример1: загрузил фото Алисы из игры, прогнал через бота, что бы убедиться есть ли лицо на изображении и сразу получить вырезанное лицо.
Neutral = toon, target = photo.

Пример2: Стоковое фото с сайта.
neutral = face, target = male face/sad face.
(Если ввести sad face и поставить значение manipulation_strength с минусом, у нас получится sad face наоборот = happy)
Подробнее о StyleClip

🌞 Поделиться результатами.

Запилил длиннопост на Пикабу.
- Из нового, удаление фона на видео новый алгоритм (лето2021).
Пример как использовать его в колабе для самых неопытных.
- Как сделать видео, что выше за 2 минуты.

Читать Читать Читать 🥸

🎴 NVIDIA выкатили StyleGAN3

Сегодня NVIDIA выложила в доступ код и модели сети StyleGAN3, которую описали 23 июня 2021 в пейпере Alias-Free Generative Adversarial Networks.

Имя StyleGAN3 планировали дать в день публикации кода и моделей.

⚠️ Проблема StyleGAN
В процессе иерархического синтеза StyleGAN’ами изображений возникает нездоровая зависимость паттернов от абсолютных пиксельных координат. Это проявляется, например, в том, что текстура кажется приклеенной к координатам изображения, а не к поверхностям изображаемых объектов.

✅ Решение или основная идея StyleGAN3
Ресерчеры из NVIDIA и Aalto University нашли основную причину из-за которой возникает aliasing в сети генератора, и добились “эквивариантности за счет непрерывной интерпретации сигнала”. По факту перешли из дискретных репрезентаций в континуальные [смотри видео к посту]. Спасибо Клоду Шеннону и теореме Котельникова!

Результаты открывают путь для GAN’ов к качественной и стабильной генерации видеоконтента.

🤖 сайт 💻 код 📰 paper 🔮 colab

🔥StyleGAN3 + CLIP

В твиттере выложили Colab для StyleGAN3+CLIP (с помощью текста, можно направлять генерацию картинки, а потом создавать красивые видосы), а я привел его к божескому виду, что бы было просто играться (и это что-то!)

💻Colab

P.S.: на картинки an amazon warrior трансформированный из MetFaces

#gan #text2image #clip

🧛‍♀️🐍 Colab StyleGAN3 + CLIP by Мишин Лернинг

Подготовил для вас отполированную и доведённую до ума версию colab для генерации арта по текстовому описанию!

🤖 Для гиков: за основу взял выложенный вчера вечером в твиттере nshepperd1 колаб StyleGAN3 + CLIP, с прикрученным интерфейсом от nn_for_science. Улучшил стабильность и качество генерации, перенеся идеи, которые считаю важными, из vqgan версии.

🎓 Что улучшено в версии от “Мишин Лернинг”:
▪️ Добавил дифференцируемые аугментации. Сильно накидывают в качестве
▪️ Увеличил размер батча для CLIP на каждом шаге оптимизации
▪️ Увеличил размер кропов в батче, на которые смотри CLIP
▪️Подобрал параметры оптимизатора и ema по z между шагами

🔮StyleGAN3 + CLIP by Мишин Лернинг colab

p.s.: prompt для анимации к посту: “A vampire woman with long hairs made of snakes in style of Gustav Klimt”