Выкатили веб версию StyleClip
(текстовое манипулирование изображениями с помощью StyleGAN).
https://replicate.ai/orpatashnik/styleclip

Суть проста, грузим фото с лицом, задаём текстовое описание neutral, target.

Пример1: загрузил фото Алисы из игры, прогнал через бота, что бы убедиться есть ли лицо на изображении и сразу получить вырезанное лицо.
Neutral = toon, target = photo.

Пример2: Стоковое фото с сайта.
neutral = face, target = male face/sad face.
(Если ввести sad face и поставить значение manipulation_strength с минусом, у нас получится sad face наоборот = happy)
Подробнее о StyleClip

🌞 Поделиться результатами.

Запилил длиннопост на Пикабу.
- Из нового, удаление фона на видео новый алгоритм (лето2021).
Пример как использовать его в колабе для самых неопытных.
- Как сделать видео, что выше за 2 минуты.

Читать Читать Читать 🥸

🎴 NVIDIA выкатили StyleGAN3

Сегодня NVIDIA выложила в доступ код и модели сети StyleGAN3, которую описали 23 июня 2021 в пейпере Alias-Free Generative Adversarial Networks.

Имя StyleGAN3 планировали дать в день публикации кода и моделей.

⚠️ Проблема StyleGAN
В процессе иерархического синтеза StyleGAN’ами изображений возникает нездоровая зависимость паттернов от абсолютных пиксельных координат. Это проявляется, например, в том, что текстура кажется приклеенной к координатам изображения, а не к поверхностям изображаемых объектов.

✅ Решение или основная идея StyleGAN3
Ресерчеры из NVIDIA и Aalto University нашли основную причину из-за которой возникает aliasing в сети генератора, и добились “эквивариантности за счет непрерывной интерпретации сигнала”. По факту перешли из дискретных репрезентаций в континуальные [смотри видео к посту]. Спасибо Клоду Шеннону и теореме Котельникова!

Результаты открывают путь для GAN’ов к качественной и стабильной генерации видеоконтента.

🤖 сайт 💻 код 📰 paper 🔮 colab

🔥StyleGAN3 + CLIP

В твиттере выложили Colab для StyleGAN3+CLIP (с помощью текста, можно направлять генерацию картинки, а потом создавать красивые видосы), а я привел его к божескому виду, что бы было просто играться (и это что-то!)

💻Colab

P.S.: на картинки an amazon warrior трансформированный из MetFaces

#gan #text2image #clip

🧛‍♀️🐍 Colab StyleGAN3 + CLIP by Мишин Лернинг

Подготовил для вас отполированную и доведённую до ума версию colab для генерации арта по текстовому описанию!

🤖 Для гиков: за основу взял выложенный вчера вечером в твиттере nshepperd1 колаб StyleGAN3 + CLIP, с прикрученным интерфейсом от nn_for_science. Улучшил стабильность и качество генерации, перенеся идеи, которые считаю важными, из vqgan версии.

🎓 Что улучшено в версии от “Мишин Лернинг”:
▪️ Добавил дифференцируемые аугментации. Сильно накидывают в качестве
▪️ Увеличил размер батча для CLIP на каждом шаге оптимизации
▪️ Увеличил размер кропов в батче, на которые смотри CLIP
▪️Подобрал параметры оптимизатора и ema по z между шагами

🔮StyleGAN3 + CLIP by Мишин Лернинг colab

p.s.: prompt для анимации к посту: “A vampire woman with long hairs made of snakes in style of Gustav Klimt”

Удаляем людей и объекты с фото.
LaMa Image Inpainting.

Берёт ближайший объект на фото, делает маску, удаляет объект, дорисовывает фон.
https://saic-mdal.github.io/lama-project

Попробовать веб https://huggingface.co/spaces/akhaliq/lama

Небольшая радость ☺️
Есть у нас один простенький бот для удобства, кидаешь фото получаешь ссылку на поисковик, можно кстати кидать и видео/гиф, возьмётся первый кадр для поиска.
Так вот, не знаю как его нашли, но сегодня он появился в подборке Кода Дурова, приятно.
🔎 Search by image

Наш новый бот улучшающий фото
👾 Photo Enhance

Код Дурова для тех кто любит телеграм, следит за технологиями и IT
🌐 @d_code

Ну и раз пошли в тему киберпанка, взгляните на это...

Рука Лозы 🍃
Именно такая конечность была создана для модели Келли Нокс. Девушка рожденная без левого предплечья, предпочла использовать протезирование не как помощь, а как аксессуар, чтобы выразить свою индивидуальность🦾
⠀
Воплотить в жизнь растительный протез ей помогла команда проекта Alternative Limb во главе с дизайнером Софи де Оливейра Барата.
Подробнее1
Подробнее2

• AI поработит мир, ваш голос уже украли.
• Существует ли массовая опасность со стороны "ИИ"?

"Сейчас вовсю лютует эпоха пост-модернизма. Тренд на утерю рационального мышления принял системный характер. Развитие Интернета скорее привело не к массовому распространению "fake news", а скорее массовой низкопробной фантастики , которая согласуется с чаяниями обычных граждан. Скорее получается не "fake news", а усилитель неграмотности с локальной спецификой."

В этой статье мы постараемся:
- На реальных примерах показать возможности генерации голоса на малом числе данных или на данных с неидеальным качеством;
- Немного порассуждать на тему цифровых памятников (это чем-то похоже на интерактивные или трехмерные фотографии), сделанных из голоса человека;
- Также немного порассуждать на тему того, какую объективную опасность это представляет для общества;
https://habr.com/ru/post/584750

Нейросеть заменила реальные объекты на улице на виртуальные.

Немецкие и швейцарские разработчики создали программу для смартфонов и планшетов, реализующую смешанную реальность необычным способом. Она не просто накладывает на реальный мир виртуальные объекты, а удаляет настоящие объекты и вставляет на их место виртуальные, копирующие поведение оригинала. Например, она может в реальном времени заменить человека на фантастическое существо, сохранив при этом оригинальные движения тела.

Сначала происходит сегментация экземпляров, то есть нейросеть выделяет на кадре интересующие объекты, в данном случае это автомобили и люди. Затем параллельно происходит два процесса: одна нейросеть определяет трехмерное положение человека или машины в пространстве, а другая вырезает этот объект из кадра и реалистично заполняет эту область так, будто этого объекта не было. На последнем этапе алгоритм накладывает на полученный зарисованный кадр виртуальный объект так, чтобы его положение повторяло оригинал.
Подробнее

AMD has joined the game.

Microsoft вместе с PyTorch выкатили новый бэкенд - DirectML.
Позволяет крутить эти ваши нейронки на любых DirectX12-совместимых девайсах и в WSL, без танцев с CUDA.
Наконец-то AMD сможет полноценно ворваться в гонку, хоспаде.
Набор операторов пока очень ограничен, но это отличный вектор развития.

Юзается легко - просто ставите пакет и заменяете device с 'cuda' на 'dml'.

А всего месяц назад вариацию этого бэкенда для tensorflow/AMD ускорили аж в 4.4 раза. В логове красных перемножателей матриц снова праздник!

гит
пост