🥳 «Яндекс» запустил презентованную в июле функцию автоматического перевода и озвучивания видео, которая работает в «Яндекс.Браузере» и мобильном приложении «Яндекса».

Технология при участии машинного обучения распознаёт речь в видео, транслирует её в текст, переводит через «Яндекс.Переводчик» на русский язык, затем определяет пол говорящего и наносит аудиодорожку перевода с учётом пауз и скорости речи. Результат звучит как дубляж, поверх оригинального звука.

Функция работает в «Яндекс.Браузере» для Windows, macOS, Linux и Android и в приложении «Яндекс» для iOS и Android для видео на английском языке на платформах YouTube, Vimeo, TikTok, Twitter, Facebook и «ВКонтакте». На лицензионном контенте, например, от Netflix, технология не заработает.

Пользователи уже вовсю пробуют новый переводчик «Яндекса» на фильмах в оригинальной озвучке. Один из примеров пришелся на отрывок со знаменитой руганью «Ублюдок, мать твою».

«Слизь, ведро, дерьмо, лицо, комок грязи…» 😁

А вот и полное описание того что «под капотом» у озвучки видео от Яндекса.
📖 Habr

Решил протестировать япереводчик в боевых условиях, а именно на видео посвященного нейросетям.
Тематика видео DeepFaceLive = Глубокое притворство :)
- Оригинал YouTube.
- Более подробный разбор deepfacelive от нашего товарища на ру.
- Актуальные методы замены лица на видео, разбор и сравнение.

Перевод мне понравился, есть не критичные косяки, но главное понять суть видео можно.
Видео в посте с телефона, качество плохое.

Я тут решил сделать небольшой разбор недавнего нашумевшего видео, а также поговорить на тему дипфейков

Зацените Германа Оскаровича☺️

https://youtu.be/4xUBSmRx4rQ

Годнота подъехала.

👍 Би-2 решили побаловаться нейросетями и применили эффект "мультяшки" на свой клип к песне Пекло.
YouTube
Как сделать похожее видео самому можно прочитать тут.

Новый вид дипфейков подвезли 👻
Фотореалистичная анимация говорящей головы в реальном времени.

Live Speech Portraits: Real-Time Photorealistic Talking-Head Animation. https://yuanxunlu.github.io/projects/LiveSpeechPortraits

GitHub

Автор канала Derplearning любезно сделал колаб для нас всех на ру 👍
Подробнее на его канале
https://t.me/derplearning/589

✍️ Text2Animation 🎬

Что-то последнее время только генерация картинок по текстовому описанию у меня и появляется. Настало время исправить ситуацию и представить вам генерацию видео. Управлять всем этим добром не так просто, но внутри Колаба описана вся механика создания анимации, поэтому при желании каждый сможет разобраться. Гененрируется все очень шустро и итоговое качество весьма впечатляющее. Как и прошлый раз добавил переводчик, поэтому текст можете писать на любом языке.

P.S. в прикрепленном видео мы влетаем в Мону Лизу и оказываемся внутри Сальвадора Дали. Что бы это не значило :-)

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Text2Animation.ipynb

Небольшой, но весьма полезный для каждого обзор улучшалок 2021.
Telegraph Pikabu

Раз речь пошла о стилизации фото, хочу напомнить о очень годном алгоритме нашего знакомого с канала @derplearning

Если коротко, бот 👉 @face2comicsbot
Чуть подробнее тут.
+ Адаптированный бот для создания стикеров в комикс стиле @face2stickerbot

Все боты автора - посмотреть.

Выкатили веб версию StyleClip
(текстовое манипулирование изображениями с помощью StyleGAN).
https://replicate.ai/orpatashnik/styleclip

Суть проста, грузим фото с лицом, задаём текстовое описание neutral, target.

Пример1: загрузил фото Алисы из игры, прогнал через бота, что бы убедиться есть ли лицо на изображении и сразу получить вырезанное лицо.
Neutral = toon, target = photo.

Пример2: Стоковое фото с сайта.
neutral = face, target = male face/sad face.
(Если ввести sad face и поставить значение manipulation_strength с минусом, у нас получится sad face наоборот = happy)
Подробнее о StyleClip

🌞 Поделиться результатами.

Запилил длиннопост на Пикабу.
- Из нового, удаление фона на видео новый алгоритм (лето2021).
Пример как использовать его в колабе для самых неопытных.
- Как сделать видео, что выше за 2 минуты.

Читать Читать Читать 🥸

🎴 NVIDIA выкатили StyleGAN3

Сегодня NVIDIA выложила в доступ код и модели сети StyleGAN3, которую описали 23 июня 2021 в пейпере Alias-Free Generative Adversarial Networks.

Имя StyleGAN3 планировали дать в день публикации кода и моделей.

⚠️ Проблема StyleGAN
В процессе иерархического синтеза StyleGAN’ами изображений возникает нездоровая зависимость паттернов от абсолютных пиксельных координат. Это проявляется, например, в том, что текстура кажется приклеенной к координатам изображения, а не к поверхностям изображаемых объектов.

✅ Решение или основная идея StyleGAN3
Ресерчеры из NVIDIA и Aalto University нашли основную причину из-за которой возникает aliasing в сети генератора, и добились “эквивариантности за счет непрерывной интерпретации сигнала”. По факту перешли из дискретных репрезентаций в континуальные [смотри видео к посту]. Спасибо Клоду Шеннону и теореме Котельникова!

Результаты открывают путь для GAN’ов к качественной и стабильной генерации видеоконтента.

🤖 сайт 💻 код 📰 paper 🔮 colab

🔥StyleGAN3 + CLIP

В твиттере выложили Colab для StyleGAN3+CLIP (с помощью текста, можно направлять генерацию картинки, а потом создавать красивые видосы), а я привел его к божескому виду, что бы было просто играться (и это что-то!)

💻Colab

P.S.: на картинки an amazon warrior трансформированный из MetFaces

#gan #text2image #clip