🩶Замена человека на видео 3d персонажем внутри тг🩶

Есть сервис Viggle он натягивает картинку на видео - выглядит это очень плохо, так как это просто png натянутое на видео, единственное для чего это +- подходит это анимация в рисованном стиле.

А вот бот iVFX куда интереснее, смотрите что он умеет:

Основной функционал:
1. Автоматический композинг 3D персонажей:
• Интеграция 3D моделей в видеоролики
2. Генерация альфа-масок и масок и карт глубины, сегментации:
• Создание альфа-масок для точного выделения объектов.
• Генерация масок глубины для реалистичного совмещения с фоном.
• Получение сегментационных масок
3. Создание cleanplates:
• Автоматическая генерация чистых кадров без 3D персонажей для улучшенного композинга.
4. Автоматическая анимация персонажей:
• Захват движений актеров и генерация анимаций, которые готовы к использованию в таких редакторах, как Maya, Blender, Unreal Engine и Unity.
• Передача движений и мимики на персонажей.
5. Стилизация персонажей (СКОРО):
• Возможность изменения внешнего вида персонажей для создания уникальных образов благодаря диффузионным моделям.
• Использование нейросетевых технологий для трансформации персонажей и слоев видеороликов.

На данный момент он бесплатный (но нужно подать заявку на одобрение). Пока не понятно будут разработчики коммерциализировать проект, скорее всего да, так как данный продукт разработан для центра технологий метаверса Сбера.

Безусловно есть афтер, есть немало сервисов, которые копируют анимацию с видео в fbx. Они как бы есть, но у мне лично такой подход - если сервис есть в тг, я и пользоваться им буду в тг 🐾
Результаты можно увидеть в видео. Специально подругзила именно 3д рендер на замену. Да есть залипание руки (но ее и не видео на ориге за платьем) и не совсем идеальный cleanplates, но для развлекательных видео вполне. Позже обещают настроить загрузку своего перса. Конечно это не Simulon в плане переноса и трекинга, тут немного другой функционал, но и симулон на iOS только работает.

Автор поста: Папуга