Оставлю пост для истории.
Решил посмотреть сервисы типа motion2video. Взял мужчину из какого-то бразильского сериала, тян из тиктока и начал скрещивать. Вынужден признать - пока рано.
Что посмотрел:
https://github.com/MooreThreads/Moore-AnimateAnyone
https://github.com/TMElyralab/MusePose
https://github.com/arceus-jia/SocialBook-AnimateAnyone
https://github.com/ali-vilab/UniAnimate
https://github.com/Boese0601/MagicDance
https://github.com/magic-research/magic-animate
https://github.com/mayuelala/FollowYourPose
https://tencent.github.io/MimicMotion/
Три лучшие результата приложил. Удивительно, но использование Moore-AnimateAnyone заставляет мужчину включить режим обиженки (1 видео).
P.S. Если есть что-то стоящее чего я не нашел, буду благодарен за подсказку.
P.S.S. Исходники там 👇👇👇

В Facefusion в ветке Next добавили поддержку Liveportrait и Styleganex, что позволяет соскуфить жертву не выходя из Facefusion.
Ретаргетинг и изменение возраста у меня отработали, но вот с переносом мимики "expression_restorer" как то не сложилось. Обновы шикарные.
P.S. Если у кого работает "expression_restorer" - научите пользоваться в комментах
#faceswap #lipsync

Нашел хороший способ апскейла видео в Topaz Video AI.

Шаг 1:
1. Оставляем исходное разрешение.
2. Включить "Proteus" в режим "Manual".
3. Увеличить"Reduce noise" до удаления фонового шума.
4. Установить "Recover detail" на 10-20.
5. Экспортировать видео.

Шаг 2:
1. Импортировать видео из Шага 1.
2. Включить "Proteus" и в parameters "Relative to auto".
3. Увеличить "Sharpen", избегая артефактов.
4. Увеличить "Improve detail" и "Anti-Alias/Deblur" в интервале от 10 до 30.
5. Установить "Recover detail" на ноль.
6. Экспортировать видео.

Шаг 3:
1. Импортировать видео из Шага 2.
2. Установить разрешение и модель.
3. Установить "Recover detail" на 10-20.
4. Экспортировать видео.
P.S. Собрал информацию от сюда
#upscale #tutor

Больше никакой свистопляски с эмоциями и направлением взгляда персонажа. Теперь в LivePortrait есть волшебные крутиляторы, которые могут настроить чуть ли не каждую мимическую мышцу. Если используете Gradio версию, промотайте страницу вниз.
P.S. Качество немного съел, но ведь энхансеры никто не отменял
#tips

Похоже в приемлемых генераторах речи чуть больше игроков чем 11labs. https://ttsopenai.com/ - немного уходит в английский акцент (ну или много), иногда бывают электронные призвуки, но... генерация речи абсолютно бесплатна.
P.S. Похоже как и 11Labs слушается знака ударения в тексте, но это не точно.
Обзор TTS - https://t.me/dAIpotestit/15
#TTS

Ой, оказывается Liveportrait хорош в липсинке.
Делается просто, я думаю возможно самому разобраться. Если сложно - реакцию на пост. Будет бессонница - сделаю микротутор.
#lipsync

Делаем липсинк через Liveportrait:
0. Обновляем Liveportrait минимум до комита c0f2dc1a9255a9f066a54ff98d8e1b9594fc254c
1. Закидываем видео жертвы в Retargeting Video и ставим настройки (см. 1). Жмем Retargeting Video
2. Идем в начало страницы, жмакаем вкладки Source Video, Driving Video. Во вкладку Source Video закидываем видео из п.1, в Driving Video - видео от куда хотим импортировать голос и губы. Если есть только аудиофайл то делаем из него видео тут или тут подставив лицо рандомного Тинькова 😌. Есть еще вариант с телефоном и личным актерским талантом
3. Выставляем настройки (см. 2) и жмем Animate

P.S. Теперь, когда не получилось читай это:
a. Все видео должны быть с одинаковым FPS. В коде встречается и 25 и 30 к/с. Что к чему я не разобрался, но при 30 у меня все работает
б. Чтобы вместо рта не получить куриную попку, первые кадры обеих видео должны иметь одинаковые выражения лица. Я предварительно в Premiere добавляю по кадру с нейтральными лицами персонажей в начало.
в. На видео я не старался, можно лучше. Видео а комментах 👇👇👇
#lipsync