Нашел хороший способ апскейла видео в Topaz Video AI.

Шаг 1:
1. Оставляем исходное разрешение.
2. Включить "Proteus" в режим "Manual".
3. Увеличить"Reduce noise" до удаления фонового шума.
4. Установить "Recover detail" на 10-20.
5. Экспортировать видео.

Шаг 2:
1. Импортировать видео из Шага 1.
2. Включить "Proteus" и в parameters "Relative to auto".
3. Увеличить "Sharpen", избегая артефактов.
4. Увеличить "Improve detail" и "Anti-Alias/Deblur" в интервале от 10 до 30.
5. Установить "Recover detail" на ноль.
6. Экспортировать видео.

Шаг 3:
1. Импортировать видео из Шага 2.
2. Установить разрешение и модель.
3. Установить "Recover detail" на 10-20.
4. Экспортировать видео.
P.S. Собрал информацию от сюда
#upscale #tutor

Больше никакой свистопляски с эмоциями и направлением взгляда персонажа. Теперь в LivePortrait есть волшебные крутиляторы, которые могут настроить чуть ли не каждую мимическую мышцу. Если используете Gradio версию, промотайте страницу вниз.
P.S. Качество немного съел, но ведь энхансеры никто не отменял
#tips

Похоже в приемлемых генераторах речи чуть больше игроков чем 11labs. https://ttsopenai.com/ - немного уходит в английский акцент (ну или много), иногда бывают электронные призвуки, но... генерация речи абсолютно бесплатна.
P.S. Похоже как и 11Labs слушается знака ударения в тексте, но это не точно.
Обзор TTS - https://t.me/dAIpotestit/15
#TTS

Ой, оказывается Liveportrait хорош в липсинке.
Делается просто, я думаю возможно самому разобраться. Если сложно - реакцию на пост. Будет бессонница - сделаю микротутор.
#lipsync

Делаем липсинк через Liveportrait:
0. Обновляем Liveportrait минимум до комита c0f2dc1a9255a9f066a54ff98d8e1b9594fc254c
1. Закидываем видео жертвы в Retargeting Video и ставим настройки (см. 1). Жмем Retargeting Video
2. Идем в начало страницы, жмакаем вкладки Source Video, Driving Video. Во вкладку Source Video закидываем видео из п.1, в Driving Video - видео от куда хотим импортировать голос и губы. Если есть только аудиофайл то делаем из него видео тут или тут подставив лицо рандомного Тинькова 😌. Есть еще вариант с телефоном и личным актерским талантом
3. Выставляем настройки (см. 2) и жмем Animate

P.S. Теперь, когда не получилось читай это:
a. Все видео должны быть с одинаковым FPS. В коде встречается и 25 и 30 к/с. Что к чему я не разобрался, но при 30 у меня все работает
б. Чтобы вместо рта не получить куриную попку, первые кадры обеих видео должны иметь одинаковые выражения лица. Я предварительно в Premiere добавляю по кадру с нейтральными лицами персонажей в начало.
в. На видео я не старался, можно лучше. Видео а комментах 👇👇👇
#lipsync

Ну и закроем тему Liveportrait дипфейками.
Что сделал:
1, Достал первый кадр из видео
2. В SD img2img поменял голову
3. Закинул в Liveportrait картинку из SD и исходное видео
4. Profit
Плюсы очевидны:
1. Время (сделал все за 4 минуты)
2. Изменяет всю голову (включая прическу), а не только лицо
3. Не нужно подбирать актера с похожем овалом лица
Минусы:
1. Не дотягивает до профессионального уровня (зубы, немного кипит). Можно попробовать решить энхансерами или на посте. Ребятки я в Вас верю
2. Анимируем фото, поэтому чтобы другие движения не терялись (например рук), придется голову вкомпоживать в исходник (кстати кто понимает о чем речь, ставьте👍 ). С этого момента начинаются приключения , потому что плечи относительно головы будут шевелиться по разному.
P.S. Если пошли деформации головы после Liveportrait, попробуйте анимировать картинку поэтапно, выставив в animation region по очереди нужные параметры.
Исходник в комментах 👇👇👇
#faceswap

Имеем: фото идеала мужской красоты, брутального юношу сгенерированного во Flux (взял здесь) .
Задача: сделать апскейл, добавить детализации.
Давайте проведем слепое тестирование и наконец решим - что таки Supir Super, а что жалкая подделка.
Опрос ниже 👇👇👇
#upscale