Делаем липсинк через Liveportrait:
0. Обновляем Liveportrait минимум до комита c0f2dc1a9255a9f066a54ff98d8e1b9594fc254c
1. Закидываем видео жертвы в Retargeting Video и ставим настройки (см. 1). Жмем Retargeting Video
2. Идем в начало страницы, жмакаем вкладки Source Video, Driving Video. Во вкладку Source Video закидываем видео из п.1, в Driving Video - видео от куда хотим импортировать голос и губы. Если есть только аудиофайл то делаем из него видео тут или тут подставив лицо рандомного Тинькова 😌. Есть еще вариант с телефоном и личным актерским талантом
3. Выставляем настройки (см. 2) и жмем Animate

P.S. Теперь, когда не получилось читай это:
a. Все видео должны быть с одинаковым FPS. В коде встречается и 25 и 30 к/с. Что к чему я не разобрался, но при 30 у меня все работает
б. Чтобы вместо рта не получить куриную попку, первые кадры обеих видео должны иметь одинаковые выражения лица. Я предварительно в Premiere добавляю по кадру с нейтральными лицами персонажей в начало.
в. На видео я не старался, можно лучше. Видео а комментах 👇👇👇
#lipsync

Ну и закроем тему Liveportrait дипфейками.
Что сделал:
1, Достал первый кадр из видео
2. В SD img2img поменял голову
3. Закинул в Liveportrait картинку из SD и исходное видео
4. Profit
Плюсы очевидны:
1. Время (сделал все за 4 минуты)
2. Изменяет всю голову (включая прическу), а не только лицо
3. Не нужно подбирать актера с похожем овалом лица
Минусы:
1. Не дотягивает до профессионального уровня (зубы, немного кипит). Можно попробовать решить энхансерами или на посте. Ребятки я в Вас верю
2. Анимируем фото, поэтому чтобы другие движения не терялись (например рук), придется голову вкомпоживать в исходник (кстати кто понимает о чем речь, ставьте👍 ). С этого момента начинаются приключения , потому что плечи относительно головы будут шевелиться по разному.
P.S. Если пошли деформации головы после Liveportrait, попробуйте анимировать картинку поэтапно, выставив в animation region по очереди нужные параметры.
Исходник в комментах 👇👇👇
#faceswap

Имеем: фото идеала мужской красоты, брутального юношу сгенерированного во Flux (взял здесь) .
Задача: сделать апскейл, добавить детализации.
Давайте проведем слепое тестирование и наконец решим - что таки Supir Super, а что жалкая подделка.
Опрос ниже 👇👇👇
#upscale

Чуда не произошло, но появились черные лошадки.
Лучшие по мнению подписчиков дAI потетсить! сверху вниз (слева от названия - номер в списке опроса).

7 - SUPIR
https://github.com/Fanghua-Yu/SUPIR
https://github.com/kijai/ComfyUI-SUPIR
https://replicate.com/cjwbw/supir
https://fal.ai/models/fal-ai/supir
https://www.kaggle.com/code/daipotestit/supir

9 - Tile-Upscaler
https://github.com/gokayfem/Tile-Upscaler
https://huggingface.co/spaces/gokaygokay/Tile-Upscaler
https://huggingface.co/spaces/gokaygokay/TileUpscalerV2

2 - CCSR
https://github.com/csslc/CCSR
https://github.com/kijai/ComfyUI-CCSR
https://colab.research.google.com/github/camenduru/CCSR-colab/blob/main/CCSR_colab.ipynb
https://huggingface.co/spaces/owiedotch/ccsr-upscaler
https://fal.ai/models/fal-ai/ccsr

6 - SILVI
https://civitai.com/articles/5834/silvi-v2-upscale-method-super-inteligence-large-vision-image

3 - Clarity-upscaler
https://github.com/philz1337x/clarity-upscaler
https://github.com/philz1337x/ComfyUI-ClarityAI
https://huggingface.co/spaces/jbilcke-hf/clarity-upscaler
https://fal.ai/models/fal-ai/clarity-upscaler

4 - Finegrain-image-enhancer
https://github.com/finegrain-ai/refiners
https://huggingface.co/spaces/finegrain/finegrain-image-enhancer

1 - AuraSR
https://github.com/fal-ai/aura-sr
https://github.com/GreenLandisaLie/AuraSR-ComfyUI
https://huggingface.co/spaces/gokaygokay/AuraSR-v2
https://fal.ai/models/fal-ai/aura-sr

5 - Real-ESRGAN
https://github.com/xinntao/Real-ESRGAN
https://colab.research.google.com/drive/1k2Zod6kSHEvraybHl50Lys0LerhyTMCo?usp=sharing
https://huggingface.co/spaces/akhaliq/Real-ESRGAN
https://arc.tencent.com/en/ai-demos/imgRestore

8 - SwinIR
https://github.com/JingyunLiang/SwinIR
https://colab.research.google.com/gist/JingyunLiang/a5e3e54bc9ef8d7bf594f6fee8208533/swinir-demo-on-real-world-image-sr.ipynb
https://huggingface.co/spaces/ARTeLab/SwinIRMoonSuperResolution
#upscale