Нашел как генерировать картинку по референсу в SD3 https://huggingface.co/spaces/gokaygokay/SD3-with-VLM-and-Prompt-Enhancer. Поможет дезигнерам избавиться от авторских прав на изображена вдохновиться.
Загружаем картиночку - ставим галку "Use VLM Captioner" - жмем "Generate Image"
#tips

Все уже слышали о LivePortrait? Идея не нова и не особо интересна, но действительно впечатляет то, что с помощью этого инструмента можно восстанавливать зубы после липсинка. На видео слева липсинк Musetalk, справа Musetalk + вкомпоженный рот от LivePortrait (я не старался). Мануал как делал снимать лень, но если сильно попросите - сделаю.
#lipsync

Запилили тутор👇 #tutor

Липсинк.
Нашлась портативная сборка Musetalk под Windows. Интерфейс заставит помедитировать, но с этим мануалом разберетесь. Под видео ссылка на скачивание. Дополнительно залил на яндекс. Пожалуйста😊
#lipsync

Делаем липсинк через Synctalk:
1. Скачиваем архив
2. Распаковываем. В пути не должно быть кириллицы
3. Помещаем видео для тренировки Synctalk\face-SyncTalk\SyncTalk\data\Название_проекта\Видео.mp4 (без кириллицы)
4. Правой кнопкой на файле \Synctalk\face-SyncTalk\Preproc.bat - изменить
5. В строке ..\venv\python.exe data_utils\process.py data\Anna\Anna.mp4 меняем data\Anna\Anna.mp4 на ..SyncTalk\data\Название_проекта\Видео.mp4 (без кириллицы) и сохраняем файл
6. Кликаем 2 раза на файле Synctalk\face-SyncTalk\Preproc.bat.
В папке Synctalk\face-SyncTalk\SyncTalk\data\Название_проекта начнут появляться файлы и папки предпроцесса. Ждем окончания. Может занять от 1 до 2 часов.
7. Правой кнопкой на файле \Synctalk\face-SyncTalk\Train.bat - изменить
8. Меняем строку ..\venv\python.exe main.py data/Vic --workspace model/trial_Vic -O --iters 60000 --asr_model ave на ..\venv\python.exe main.py ..SyncTalk\data\Название_проекта --workspace ..SyncTalk\model\trial_Название_проекта -O --iters 60000 --asr_model ave (без кириллицы) и сохраняем файл
9. Создаем папку Synctalk\face-SyncTalk\SyncTalk\model\trial_Название_проекта.
10. Кликаем 2 раза на файле Synctalk\face-SyncTalk\Train.bat и ждем завершения процесса. Сколько будет идти тренировка зависит от видеокарты. В папке trial_Название_проекта начнут появляться файлы
11. Снова правой кнопкой на файле Synctalk\face-SyncTalk\Train.bat - изменить
12. Меняем строку ..\venv\python.exe main.py data/Название_проекта --workspace model/trial_Название_проекта -O --iters 60000 --asr_model ave на ..\venv\python.exe ..SyncTalk\dat\Название_проекта --workspace ..SyncTalk\model\trial_Название_проекта -O --iters 100000 --finetune_lips --patch_size 64 --asr_model ave (без кириллицы) и сохраняем файл
13. Кликаем 2 раза на файле Synctalk\face-SyncTalk\Train.bat и ждем завершения процесса. Сколько будет идти тренировка зависит от видеокарты. Обычно дольше чем в п. 10 примерно в 1.5 раза.
14. Если все до этого пункта прошло без ошибок (спорим нет), в папке trial_Название_проекта\checkpoints должны появится файлы ngp_epxxxx.
15. Чтобы проверить что получилось - правой кнопкой по Synctalk\face-SyncTalk\Video.bat - изменить.
16. Меняем строку ..\venv\python.exe main.py data/Belkovsky2 --workspace model/trial_Belkovsky2 -O --test --test_train --portrait --aud ./demo/test.wav на ..\venv\python.exe main.py ..SyncTalk\data\Название_проекта --workspace ..SyncTalk\model\trial_Название_проекта -O --test --test_train --portrait --aud ./путь/до/аудиофайла.wav
17. Два раза кликаем на Synctalk\face-SyncTalk\Video.bat и ждем окончания процесса.
18. Результат смотрим в model\trial_Название_проекта\results

Требования к видео для тренировки
1. Квадрат
2. Близкий к размеру 512x512 (встречались примеры когда тренировали на больших разрешениях)
3. Лицо в каждом кадре должно быть видно полностью. Не допускается сильный поворот головы.
4. 25 fps
6. От 6 минут

P.S. Удачи тебе @andreo_sp, а главное терпения. Не забывай проветривать комнату, запах гари вреден для здоровья 😄😄 (у меня с этого кода подгорало очень сильно)
P.P.S Дополнительно добавил колаб👇👇👇
#tutor #lipsync