Добрался до V-Express. В Kaggle на P100 ждал час. Качество очень посредственное. Где использовать - не знаю.
Для тек кто хочет потыкать сам:
Git: https://github.com/tencent-ailab/V-Express
Comfyui: https://github.com/AIFSH/ComfyUI_V-Express
Kaggle: в первом комментарии. Исходники там же
#lipsync

Описание тут👇
#TTS

1. Лучшее

ElevenLabs
- Отлично знает русский язык, хорошо справляется с ударениями.
- Можно управлять ударениями, сервис в помощь
- Много тембров, минимум электронных призвуков, отличная интонация.
https://elevenlabs.io/
Демо https://huggingface.co/spaces/elevenlabs/tts
Коллаб https://github.com/camenduru/elevenlabs-colab
- Минусы: Нельзя управлять интонациями. Решение: перегенерация текста.

2. Есть недостатки

XTTS
- Поддерживает русский язык, реалистичное звучание.
- Проблемы с ударениями и интонацией, роботизированный голос.
- Есть претрейн, который немного улучшает ситуацию.
- Возможность самостоятельной тренировки модели.
https://github.com/coqui-ai/TTS
https://github.com/daswer123/xtts-webui
Демо https://huggingface.co/spaces/coqui/xtts
Colab https://colab.research.google.com/drive/1MrzAYgANm6u79rCCQQqBSoelYGiJ1qYL#scrollTo=fem9Pw-MrgxQ
Pretrained Model https://huggingface.co/Ftfyhh/xttsv2_banana

Silero
- Поддерживает русский язык, много голосов.
- Управляемые ударения и паузы, немного роботизированный голос.
- Возможно, используется в "Русы против ящеров".
https://github.com/snakers4/silero-models
Colab https://colab.research.google.com/github/snakers4/silero-models/blob/master/examples_tts.ipynb
Демо https://huggingface.co/spaces/NeuroSenko/tts-silero

TeraTTS
- Простая модель, поддерживает русский язык, мало голосов, роботизированное звучание.
https://github.com/Tera2Space/TeraTTS
Демо https://huggingface.co/spaces/TeraTTS/TTS

Bark
- Поддерживает русский язык, включает смех, кашель, песенки.
- Иногда "галлюцинирует" на русском.
https://github.com/suno-ai/bark
Демо https://huggingface.co/spaces/suno/bark
Colab https://colab.research.google.com/drive/1eJfA2XUa-mXwdMy7DoYKVYHI1iTd9Vkt?usp=sharing#scrollTo=t9Vlr3RRt6B9

3. Нет русского языка

OpenVoice
- Поддерживает эмоции, нет русского языка.
https://github.com/myshell-ai/OpenVoice/tree/main

StyleTTS
- Русского языка нет. Мультиязычная модель, возможно поддерживает азиатские и европейские языки.
https://github.com/camenduru/styletts-colab
Демо https://huggingface.co/papercup-ai/multilingual-pl-bert/tree/main

Metavoice
- Пока без поддержки русского языка.
https://github.com/metavoiceio/metavoice-src

Продолжение - https://t.me/dAIpotestit/124
#TTS

Попытался восстановить зубы после липсикна этой приблудой HDTR-Net.
Особенности:
+ потребляет мало Vram
- плохо работает
- маленькое разрешение модели
P.S. Возможно нужно пробовать на шоте, где во рту зубов нет, но мне лень
P.S.S То что получилось - справа
#lipsync

Генерим себе аватарку:

Omni-zero
+ Хорошо копирует лица
+ Есть перенос стиля по фото
+ Есть перенос композиции по фото
+ Есть перенос позы по фото (спрятали в Advanced options)
+ Есть позитивный/негативный промпты (но здесь особо и не нужны)
Github: https://github.com/okaris/omni-zero
Demo: https://huggingface.co/spaces/okaris/omni-zero

InstantID
+ Хорошо копирует лица
+ Есть ControlNet
+ Есть позитивный/негативный промпты
+ Есть готовые стили
- Иногда генерирует ватермарку
Github: https://github.com/InstantID/InstantID
Github (Gradio): https://github.com/aitrepreneur/INSTID
Demo: https://huggingface.co/spaces/InstantX/InstantID
Colab: https://colab.research.google.com/github/camenduru/InstantID-jupyter/blob/main/InstantID_jupyter.ipynb
Colab: https://colab.research.google.com/drive/1wYdWZFQU0QzZ8cdnsp-I9evrKPCScUET?usp=sharing&authuser=1#scrollTo=U2u537id6l4-

FlashFace
+ Можно подгружать несколько фото лица
+ Есть позитивный/негативный промпты
- Лицо на выходе не всегда похоже на исходник
- На лице часто бывают артефакты
Github: https://github.com/ali-vilab/FlashFace
Demo: https://replicate.com/zsxkib/flash-face

PuLID
+ Можно подгружать несколько фото лица
+ Есть позитивный/негативный промпты
- Лицо на выходе не похоже на исходник
Github: https://github.com/ToTheBeginning/PuLID
Demo: https://huggingface.co/spaces/yanze/PuLID
Colab: https://colab.research.google.com/github/camenduru/PuLID-jupyter/blob/main/PuLID_jupyter.ipynb

IP-Adapter
+ Есть позитивный/негативный промпты
- Лицо на выходе не похоже на исходник
Github: https://github.com/tencent-ailab/IP-Adapter
Demo: https://huggingface.co/spaces/multimodalart/Ip-Adapter-FaceID

ConsistentID
+ Есть позитивный/негативный промпты
- Лицо на выходе не похоже на исходник
Github: https://github.com/JackAILab/ConsistentID
Demo: https://huggingface.co/spaces/JackAILab/ConsistentID

PhotoMaker
+ Есть позитивный/негативный промпты
- Лицо на выходе не похоже на исходник
- Нужно в промпте писать img
Github: https://github.com/TencentARC/PhotoMaker
Demo: https://huggingface.co/spaces/TencentARC/PhotoMaker
Colab: https://colab.research.google.com/github/camenduru/PhotoMaker-colab/blob/main/PhotoMaker_gradio_colab.ipynb
#StyleFace