Недавно тут вышел липсинк LatentSync.
Github | Portable | ComfyUI
Среди опенсорса это хорошая заявочка, но можно ведь лучше...
Обмазавшись нейронками, провел неделю в поиске улучшения.
Чем улучшал:
Animatediff
Supir
StableSR
LTX
FLUX
Hunyuan
Daemon
Venchancer
InstantIR
Что-то еще было, но забыл...
SVFR
На последнем пока и остановился. Результатом не доволен, но выложу в комменты воркфлоу. Может ребятки, у Вас есть идеи как улучшить? Задача - консистенто вгенерировать зубы в рот с липсинком (как бы это ужасно не звучало).
P.S. Исходники под постом👇👇
P.P.S. Визитка актрисы из семпла https://www.youtube.com/watch?v=vKrlWIy1sEw. А то как то не аккуратно, без ссылки на автора.
#lipsync
Github | Portable | ComfyUI
Среди опенсорса это хорошая заявочка, но можно ведь лучше...
Обмазавшись нейронками, провел неделю в поиске улучшения.
Чем улучшал:
Animatediff
Supir
StableSR
LTX
FLUX
Hunyuan
Daemon
Venchancer
InstantIR
Что-то еще было, но забыл...
SVFR
На последнем пока и остановился. Результатом не доволен, но выложу в комменты воркфлоу. Может ребятки, у Вас есть идеи как улучшить? Задача - консистенто вгенерировать зубы в рот с липсинком (как бы это ужасно не звучало).
P.S. Исходники под постом👇👇
P.P.S. Визитка актрисы из семпла https://www.youtube.com/watch?v=vKrlWIy1sEw. А то как то не аккуратно, без ссылки на автора.
#lipsync
👍14❤1
Обожаю каналы и чаты, где есть практическая польза. Хочу поделиться с вами, на что у меня включено оповещение в телеграмм.
https://t.me/AINetSD_Group — самый крутой чат про AI. Не читайте историю чата, там можно зависнуть на сутки.
https://t.me/Architecture_NEAR — чат про AI в архитектуре. Ребята отзывчивые, любят экспериментировать и делать крутые штуки.
https://t.me/Psy_Eyes — дайджесты новостей про AI и эксперименты.
https://t.me/tensorbanana — много глубокой и интересной информации про AI. Недавно подписался, но уже жалею, что не нашёл раньше.
https://t.me/larva_coder — автор ищет способ нейрорендеринга игр в реальном времени.
https://t.me/vlad_pedro — канал про дипфейки. К сожалению, давно не обновлялся, но информация всё ещё актуальна.
https://t.me/couture3d — канал про применение AI в швейном бизнесе.
Где брать портативки нейронок:
https://t.me/AINetSD_bot
https://t.me/neuralchatik/8
https://t.me/neuroport
Где брать софт:
https://t.me/+gSmpjWyhd5w3ZGFi
https://t.me/cgplugin
Просто люблю их:
https://t.me/webinquisitor
https://t.me/corgichips
https://t.me/brrrng8112
P.S. Пишите в комментах какие полезные подписки у вас. Похоже это единственный способ найти в телеграмме интересных авторов.
#list
https://t.me/AINetSD_Group — самый крутой чат про AI. Не читайте историю чата, там можно зависнуть на сутки.
https://t.me/Architecture_NEAR — чат про AI в архитектуре. Ребята отзывчивые, любят экспериментировать и делать крутые штуки.
https://t.me/Psy_Eyes — дайджесты новостей про AI и эксперименты.
https://t.me/tensorbanana — много глубокой и интересной информации про AI. Недавно подписался, но уже жалею, что не нашёл раньше.
https://t.me/larva_coder — автор ищет способ нейрорендеринга игр в реальном времени.
https://t.me/vlad_pedro — канал про дипфейки. К сожалению, давно не обновлялся, но информация всё ещё актуальна.
https://t.me/couture3d — канал про применение AI в швейном бизнесе.
Где брать портативки нейронок:
https://t.me/AINetSD_bot
https://t.me/neuralchatik/8
https://t.me/neuroport
Просто люблю их:
https://t.me/webinquisitor
https://t.me/corgichips
https://t.me/brrrng8112
P.S. Пишите в комментах какие полезные подписки у вас. Похоже это единственный способ найти в телеграмме интересных авторов.
#list
👍32🔥8🥰4❤2
Еще чуть ближе к нейроаватарам
Собрал workflow в ComfyUI, потому что умею. На входе фото и аудиофайл, на выходе видео с измененной внешностью и липсинком. Все считается локально и достаточно быстро.
чтобы покрутить у себя - файл оставил в комментах 👇👇👇.
Развлекайтесь, я спать
P.S. Цензуры нет
#tutor
Собрал workflow в ComfyUI, потому что умею. На входе фото и аудиофайл, на выходе видео с измененной внешностью и липсинком. Все считается локально и достаточно быстро.
чтобы покрутить у себя - файл оставил в комментах 👇👇👇.
Развлекайтесь, я спать
P.S. Цензуры нет
#tutor
👍41🔥21
дAI потестить!
Продолжим. Удаляем watermark с видео. Сервисы. По качеству сверху вниз: 1. https://vmake.ai/video-watermark-remover/upload (бесплатно дадут скачать 5 секунд) 2. https://www.apowersoft.com/video-watermark-remover (больше блюрит watermark чем удаляет) 3. ht…
Этого поста здесь нет
Убираем watermark с видео.
Мы же все тут хорошие? Генерим на платных тарифах и покупаем футажи? Так ведь?
Исключительно в академических целях придумал workflow ComfyUI. Сегментирует текст при помощи Florence2 и затирает ProPainter .
Схема простая и надежная как топор, поэтому рубит с плеча, а не аккуратно вырезает.
Что настраивать - показал на скрине .
P.S. Футажик милого пёселя дала Marika . Спасибо 😊
Мы же все тут хорошие? Генерим на платных тарифах и покупаем футажи? Так ведь?
Исключительно в академических целях придумал
Схема простая и надежная как топор, поэтому рубит с плеча, а не аккуратно вырезает.
Что настраивать -
P.S. Футажик милого пёселя дала
1👍21🔥10😁6
дAI потестить!
Ребята из чатика распознавание и синтез речи подсказали интересный TTS https://www.cartesia.ai/. Плюсы: + есть русский язык + работает без VPN + дают 10к знаков бесплатно + есть войсклон (на платном тарифе) + можно настраивать эмоции и скорость речи (спорно)…
Media is too big
VIEW IN TELEGRAM
Клонировать голос, бесплатно, без регистрации и смс
Появилась мысль озвучить мем определенным голосом, а подписка на 11labs закончилась. "Я не буду покупать тебе 11labs, потому что у тебя еще четыре 11labs дома лежат неоткрытые"
Тем временем 11labs у меня дома:
hailuo.ai
(Пока) бесплатный сервис, но ожидаю нефритового стержня в спину.
Можно настраивать эмоции.
Из минусов - не похоже😀
Fish-speech
Portable by NerualDreming | Portable | ComfyUI
Хорошо копирует манеру речи. Для коммерции использовать рано, но для TTS результат приятный. Влюблен. Снимаю шляпу.
Не забываем крутить на этой модели fish-speech-1.5.
Себе ставил по этой инструкции.
Есть в Pinokio. Есть в боте @AINetSD_bot
XTTS
Есть в Pinokio. Есть в боте @AINetSD_bot
Старый добрый XTTS. Не похож, да от него и не требуется. В ударения попадает, уже хорошо.
Кто любит эксперименты, может попробовать две русские модельки: первая от Tensor banana и вторая от малыша NeuroDonu.
F5-TTS
Есть в Pinokio.
Как подрубить русскую модель смотрим здесь.
Не советую😀. Не поможет.
P.S. На видео пират, потому что Heygen не любит знаменитостей.
P.S.S. Понятно чей голос клонировал?
Исходник приложил в комменты 👇👇👇.
P.S.S.S Мем я так и не сделал😐
#TTS
Появилась мысль озвучить мем определенным голосом, а подписка на 11labs закончилась. "Я не буду покупать тебе 11labs, потому что у тебя еще четыре 11labs дома лежат неоткрытые"
Тем временем 11labs у меня дома:
hailuo.ai
(Пока) бесплатный сервис, но ожидаю нефритового стержня в спину.
Можно настраивать эмоции.
Из минусов - не похоже😀
Fish-speech
Portable by NerualDreming | Portable | ComfyUI
Хорошо копирует манеру речи. Для коммерции использовать рано, но для TTS результат приятный. Влюблен. Снимаю шляпу.
Не забываем крутить на этой модели fish-speech-1.5.
Себе ставил по этой инструкции.
Есть в Pinokio. Есть в боте @AINetSD_bot
XTTS
Есть в Pinokio. Есть в боте @AINetSD_bot
Старый добрый XTTS. Не похож, да от него и не требуется. В ударения попадает, уже хорошо.
Кто любит эксперименты, может попробовать две русские модельки: первая от Tensor banana и вторая от малыша NeuroDonu.
F5-TTS
Есть в Pinokio.
Как подрубить русскую модель смотрим здесь.
Не советую😀. Не поможет.
P.S. На видео пират, потому что Heygen не любит знаменитостей.
P.S.S. Понятно чей голос клонировал?
Исходник приложил в комменты 👇👇👇.
P.S.S.S Мем я так и не сделал😐
#TTS
👍18❤3🔥3👏1
дAI потестить!
Переодеваем друзяшку в нужную нам одежду. IDM-VTON + Есть автомаскирование одежды на жертве (можно допилить руками - выключить Use auto-generated mask) + Может взять образец одежды с другого человека (не нужна картинка на белом фоне) + Одежда выделяется путем…
Кажется в сервисах по переодеванию намечается лидер
Однажды ко мне в комменты пришла Elena, и начала творить волшебство, переодевая людей на фотках, сохраняя мелкую детализацию. Тогда я эту задачу решить не смог, поэтому генерировал все вокруг одежды. А Елена смогла.
Знакомьтесь https://nextry.app/
Как мы любим - все бесплатно. По крайней мере пока 😊.
Я покрутил, впечатления очень приятные. Переносит даже буквы, даже пуговицы и кнопки. Это прям ВАУ.
P.S. Все мысли, баги или предложения можете писать напрямую разрабу Elena @SaMayElena. Обязательно поддержите ее добрым словом, для нее это волнительно и очень важно😊.
UPD. Чат поддержки пользователей
https://t.me/+Aj-oOx3fA-AxNTRi
Однажды ко мне в комменты пришла Elena, и начала творить волшебство, переодевая людей на фотках, сохраняя мелкую детализацию. Тогда я эту задачу решить не смог, поэтому генерировал все вокруг одежды. А Елена смогла.
Знакомьтесь https://nextry.app/
Как мы любим - все бесплатно. По крайней мере пока 😊.
Я покрутил, впечатления очень приятные. Переносит даже буквы, даже пуговицы и кнопки. Это прям ВАУ.
P.S. Все мысли, баги или предложения можете писать напрямую разрабу Elena @SaMayElena. Обязательно поддержите ее добрым словом, для нее это волнительно и очень важно😊.
UPD. Чат поддержки пользователей
https://t.me/+Aj-oOx3fA-AxNTRi
🔥54❤15👎3🤔2👍1🤮1💩1
дAI потестить!
Этого поста здесь нет Убираем watermark с видео. Мы же все тут хорошие? Генерим на платных тарифах и покупаем футажи? Так ведь? Исключительно в академических целях придумал workflow ComfyUI. Сегментирует текст при помощи Florence2 и затирает ProPainter .…
Обновил workflow
Теперь watermark удаляет не только ProPainter, но и независимо от него DiffuEraser.
Заботливо добавлен переключатель между ними. К - комфорт 😊.
Немного оптимизировал, причесал.
Если не ясно где брать модели, или как это все завести, ставьте🔥 , пишите в комменты.
P.S. На видео: исходник - ProPainter - DiffuEraser
#tips #tutor
Теперь watermark удаляет не только ProPainter, но и независимо от него DiffuEraser.
Заботливо добавлен переключатель между ними. К - комфорт 😊.
Немного оптимизировал, причесал.
Если не ясно где брать модели, или как это все завести, ставьте
P.S. На видео: исходник - ProPainter - DiffuEraser
#tips #tutor
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥45👍8❤3👏1
дAI потестить!
Обновил workflow Теперь watermark удаляет не только ProPainter, но и независимо от него DiffuEraser. Заботливо добавлен переключатель между ними. К - комфорт 😊. Немного оптимизировал, причесал. Если не ясно где брать модели, или как это все завести, ставьте…
Можно скачать любую папку (модели) или сборку целиком. Workflow положил в корень.
Если ничего не понятно, вот инструкция:
1. Скачать сборку
2. Зайти в папку и следовать инструкции со скрина выше
P.S. Люблю когда на посте есть ❤️
#tips #tutor
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤81👍11