В мире технологий появилась удивительная находка — бесплатный генератор звуков, способный преобразовывать видео в живые звуковые эффекты. Пользователи могут озвучивать до 120 секунд (2 минуты) видео в день, и результаты просто поражают воображение.

Система не просто генерирует звуки, а адаптирует их к визуальному контенту.
Не упустите возможность попробовать новый инструмент и делитесь своими примерами в комментариях! https://huggingface.co/spaces/hkchengrex/MMAudio

Хер знает сколько времени уже тестим разные воркфлоу для генерации видео.

Начали получать более менее хорошие результаты. Я очень вдохновился Корридорами, где они с помощью анимейт див годичной давности, смогли сделать более менее стабильное изображение.

Конечно не без кучи композа. Изображение у них на выходе получалось супер отвратное, нужно было все деноизить по пикселям.

Вот эти кадры в посте мы получили снимая на айфон, в супер херовом освещении. Вся картинка рябит, Depth сработал очень криво.

Если снимаете видео для будущей генерации, используйте хорошее освещение и не ставьте преграды перед собой. Любая пыль, сколы, трещины на стекле, сразу хавается программой и за место чистого стекла вы будете получать млечный путь, епта.

Можно это дело перевести в капли дождя конечно, но все же.

С помощью хорошей информации о Depth (Глубине). Можно композить весь видос в AE-шке. Или где вы сейчас там сидите.

В остальном, что самое прикольное - тестим редактор уже сгенерированных видео, чтобы убрать проблемы с руками и артефактами.

А на посте можно легко накладывать нужный фон, чтобы с разных ракурсов не получать то Нью-Йорк, то Новоебенева.

Дальше наложим на дипфейк и скину результаты.