Залезли снова в LTXV (генератор видео в ComfyUI), в надежде все же выбить у него image2video результаты.

Работает быстро, но и выдает соответственное качество. К тому же наблюдается достаточно рандомное управление движением в этой модели.

То есть для для каждого изображения и в зависимости еще от разрешения видео, которое ты поставил, сидишь перебираешь 2-3 значения относительно друг друга (управляешь значением crf - некий параметр сжатия, который напрямую влияет на создание движения, и как ни странно управляешь фпс при генерации (это не конечный фпс видео, а именно фпс генерации) - что тоже оказывает влияние на создание движения).

Сам автор воркфлоу сравнивает работу с данной моделью c балансировкой приправ - соли и перца - для супа, имеющего вкус клея))

Также промпт имеет тоже немалое влияние на генерацию в данной модели. Модель любит длинные подробные описания происходящего и действий.

В итоге вот лучшие итоги генерации, в которых отсутствуют какие-то странные движения.

С данным изображением COG выиграл в движениях.

Более физично развевался песок, менее статичные движения. Видно, что модель более тяжелая и обученная на большем числе параметров. Но и работает значительно медленнее. Какие-то странные движения лица.

Но промптом все это можно подредачить хорошенько.