DiscoDiffusion v5 3d Работает неплохо даже на дефолтных настройках.

Забавны последние кадры, где все варианты CLIP решили, что голубой фон достаточно похож на текстовый запрос, и рисовать мы ничего больше не будем.

"tensorflow карта таро" по версии DiscoDiffusion.

От картинки веет каким-то мрачно-цыганским БДСМ.
В принципе, этим словосочетанием вполне можно описать мой опыт с tensorflow :D

А вот и полный видос.
"tensorflow tarot card" -> "pytorch tarot card"

DiscoDiffusion

Еще вариация на тему tensorflow -> pytorch
На этот раз повыше разрешением и под 2 steps from hell

Okay, wow.

Еще один кадр из этого будущего видоса.

В целом, тут каждый кадр достоин отдельного поста. Возможно, стоит выложить раскадровку?

Heavenly Gate
DD v5

В DiscoDiffusion добавили более плавный 3д зум.
Теперь через генератор прогоняется только каждый энный кадр, а не все подряд, как ранее.

Колаб тут

За наводку, as usual, kudos to @denissexy

Выглядит как-то так с настройками по умолчанию.
Думаю, можно сблендить пограничные кадры с помощью DAIN или гугловой модели, и будет совсем хорошо.

Справа видны следы от инпейнта, но это можно поправить.

Ванильный DiscoDiffusion v5 3d + интерполяция из колаба от @too_motion
х8 (в комментах - х2 и исходник)

Завтра выложу результат из турбо-колаба.

Obsidian Blossom

Vanilla DiscoDiffusion v5
В комментах сглаженная версия

Врата Небесные
На этот раз DiscoDiffusionTurbo + FILM

Надо подобрать какой-то ритмичный трек, чтобы бит попадал на ключевые кадры, должно получиться круто.

Город Ангелов.

Теперь и под музыку.
Анимация та же, но я попытался подстроить смену ключевых кадров под BPM трека.

Следующим шагом будет подгонка непосредственно самой анимации под бит, например тут

Автор DiscoDiffusionTurbo добавил сглаживание кадров.

Теперь ключевые кадры не выскакивают из ниоткуда, а постепенно проявляются, смешиваясь с предыдущими необработанными кадрами.

Обновленный Колаб

Затестил сглаженный DiscoDiffusionTurbo и сгенерил анимацию под звук тут

К сглаживанию претензий нет - выглядит круто, генерится быстро.

Если честно, визуально соответствия аудио не видно, но на самих ключевых кадрах разница есть. Возможно, надо сначала потестить анимацию на каком-то более быстром колабе вроде VQGAN+CLIP, а потом уже переносить сюда.

Очередная итерация. На этот раз бит уже заметнее влияет на анимацию. Осталось привязать повороты.