мой хороший друг Паша Егоров (почему то под псевдонимом Давид Бернини) недавно закончил работу над новым клипом для Найка Борзова. Паша такой крутой, что у меня слов нет, обожаю образы которые у него получаются и его крутые художественные и кинематографические приемы и работу с драматургией и с кадром в целом. а еще Паша автор клипа Еду в Магадан, а это уже история, потому что даже в Намеднях у Парфенова показали

а другой мой хороший друг Саша Екимов вон чего натворил: Добро Пожаловать в Оушн Сити!
Саша использовал вот этот колаб с разными настройками и алгоритмами и следующие запросы: ocean city | unreal engine | high-tech | retro-futurism + hyper-realistic | oil painting | fine details

генерация не очень быстрая, но мне нравится то что нейронка сама придумывает сложную композицию и это по сути готовый футаж для монтажа клипа, а каждый отдельный готовый кадр - иллюстрация для какой нибудь сай фай литературы. круто че!

а вот некий Glenn Marshall такую штуку делать умеет. тут под песню целый клип получается и на канале много примеров. судя по всему запрос для генерации берется из названия песни и может где то на текст опирается.
но меня больше всего завораживает что композиция не статичная и постоянно плавно меняется. если кто знает как такое делается, расскажи. автор вот пишет "i'm using a perspective warping effect on the image init" но где и как такое провернуть, я пока не разобрался

нашел колаб VQGAN+CLIP, который умеет генерировать картинку с поворотом и зумом. на ютубе есть урок от автора а вот развернутый пост про это

а я вот бред питт теперь. неплохой дипфейк учитывая что это бот и видео генерится за 5 секунд. но в целом пока выглядит сыровато - ругается на то что разрешение входящее не то и формат не тот, не с первой попытки в общем заработало

Ссылка: https://zmnv.art/physarum-domenicobrz/

поднял сервачок с чужими скриптами физарума в браузере — вот эта репа https://github.com/Domenicobrz/Physarum-experiments

если ты еще не в курсе про физарум, пора исправить это недоразумение) Physarum polycephalum - вид слизевиков семейства Физаровые. очень странный гриб: выглядит жутко, ведет себя жутко, но зато обучаем и может использоваться для решения задач. например японские исследователи однажды решили проверить оптимальность транспортной системы токио и проверили на физаруме, как бы он решил эту задачу. и результат оказался очень близок к реально построенной системе.

но главное что физарум можно симулировать математически, у него довольно простые правила (я не такой умный, не буду пересказывать, оставлю ссылку на статью). лучшие умы Генглуба бьются над реализацией собственной версии)

а главное это очень красиво и залипательно! рекомендую перейти по ссылке из поста выше и потерять полчаса жизни на эту магию)

Денис Ширяев таки реализовал внутри колаба возможность анимировать результат vqgan. оказывается не сложно было и команды shell можно запускать в колаб. уря!