еще один нейротаймлапс (похоже на то что недавно репостил). выглядит шикарно! и на первый взгляд - недосягаемая магия. однако на реддите пишут что не такая уж и магия:

It's basically just prompting a 'X year old boy/girl sitting on a couch', changing X by just one year until about 5, then skipping 5 years every 10 or so frames. Once you get to about age 20, replace boy/girl with man/woman.
This is in Deforum on Automatic1111.

видео на ютубе

опробовал на себе новый img2img по текстовому запросу - InstructPix2Pix. прикольная штука с большим потенциалом. пишешь что хочешь поменять на картинке и она это делает (не всегда). примеры того что умеет и демо - по ссылкам ниже

демо на hf
подробнее о проекте
гитхаб

@тоже_моушн

замутил в блендере крутецкий шейдер который делает хроматические аберрации в отражениях. файлом с материалом делюсь в комментах
и да, я теперь еще и цифровая швея)

@тоже_моушн

ха, свежий ресурс для создания ИИ анимации! можно по текстовому запросу или по исходной картинке, и все бесплатно. результаты чем то похожи на то что делает колаб Кэтрин Кроусон. больше красивых генераций можно посмотреть в комментах

сайт для создания анимации
колаб Кэтрин Кроусон

@тоже_моушн

кажется у стайлгана есть все шансы вернуться в игру. по крайней мере создатели нового StyleGAN-T утверждают что он значительно превосходит предыдущие GAN и даже дистиллированные диффузионные модели в задаче генерации изображения из текста. а главное - с его помощью появляется возможность предельно плавной анимации, недоступной в Stable Diffusion. видео в презентации совсем крохотное и кода пока нет - подождем, выглядит это ну очень перспективно.
и как говорится - вот э тайм ту би элайф!

страница проекта
гитхаб (пока без кода)
paper

@тоже_моушн

Художница Евгения Шабунина сделала полностью нейрогенеративный клип «Мир спасет красота» для группы АИГЕЛ. Я немного расспросила Евгению о деталях процесса, она поделилась техническими деталями и любимыми кадрами.

Клип был сделан с помощью, кажется, всех существующих вариантов нейрообработки: warpfusion, Deforum и где-то img2img, где не подходили другие способы. Художница говорит, что самое сложное было придумать концепцию чтобы технически все ложилось, он очень много времени потратила на всякие тесты, потому что все-таки не все придуманное в голове пока можно реализовать с помощью нейросетей.

Открытием стало то, что все хорошо и удобно можно миксовать с 3D-графикой, с которой художница уже работала до этого, как полгода назад занялась нейросетевым искусством.

Для меня этот инструмент стал каким то спасением от творческого кризиса, поэтому все таки я думаю еще много проектов нам предстоит пройти вместе.

А в этом проекте получилось крутое путешествие по разным мирам. Мир все-таки спасет красота. И ИИ 🫀🦾

запасаемся чаем и плюшками и бегом в ютуб! урок о продвинутой анимации в колабе Deforum уже на канале! рассказываю про ключи, математику, привязку анимации к звуку и экспорте камеры в дефорум из блендера. приятного просмотра)

наконец то вышел клип для которого я немного помог сделать нейронную обработку в StableWarp. клип прикольный, парни долго и упорно работали, жалко только что из моих тестов мало что пошло в финальный монтаж) на гифке как раз один из тестов

смотреть клип Аминь - Без Сна

@тоже_моушн

RunWay ML выпустили Video-to-Video

RunWay ML - стартап, который можно описать как Голливуд для бедных (с AI и другими радостями машинного обучения) - выпустили нейросеть, которая может стилизовывать видео. И что круто, без всяких подергиваний и кислотного трипа.

Модель называется Gen-1 (про нее рассказывают начиная с 38 секунды видео), что намекает нам на то, что со временем качество будет только улучшаться. Пока модель в бета-тесте, подать заявку на ее использование можно тут.

🎥 Сайт продукта

появился новый способ контролировать генерацию в Stable Diffusion, называется ControlNet. доступны разные опции - можно нарисовать скетч от руки или найти эджи на исходной картинке и раскрасить с помощью промпта. можно сгенерировать арт по карте нормалей или - что выглядит наиболее интересным - генерировать персонажа учитывая положение костей скелета на исходной картинке. но это настолько свежая тема что не все пока хорошо работает, ждемс

протестить можно на hugging face
больше опций доступно в колабе
ControlNet на гитхаб

@тоже_моушн

лови Instruct Pix2Pix Video - новый колаб для стилизации видео по текстовому запросу в интерфейсе gradio от автора вчерашнего блокнота

колаб Pix2Pix Video
space на HF
github
twitter автора

@тоже_моушн

а ты уже встал в вейтлист Runway Gen-1? тут новый шедевр в твиттере. сверху исходное видео, снизу картинка источник стиля, по центру офигенный результат. очень нравится как черные клавиши превращаются в деревья

пост в твиттере

@тоже_моушн

почему то обожаю фильм Наполеон Динамит. а тут в твиттере наткнулся на пост: чел с помощью Instruct pix2pix стилизовал танец Наполеона в стиль пластилиновой анимации. это конечно не Gen-1 но местами очень неплохо сработало

пост в твиттере
оригинальный танец на ютуб
github Instruct pix2pix
colab notebook Instruct Pix2Pix Video

@тоже_моушн

воооо, как раз было интересно как будет вести себя генерация по позе в движении. конечно же психодел и мельтешение, даже при фиксированном сиде. но что то в этом есть. может у меня нейрозависимость и профдеформация но с каждым днем становится все привычнее наблюдать подобные нейро-артефакты

UPD. сходите по ссылке, там в комментах анимация без наложенного скелета

вау! получай еще один колаб для стилизации видео с помощью Instruct pix2pix. автор прикрутил к нему Эбсинт (!) для получения более гладкого, консистентного результата

твиттер автора
colab notebook IP2P Video w/ Coherence Guidance

за наводку спасибо Нейросети и Блендер

@тоже_моушн

такс, ну это уже ни в какие ворота! скоро приделают официально и можно будет ручками настраивать позу персонажа в аутоматике. о времена!

пост в твиттере

в комменты загляни, там еще скелеты припрятаны)

@тоже_моушн