RunWay ML выпустили Video-to-Video

RunWay ML - стартап, который можно описать как Голливуд для бедных (с AI и другими радостями машинного обучения) - выпустили нейросеть, которая может стилизовывать видео. И что круто, без всяких подергиваний и кислотного трипа.

Модель называется Gen-1 (про нее рассказывают начиная с 38 секунды видео), что намекает нам на то, что со временем качество будет только улучшаться. Пока модель в бета-тесте, подать заявку на ее использование можно тут.

🎥 Сайт продукта

появился новый способ контролировать генерацию в Stable Diffusion, называется ControlNet. доступны разные опции - можно нарисовать скетч от руки или найти эджи на исходной картинке и раскрасить с помощью промпта. можно сгенерировать арт по карте нормалей или - что выглядит наиболее интересным - генерировать персонажа учитывая положение костей скелета на исходной картинке. но это настолько свежая тема что не все пока хорошо работает, ждемс

протестить можно на hugging face
больше опций доступно в колабе
ControlNet на гитхаб

@тоже_моушн

лови Instruct Pix2Pix Video - новый колаб для стилизации видео по текстовому запросу в интерфейсе gradio от автора вчерашнего блокнота

колаб Pix2Pix Video
space на HF
github
twitter автора

@тоже_моушн

а ты уже встал в вейтлист Runway Gen-1? тут новый шедевр в твиттере. сверху исходное видео, снизу картинка источник стиля, по центру офигенный результат. очень нравится как черные клавиши превращаются в деревья

пост в твиттере

@тоже_моушн

почему то обожаю фильм Наполеон Динамит. а тут в твиттере наткнулся на пост: чел с помощью Instruct pix2pix стилизовал танец Наполеона в стиль пластилиновой анимации. это конечно не Gen-1 но местами очень неплохо сработало

пост в твиттере
оригинальный танец на ютуб
github Instruct pix2pix
colab notebook Instruct Pix2Pix Video

@тоже_моушн

воооо, как раз было интересно как будет вести себя генерация по позе в движении. конечно же психодел и мельтешение, даже при фиксированном сиде. но что то в этом есть. может у меня нейрозависимость и профдеформация но с каждым днем становится все привычнее наблюдать подобные нейро-артефакты

UPD. сходите по ссылке, там в комментах анимация без наложенного скелета

вау! получай еще один колаб для стилизации видео с помощью Instruct pix2pix. автор прикрутил к нему Эбсинт (!) для получения более гладкого, консистентного результата

твиттер автора
colab notebook IP2P Video w/ Coherence Guidance

за наводку спасибо Нейросети и Блендер

@тоже_моушн

такс, ну это уже ни в какие ворота! скоро приделают официально и можно будет ручками настраивать позу персонажа в аутоматике. о времена!

пост в твиттере

в комменты загляни, там еще скелеты припрятаны)

@тоже_моушн

взял за правило - вставать в вейтлисты всех перспективных эйай проектов, и вам советую)
сегодня наконец то получил доступ к Text to Skybox! давно искал что то подобное - генерация 360 панорам по всем правилам. шов еще слегка заметен, но это правится в ручном режиме за пару минут

покрутить мои тесты в 360 можно тут
по этой ссылке записываемся в вейтлист
твиттер проекта

upd: в комменты можете прислать свои промпты, попробую их сгенерить в панораму

@тоже_моушн

С помощью молотка, молитв и двухметрового костыля я сделал API для ControlNet. Теперь можно работать с ним из Гудини, делать батч-процессинг и прочие прикольные вещи.

Погружение в глубины исходников Автоматика стоило мне пары лет жизни. По возможности избегайте этого.

хроники ControlNet: новый эксперимент от Гленна Маршалла. подробностей он не открывает но похоже что это режим canny и batch обработка картинок - а значит ControlNet можно использовать для более качественной стилизации по сравнению с img2img

пост в твиттере

@тоже_моушн

нейронками в музыкальных клипах уже никого не удивить, но тут прям очень хорошо получилось. когда и съемка+монтаж на высшем уровне, и руки у нейро художника растут откуда надо - результат огонь! за подгон по классике спасибо Нейросети и Блендер)

смотреть клип целиком
инста riz_trayzz

@тоже_моушн

эту прекрасную кучку говна я посвящаю тем новым подписчикам, которые не понимают зачем попали на этот канал и пришли ставить пальцы вниз и писать глупые или токсичные комментарии.
я ценю ваше мнение, но прежде чем его писать подумайте - нужно ли его знать другим?

каждое ваше грубое высказывание или реакция какашки 💩 больно ранит мое нежное сердечко 💔 и уменьшает желание делиться новым и интересным

если вы здесь с добрыми намерениями и так же кайфуете от дикого темпа прогресса нейросетей - нам по пути 🤝, добро пожаловать!

если вы луддит 🚫 и токсик 💣 - поищите кнопку "покинуть канал" 🚪

peace!

а может завтра вечером стрим? поиграемся с ControlNet?

стрим - в 22:00 по Еревану. ссылку пришлю сюда ближе к началу

тема: ControlNet - как работают разные режимы, какие и для чего нужны, заодно покажу некоторые лайфхаки и приемы