Сравнение обработки depth2img и img2img для видеоряда от TomLikesRobots

Результат выглядит намного стабильнее, чем img2img

Анимация происходит за счет изменения силы влияния с промптом:
bronze sculpture of a girl

дожили. теперь даже главные популяризаторы Houdini - Entagma записывают туториалы про использование стейбл диффьюжн. для меня это показатель того что наконец то нейронки перестают быть каким то гиковым направлением и постепенно будут входить в пайплайн серьезных студий. как недавно было с блендером - он быстро проделал путь от софта которым пользуются единицы до одного из самых популярных 3д приложений, с низким порогом входа и огромным количеством туториалов в ютубе.

и когда великие дизайнеры всея руси в фб комментируют такое словами "и это пройдет", хочется им ответить - нет, дядя, все только начинается!

Stable Diffusion 2.0 quick start
dreambooth
using neuro depth map

@тоже_моушн

Курс генеративного дизайна

Мы тут с @adam_arutyunov курс забацали. Учим писать код, который рисует картинки.

Приходите на сайт, чтобы посмотреть программу и почитать отзывы:
https://course.genclub.club

Занятные факты в цифрах:
- 8 занятий!
- 2 раза в неделю!
- С 11 января по 3 февраля!
- 7 500 ₽!
- 20 мест!

Если вы уже согласные и хотите опередить тех, кто пошёл читать сайт, вот вам сразу ссылка на бота @gendesign_bot. Он заберёт деньги и выдаст ссылку на секретный чат.

GoFundMe анимационный ролик - это первый качественный продуктовый видеоряд сделанный через Stable Diffusion

Вот что пишет о работе один из авторов:

"Цель здесь состояла в том, чтобы увидеть, сможем ли мы приручить хаотичного зверя, которым является ИИ, и использовать новые технологии, чтобы открыть способы рассказывать истории. Масштаб чего-то подобного выходит за рамки того, с чем может справиться небольшая команда. Это показывает перспективу того, как ИИ может помочь независимым кинематографистам"

Для меня это одна из самых качественных анимационных работ сделанных в SD. И пример красивой работы для благотворительного фонда.
Вдохновляемся img2img.

Youtube версия видео

новый прекрасный нейро мультик от невероятно продуктивного Гленна Маршалла в технике paper cut, сделанный с помощью модели sd с соответствующим названием

пост в твиттере

upd. оказалось что моделей не одна и под разные версии sd, поэтому приложу несколько ссылок, в том числе на эмбеддинг (это когда не надо целую модель качать а достаточно одного небольшого файла)

эмбеддинг для sd2
MidJourney PaperCut
Paper Cut v1

@тоже_моушн

в последние дни часто вижу посты про нерфы (раз, два), но пока что главный минус этой технологии - высокие требования к GPU на котором это будет крутиться. можно и в колабе, но это для гиков.

при этом существует отличный проект LumaAi. и это нерфы для нормальных людей. проверял лично - можно отфотать объект или локацию на телефон (прокатит даже видео но качество хуже), загрузить материалы на сайт, подождать пока нерф приготовится. и далее - в простом и дружелюбном 3д редакторе с приличным набором опций можно как угодно анимировать камеру и получать крутые результаты которые могут быть слишком трудозатратны в классическом пайплайне. можно даже подгружать анимацию камеры из блендера (предварительно закинув туда грубую 3д версию нерфа). фокусы которые доступны с таким инструментом недавно показали коридор крю

кстати на сайте LumaAi можно встать в вейтлист Imagine 3D - чтоб по текстовому запросу генерить 3д объекты. качество примеров просто бомба

LumaAi
Imagine 3D
colab Nerfstudio

@тоже_моушн

ну и к слову об Imagine 3D. где вы еще посмотрите на тверкающего железного человека? это я взял результат генерации text-to-3d и отправил на анимацию в mixamo.

если ты 3д моушн дизайнер - грех не записаться в вейтлист!

Imagine 3D
модель железного человека

@тоже_моушн

Сегодня я подготовил для вас что-то особенное! Генерация от KaliYuga из презентации второй версии Stable Diffusion произвела на меня сильное впечатление, и я решил попробовать создать что-то похожее. Для этого я использовал инструмент Clip-Interrogator-2, который помогает подобрать максимально подходящий текстовый запрос для входящей картинки. Не смотря на то, что сделать это идеально невозможно, с его помощью все же удалось добиться интересного сюрреалистичного стиля. А затем я решил попробовать сделать интерполяцию между удачными картинками (сидами) и... в результате получилось огромное количество красивых и странных, цепляющих взгляд сюрреалистичных женских портретов! Дамы, если вам нужна новая аватарка, заходите в комментарии – их там много)

Clip-Interrogator-2 на hf

@тоже_моушн

юху! новый трюк в копилочку)

долго не давало покоя то что с новой моделькой sd учитывающей глубину картинки можно создавать более плавные морфинги (как в этом посте). оказалось все не так сложно. исходником может быть любая картинка, в ней вычисляется глубина. затем по этой карте глубины происходит генерация (depth-2-img). и чтобы получилась вот такая анимация нужно плавно менять параметр denoising strength от нуля (только исходная картинка) до единицы (только генерация). не сложно и результат кайфовый!

модель stable-diffusion-2-depth

@тоже_моушн

если вы это читаете находясь в Стамбуле, можете сходить на выставку "Digital Serendipity". там есть видео программа, в которой внезапно мое имя оказалось в списке таких мега-крутанов что мой синдром самозванца просто радуется и танцует.

из тех кого я знаю - Denis Shiryaev (aka Sexy IT), главный по туторам Derrick Shultz, на секундочку сама Rivers Have Wings - Katherine Crowson, Roope Rainisto, ну и я Vsevolod Taran за компанию)

если соберетесь - поснимайте плиз видео, интересно что там и как

почему приложение Lensa так хорошо зашло? да просто потому что мы любим себя рассматривать. а если отражение в зеркале не нравится, нейросети это легко поправят, сделают красиво, да еще и дорисуют неожиданный контекст. фото фильтры на максималках.
мой затянувшийся сеанс самолюбования вчера пошел по второму кругу - я прицепил модель Stable Diffusion дообученную на собственных фотках к новому колабу Katherine Crowson, который придуман чтобы делать плавную анимацию по текстовому запросу, этакое блуждание вокруг да около по латентному пространству. результат - бомбический. особенно женские образы))

colab notebook by Katherine Crowson

p.s. если у тебя есть своя моделька но не знаешь как приделать, пиши в комменты, выложу свою версию колаба

@тоже_моушн

happy neural year!

новый год уже совсем рядом.
но как будто в этот раз праздник - вообще не праздник.
хочу пожелать всем в новом году быть в безопасности. быть в таком месте, откуда не захочется уходить и откуда уходить не придется.

и если все не очень, пусть этот теплый нежный нейро-таймлапс хоть ненадолго подарит вам спокойствие и комфорт. а еще надежду что однажды станет лучше.

подробнее от том как он сделан - в следующем посте

с наступающим!

@тоже_моушн