Performance artist
316 subscribers
2.39K photos
172 videos
3 files
195 links
SM studio and art projects.
Download Telegram
Синематик сцены в стиле Акиры Куросавы

Прорабатываю пайплайн по созданию раскадровок для фильмов.

#midjourney
🔥6👍3🤔2😎1
Анимация персонажа в нейросетях

Вместе с @kyoukobu я сделал вот такого психоклоуна по заданию от видеостудии, которая очень хочет работать с Netflix. Мы тестируем возможности вставки в 3D-фильм небольших кусочков генераций из GEN-1.

Сначала на основе небольшого ТЗ от студии мы сделали варианты персонажей в Midjourney.
Затем нарезали 4 секундные кусочки видео с жонглерами из YouTube.
И наконец смешали эти видео с картинками MJ в GEN-1.
Полученным роликам сделали реверс для удлинения хроно и сшили в один.

В примерах ролик, картинки и видео рефы.

#video2video
#gen1
#midjourney
🔥13👍1🍓1
Стендалон приложение Nijijourney

Позавчера мне дали доступ к бетке Niji для телефонов. Полностью новый интерфейс, промпты можно писать без /imagine, теперь так называется обычная вкладка с текстом. Удивило, что в поддерживает ещё три языка – кроме английского появились японский, корейский и китайский.
Но главное, что тут я вижу следующий этап развития – постепенный отход от Дискорда. В продвинутых настройках теперь можно будет выбирать не только движок Niji, но и Midjourney. Буду тестить, насколько это удобно, так то мне и Дискорд на телефоне не особо мешал.

#nijijourney
#midjourney
👍4
This media is not supported in your browser
VIEW IN TELEGRAM
MusicGen – наконец-то рабочий генератор музыки

Плюсы:
- ставится на комп, нужно 11 Гб видеопамяти;
- генерит что-то осмысленное и длинное. Треки до 1 минуты более-менее слушабельны, в идеале 15-30 секунд;
- МОЖНО ДОБАВИТЬ АУДИО-РЕФЕРЕНС! и подогнать генерацию под нужное звучание;
- знает необычные стилистики и даёт выделить конкретные инструменты;
- Clear sound в промпте сделает звук почище, но не везде;
- Инстаграм на такие треки у меня не ругается.

Минусы:
- чистый звук в ограниченном наборе жанров. Лучше всего справляется с синти и электро, рок и джаз тоже неплохо, остальное как повезёт;
- непонятные настройки, первые две по сути друг друга дублируют, у меня так и не получилось понять, в чём разница;
- эти же настройки по разному влияют на разные жанры, что сильно запутывает. Надо долго и внимательно подбирать цифры под задачу.

Классный инструмент.

Качать и ставить отсюда. Если комп не тянет, есть Колаб, но там максимальная длина трека 30 сек.

#musicgen
🔥3👍1🤔1
QR-коды внутри генераций

Дела недельной давности. Я попробовал разобраться с генерацией QR-кодов внутри изображения, но так и не смог получить сколько-нибудь стабильные результаты. Дилемма: или код, которые работает, или приятная картинка. Что-то посередине получить невероятно трудно, да ещё и работает оно через раз. Никакой стабильности.

Я потратил на эти эксперименты 10 часов вычислений – и в итоге сдался. Теперь жду специально натрененый на QR-коды ControlNet, подробный пайплайн мне тоже не помешает.

#stablediffusion
#qr
🤔2❤1👍1😱1
Мокапы с новым ControlNet

Вместо того, чтобы собирать картинки для примеров по всей сети и подгонять их под задачу, можно сгенерить свои собственные и сделать из них пак для студии. Вот тут мы с @Avaeyl сделали примеры оформления любого мерча для презентации.

Как основу, я брал фотографию рандомного чувака из поиска Гугла. С помощью ControlNet Openpose извлекал из фото скелет персонажа и главное – контуры лица с контрольными точками. И затем генерил персонажей под задачу и стилистику в разных моделях StableDiffusion, меняя им облик по своему желанию.
Конечно, все эти генерации необходимо в отдельных местах править и что-то им дорисовывать, но такой работы стало сильно меньше, чем было 3 месяца назад.

#controlnet
#stablediffusion
#мерч
👍7👏1
Генератор QR-кодов с картинками

Стоило мне написать, что у мене не получилось сделать стабильно работающие генерации с QR кодами, как на следующий день подвезли неплохое решение на HugginFace.

За основу тут взяли StableDiffusion 2.1, из-за этого пришлось залезть в архивы старых промптов из октября 2022, иначе получалась какая-то каша.

Работает стабильно, но приходится очень тонко подгонять баланс между читаемостью кода и приятностью картинки. Не угадал со значениями – и получил просто код с какими-то элементами. Или хорошая картинка – а код отказывается читаться. Нужно долго и кропотливо подбирать эти цифры. Причем с разными промптами приходится всё начинать заново.

В галерее рабочие примеры без правок. Портреты надо дотягивать, лица кривые, но это голый SD 2.1, что вы хотели.

#qrcode
#stablediffusion
🔥6🤔2❤1👍1