Анимация персонажа в нейросетях
Вместе с @kyoukobu я сделал вот такого психоклоуна по заданию от видеостудии, которая очень хочет работать с Netflix. Мы тестируем возможности вставки в 3D-фильм небольших кусочков генераций из GEN-1.
Сначала на основе небольшого ТЗ от студии мы сделали варианты персонажей в Midjourney.
Затем нарезали 4 секундные кусочки видео с жонглерами из YouTube.
И наконец смешали эти видео с картинками MJ в GEN-1.
Полученным роликам сделали реверс для удлинения хроно и сшили в один.
В примерах ролик, картинки и видео рефы.
#video2video
#gen1
#midjourney
Вместе с @kyoukobu я сделал вот такого психоклоуна по заданию от видеостудии, которая очень хочет работать с Netflix. Мы тестируем возможности вставки в 3D-фильм небольших кусочков генераций из GEN-1.
Сначала на основе небольшого ТЗ от студии мы сделали варианты персонажей в Midjourney.
Затем нарезали 4 секундные кусочки видео с жонглерами из YouTube.
И наконец смешали эти видео с картинками MJ в GEN-1.
Полученным роликам сделали реверс для удлинения хроно и сшили в один.
В примерах ролик, картинки и видео рефы.
#video2video
#gen1
#midjourney
🔥13👍1🍓1
Стендалон приложение Nijijourney
Позавчера мне дали доступ к бетке Niji для телефонов. Полностью новый интерфейс, промпты можно писать без /imagine, теперь так называется обычная вкладка с текстом. Удивило, что в поддерживает ещё три языка – кроме английского появились японский, корейский и китайский.
Но главное, что тут я вижу следующий этап развития – постепенный отход от Дискорда. В продвинутых настройках теперь можно будет выбирать не только движок Niji, но и Midjourney. Буду тестить, насколько это удобно, так то мне и Дискорд на телефоне не особо мешал.
#nijijourney
#midjourney
Позавчера мне дали доступ к бетке Niji для телефонов. Полностью новый интерфейс, промпты можно писать без /imagine, теперь так называется обычная вкладка с текстом. Удивило, что в поддерживает ещё три языка – кроме английского появились японский, корейский и китайский.
Но главное, что тут я вижу следующий этап развития – постепенный отход от Дискорда. В продвинутых настройках теперь можно будет выбирать не только движок Niji, но и Midjourney. Буду тестить, насколько это удобно, так то мне и Дискорд на телефоне не особо мешал.
#nijijourney
#midjourney
👍4
This media is not supported in your browser
VIEW IN TELEGRAM
MusicGen – наконец-то рабочий генератор музыки
Плюсы:
- ставится на комп, нужно 11 Гб видеопамяти;
- генерит что-то осмысленное и длинное. Треки до 1 минуты более-менее слушабельны, в идеале 15-30 секунд;
- МОЖНО ДОБАВИТЬ АУДИО-РЕФЕРЕНС! и подогнать генерацию под нужное звучание;
- знает необычные стилистики и даёт выделить конкретные инструменты;
- Clear sound в промпте сделает звук почище, но не везде;
- Инстаграм на такие треки у меня не ругается.
Минусы:
- чистый звук в ограниченном наборе жанров. Лучше всего справляется с синти и электро, рок и джаз тоже неплохо, остальное как повезёт;
- непонятные настройки, первые две по сути друг друга дублируют, у меня так и не получилось понять, в чём разница;
- эти же настройки по разному влияют на разные жанры, что сильно запутывает. Надо долго и внимательно подбирать цифры под задачу.
Классный инструмент.
Качать и ставить отсюда. Если комп не тянет, есть Колаб, но там максимальная длина трека 30 сек.
#musicgen
Плюсы:
- ставится на комп, нужно 11 Гб видеопамяти;
- генерит что-то осмысленное и длинное. Треки до 1 минуты более-менее слушабельны, в идеале 15-30 секунд;
- МОЖНО ДОБАВИТЬ АУДИО-РЕФЕРЕНС! и подогнать генерацию под нужное звучание;
- знает необычные стилистики и даёт выделить конкретные инструменты;
- Clear sound в промпте сделает звук почище, но не везде;
- Инстаграм на такие треки у меня не ругается.
Минусы:
- чистый звук в ограниченном наборе жанров. Лучше всего справляется с синти и электро, рок и джаз тоже неплохо, остальное как повезёт;
- непонятные настройки, первые две по сути друг друга дублируют, у меня так и не получилось понять, в чём разница;
- эти же настройки по разному влияют на разные жанры, что сильно запутывает. Надо долго и внимательно подбирать цифры под задачу.
Классный инструмент.
Качать и ставить отсюда. Если комп не тянет, есть Колаб, но там максимальная длина трека 30 сек.
#musicgen
🔥3👍1🤔1
QR-коды внутри генераций
Дела недельной давности. Я попробовал разобраться с генерацией QR-кодов внутри изображения, но так и не смог получить сколько-нибудь стабильные результаты. Дилемма: или код, которые работает, или приятная картинка. Что-то посередине получить невероятно трудно, да ещё и работает оно через раз. Никакой стабильности.
Я потратил на эти эксперименты 10 часов вычислений – и в итоге сдался. Теперь жду специально натрененый на QR-коды ControlNet, подробный пайплайн мне тоже не помешает.
#stablediffusion
#qr
Дела недельной давности. Я попробовал разобраться с генерацией QR-кодов внутри изображения, но так и не смог получить сколько-нибудь стабильные результаты. Дилемма: или код, которые работает, или приятная картинка. Что-то посередине получить невероятно трудно, да ещё и работает оно через раз. Никакой стабильности.
Я потратил на эти эксперименты 10 часов вычислений – и в итоге сдался. Теперь жду специально натрененый на QR-коды ControlNet, подробный пайплайн мне тоже не помешает.
#stablediffusion
#qr
🤔2❤1👍1😱1
Мокапы с новым ControlNet
Вместо того, чтобы собирать картинки для примеров по всей сети и подгонять их под задачу, можно сгенерить свои собственные и сделать из них пак для студии. Вот тут мы с @Avaeyl сделали примеры оформления любого мерча для презентации.
Как основу, я брал фотографию рандомного чувака из поиска Гугла. С помощью ControlNet Openpose извлекал из фото скелет персонажа и главное – контуры лица с контрольными точками. И затем генерил персонажей под задачу и стилистику в разных моделях StableDiffusion, меняя им облик по своему желанию.
Конечно, все эти генерации необходимо в отдельных местах править и что-то им дорисовывать, но такой работы стало сильно меньше, чем было 3 месяца назад.
#controlnet
#stablediffusion
#мерч
Вместо того, чтобы собирать картинки для примеров по всей сети и подгонять их под задачу, можно сгенерить свои собственные и сделать из них пак для студии. Вот тут мы с @Avaeyl сделали примеры оформления любого мерча для презентации.
Как основу, я брал фотографию рандомного чувака из поиска Гугла. С помощью ControlNet Openpose извлекал из фото скелет персонажа и главное – контуры лица с контрольными точками. И затем генерил персонажей под задачу и стилистику в разных моделях StableDiffusion, меняя им облик по своему желанию.
Конечно, все эти генерации необходимо в отдельных местах править и что-то им дорисовывать, но такой работы стало сильно меньше, чем было 3 месяца назад.
#controlnet
#stablediffusion
#мерч
👍7👏1
Генератор QR-кодов с картинками
Стоило мне написать, что у мене не получилось сделать стабильно работающие генерации с QR кодами, как на следующий день подвезли неплохое решение на HugginFace.
За основу тут взяли StableDiffusion 2.1, из-за этого пришлось залезть в архивы старых промптов из октября 2022, иначе получалась какая-то каша.
Работает стабильно, но приходится очень тонко подгонять баланс между читаемостью кода и приятностью картинки. Не угадал со значениями – и получил просто код с какими-то элементами. Или хорошая картинка – а код отказывается читаться. Нужно долго и кропотливо подбирать эти цифры. Причем с разными промптами приходится всё начинать заново.
В галерее рабочие примеры без правок. Портреты надо дотягивать, лица кривые, но это голый SD 2.1, что вы хотели.
#qrcode
#stablediffusion
Стоило мне написать, что у мене не получилось сделать стабильно работающие генерации с QR кодами, как на следующий день подвезли неплохое решение на HugginFace.
За основу тут взяли StableDiffusion 2.1, из-за этого пришлось залезть в архивы старых промптов из октября 2022, иначе получалась какая-то каша.
Работает стабильно, но приходится очень тонко подгонять баланс между читаемостью кода и приятностью картинки. Не угадал со значениями – и получил просто код с какими-то элементами. Или хорошая картинка – а код отказывается читаться. Нужно долго и кропотливо подбирать эти цифры. Причем с разными промптами приходится всё начинать заново.
В галерее рабочие примеры без правок. Портреты надо дотягивать, лица кривые, но это голый SD 2.1, что вы хотели.
#qrcode
#stablediffusion
🔥6🤔2❤1👍1
Ещё один шаг встраивания нейросетей в рабочий процесс. Статья-рекомендация «Как правильно цитировать GPT в научных статьях».
Понравился момент, что можно указывать компанию OpenAI как соавтора цитаты. А GPT хоть и чат, поэтому требует кавычек при цитировании, но при этом ещё и алгоритм, которому их не полагается.
Читать тут:
https://apastyle.apa.org/blog/how-to-cite-chatgpt
#chatgpt
Понравился момент, что можно указывать компанию OpenAI как соавтора цитаты. А GPT хоть и чат, поэтому требует кавычек при цитировании, но при этом ещё и алгоритм, которому их не полагается.
Читать тут:
https://apastyle.apa.org/blog/how-to-cite-chatgpt
#chatgpt
👍5🤔2
Запустили сайт студии
https://strangemagic.studio/
Наконец-то удобно показывать свои проекты. 4 года работаем, как студия, а полагаемся только на сарафанное радио. Непорядок, теперь исправились.
Не всё на сайте связано с нейросетями, в основном там графический дизайн.
Вообще, за последние три месяца я ещё больше убедился, что генеративные сети с картинками помогают в процессе, а не являются финалом.
Тебе придётся или дорисовывать столько, что это уже будет самостоятельное произведение, как в работе с Fat Tiger.
Или рисовать всё заново в Иллюстраторе или Синеме4Д – тогда генерация идёт референсом, как с бумажными иллюстрациями.
И только Zuma и мерч Владивостока (о нём далее) остаются чисто нейропроектами.
#процесс #strangemagic
https://strangemagic.studio/
Наконец-то удобно показывать свои проекты. 4 года работаем, как студия, а полагаемся только на сарафанное радио. Непорядок, теперь исправились.
Не всё на сайте связано с нейросетями, в основном там графический дизайн.
Вообще, за последние три месяца я ещё больше убедился, что генеративные сети с картинками помогают в процессе, а не являются финалом.
Тебе придётся или дорисовывать столько, что это уже будет самостоятельное произведение, как в работе с Fat Tiger.
Или рисовать всё заново в Иллюстраторе или Синеме4Д – тогда генерация идёт референсом, как с бумажными иллюстрациями.
И только Zuma и мерч Владивостока (о нём далее) остаются чисто нейропроектами.
#процесс #strangemagic
Strange Magic Studio — branding, packaging and visual identity
Design studio from Vladivostok creating brand identities, packaging, editorial design, event graphics and visual systems for cultural and commercial projects.
👍8👏3🔥2