Whisk storyboard от Гугла
Я целый день гонял Виск на собственном датасете абстрактных и условно реалистичных генок из СД и МЖ.
Кратко:
очень сильно заточенный под реализм инструмент для создания картинок и последующей анимации. Первый из серии Гугловских генеративных нейронок для пиления контента – планируют видео, аудио и т.д.
Пробовать тут. Нужен vpn и вроде как учётная запись не в России, но это надо проверять самому.
Плюсы:
• пока бесплатно;
• простой и понятный интерфейс в стиле «кидай сюда, будет вот это». Приятный и не отвлекающий дизайн рабочей области;
• заточен под реализм, из-за этого довольно точно переносит лица/образы с фоток и умеет цепко их держать;
• очень быстро работает;
• промпт у каждой картинки подробный и легко меняется в том же окне, отсюда запускается и новая генерация с правками;
• Гугл скоро выпустит свой вариант img2vid, и добавит туда удобный перенос картинок из Виск-сториборда вместе с промптом. Получится цельный и удобный инструмент – при условии достойного качества гугловского AI-видео, конечно.
Минусы:
• анализ референсов с помощью текстового описания, img2txt. Путается и пишет дичь. Часто сбивается и отказывается использовать твои рефы. Особо ненавидит следующий пункт;
• ничего абстрактного и необычного. Любые объекты и субъекты в кадре будут подгоняться Виском под знакомую версию из реального мира. Уродливое граффити с лицом на стене он превратит в реального человека с обычной внешностью;
• рандомно переносит объекты из референсов стиля. Если хочешь использовать для рефа стиля плёночный кадр, и там будет человек, то есть вероятность, что он окажется на генке или поменяет пол персонажу из референса объекта. Отсюда вытекает следующий пункт;
• очень требователен к референсам. Для стабильной работы нужно подбирать для Виска свой датасет на стили, объекты, сцены. Редко, но бывали ситуации, когда один и тот же стиле-реф при повторной загрузке давал мне другой эффект.
Итог:
крутая и залипательная штука. Рабочий инструмент, если Гугл не забросит проект через полгода.
Если у вас уже есть датасет и вы знаете, что хотите получить, то у Виска получится вас удивить.
Я целый день гонял Виск на собственном датасете абстрактных и условно реалистичных генок из СД и МЖ.
Кратко:
очень сильно заточенный под реализм инструмент для создания картинок и последующей анимации. Первый из серии Гугловских генеративных нейронок для пиления контента – планируют видео, аудио и т.д.
Пробовать тут. Нужен vpn и вроде как учётная запись не в России, но это надо проверять самому.
Плюсы:
• пока бесплатно;
• простой и понятный интерфейс в стиле «кидай сюда, будет вот это». Приятный и не отвлекающий дизайн рабочей области;
• заточен под реализм, из-за этого довольно точно переносит лица/образы с фоток и умеет цепко их держать;
• очень быстро работает;
• промпт у каждой картинки подробный и легко меняется в том же окне, отсюда запускается и новая генерация с правками;
• Гугл скоро выпустит свой вариант img2vid, и добавит туда удобный перенос картинок из Виск-сториборда вместе с промптом. Получится цельный и удобный инструмент – при условии достойного качества гугловского AI-видео, конечно.
Минусы:
• анализ референсов с помощью текстового описания, img2txt. Путается и пишет дичь. Часто сбивается и отказывается использовать твои рефы. Особо ненавидит следующий пункт;
• ничего абстрактного и необычного. Любые объекты и субъекты в кадре будут подгоняться Виском под знакомую версию из реального мира. Уродливое граффити с лицом на стене он превратит в реального человека с обычной внешностью;
• рандомно переносит объекты из референсов стиля. Если хочешь использовать для рефа стиля плёночный кадр, и там будет человек, то есть вероятность, что он окажется на генке или поменяет пол персонажу из референса объекта. Отсюда вытекает следующий пункт;
• очень требователен к референсам. Для стабильной работы нужно подбирать для Виска свой датасет на стили, объекты, сцены. Редко, но бывали ситуации, когда один и тот же стиле-реф при повторной загрузке давал мне другой эффект.
Итог:
крутая и залипательная штука. Рабочий инструмент, если Гугл не забросит проект через полгода.
Если у вас уже есть датасет и вы знаете, что хотите получить, то у Виска получится вас удивить.
🔥7👏3👌3🤔1
Для наглядности стены текста в предыдущем посте, я сделал уточняющую подборку:
• общий вид интерфейса Whisk;
• картинки-рефы по порядку: объект, сцена, стиль;
• результат;
• окно с промптом;
• It’s Wednesday my dudes!
• общий вид интерфейса Whisk;
• картинки-рефы по порядку: объект, сцена, стиль;
• результат;
• окно с промптом;
• It’s Wednesday my dudes!
🔥7👍5👏1
This media is not supported in your browser
VIEW IN TELEGRAM
Модель для анимации иллюстраций в Hailuo-Minimax
Давно не писал про этих китайцев, потому что подписка кончилась, и генерил я последние пару месяцев только реализм. А они за это время сделали очень разумный шаг – выпустили отдельную модель для анимации 2D картинок. И вот почему это важно.
Если вы генерите много AI-видео в разных стилях, то у вас происходит разделение в пайплайне. Например, за качественным реализмом я иду в Ранвей или Клинг, за анимацией всяких мультяшек в Люму, Хайлуо и тот же Клинг. Этот подбор всегда происходил из собственного опыта на уровне «вот тут скорее всего получится хорошо».
А теперь Хайлуо выходит и говорит: «Видео в аниме-стилистике лучше всего генерить у нас».
Выбираешь в отдельной вкладке модель, закидываешь реф-картинку, даже промпт подробный Хайлуо за тебя допишет.
Я по привычке расписал всё сам, не люблю, когда оно что-то своё додумывает.
Послушная камера и глубина кадра, точное следование промпту. Всё что надо для работы, если вы генерите много в такой стилистике.
В комменты закинул картинку рабочей области.
Я уверен, совсем скоро модели, заточенные под разные стили, появятся во всех китайских AI-видео генераторах. А через год и у Соры такое увидим.
Давно не писал про этих китайцев, потому что подписка кончилась, и генерил я последние пару месяцев только реализм. А они за это время сделали очень разумный шаг – выпустили отдельную модель для анимации 2D картинок. И вот почему это важно.
Если вы генерите много AI-видео в разных стилях, то у вас происходит разделение в пайплайне. Например, за качественным реализмом я иду в Ранвей или Клинг, за анимацией всяких мультяшек в Люму, Хайлуо и тот же Клинг. Этот подбор всегда происходил из собственного опыта на уровне «вот тут скорее всего получится хорошо».
А теперь Хайлуо выходит и говорит: «Видео в аниме-стилистике лучше всего генерить у нас».
Выбираешь в отдельной вкладке модель, закидываешь реф-картинку, даже промпт подробный Хайлуо за тебя допишет.
Я по привычке расписал всё сам, не люблю, когда оно что-то своё додумывает.
Послушная камера и глубина кадра, точное следование промпту. Всё что надо для работы, если вы генерите много в такой стилистике.
В комменты закинул картинку рабочей области.
Я уверен, совсем скоро модели, заточенные под разные стили, появятся во всех китайских AI-видео генераторах. А через год и у Соры такое увидим.
🔥9👍2👏1👌1
Награда нашла героев. Второе золото на Дизайн.Среде для Strange Magic – теперь можно красиво поставить на полочку, к остальным наградам студии.
🔥14👏5❤4
This media is not supported in your browser
VIEW IN TELEGRAM
Новый Урса-медведь на экранах
Ровно полгода прошло с первого ролика – и мы можем видеть, как далеко шагнуло генеративное видео.
Больше всего меня радует, что появилась долгожданная гибкость в работе. Да, это достигается жонглированием целой пачкой нейронок, но это уже контроль, КОНТРОЛЬ!
Для такого, с виду простого, результата (но учитывая, какие тут на экране ролики крутятся, наш это Блейдранер 2049 какой-то) мы использовали:
• обучение лоры на персонажа для получения уникального перса в стилистике компании;
• его доводка с помощью Generative fill + отрисовка дополнительных кадров с поднятой рукой, для контроля движения при анимации;
• анимация персонажа в Хайлуо/Клинге;
• доращивание видео в Ранвей сверху/снизу для вертикальных и горизонтальных экранов (на момент использования инструмент всего неделю как выпустили);
• увеличение разрешения в Topaz Video;
• джингл в Suno для версии в соцсети.
Итог:
получились 6 роликов, которые все праздники будут использовать на экранах в разных городах на ДВ + онлайн.
ТЦ Изумруд всё так же несёт китайский вайб, даже сумерки его не спасают.
Ровно полгода прошло с первого ролика – и мы можем видеть, как далеко шагнуло генеративное видео.
Больше всего меня радует, что появилась долгожданная гибкость в работе. Да, это достигается жонглированием целой пачкой нейронок, но это уже контроль, КОНТРОЛЬ!
Для такого, с виду простого, результата (но учитывая, какие тут на экране ролики крутятся, наш это Блейдранер 2049 какой-то) мы использовали:
• обучение лоры на персонажа для получения уникального перса в стилистике компании;
• его доводка с помощью Generative fill + отрисовка дополнительных кадров с поднятой рукой, для контроля движения при анимации;
• анимация персонажа в Хайлуо/Клинге;
• доращивание видео в Ранвей сверху/снизу для вертикальных и горизонтальных экранов (на момент использования инструмент всего неделю как выпустили);
• увеличение разрешения в Topaz Video;
• джингл в Suno для версии в соцсети.
Итог:
получились 6 роликов, которые все праздники будут использовать на экранах в разных городах на ДВ + онлайн.
ТЦ Изумруд всё так же несёт китайский вайб, даже сумерки его не спасают.
🔥11❤4👍4👏4❤🔥2
Media is too big
VIEW IN TELEGRAM
Когда генки встречают традиционную анимацию
Снова праздничный ролик, для ещё одного любимого клиента.
Эту акулу-корабль с юристами на борту я сгенерил в SD1.5 летом прошлого году. Клиент её полюбил и с тех пор акула у него трансформируется под разные задачи и носители. В этот раз Настя @godofhoudini разрисовала её под Гжель, потому что такой была тема новогоднего корпоратива.
Затем понадобился ролик на огромный экран. Визуал – акула-корабль летит над зимним пасторальным пейзажем. Хронометраж – полторы минуты одним кадром, да ещё и с возможностью зациклить картинку. Это сразу «нет» для генеративного видео.
Что мы сделали:
• Настя сгенерила фон с домиками в Ideogram и затем расширила его в Generative fill до панорамы в 10К пикселей;
• Topaz Enhance AI — добавил деталей деревьям и горам;
• After Effects — три плана (небо, горы с деревней и деревья на переднем плане) двигаются отдельно и с разной скоростью для параллакс-эффекта. Всё как у Диснея в 1930-х.
• Suno – праздничный джингл для вариантов в соцсети. Ролик в примере как раз для них.
Итог:
благодаря огромному разрешению фоновой картинки, мы смогли легко нарезать ролик под разные форматы, от соцсетей до поздравительных гифок. И ничего не пришлось генерить.
Снова праздничный ролик, для ещё одного любимого клиента.
Эту акулу-корабль с юристами на борту я сгенерил в SD1.5 летом прошлого году. Клиент её полюбил и с тех пор акула у него трансформируется под разные задачи и носители. В этот раз Настя @godofhoudini разрисовала её под Гжель, потому что такой была тема новогоднего корпоратива.
Затем понадобился ролик на огромный экран. Визуал – акула-корабль летит над зимним пасторальным пейзажем. Хронометраж – полторы минуты одним кадром, да ещё и с возможностью зациклить картинку. Это сразу «нет» для генеративного видео.
Что мы сделали:
• Настя сгенерила фон с домиками в Ideogram и затем расширила его в Generative fill до панорамы в 10К пикселей;
• Topaz Enhance AI — добавил деталей деревьям и горам;
• After Effects — три плана (небо, горы с деревней и деревья на переднем плане) двигаются отдельно и с разной скоростью для параллакс-эффекта. Всё как у Диснея в 1930-х.
• Suno – праздничный джингл для вариантов в соцсети. Ролик в примере как раз для них.
Итог:
благодаря огромному разрешению фоновой картинки, мы смогли легко нарезать ролик под разные форматы, от соцсетей до поздравительных гифок. И ничего не пришлось генерить.
👍6🔥5👏2