Whisk storyboard от Гугла
Я целый день гонял Виск на собственном датасете абстрактных и условно реалистичных генок из СД и МЖ.
Кратко:
очень сильно заточенный под реализм инструмент для создания картинок и последующей анимации. Первый из серии Гугловских генеративных нейронок для пиления контента – планируют видео, аудио и т.д.
Пробовать тут. Нужен vpn и вроде как учётная запись не в России, но это надо проверять самому.
Плюсы:
• пока бесплатно;
• простой и понятный интерфейс в стиле «кидай сюда, будет вот это». Приятный и не отвлекающий дизайн рабочей области;
• заточен под реализм, из-за этого довольно точно переносит лица/образы с фоток и умеет цепко их держать;
• очень быстро работает;
• промпт у каждой картинки подробный и легко меняется в том же окне, отсюда запускается и новая генерация с правками;
• Гугл скоро выпустит свой вариант img2vid, и добавит туда удобный перенос картинок из Виск-сториборда вместе с промптом. Получится цельный и удобный инструмент – при условии достойного качества гугловского AI-видео, конечно.
Минусы:
• анализ референсов с помощью текстового описания, img2txt. Путается и пишет дичь. Часто сбивается и отказывается использовать твои рефы. Особо ненавидит следующий пункт;
• ничего абстрактного и необычного. Любые объекты и субъекты в кадре будут подгоняться Виском под знакомую версию из реального мира. Уродливое граффити с лицом на стене он превратит в реального человека с обычной внешностью;
• рандомно переносит объекты из референсов стиля. Если хочешь использовать для рефа стиля плёночный кадр, и там будет человек, то есть вероятность, что он окажется на генке или поменяет пол персонажу из референса объекта. Отсюда вытекает следующий пункт;
• очень требователен к референсам. Для стабильной работы нужно подбирать для Виска свой датасет на стили, объекты, сцены. Редко, но бывали ситуации, когда один и тот же стиле-реф при повторной загрузке давал мне другой эффект.
Итог:
крутая и залипательная штука. Рабочий инструмент, если Гугл не забросит проект через полгода.
Если у вас уже есть датасет и вы знаете, что хотите получить, то у Виска получится вас удивить.
Я целый день гонял Виск на собственном датасете абстрактных и условно реалистичных генок из СД и МЖ.
Кратко:
очень сильно заточенный под реализм инструмент для создания картинок и последующей анимации. Первый из серии Гугловских генеративных нейронок для пиления контента – планируют видео, аудио и т.д.
Пробовать тут. Нужен vpn и вроде как учётная запись не в России, но это надо проверять самому.
Плюсы:
• пока бесплатно;
• простой и понятный интерфейс в стиле «кидай сюда, будет вот это». Приятный и не отвлекающий дизайн рабочей области;
• заточен под реализм, из-за этого довольно точно переносит лица/образы с фоток и умеет цепко их держать;
• очень быстро работает;
• промпт у каждой картинки подробный и легко меняется в том же окне, отсюда запускается и новая генерация с правками;
• Гугл скоро выпустит свой вариант img2vid, и добавит туда удобный перенос картинок из Виск-сториборда вместе с промптом. Получится цельный и удобный инструмент – при условии достойного качества гугловского AI-видео, конечно.
Минусы:
• анализ референсов с помощью текстового описания, img2txt. Путается и пишет дичь. Часто сбивается и отказывается использовать твои рефы. Особо ненавидит следующий пункт;
• ничего абстрактного и необычного. Любые объекты и субъекты в кадре будут подгоняться Виском под знакомую версию из реального мира. Уродливое граффити с лицом на стене он превратит в реального человека с обычной внешностью;
• рандомно переносит объекты из референсов стиля. Если хочешь использовать для рефа стиля плёночный кадр, и там будет человек, то есть вероятность, что он окажется на генке или поменяет пол персонажу из референса объекта. Отсюда вытекает следующий пункт;
• очень требователен к референсам. Для стабильной работы нужно подбирать для Виска свой датасет на стили, объекты, сцены. Редко, но бывали ситуации, когда один и тот же стиле-реф при повторной загрузке давал мне другой эффект.
Итог:
крутая и залипательная штука. Рабочий инструмент, если Гугл не забросит проект через полгода.
Если у вас уже есть датасет и вы знаете, что хотите получить, то у Виска получится вас удивить.
🔥7👏3👌3🤔1
Для наглядности стены текста в предыдущем посте, я сделал уточняющую подборку:
• общий вид интерфейса Whisk;
• картинки-рефы по порядку: объект, сцена, стиль;
• результат;
• окно с промптом;
• It’s Wednesday my dudes!
• общий вид интерфейса Whisk;
• картинки-рефы по порядку: объект, сцена, стиль;
• результат;
• окно с промптом;
• It’s Wednesday my dudes!
🔥7👍5👏1
This media is not supported in your browser
VIEW IN TELEGRAM
Модель для анимации иллюстраций в Hailuo-Minimax
Давно не писал про этих китайцев, потому что подписка кончилась, и генерил я последние пару месяцев только реализм. А они за это время сделали очень разумный шаг – выпустили отдельную модель для анимации 2D картинок. И вот почему это важно.
Если вы генерите много AI-видео в разных стилях, то у вас происходит разделение в пайплайне. Например, за качественным реализмом я иду в Ранвей или Клинг, за анимацией всяких мультяшек в Люму, Хайлуо и тот же Клинг. Этот подбор всегда происходил из собственного опыта на уровне «вот тут скорее всего получится хорошо».
А теперь Хайлуо выходит и говорит: «Видео в аниме-стилистике лучше всего генерить у нас».
Выбираешь в отдельной вкладке модель, закидываешь реф-картинку, даже промпт подробный Хайлуо за тебя допишет.
Я по привычке расписал всё сам, не люблю, когда оно что-то своё додумывает.
Послушная камера и глубина кадра, точное следование промпту. Всё что надо для работы, если вы генерите много в такой стилистике.
В комменты закинул картинку рабочей области.
Я уверен, совсем скоро модели, заточенные под разные стили, появятся во всех китайских AI-видео генераторах. А через год и у Соры такое увидим.
Давно не писал про этих китайцев, потому что подписка кончилась, и генерил я последние пару месяцев только реализм. А они за это время сделали очень разумный шаг – выпустили отдельную модель для анимации 2D картинок. И вот почему это важно.
Если вы генерите много AI-видео в разных стилях, то у вас происходит разделение в пайплайне. Например, за качественным реализмом я иду в Ранвей или Клинг, за анимацией всяких мультяшек в Люму, Хайлуо и тот же Клинг. Этот подбор всегда происходил из собственного опыта на уровне «вот тут скорее всего получится хорошо».
А теперь Хайлуо выходит и говорит: «Видео в аниме-стилистике лучше всего генерить у нас».
Выбираешь в отдельной вкладке модель, закидываешь реф-картинку, даже промпт подробный Хайлуо за тебя допишет.
Я по привычке расписал всё сам, не люблю, когда оно что-то своё додумывает.
Послушная камера и глубина кадра, точное следование промпту. Всё что надо для работы, если вы генерите много в такой стилистике.
В комменты закинул картинку рабочей области.
Я уверен, совсем скоро модели, заточенные под разные стили, появятся во всех китайских AI-видео генераторах. А через год и у Соры такое увидим.
🔥9👍2👏1👌1
Награда нашла героев. Второе золото на Дизайн.Среде для Strange Magic – теперь можно красиво поставить на полочку, к остальным наградам студии.
🔥14👏5❤4