Имеем в Vidu

Попробовал затестить для около-рабочих задач ещё одну китайскую нейронку для видео.

Кратко:
почти ничего не дают попробовать забесплатно. В не-реализме может конкурировать с Люмой, с реализмом выходит хуже Хайлуо и Ранвея.

Плюсы:
• прекрасно понимает промпт. Любит детальные описания из Клода/ГПТ, старается им следовать и попадать в атмосферу. Чувствуется, что добавили много описательных прилагательных при разметке;
• хорошая физика персов в анимации для не-реализма. И у них более разнообразные движения;
• есть подробный гайд с промптами тут (привет Хайлуо, снова китайский аналог ГуглДокс);
• неплохо справляется с крупным текстом, мелкий плывёт;
• три референсные картинки, из которых Vidu попытается собрать новое содержание по вашему промпту. Идея прикольная, но требует тщательного подбора рефов похожей стилистики и качественной картинки – иначе получится, как у меня в примере. Хочется вдумчиво тестить, но не дают – об этом ниже.

Минусы:
• бесплатно получится прогнать один шот в 720p или 20 быстрых шотов малого разрешения. Без апскейла быстрые шоты страшны, с апскейлом их будет всего 10. Такие условия или для опытных, с отработанным тестовым пайплайном, или для тех, кому не жаль 30$;
• движение камеры понимает хуже Хайлуо и Люмы. В детальных промптах с описанием атмосферы слушается ещё хуже;
• нельзя отключить prompt enhancer. Совсем. Даже за деньги;
• нельзя поставить только последний кадр – привет Клингу. Да что с ними всеми не так?!
• движение персов в кадре
сопровождается серьёзными артефактами на фоне. Часто по этой причине шот неюзабельный. Апскейл иногда решает проблему, но может пострадать персонаж. Видно в примерах.

Итог:
прикольно, сыро, дорого и недружелюбно.
Если допилят качество с анимацией большого формата, можно частично перейти сюда из Люмы.

Пробовать тут.

Тот момент, когда непомерная разговорчивость персонажей из Хайлуо – в тему.

Topaz Gigapixel 8 теперь хочет 4090

Кратко:
их новый апскейлер для генок наваливает деталей на уровне Магнифика и умеет ОЧЕНЬ долго генерить на локальном железе. Цена за облачные вычисления заставляет желать 4090 и не платить Топазу.

Я с августа не обновлял Гигапиксель, поэтому пропустил 8 версию с их вариантом AI-апскейлера. Там добавили Redefine, своеобразный ответ на купленный Адобом Magnific. Который делает то же самое – добавляет деталей в изображении. Теперь у Фотошоп-юзеров есть два варианта плагинов, куда закинуть генки – и заплатить.

Но! В стендалон версии Гигапикселя ВНЕЗАПНО можно запускать Redefine AI модель и на собственном железе.
Весит она почти 5 Гб (сам Гигапиксель уже перешагнул 10Гб на диске), считает х4 апскейл картинки в .png формате на видеокарте 3090 примерно 30-50 минут!

Понимая этот беспредел (или намеренно его устраивая), хитрые Топазы ввели подписную систему для облачных вычислений. 100 кредитов в базе, затем плати. Курс для кредитов адовый – 50 центов за картинку.
Всеми силами заставляют тебя копить на 4090.

Сейчас чёрная пятница, можете оценить их жадность.

Итог:
качество для моих задач норм, Магнифик показался сопоставимым. Если гонять апскейл постоянно и есть своя мощная видеокарта, то Гигапиксель выходит гуманнее по цене.

Whisk storyboard от Гугла

Я целый день гонял Виск на собственном датасете абстрактных и условно реалистичных генок из СД и МЖ.

Кратко:
очень сильно заточенный под реализм инструмент для создания картинок и последующей анимации. Первый из серии Гугловских генеративных нейронок для пиления контента – планируют видео, аудио и т.д.

Пробовать тут. Нужен vpn и вроде как учётная запись не в России, но это надо проверять самому.

Плюсы:
• пока бесплатно;

• простой и понятный интерфейс в стиле «кидай сюда, будет вот это». Приятный и не отвлекающий дизайн рабочей области;

• заточен под реализм, из-за этого довольно точно переносит лица/образы с фоток и умеет цепко их держать;

• очень быстро работает;

• промпт у каждой картинки подробный и легко меняется в том же окне, отсюда запускается и новая генерация с правками;

• Гугл скоро выпустит свой вариант img2vid, и добавит туда удобный перенос картинок из Виск-сториборда вместе с промптом. Получится цельный и удобный инструмент – при условии достойного качества гугловского AI-видео, конечно.

Минусы:
• анализ референсов с помощью текстового описания, img2txt. Путается и пишет дичь. Часто сбивается и отказывается использовать твои рефы. Особо ненавидит следующий пункт;

• ничего абстрактного и необычного. Любые объекты и субъекты в кадре будут подгоняться Виском под знакомую версию из реального мира. Уродливое граффити с лицом на стене он превратит в реального человека с обычной внешностью;

• рандомно переносит объекты из референсов стиля. Если хочешь использовать для рефа стиля плёночный кадр, и там будет человек, то есть вероятность, что он окажется на генке или поменяет пол персонажу из референса объекта. Отсюда вытекает следующий пункт;

• очень требователен к референсам. Для стабильной работы нужно подбирать для Виска свой датасет на стили, объекты, сцены. Редко, но бывали ситуации, когда один и тот же стиле-реф при повторной загрузке давал мне другой эффект.

Итог:
крутая и залипательная штука. Рабочий инструмент, если Гугл не забросит проект через полгода.
Если у вас уже есть датасет и вы знаете, что хотите получить, то у Виска получится вас удивить.