Модель для анимации иллюстраций в Hailuo-Minimax

Давно не писал про этих китайцев, потому что подписка кончилась, и генерил я последние пару месяцев только реализм. А они за это время сделали очень разумный шаг – выпустили отдельную модель для анимации 2D картинок. И вот почему это важно.

Если вы генерите много AI-видео в разных стилях, то у вас происходит разделение в пайплайне. Например, за качественным реализмом я иду в Ранвей или Клинг, за анимацией всяких мультяшек в Люму, Хайлуо и тот же Клинг. Этот подбор всегда происходил из собственного опыта на уровне «вот тут скорее всего получится хорошо».

А теперь Хайлуо выходит и говорит: «Видео в аниме-стилистике лучше всего генерить у нас».

Выбираешь в отдельной вкладке модель, закидываешь реф-картинку, даже промпт подробный Хайлуо за тебя допишет.
Я по привычке расписал всё сам, не люблю, когда оно что-то своё додумывает.

Послушная камера и глубина кадра, точное следование промпту. Всё что надо для работы, если вы генерите много в такой стилистике.

В комменты закинул картинку рабочей области.

Я уверен, совсем скоро модели, заточенные под разные стили, появятся во всех китайских AI-видео генераторах. А через год и у Соры такое увидим.

Новый Урса-медведь на экранах

Ровно полгода прошло с первого ролика – и мы можем видеть, как далеко шагнуло генеративное видео.

Больше всего меня радует, что появилась долгожданная гибкость в работе. Да, это достигается жонглированием целой пачкой нейронок, но это уже контроль, КОНТРОЛЬ!

Для такого, с виду простого, результата (но учитывая, какие тут на экране ролики крутятся, наш это Блейдранер 2049 какой-то) мы использовали:

• обучение лоры на персонажа для получения уникального перса в стилистике компании;
• его доводка с помощью Generative fill + отрисовка дополнительных кадров с поднятой рукой, для контроля движения при анимации;
• анимация персонажа в Хайлуо/Клинге;
• доращивание видео в Ранвей сверху/снизу для вертикальных и горизонтальных экранов (на момент использования инструмент всего неделю как выпустили);
• увеличение разрешения в Topaz Video;
• джингл в Suno для версии в соцсети.

Итог:
получились 6 роликов, которые все праздники будут использовать на экранах в разных городах на ДВ + онлайн.

ТЦ Изумруд всё так же несёт китайский вайб, даже сумерки его не спасают.

Когда генки встречают традиционную анимацию

Снова праздничный ролик, для ещё одного любимого клиента.

Эту акулу-корабль с юристами на борту я сгенерил в SD1.5 летом прошлого году. Клиент её полюбил и с тех пор акула у него трансформируется под разные задачи и носители. В этот раз Настя @godofhoudini разрисовала её под Гжель, потому что такой была тема новогоднего корпоратива.

Затем понадобился ролик на огромный экран. Визуал – акула-корабль летит над зимним пасторальным пейзажем. Хронометраж – полторы минуты одним кадром, да ещё и с возможностью зациклить картинку. Это сразу «нет» для генеративного видео.

Что мы сделали:

• Настя сгенерила фон с домиками в Ideogram и затем расширила его в Generative fill до панорамы в 10К пикселей;
• Topaz Enhance AI — добавил деталей деревьям и горам;
• After Effects — три плана (небо, горы с деревней и деревья на переднем плане) двигаются отдельно и с разной скоростью для параллакс-эффекта. Всё как у Диснея в 1930-х.
• Suno – праздничный джингл для вариантов в соцсети. Ролик в примере как раз для них.

Итог:
благодаря огромному разрешению фоновой картинки, мы смогли легко нарезать ролик под разные форматы, от соцсетей до поздравительных гифок. И ничего не пришлось генерить.

Новый год в ночь на среду, так-то!

2025

Походу, Кекиус Максимус будет символом этого года.

Праздник это закидывать в глиф на кукол Bratz фотки друзей из Телеги, а потом их анимировать.

Как избавиться от очередей в бесплатной генерации? Ограничить количество бесплатных генераций.
*smart move.gif*

В Идеограме теперь дают 10 кредитов на неделю, а не в день. И пишут: «Вам этого хватит, чтобы сделать до 40 картинок».

На самом деле, это 5 промптов по 4 картинки в каждом, для v2 модели. Юзеры бесплатного считать умеют.

Зато потратить можно в любое время, да.

Календарь Нейроэстетики готов

Более 1000 работ нашего сообщества AI-гиков были использованы Настей @godofstrange, чтобы создать портрет символа 2025 года, а затем сверстать с ним календарь. В датах отмечены среды, чтобы вы не пропускали самый важный день недели и ответственно генерили лягух. Кекиус будет следить за этим со стены.

Дополнительный слой смыслов: сгенерённый портрет Кекиуса Максимуса составлен из тысячи сгенерённых изображений, для которых были использованы нейросети 2024 года с обновлёнными датасетами из реальных и синтетических картинок.

В начале пути художники обвиняли генеративные нейронки в том, что они используют кусочки реальных изображений для составления новых картинок (нет). А теперь мы, художники 2025 года, собрали реальное изображение из сгенеренных картинок для печати. Такая вот рекурсия.

Формат А0, календарь можно печатать огромного размера и рассматривать в деталях.

Отдельным файлом забирать тут:
https://disk.yandex.ru/d/PsltFl1AbgQL_A

Elements в Клинге выкатили вот только что

Это мердж в одном видео до 4 референсов из картинок. По-идее, он должен работать, как мой любимый Google Whisk – 2 кадра с объектами, кадр окружения, кадр стилистики. Чем больше рефов, тем хуже будет работать.

Тестить тут.

Почему оно всё выходит точно после того, как я сдал проект, где новая функция могла пригодиться больше всего?

Медленным шагом к полноценной 3D-генерации

Вариант от Tencent. На порядок чище и стабильнее примеров годичной давности (какие же там были уроды).

Лучше всего работает с рефами на однородном фоне, точнее ухватывает форму.

Опенсорс, качать и пробовать тут.