Официальный гайд по Luma

Вот тут.

Технически ничего нового для тех, кто уже тестил – до всего успели дойти сами за три дня. Для тех, кто только начинает, будет полезно.

#lumalabs #aivideo

Hedra – цифровые аватары

Сервис для анимации музыкальных треков или голоса.

Понятно работает:
закинуть трек, закинуть портрет, подождать анимации.

Можно всё это сгенерить тут же на сайте, но того не стоит.

Из наблюдений:
• постоянно придирается к фотореализму в МЖ, ссылаясь на какие-то внутренние копирайты. Не пускает молодые лица под предлогом несовершеннолетия. Адовый нелогичный фильтр;
• предпочитает контрастные портреты, лучше разбирает губы и черты лица;
• качество очень сильно зависит от скорости входящего текста. В примере плотный и быстрый трек, видно что успевает с трудом и лезут искажения. С обычной речью или на медленном рэпе липсинк сильно лучше, но тоже заметны артефакты. Особенно зубам достаётся.

Условно юзабельно, можно в ТикТок пихать.

Пробовать тут.

В примере:
текст песни – GPT-4o
музыка и голос – Suno
портрет – Firefly
видео – Hedra

Img2video ролик Урса

Первая в России коммерция на больших экранах с Luma Dream Machine.

Задача:
сделать ролик на 10 сек про новый вкус мороженого для экранов в городе. Анимировать любимого персонажа компании из PNG референса, который сгенерили в SD 1.5 на кастомных настройках осенью 2023, сделать окружение Владивостока.

Инструменты и процесс:
• Photoshop Generative Expand и Generative Fill – расширил формат картинки до 16:9, добавил Русский мост и побережье Второй речки к картинке;
• Luma Dream Machine – сгенерил 2 видео шота по 5 сек;
• Neural Love – апскейл видео до 4К, чтобы можно было двигать камеру по кадру и дать больше динамики;
• After Effect – притречили банку к лапе, потому что в видео исчезала этикетка, кеинг перса на доске, переделали базовый пэк-шот, потому что он не подходил к ролику;
• Suno – сгенерил джингл в стиле soft surf-rock;
• Band Lab – чистка звука от AI-артефактов.

Трудности:
• в основе всего лишь квадратная картинка!
• добавить узнаваемый Владивосток стало возможно только в новом июньском Firefly 3, но и он не идеален;
• Dream Machine на момент создания ролика была 3 дня в бете. Начинал я генерить в Runway GEN-2, но сразу переключился на Luma;
• генерить консистентного перса в активном движении – боль, мутации и множество вариантов;

Радости:
• понимающий продвинутый клиент;
• мой опыт в Suno, крутой готовый джингл с 3 попыток;
• огромная скорость работы для такой сложной анимации, от ТЗ до сдачи всего 2 недели;
• вовремя вышли Firefly и Luma;
• осознание, что делаем что-то первыми и на острие прогресса.

Итог:
сегодня ролик на экранах по всему городу.

Исходный квадрат и опорная картинка для видео – в комментах.

Обложка для AI-альбома

Exington это музыкант из Иркутска. Он делает сэмплы в Suno – и получает вот такой минималистичный звук.

Я сделал для него в Ideogram обложку с нарочито артефактными химерами птиц (дальше поймёте, при чём тут они), подобрал шрифт надписи и всё скомпоновал. Экран и помехи в старом телевизоре отсылают к звучанию 90/00-х и стилистике обложек тех времён, которые нравятся музыканту.

Цитирую:
«– Вообще изначально для данного проекта вдохновлялся сильно Burial и DJ Shadow. А концепция альбома - это мем с диджеем который включал в курятнике своим курочкам и зверям диджей-сет)) При создании музыки хотел ещё замешать некоторые электронные жанры: trip-hop, uk garage, brostep, breakbeat (идею Химеры как раз).»

Альбом должен был выйти ещё в мае. Но из-за проблемы с дистрибьютером Union Music, который нас дважды мариновал на модерации, а потом не пропускал обложку, потому что она сгенерирована – пришлось отложить выпуск. В итоге релизили альбом у других ребят – Tune Core. У них всё прошло с первого раза.

Слушать тут: https://band.link/Ga2H9

Img2video ролик Урса 2

Второй ролик с Luma Dream Machine, на этот раз с фруктами и сплэшами молока.

Задача:
сделать ролик на 10 сек про ещё один новый вкус мороженого, для горизонтальных экранов. Анимировать летающие фрукты и волну молока в кадре из банера в Иллюстраторе. По сути – оживить печатный макет.

Инструменты и процесс:
• Adobe Illustrator – поменял формат на 16:9, поставил волны молока и фрукты в кадре так, чтобы получились два опорные картинки для первого и последнего кадра движения;
• Luma Dream Machine – с помощью двух кадров теперь можно генерить плавное движение между ними на 5 сек. А затем продлить это видео до 10 сек;
• Neural Love – апскейл 10 сек видео до 4К;
• After Effect – анимация летающих пачек и пэк-шот.

Трудности:
• очень сложно сделать приятный переход между идеальным шотом из 2 кадров и его удлинением до 10 сек. Большую часть генераций потратил на это. Между частями возникает или противная пауза на секунду, или немедленные мутации всего и вся. Первый кадр завершился – и Dream Machine идёт вразнос;
• фрукты охотно мутируют при контакте с молоком. Видно, что волны молока Luma знает хорошо, а вот сложные формы фруктов плывут. Клубнику и дыню на 8-10 секундах пришлось закрывать пачками;
• Люма на этот момент не даёт докупать генерации! Потратил 400 платных токенов – жди месяц. Я израсходовал всё на два ролика – и завёл ещё два аккаунта. По слухам, за это банят, но что поделать;
• огромные очереди у бесплатных аккаунтов, 7-8 часов на одну генерацию. Я сначала тестировал промпт на бесплатных акках, чтобы не тратить генки. Но потом забил, невозможно работать с таким временем ожидания. Ты успеваешь забыть, что там в промпте менял.

Радости:
• ролик с анимацией за 10 дней;
• генерация по 2 кадрам даёт огромный контроль и прирост качества. Тратишь сильно меньше попыток;
• отработка новой фичи в первый же день её выхода.

Итог:
сегодня ролик на экранах по всему городу.

Пример видео без графики – в комментах.

Kling и KeLing

Сделал короткий «трейлер» в бесплатных версиях Клинга – общемировой и китайской.

Смотреть со звуком.

Задача:
посмотреть, как держит картинку на чистом промпте, без референсов. Собрать связный сюжет.

Что получилось:
хорошо удержать синий костюм и фигуру мужчины в кадре. Крупные планы ботинок. Крупные планы лиц. Более-менее стабильная улица с неоном.

Что не получилось:
убегающая фигура в кадре на среднем и дальнем плане. Всё, что становится мелким – сразу мутирует.
Лицо с маской, та же проблема – слишком много мелких деталей в движении. Для двух кадров пришлось использовать одну картинку-референс, иначе ролик не собирался. Но горящие глаза получилось сделать с первого раза.

Музыка:
как всегда, если хочешь сгенерить в Suno мелодию с определенным настроением и ритмом – готовься терпеть. Это был 28 вариант.

Итог:
с двух бесплатных аккаунтов на видео я потратил 580 кредитов. Клинг годный инструмент для реализма. Хорошо реагирует на подробный системный промпт.

Ролик с медведем всё ещё в эфире. Это хорошоу.
Великолепный китайский вайб от окружения.

Когда разные нейронки работают вместе.

Всё генерации: картинка во Flux, анимация в Luma, звук в Elevenlabs.

Идея появилась, когда рассматривал фотографии Роберта Франка и Contact sheets тех лет.