Как создается ИИ-музыка для рекламы? Часть 2

Продолжаем говорить с режиссером монтажа Александром Чуйковым про то, как нейро-треки используются в рекламе. Первая часть тут.

🟣 В каких случаях ИИ-генерация не работает

Все кейсы индивидуальны, но наверно там, где требуется очень высокая точность воплощения идеи. У нас так было с Tele2: я написал трек, режиссеру он понравился, но потом оказалось, что у бренда есть свой особенный стиль звучания, который присутствует в каждой рекламе. Это даже не жанр, а именно свой звук. Чуть ли не семплы определенные или пресеты.

Я изучил примеры, услышал эту преемственность во всех треках и предложил отдать эту работу композитору. Это можно было бы сделать с ИИ, но потребовалось бы очень много попыток, а композитор отлично справился.

🟣Синтез работы ИИ и человека

Есть такая практика, что если во время презентации клиенту что-то не нравится, готовый ИИ-трек просто становится референсом для композитора.

А еще иногда ИИ-трек исполняет живой музыкант, чтобы бренд не нарвался на юридические ограничения. Мы так делали, например, с “Вкусно и точка”. Ребята хотели сгенерить трек, очень похожий на одну советскую песню, но с другой аранжировкой. Все сделали, трек из Suno звучал супер, но, чтобы не рисковать, отдали его на исполнение музыканту.

Точно так же поступили с “Мегафоном”, который скоро выйдет. Там нужно было написать эпичную оркестровую музыку, мы ее сгенерили и отдали как референс композитору, чтобы он сыграл (где-то по-своему, но оставляя главный мотив и тональность).

В последнем кейсе, кстати, были не только юридические причины. Лично мне в ИИ-оркестровом-исполнении не хватало жирноты звука. Это одно из ограничений ИИ-музыки на текущий момент: думаю, можно было бы добиться классного звучания, но пока что проще и надежнее дать эту работу человеку.

Прилагаю пару работ, которыми уже можно делиться. Кстати, репер в третьем ролике – тоже ИИ.
Все кредиты к роликам и больше примеров по ссылке.

Какие ИТ-инструменты нужны режиссеру 👹

Спросили Илью Соловьева, режиссера рекламы и клипов, какие технологии он использует в работе.
Дальше будет текст Ильи. А вот здесь можно на него подписаться🤝

—-

Я не считаю себя гиком и редко что-то изобретаю. Скорее наблюдаю, что работает у коллег, и тоже забираю эти инструменты в работу.

На этапе тритмента и тендера моя команда активно использует нейронки, в том числе для генерации видео и картинок. Я лично предпочитаю визуальные референсы искать по-старинке в интернете, но иногда делаю превизуализации небольших моментов с ИИ.

На этом же этапе использую Suno, чтобы донести свою идею о структуре музыки и показать сгенерированный трек вместе с референсами. Все чаще подкладываем его под превиз или бордоматик.

Превиз – 3D-визуализацию – делаем довольно часто и показываем вместе с тритментом. Это играет в пользу нашей победы, а еще к моменту препро всем департаментам понятно, как движется камера, с какой скоростью, и какие углы, какую декорацию под нее надо построить.

На препродакшене я в последнее время использую Sora для доработки локейшна. Ниже прикрепляю пример: мы взяли фото и показали, как с помощью графики сделаем из ТЦ большой вокзал. Это классно работает: можно проверить свои гипотезы, обсудить их со студией графики и сразу показать агентству.

Естественно, мы делаем прешуты, все монтируем и получаем ролик в хроне, чтобы выйти на площадку готовыми с точки зрения объективов, движения камеры, ракурсов. Еще это полезно для худ. департамента: после прешута они понимают, что нужно еще декорировать и достроить.

На съемке мне уже не до технологий. Единственное, в последнее время пытаюсь найти технологию отключения разных плейбэков одной кнопкой, когда мне нужно оставить свой экран и временно выключить экран агентства/ клиента. Как оказалось, готовых решений нет, но мы над ними работаем:)

На этапе постпродакшена вместе с CG часто используем ИИ – особенно для достройки фонов. Мне нравится с этим разбираться, но тут я не сам все делаю, а совместно со студией графики.

Когда приходит время саунда, я снова пользуюсь Suno, чтобы где-то подогнать музыку, сделать режиссерский монтаж и, может быть, дать какие-то референсы для композитора.

Еще для своих творческих задач использую GPT, но редко.

Пример, о котором говорил: финальный результат (ролик), фото с локейшена, тест с нейронкой ⬇️

Как создавать раскадровки в ИИ

Мы как-то делились, что запилили ИИ-сервис для создания раскадровок, но пока заморозили его доработку (тут подробнее). Поняли, что, возможно, стоит пересмотреть принцип работы сервиса.

Сегодня расскажем, как такую же задачку решил другой разработчик – Дмитрий Звягин, AI Artist, режиссер видеомонтажа и motion designer.

Он как раз выбрал логику автоматизации этого процесса, принципиально отличающуюся от нашей.
Интересно посмотреть, как по-разному можно применять нейронки, чтобы добиться одного и того же результата.

🟣Кратко напомним, какая логика была у нас

1. Загрузить сценарий.
2. Загрузить огурцы + референсы (по локации, актерам) + изображение продукта, если он должен быть в кадре.
3. Загрузить комментарии режиссера.
4. Нейронка составляет промпт, его можно отредактировать.
5. Картинки генерятся по промпту (вся раскадровка разом).

🟣Теперь, как это работает у Дмитрия

Кадры создаются поочередно.
1. В рабочую среду загрузить лица, одежду, локацию, продукт (или любые другие предметы, которые должны быть в кадре).
2. Выбрать стиль (реализм, скетч, поп-арт, 3D-рендер и др). Также можно задать стиль по референсу.
3. Выставить ракурс (вращение, наклон, зум).
4. Выставить освещение (выбрать из предложенных или задать по референсу).
5. Выбрать линзы (широкий угол, рыбий глаз и др).
6. Выбрать параметры кадра и качество изображения.
7. Написать промпт при необходимости уточнить какие-то детали (в иных случаях выставленных параметров достаточно).
8. Нейронка генерирует кадр в четырех вариантах, любой из которых можно затем доработать и апскейлить.

Еще внутри тулзы можно создавать лоры конкретных персонажей и использовать их для целых серий кадров.

Также сейчас тестируется фича, позволяющая разом сделать всю раскадровку. Нужно подгрузить сценарий, разбитый по сценам, а сервис сгенерирует последовательность кадров, опираясь на загруженные вами лица/локации и тд. Каждый кадр потом можно донастраивать вручную.

Для генерации используется Google Studio + Nano Banana PRO. Приложения пока в открытом доступе нет, Дмитрий использует его на своих проектах. Но если хотите потестить, можно это сделать через API Гугла. Уточняйте в комментах, если актуально.

❤️ – все, что можно автоматизировать, надо автоматизировать
🌚 – вручную пока проще и надежнее

Продолжаем брать интервью у коллег и друзей, чье мнение мы высоко ценим 🩷
Сегодня в гостях Полина Варфоломеева, востребованный режиссер рекламы и музыкальных клипов, автор тг-канала @dazedandamazed.

Обсудили нейросети и то, насколько они нужны (или не нужны) в режиссерской работе.
—-

Где в работе используешь нейронки

Больше всего при написании тритментов. Когда поиск референсов заводит в тупик, а раскадровку рисовать не с кем, можно создать референс в нейронке. Иногда получается кринжово, но, как правило, всё-таки помогает иллюстрировать приём. Раньше пользовалась ИИ-сервисом для поиска референсов Refsee, но сейчас практически его не открываю, так как работаю с оформителями. Время от времени пытаюсь найти видео по описанию идеи или креативного приема с помощью ChatGPT, но за год могу вспомнить только одну удачную находку. Но я не сдаюсь)

Именно в режиссуре, кастинге, составлении задач для департаментов сложно применить ИИ, всё-таки работа с актёрами и продумывание мизансцен – это очень человеческий процесс. Любые тексты, которые я пытаюсь делегировать, получаются ужасно, я психую и в итоге всё пишу сама.

Ещё в моих проектах часто используется ИИ на этапе CG. Пока не могу сказать, что результаты приводят меня в восторг. Где-то обещанные сгенерированные кадры выглядят хуже созданных в 3D. Где-то генерация выглядит лучше мэтт-пэйнта, но плохо работает с ракурсами. Где-то срабатывает нестыковка перспективы и 3D-пространства при создании CG-декораций.

За несколько проектов эффекта «вау, как круто, что теперь можно вот так» у меня так и не случилось. Возможно, потому что я в целом больше работаю с реалистичной графикой, а не с видимыми эффектами.

Где ИИ создает иллюзию упрощения

Как-то я подумала, что можно 🌟легко сделать🌟 клип, не снятый мной в 2017 году. Подключила моих гораздо более подкованных в создании нейровидео маму (!) и сестру, скинула раскадровку, референсы по движению, свету, персонажам, костюму. Помогала писать детали для промптов. В итоге за две недели мы кое-как сделали персонажа, к которому я испытываю ноль эмоций, и пять кадров с нереалистичным пластиковым изображением. Сейчас я понимаю, что это было наивно, и надо разобраться с реалистичностью самой, а вот то, что делают они для себя, мне очень нравится!

—-
Мы также поговорили с Полиной про то, что изменилось в поведении клиентов и агентств с распространением ИИ, но это зальем отдельно. Там есть что обсудить)