Какие ИТ-инструменты нужны режиссеру 👹

Спросили Илью Соловьева, режиссера рекламы и клипов, какие технологии он использует в работе.
Дальше будет текст Ильи. А вот здесь можно на него подписаться🤝

—-

Я не считаю себя гиком и редко что-то изобретаю. Скорее наблюдаю, что работает у коллег, и тоже забираю эти инструменты в работу.

На этапе тритмента и тендера моя команда активно использует нейронки, в том числе для генерации видео и картинок. Я лично предпочитаю визуальные референсы искать по-старинке в интернете, но иногда делаю превизуализации небольших моментов с ИИ.

На этом же этапе использую Suno, чтобы донести свою идею о структуре музыки и показать сгенерированный трек вместе с референсами. Все чаще подкладываем его под превиз или бордоматик.

Превиз – 3D-визуализацию – делаем довольно часто и показываем вместе с тритментом. Это играет в пользу нашей победы, а еще к моменту препро всем департаментам понятно, как движется камера, с какой скоростью, и какие углы, какую декорацию под нее надо построить.

На препродакшене я в последнее время использую Sora для доработки локейшна. Ниже прикрепляю пример: мы взяли фото и показали, как с помощью графики сделаем из ТЦ большой вокзал. Это классно работает: можно проверить свои гипотезы, обсудить их со студией графики и сразу показать агентству.

Естественно, мы делаем прешуты, все монтируем и получаем ролик в хроне, чтобы выйти на площадку готовыми с точки зрения объективов, движения камеры, ракурсов. Еще это полезно для худ. департамента: после прешута они понимают, что нужно еще декорировать и достроить.

На съемке мне уже не до технологий. Единственное, в последнее время пытаюсь найти технологию отключения разных плейбэков одной кнопкой, когда мне нужно оставить свой экран и временно выключить экран агентства/ клиента. Как оказалось, готовых решений нет, но мы над ними работаем:)

На этапе постпродакшена вместе с CG часто используем ИИ – особенно для достройки фонов. Мне нравится с этим разбираться, но тут я не сам все делаю, а совместно со студией графики.

Когда приходит время саунда, я снова пользуюсь Suno, чтобы где-то подогнать музыку, сделать режиссерский монтаж и, может быть, дать какие-то референсы для композитора.

Еще для своих творческих задач использую GPT, но редко.

Пример, о котором говорил: финальный результат (ролик), фото с локейшена, тест с нейронкой ⬇️

Как создавать раскадровки в ИИ

Мы как-то делились, что запилили ИИ-сервис для создания раскадровок, но пока заморозили его доработку (тут подробнее). Поняли, что, возможно, стоит пересмотреть принцип работы сервиса.

Сегодня расскажем, как такую же задачку решил другой разработчик – Дмитрий Звягин, AI Artist, режиссер видеомонтажа и motion designer.

Он как раз выбрал логику автоматизации этого процесса, принципиально отличающуюся от нашей.
Интересно посмотреть, как по-разному можно применять нейронки, чтобы добиться одного и того же результата.

🟣Кратко напомним, какая логика была у нас

1. Загрузить сценарий.
2. Загрузить огурцы + референсы (по локации, актерам) + изображение продукта, если он должен быть в кадре.
3. Загрузить комментарии режиссера.
4. Нейронка составляет промпт, его можно отредактировать.
5. Картинки генерятся по промпту (вся раскадровка разом).

🟣Теперь, как это работает у Дмитрия

Кадры создаются поочередно.
1. В рабочую среду загрузить лица, одежду, локацию, продукт (или любые другие предметы, которые должны быть в кадре).
2. Выбрать стиль (реализм, скетч, поп-арт, 3D-рендер и др). Также можно задать стиль по референсу.
3. Выставить ракурс (вращение, наклон, зум).
4. Выставить освещение (выбрать из предложенных или задать по референсу).
5. Выбрать линзы (широкий угол, рыбий глаз и др).
6. Выбрать параметры кадра и качество изображения.
7. Написать промпт при необходимости уточнить какие-то детали (в иных случаях выставленных параметров достаточно).
8. Нейронка генерирует кадр в четырех вариантах, любой из которых можно затем доработать и апскейлить.

Еще внутри тулзы можно создавать лоры конкретных персонажей и использовать их для целых серий кадров.

Также сейчас тестируется фича, позволяющая разом сделать всю раскадровку. Нужно подгрузить сценарий, разбитый по сценам, а сервис сгенерирует последовательность кадров, опираясь на загруженные вами лица/локации и тд. Каждый кадр потом можно донастраивать вручную.

Для генерации используется Google Studio + Nano Banana PRO. Приложения пока в открытом доступе нет, Дмитрий использует его на своих проектах. Но если хотите потестить, можно это сделать через API Гугла. Уточняйте в комментах, если актуально.

❤️ – все, что можно автоматизировать, надо автоматизировать
🌚 – вручную пока проще и надежнее

Продолжаем брать интервью у коллег и друзей, чье мнение мы высоко ценим 🩷
Сегодня в гостях Полина Варфоломеева, востребованный режиссер рекламы и музыкальных клипов, автор тг-канала @dazedandamazed.

Обсудили нейросети и то, насколько они нужны (или не нужны) в режиссерской работе.
—-

Где в работе используешь нейронки

Больше всего при написании тритментов. Когда поиск референсов заводит в тупик, а раскадровку рисовать не с кем, можно создать референс в нейронке. Иногда получается кринжово, но, как правило, всё-таки помогает иллюстрировать приём. Раньше пользовалась ИИ-сервисом для поиска референсов Refsee, но сейчас практически его не открываю, так как работаю с оформителями. Время от времени пытаюсь найти видео по описанию идеи или креативного приема с помощью ChatGPT, но за год могу вспомнить только одну удачную находку. Но я не сдаюсь)

Именно в режиссуре, кастинге, составлении задач для департаментов сложно применить ИИ, всё-таки работа с актёрами и продумывание мизансцен – это очень человеческий процесс. Любые тексты, которые я пытаюсь делегировать, получаются ужасно, я психую и в итоге всё пишу сама.

Ещё в моих проектах часто используется ИИ на этапе CG. Пока не могу сказать, что результаты приводят меня в восторг. Где-то обещанные сгенерированные кадры выглядят хуже созданных в 3D. Где-то генерация выглядит лучше мэтт-пэйнта, но плохо работает с ракурсами. Где-то срабатывает нестыковка перспективы и 3D-пространства при создании CG-декораций.

За несколько проектов эффекта «вау, как круто, что теперь можно вот так» у меня так и не случилось. Возможно, потому что я в целом больше работаю с реалистичной графикой, а не с видимыми эффектами.

Где ИИ создает иллюзию упрощения

Как-то я подумала, что можно 🌟легко сделать🌟 клип, не снятый мной в 2017 году. Подключила моих гораздо более подкованных в создании нейровидео маму (!) и сестру, скинула раскадровку, референсы по движению, свету, персонажам, костюму. Помогала писать детали для промптов. В итоге за две недели мы кое-как сделали персонажа, к которому я испытываю ноль эмоций, и пять кадров с нереалистичным пластиковым изображением. Сейчас я понимаю, что это было наивно, и надо разобраться с реалистичностью самой, а вот то, что делают они для себя, мне очень нравится!

—-
Мы также поговорили с Полиной про то, что изменилось в поведении клиентов и агентств с распространением ИИ, но это зальем отдельно. Там есть что обсудить)