🤩 Можно ли срежиссировать AI-клип через 3D?

Сделал танцевальный клип через захват движения. Идея была перенести танец с видео на 3D-персонажа, размножить его и самому поставить массовую сцену.
🥸 Большой плюс: можно управлять расположением людей, ракурсами и движением камеры, а нейронке передать готовую постановку для генерации реалистичного видео.

💻 Как я всё собирал
1️⃣ Захват движения в Unreal Engine.
В моём эксперименте результат получился лучше, чем с SAM 3D Body от Meta. Использовал плагин MetaHuman Animator Markerless Motion Capture. Сам Unreal я не знаю, поэтому ChatGPT говорил, куда кликать. Спустя пару часов был готовый риг для работы над сценами.
Учтите, что для такой работы Unreal требователен к железу. Перед установкой стоит посмотреть требования.
Есть и альтернатива с бесплатными кредитами для теста: AIMoCap.

2️⃣ Постановка в Cinema 4D.
Размножил персонажа клонером и придумывал расположение танцоров и движение камеры. Это оказался самый долгий этап, потому что тут как раз нужно собрать всесь клип в 3D. Экспортировал шесть сцен по 5–10 секунд.

3️⃣ Внешний вид в Seedream 5 Pro.
Из 3D-сцен сохранял кадры начала, середины и конца. По ним готовил изображения. Выбрал градиентный фон, дым, очки и блестящую одежду. Не стал усложнять оформление: хотел проверить, как видеомодель справится с такими сценами.

4️⃣ Генерация в MiniMax H3.
Отправил изображения вместе с 3D-видео. Видео задавало танец и движение камеры, а изображения задавали внешний вид персонажей и сцены. В конце ещё сделал апскейл в Topaz, чтобы улучшить текстуры.

⁉️В пайплайне два узких места.
Первое: захват движения. Мне не удалось добиться нужной точности. Возможно, с более простым движением вышло бы реалистичнее, но это ещё нужно проверить.
Второе: генерация видео. Тут я немного разочарован качеством движений. В моём результате нейросеть искажала лица и пальцы, упрощала движение волос и дыма. В общем, тут ещё нужно найти подход, чтобы получить вау-картинку.

🐸 Поэтому пока 6 из 10. Захват движения дал мне возможность самому срежиссировать массовый танец, но после генерации пришлось искать баланс в промптах и маскировать плохие детали.

#вайбкодинг #арт
Буст канала ❤️
@webdesignlab

😳Неделя в Blender с Astra: моделинг, ноды и анимация

Ребята, привет! Всю неделю тестировал Astra в Codex для работы в Blender. Хочу показать, что получилось собрать и какие задачи уже можно поручить агенту💩

🥸Про MCP Higgsfield, думаю, вы уже слышали. Но для этого проекта я установил Blender MCP и добавил скиллы для работы с нодами. Ссылки оставлю в конце. По моим ощущениям, ролик на 90% сделан с помощью нейросети. Дерево я создал через Meshy, а дальше работал с агентом: описывал задачи, давал референсы и корректировал результат.

Что создавали для проекта
1️⃣Хромированную рисовалку. Можно рисовать линии прямо во вьюпорте и получать объёмные, обтекаемые формы. Потом добавили анимацию появления металла и свечение.
2️⃣ Камни с ушами. Агент находил исходные модели камня и уха, объединял их геометрию, создавал волны на поверхности. Отдельно настроили столкновение камней.
3️⃣ Цветок с глазом. Модель, материалы, анимация распускания, изогнутая ножка и листья. Я описывал нужное движение, а агент создавал контроллеры, которые потом можно было анимировать вручную.
4️⃣ Появление цветов на дереве. Разместили цветы на поверхности, сделали триггер появления и управление взглядом. Глаза могут следить за камерой или отдельным объектом.
Большую часть этих задач агент решал через ноды. Иногда я находил на YouTube урок с нужной связкой и отправлял ему, чтобы скорректировать эффект под свою сцену.

🧡Что понравилось
Ноды — пожалуй, самое сильное место. Агент хорошо работает с параметрами и связями между ними. Например, у цветка можно настроить количество, изгиб и ширину лепестков. Не нужно каждый раз переделывать модель: меняешь значения и смотришь результат.
С шейдингом тоже помогал: делал UV-развёртки, собирал материалы, добавлял настройки, которые я просил. Для таких технических задач связка оказалась очень удобной.

❓Что пока не очень
🟡Свет, ракурсы и движение камеры. Тут агент часто предлагает примитивные решения. Камеры двигаются, но планы плохо связаны между собой, где-то не хватает динамики, где-то движение вообще не подходит к анимации объекта. Возможно, я недостаточно точно объяснял задачу. С хорошим видеореференсом стоило бы попробовать ещё раз. Но в этом проекте свет, ракурсы и движение камер я в основном настраивал сам. Агент подготовил камеры, сплайны и цели, которые потом можно было редактировать.

🟡Технические ошибки тоже были. Сцена становилась тяжёлой, появлялись лишние дубликаты, возникали проблемы с кэшами, несколько раз вылетал Blender. ПОэтому периодически стоит напоминать агенту, что нужно работать над оптимизацией, следить за количеством полигонов, кэшировать анимацию.

⌛️Лимиты и время
Всё создавал на Astra. В среднем работа над задачей занимала около пяти минут, на самых объёмных мог ждать до 25 минут. Если планируете так работать целыми днями, лимиты подписки тоже нужно учитывать, я примерно за неделю уперся в лимит на подписке за 100$.

👍В общем, считаю эксперимент удачным. Мне было интересно проверить, насколько далеко можно зайти в моделинге и анимации с помощью агента. Для нод и технической сборки сцен уже вполне рабочая история.
Если ещё не пробовали что-то создавать в Blender таким способом, рекомендую попробовать)

Ссылки
🔵Blender MCP, который я использовал
🔵Скилл Blender MCP для агента
🔵Документация по работе MCP с нодами

#вайбкодинг #арт

🎬 Music to Video — собирайте фото и видео в ролики под музыку

Ребята, привет ❤️ На платформе появился новый инструмент Music to Video. Можно загрузить свои изображения, видео и музыку, настроить смену кадров, добавить эффекты и собрать готовый ролик прямо в браузере.

▶️ Открыть Music to Video для подписчиков

🥸 Супер инструмент, когда хочется собрать генерации в музыкальный клип, сделать тизер проекта, показать серию работ или попробовать разную обработку своих кадров.

🤩 Основной акцент мы сделали на ритме и возможности управлять результатом
Инструмент анализирует музыку и находит точки, на которых будут переключаться кадры и эффекты. Можно выбрать акцент на бочке, снейре или хай-хэте, изменить плотность смен и отключить лишние точки вручную.
Это удобно, если хочется собрать спокойный монтаж с редкими переключениями или, наоборот, сделать плотную нарезку под быстрый трек.

Как использовать:
1️⃣ Добавьте исходники. Можно смешивать фотографии, иллюстрации, генерации и видео. Поддерживается до 30 изображений и 10 видео.
2️⃣ Загрузите музыку. Выберите трек до пяти минут и выделите нужный участок для ролика.
3️⃣ Настройте смену кадров. Выберите, как будут чередоваться ваши медиа, и подберите подходящую частоту переключений.
4️⃣ Выберите эффекты и добавьте оверлей. Сразу смотрите результат в предпросмотре, меняйте параметры и пробуйте сочетания.
5️⃣ Сохраните видео с музыкой. Отдельный понравившийся кадр можно выгрузить в PNG.

Что можно настроить:
😈 24 визуальных режима. Мозаика, растр, контуры, ASCII, глитч, RGB-сдвиг, карта градиента, свечение, блоб-трекинг, пиксельный трекинг и другие. Выбирайте нужные эффекты и настраивайте каждый из них.
💥 Порядок и длительность фрагментов. Переставляйте исходники, задавайте начало и конец видео, временно скрывайте отдельные слои, сохраняя их настройки.
👏 Оверлей поверх монтажа. Добавляйте изображение или видео: текстуру, зерно, инфографику, рамку или логотип. Есть режимы наложения и настройка непрозрачности.
💜 Формат результата. Вертикальный ролик для Reels и Stories, горизонтальное видео, квадрат и другие пропорции.

🎥 На странице есть подробная видеоинструкция
В ней показываем весь процесс: от загрузки медиа и музыки до настройки эффектов, оверлея и экспорта.

💜 Music to Video и видеоинструкция уже доступны на платформе по подписке.
Если вы ещё не с нами, 💥 оформить подписку можно здесь.
Вместе с инструментом получите доступ к другим материалам платформы: промптам, библиотекам стилей и обучающим гайдам.

Если подписка уже есть, переходите на ▶️ страницу Music to Video и пробуйте на своих исходниках 🙂

#платформа #инструменты
@webdesignlab