Сюрприз, сюрприз, друзья. Нью-йоркская компания Runway делает сильный камбэк!

Не прошло и недели после того, как Luma Labs выпустила Dream Machine, её ближайшего конкурента, как Runway наверстывает упущенное, выпустив свой новый и самый мощный ИИ-видеогенератор - Gen-3 Alpha.

Как всегда, подробнее о нем вы можете прочитать в обзоре на VC. Буду благодарен вам за комментарии и 💗 на VC. Спасибо, что читаете!

#runway #чтиво

Нейросети: Волшебство AI

Привет, друзья! 🤔 Runway Gen-3 Alpha теперь доступен всем желающим.

Компания Runway представила модель искусственного интеллекта Gen-3 Alpha, которая является значительным достижением в создании высокореалистичных, настраиваемых видео.

По сравнению с предшественником, Gen-2, эта новая модель отличается повышенной реалистичностью, согласованностью и скоростью обработки.

Она может создавать видеоролики на основе промптов и изображений, при этом заметно улучшено качество генерации реалистичных человеческих лиц.

📍 Ключевые особенности:

✅ Gen-3 Alpha значительно повышает реалистичность и согласованность сгенерированных видео, особенно человеческих лиц.

✅ В будущих обновлениях пользователи получат больше возможностей для управления структурой, стилем и движением видео.

✅ Универсальная генерация видео. Возможность создания видео по промпту или из неподвижных изображений.

✅ Работает с тремя облачными сервисами для создания видео и изображений на основе пользовательских промптов.

#runway

Нейросети: Волшебство AI

Привет, друзья! При написании промптов в Runway GEN-3 нужно учитывать трехмерное пространство в ваших промптах (а не двухмерное плоское изображение).

Движение камеры ТАК ЖЕ ВАЖНО, как и действия объекта.

Поэтому, если вы хотите больше контролировать движение камеры, вот быстрая и простая формула промпта:

[Тип съемки/движение камеры], [Объект + действие], [Стиль].

ПРИМЕР ПРОМПТА:

360-degree orbiting shot of a man on a mountain top, cinematic style

ТИП СЪЕМКИ:

✅ Ракурс/перспектива камеры
✅ Крупный план, средний план, голландский угол и т.д.

УПРАВЛЕНИЕ КАМЕРОЙ:

✅ Движения камеры
✅ Ex.zoom, panning, orbiting, etc

ОБЪЕКТ + ДЕЙСТВИЕ

✅ Кто и что делает
✅ Например, человек на вершине горы

СТИЛЬ:

✅ Общий стиль для результатов съемки. Например. Кинематографический, аниме, видеоигры, 50 мм и т. д.

Проверенные типы съемки/движения камеры:

✅ 360 Degree Orbit: Вращение вокруг объекта съемки
✅ Zoom Out: Отдаляется от объекта
✅ Zoom In: Приближает к объекту
✅ Panning: Камера движется вправо/влево.
✅ Fly Over: Пролет с воздуха
✅ Timelapse: Время проходит в реальном времени
✅ Vertigo: приближение при удалении.
✅ Arcing: Камера движется вокруг объекта съемки.
✅ Tracking: Камера следует за объектом съемки.
✅ Tilt: Вертикальное движение камеры
✅ Descending: Камера движется вниз
✅ Sweeping: Широкое, плавное движение камеры

#руководство #runway

Нейросети: Волшебство AI

Runway Gen-3 вызывает привыкание, особенно в паре с Midjourney v6.1

Одна неделя, два больших обновления.

Вот более подробный разбор обоих.

Midjourney v6.1:

✅ Аналогичный скачок по сравнению с v5-v5.1
✅ Не масштабное обновление
✅ Улучшения малозаметны
✅ Лица на расстоянии все еще не очень
✅ Более сложные композиции
✅ Текстуры значительно лучше
✅ Более резкие/четкие детали на изображениях
✅ Цвет/насыщенность стали более выраженными
✅ Определенно улучшилась контрастность
✅ «Персонализация» работает на полную катушку
✅ Согласованность промптов хорошая
✅ Апскейлер кажется лучше (нужно больше тестов)

RunWay Gen-3, генерация видео из изображения:

✅ По-прежнему малозаметные галлюцинации
✅ Изображения не теряют четкости
✅ Переход цветов последовательный
✅ Очень хорошо работает с изображениями, созданными в MJ
✅ Все еще дорого... но уже меньше случайностей
✅ Временами неловкие естественные движения
✅ Значительное улучшение в плане сохранения объектов
✅ Короткие/более четкие текстовые промпты работают хорошо
✅ Текстовые промпты действительно помогают в генерации
✅ Сложные движения затруднены при использовании Img-2-Vid

#midjourney #runway

Нейросети: Волшебство AI

Функция «Last Frame» в Runway

Вот как ее использовать:

ПРОЦЕСС:

1️⃣ Откройте RW Gen-3
2️⃣ Загрузите эталонное изображение
3️⃣ Выберите «последний» кадр
4️⃣ Введите текстовый промпт
5️⃣ Нажмите кнопку генерации

Структура промпта для Midjourney:

Vivid, [shot type], Gourmet [food + ingredients], [colors + tones], [environment description], [texture details], [emotion], Bright, cheerful daylight --ar 16:9 --personalize [code] --stylize 175 --v 6.1 --q 2

Пример промпта для MJ:

Vivid, double overhand sandwich hold, Gourmet Fried Chicken Sandwich with pickles and special sauce, Vivid blue and warm sandwich tones, Urban eatery studio vibes, Crispy fried chicken, runny special sauce, Sunday fun-day indulgence, Bright, cheerful daylight --ar 16:9 --personalize [code] --stylize 175 --v 6.1 -q 2

Пример 1 для Runway:

two hands extending a chicken sandwich towards us, 35mm style

Пример 2 для Runway:

hand placing a piece of uncooked salmon on the left side of the image, 35mm style

Промпт для SUNO (музыка):

rich strings gentle horn stabs deep bass smooth soul 85 bpm funky wah guitar slow tempo lush orchestration

Советы по написанию промпта:

✅ Используйте эталонное изображение высокого разрешения
✅ Делайте промпты короткими/простыми
✅ Опишите движение объекта/камеры + направление
✅ Играйте с боке/размытием заднего плана

Источник: Rory Flynn

#runway #руководство

Нейросети: Волшебство AI

Привет, друзья! У Runway есть несколько интересных функций. Помимо генерации видео, вы можете обучать модели и генерировать изображения/видео на основе этих моделей.

Вот как это сделать:

01. Откройте Runway
02. Выберите «Try Custom Elements» («Попробовать пользовательские элементы»)
03. Выберите «Person, Object, or Style».
04. Загрузите 15-30 изображений
05. Обучите модель.
06. Генерируйте изображения
07. Анимируйте с помощью Runway Gen-3.

Эти модели не идеальны. Учебные модели LORA более точны, но это то, что может сделать большинство.

Затем вы можете взять эти изображения и создавать на их основе свои объекты.

СОВЕТЫ ПО ОБУЧЕНИЮ:

✅ Используйте изображения с высоком разрешением.
✅ Соотношение сторон 1:1 (не обязательно)
✅ Используйте несколько ракурсов + расстояния съемки
✅ Смешивайте простые и детализированные фоны.
✅ Старайтесь избегать очень мелкого текста/логотипов.
✅ Чем больше изображений, тем лучше

После того как модель обучена.

ПРИМЕР НАСТРОЕК TXT-2-IMG:

Aspect Ratio: 16:9
Resolution: 2k
Стиль: 35 мм

Промпт: closeup photo of red sneaks floating above a pedestal, ethereal smoke in the background.

ПРИМЕР НАСТРОЕК IMG-2-VIDEO:

Frame: Last Frame
Промпт: fast implosion with a bright flash, subtle camera motion revealing a pair of red sneakers and ethereal smoke.

Источник: roryflynn

#runway #руководство

Нейросети: Волшебство AI