Для тех, кто испытывает трудности с подсказками при генерации видео в версии Kling 1.6 добавлен помощник для подсказок.

🎥✨Отличное дополнение для оптимизации рендеринга.

😢 В общем сегодняшняя прогулка закончилась плохо…

Очень сложно сгенерировать изображение, в котором в реалистичное окружение интегрирован 2D персонаж.

В данном случаея я использовал бета версию Photoshop с ИИ Firefly.

Сначала в Midjourney сгенерировал мультяшного персонажа и реалистичный осенный фон.

Затем в фотошопе сделал слой с фоном, и с помощью инструмента «генерация по эталонному изображению»
вписал персонажа в фон.

Так можно не только «скрещивать ужа с ежом», но и вообще формировать композицию, расставлять объекты и персонажей по сцене.

А еще можно размещать одного и того же персонажа в разное окружение.

Далее анимация в PixVerse.

Как вам?

SVFR — это платформа для восстановления видео с лицами! Поддерживает восстановление лиц, раскрашивание, интейпирование и их комбинации в рамках одной системы.

Тестируйте ЗДЕСЬ

Сервис для синхронизации губ https://sync.so/

Как-то я уже писал про него, но с того времени было сделано мощное обновление по качеству.

Также, вчера добавили нужный инструмент - редактирование на основе временных меток.

Можно задать время начала и окончания синхронизирации, делать паузы или синхронизировать только нужный фрагмент.

Да, русский поддерживает.

Первый серьезный конкурент ElevenLаbs.

Hailuo Audio HD (T2A-01-HD) от компании MiniMax - новая система синтеза речи, представленная вчера.

Основные возможности:

⭐️ Клонирование голоса.

Требуется всего 10 секунд аудиозаписи для создания точной копии голоса.
Сохраняет все нюансы и эмоциональные оттенки оригинального голоса.

⭐️Библиотека голосов.

Более 300 предустановленных голосов.
Категоризация по языку, полу, возрасту, акценту и стилю.

⭐️Эмоциональный интеллект.

Первая система синтеза речи с возможностью передачи тонких эмоциональных нюансов.

Два режима управления эмоциями:
Автоматическое определение эмоций на основе текста.
Ручное управление эмоциями для точной настройки.

⭐️Многоязычность.

Поддержка 17+ языков.
Основные языки: английский (США, Великобритания, Австралия, Индия), китайский (мандаринский, кантонский), японский, корейский, французский, немецкий, испанский, португальский, итальянский, арабский, русский, турецкий, голландский, украинский, вьетнамский, индонезийский.

⭐️ Применение

Озвучка аудиокниг.
Дубляж фильмов и анимации.
Создание виртуальных ассистентов.
Системы интерактивного голосового ответа (IVR).
Приложения для изучения языков.
Платформы электронного обучения.
Маркетинг и реклама.

Управление движением персонажа с помощью Kinetix!

C помощью вашего тела вы получаете полный контроль над вашими видео с искусственным интеллектом.

Ссылка на список ожидания ЗДЕСЬ.

Моя новая помощница Сара передает вам привет и благодарность)

🔥🔥🔥3D прибыл в Креа.Ai

Эта новая функция позволяет превращать изображения в 3D-объекты и использовать их в krea в реальном времени.

Помимо добавления 3D, последнее обновление в режиме реального времени достигает 20 кадров в секунду при 1024 пикселей.

Вот и началось внедрение 3D в простые инструменты, как я недавно и рассказывал в своем видео на youtube.

AI Инструментов становится все больше, они совершенствуются.

На первый план начинает выходить умение управлять генерациями.

Все как в жизни, только через «волшебные слова» и понимание техпроцесса .

Я заканчиваю записывать мастер класс по управлению камерой в генерации видео.

Видео выйдет в начале следующей недели на моем YouTube канале BlaBla Pro AI.

Кстати, попробуйте повторить трюк из моей генерации к посту - панорамирование окружения.

Моя помощница Сара, передает вам привет, и просит, что бы вы не наделали глупостей в эти выходные.

А еще она любит стихи и спрашивает, не будете ли вы против, если она вам почитает что-нибудь из своего любимого?

Генератор видео Kling AI только что запустили функцию "Элементы" в раннем доступе.🎥✨

Вы можете объединить до 4 изображений, чтобы создать единых персонажей, окружение или объекты.👀 Также можно их объединить.

Nvidia представила Cosmos - новую платформу для генерации физически корректных видео с открытым исходным кодом.

Ключевые компоненты NVIDIA Cosmos:

• Мировые базовые модели (World Foundation Models, WFM): Набор предварительно обученных моделей, предназначенных для генерации физически достоверных видео и состояний мира. Они обучены на 20 миллионах часов видеоданных, включая взаимодействия человека, промышленные процессы, робототехнику и данные вождения.

• Диффузионные модели: Генерируют высококачественные видео на основе текстовых, изображений или видео входных данных. Например, модели Cosmos-1.0-Diffusion-7B-Text2World и Cosmos-1.0-Diffusion-14B-Text2World преобразуют текстовые описания в видео, а Cosmos-1.0-Diffusion-7B-Video2World и Cosmos-1.0-Diffusion-14B-Video2World используют видео в качестве входных данных для генерации новых видеопоследовательностей.

• Авторегрессивные модели: Предсказывают будущие кадры в видеопоследовательности, основываясь на входных данных. Модели, такие как Cosmos-1.0-Autoregressive-5B-Video2World и Cosmos-1.0-Autoregressive-13B-Video2World, принимают текст и изображение или короткое видео в качестве входных данных для генерации последующих кадров.

• Токенизаторы: Инструменты для преобразования видео в токены с высоким уровнем сжатия и эффективностью обработки, что снижает вычислительные затраты при обучении и выводе моделей.

• Системы безопасности (Guardrails): Механизмы, встроенные в Cosmos, предназначены для фильтрации нежелательного контента и обеспечения безопасности генерируемых выходных данных. Они включают фильтры для брендов, небезопасного контента и вредоносных запросов, а также функции размытия лиц и цифровые водяные знаки на синтетических видео.

Cosmos уже доступна в ComfyUI
Модели можно скачать здесь

Фича под названием Elements в Kling AI, судя по первым тестам действительно хороша.

Знаете ли вы, как сложно показать один и тот же предмет одежды в одном ролике со всех ракурсов в генерации видео?

В данном примере загружено изображение модели и куртка с двух сторон - результат практически идеальный, за исключением изменяющегося лица модели после поворота.

Эту функцию пытались реализовать криворукие разработчики из Pika.art, но видимо у Kling это получилось.

Ждем открытия доступа. Пока только тестеры имеют ранний доступ.