Моя помощница Сара, передает вам привет, и просит, что бы вы не наделали глупостей в эти выходные.

А еще она любит стихи и спрашивает, не будете ли вы против, если она вам почитает что-нибудь из своего любимого?

Генератор видео Kling AI только что запустили функцию "Элементы" в раннем доступе.🎥✨

Вы можете объединить до 4 изображений, чтобы создать единых персонажей, окружение или объекты.👀 Также можно их объединить.

Nvidia представила Cosmos - новую платформу для генерации физически корректных видео с открытым исходным кодом.

Ключевые компоненты NVIDIA Cosmos:

• Мировые базовые модели (World Foundation Models, WFM): Набор предварительно обученных моделей, предназначенных для генерации физически достоверных видео и состояний мира. Они обучены на 20 миллионах часов видеоданных, включая взаимодействия человека, промышленные процессы, робототехнику и данные вождения.

• Диффузионные модели: Генерируют высококачественные видео на основе текстовых, изображений или видео входных данных. Например, модели Cosmos-1.0-Diffusion-7B-Text2World и Cosmos-1.0-Diffusion-14B-Text2World преобразуют текстовые описания в видео, а Cosmos-1.0-Diffusion-7B-Video2World и Cosmos-1.0-Diffusion-14B-Video2World используют видео в качестве входных данных для генерации новых видеопоследовательностей.

• Авторегрессивные модели: Предсказывают будущие кадры в видеопоследовательности, основываясь на входных данных. Модели, такие как Cosmos-1.0-Autoregressive-5B-Video2World и Cosmos-1.0-Autoregressive-13B-Video2World, принимают текст и изображение или короткое видео в качестве входных данных для генерации последующих кадров.

• Токенизаторы: Инструменты для преобразования видео в токены с высоким уровнем сжатия и эффективностью обработки, что снижает вычислительные затраты при обучении и выводе моделей.

• Системы безопасности (Guardrails): Механизмы, встроенные в Cosmos, предназначены для фильтрации нежелательного контента и обеспечения безопасности генерируемых выходных данных. Они включают фильтры для брендов, небезопасного контента и вредоносных запросов, а также функции размытия лиц и цифровые водяные знаки на синтетических видео.

Cosmos уже доступна в ComfyUI
Модели можно скачать здесь

Фича под названием Elements в Kling AI, судя по первым тестам действительно хороша.

Знаете ли вы, как сложно показать один и тот же предмет одежды в одном ролике со всех ракурсов в генерации видео?

В данном примере загружено изображение модели и куртка с двух сторон - результат практически идеальный, за исключением изменяющегося лица модели после поворота.

Эту функцию пытались реализовать криворукие разработчики из Pika.art, но видимо у Kling это получилось.

Ждем открытия доступа. Пока только тестеры имеют ранний доступ.

❤️ Полностью согласен с Сарой! Знает толк в жизни)

А вы что думаете по этому поводу?

Около года назад я сделал и загрузил этот ролик на YouTube.

Тогда еще не было такого количества и качества инструментов как сейчас.

Компания Tencent представила Hunyuan3D 2.0 - усовершенствованную систему для генерации высококачественных текстурированных 3D-моделей.

Ключевые компоненты.

Система включает два основных модуля:

• Hunyuan3D-DiT - для масштабной генерации форм
• Hunyuan3D-Paint - для обширного синтеза текстур.

Веса моделей на Hugginfgace

Технические особенности.

Модель генерации форм использует масштабируемый диффузионный трансформер на основе потоков, который обеспечивает точное соответствие создаваемой геометрии с исходным условным изображением.

Модель синтеза текстур применяет геометрические и диффузионные праймеры для создания высококачественных текстурных карт, которые подходят как для сгенерированных, так и для вручную созданных мешей.

Программное обеспечение
Разработчики также выпустили Hunyuan3D-Studio - универсальную платформу для работы с 3D-активами, которая позволяет:

• Легко манипулировать мешами
• Создавать анимации
• Работать как профессионалам, так и любителям

Производительность.

По результатам системных оценок, Hunyuan3D 2.0 превосходит предыдущие ведущие модели (как открытые, так и проприетарные) по следующим параметрам:

• Детализация геометрии
• Соответствие условиям
• Качество текстур.

На днях появится рабочий процесс для ComfyUI.