Первое официальное музыкальное видео, сделанное с помощью OpenAI Sora:
Washed Out — The Hardest Part

Автор утверждает, что почти никакой постобработки нет, лишь самый минимум — зато сам ролик склеен из 55 отдельных кусочков (выходит по 4.4 секунды в среднем). А раньше всплыло, что одно из демо-видео, Air Head, оказывается, сильно редактировалось — модель всё хотела нарисовать человека с головой, а не пустым местом (полная история тут).

#новости_нейровидео

В PikaLabs вышло обновление — pika.art. Теперь можно создавать крутые работы в разных арт-стилях, оживлять картинки и накладывать новые эффекты

#новости_нейровидео

Сегментация движущихся объектов: все, что вам нужно — это SAM (и Flow)

Целью статьи является сегментация движения — обнаружение и сегментирование движущихся объектов на видео. Это широко изученная область с многочисленными тщательными, а иногда и сложными подходами и схемами обучения, включая: самостоятельное обучение, обучение на основе синтетических наборов данных, объектно-ориентированные представления, амодальные представления и многое другое. Интерес в этой статье состоит в том, чтобы определить, может ли модель Segment Anything (SAM) внести свой вклад в решение этой задачи.

Исследуется две модели для объединения SAM с optical flow, которые используют возможности сегментации SAM и flow для обнаружения и группировки движущихся объектов. В первом случае адаптируется SAM для использования потока, а не RGB, в качестве входных данных. Во второй модели SAM использует RGB в качестве входных данных, а flow — в качестве подсказки для сегментации. Эти удивительно простые методы без каких-либо дополнительных модификаций значительно превосходят все предыдущие подходы как в однообъектных, так и в многообъектных тестах. Также расширяется сегментация на уровне кадра до сегментации на уровне последовательности, которая сохраняет идентичность объекта. Эта простая модель превосходит предыдущие методы в нескольких тестах сегментации видеообъектов.

#новости_нейровидео

Это работа Sora от OpenAI. Нейронка может заменить всего один элемент на видео, оставив все предыдущие параметры и результаты.

В этом случае меняется персонаж. Конечно, граффити и лужи тоже получаются разными, но это пока.

#новости_нейровидео

А Sora так может? Выглядит поинтереснее её дрон-пролётов из рандомных кадров.

AnimateDiff + Comfy

#новости_нейровидео

Скрипт Smart Layer для Maya, который упрощает работу с анимацией и, по словам автора, помогает сэкономить тучу времени, сокращая рутину с часов до нескольких кликов.

#новости_нейровидео

Stability AI запускает новый сервис Stable Artisan, который позволяет пользователям Discord генерировать изображения с помощью Stable Diffusion 3 и видео с помощью Stable Video Diffusion.

Это платный сервис с различными тарифными планами, предлагающий ряд функций, таких как замена объектов, удаление фона, увеличение разрешения и другие.

Stability AI работает над более крупным проектом под названием Stable Assistant, который будет использовать их технологии для общения с пользователями.

#новости_нейровидео

PhysDreamer: ваяем интерактив с объектами на видео. То, что Google так и не довёл до релиза.

Подход в данном инструменте основан на физике, который придает статичным 3D-объектам интерактивную динамику, используя основные характеристики динамики объектов, полученные с помощью моделей генерации видео. Анализируя эти факторы, PhysDreamer позволяет синтезировать реалистичные реакции объектов на новые взаимодействия, такие как воздействие внешних сил или манипуляции агентов.

#новости_нейровидео

Новости с полей Google I/O: Veo — конкурент Sora

Понимает промпты в виде текста, видео и картинок, генерит в 1080p.

Модель доступна через вайтлист на labs.google.

#новости_нейровидео

Нейросети создали фильм, достойный Оскара.

Драма на уровне.

#новости_нейровидео

Нейросеть для генерации видео

MagicTime — модель, которая создает короткие ролики в стиле замедленной съемки на основе текстовой подсказки. Генератор обучали на таймлапсах, за счет чего он лучше понимает физику.

#новости_нейровидео

Гонконгский университет науки и технологий внедряет новые технологии в образование!

Теперь студенты могут слушать лекции от виртуальных преподавателей, в том числе от самого Альберта Эйнштейна. Используя VR-технологии, университет создает уникальные и захватывающие учебные опыты для своих учащихся.

Это не только повышает вовлеченность студентов, но и открывает новые возможности для применения искусственного интеллекта в педагогике.

Интересно, как будет развиваться этот проект и какие еще инновации ждут нас в сфере образования в ближайшем будущем.

#новости_нейровидео

Нейронка DeepBrain AI

Оживите свои обучающие видеоролики с помощью сверхреалистичных аватаров с ИИ.

Разнообразный состав из более чем 100 полностью лицензированных аватаров с искусственным интеллектом, готовых поддержать ваш видеопродакшен. Поддерживается более чем 55 языков: английский, испанский, китайский, немецкий, французский, хинди, арабский и другие.

#новости_нейровидео