Китайцы решили убить всех и сразу в генерации звука — анонсирована AudioX, модель, которая умеет:

— Text-to-Audio: классическая генерация звуков по текстовому описанию;
— Video-to-Audio: загрузили видео — получили к нему аудиоряд;
— Text-and-Video-to-Audio: микс двух предыдущих вариантов;
— Audio-Inpainting: дорисовка аудио. Например, вы записали шум моря, но кто-то на фоне кашлянул. Вырезали неудачный момент — сгенерировали подходящий фрагмент взамен;
— Text-to-Music: Suno ВСЁ;
— Video-to-Music: вот это самое прикольное — загрузили видео, получили песенку под него, и вместе получается клип;
— Text-and-Video-to-Music: если хочется, чтобы песня в клипе была в определённом стиле/жанре/с конкретным вокалом;
— Music-Completion: то же самое, что Audio-Inpainting, только с музыкой.

Пока без кода, обещают выложить — здесь.