ByteDance представила Seed Audio 1.0.

Аудиомодель, которая генерирует целую звуковую сцену одним промптом: голоса, музыку и эффекты. Заточена под озвучку, аудиокниги, подкасты и дубляж.

* Дамы и господа, сразу ложка дёгтя: с русским у модели всё плохо, мы уже проверили. Так же плохо, как у Seedance 2.5, и это до сих пор не исправили. Возможно, данных для обучения на русском у них просто нет: у всех их моделей с ним беда.

⚪️ Вся сцена за один проход. Мультиперсонажные диалоги с эмоциями, музыка и SFX в одном аудио, без мультитрекового монтажа. Голоса остаются консистентными на длинной записи.

⚪️ Тайминг реплик с точностью до 100 мс. Прямо в промпте задаётся длительность трека и момент входа каждой реплики. Подходит для дубляжа и озвучки с жёстким хронометражем.

⚪️ 20+ языков. Английский, китайский, японский, корейский, испанский, немецкий, французский, тайский и другие. Голос персонажа переносится между языками с сохранением тембра.

⚪️ Клонирование голоса по референсам. До трёх аудиоклипов подключаются к промпту как @Audio1, @Audio2, @Audio3. Вместо аудио можно дать картинку с описанием персонажа.

Карточка модели

Цена: около $0.15-0.19 / минута.
Лимит: 2 минуты аудио за генерацию, промпт до 3000 знаков

❗️ Примечание: официальный прайс BytePlus показывает только в консоли.

Модель я в соло уже протестировал:
Это что-то классное. Промпт пишите только на английском: русский промпт она толком не понимает и инструкции из него выполнять не будет. Зато на английском можно расписать голоса, характеры персонажей, тайминги и звуки, и она соберёт всё строго по промпту: музыку, реплики, эффекты. Нейросетевого призвука почти нет, и это радует, но иногда он всё же проскакивает.

Кстати на превью модель ещё смотрела видео и генерировала аудио под него, в публичную версию эту функцию пока не добавили.

Источник РЕН ТВ.