Local Ai

ℹМодель: ZONOS2: синтез речи в реальном времени с 8 миллиардами параметров, 900 миллионами активных элементов и высокоточным клонированием голоса!

Компания Zyphra выпустила ZONOS2, модель преобразования текста в речь в режиме реального времени нового поколения, ориентированную на выразительное и точное клонирование голоса. Она распространяется с открытым исходным кодом по лицензии Apache 2.0, а также доступна в Zyphra Cloud на оборудовании AMD.

Модель призвана решить проблему, связанную с обычным компромиссом между качеством и скоростью преобразования текста в речь. По словам представителей Zyphra, ZONOS2 — это первая разреженная модель преобразования текста в речь с открытым исходным кодом, с 8 миллиардами общих параметров и 900 миллионами активных параметров при выводе. Цель проста: быстрый, эффективный и выразительный синтез речи без обычного наложения звуков.

Основное внимание уделяется клонированию голоса. Компания Zyphra утверждает, что ZONOS2 особенно хорошо улавливает отличительные черты говорящего, создавая более естественные клоны самых разных голосов. Клонирование происходит без предварительного обучения, поэтому не требует тонкой настройки.

Что касается звука, ZONOS2 прогнозирует токены Descript Audio Codec (DAC) для звука студийного качества с частотой 44,1 кГц. Это обеспечивает более высокое качество воспроизведения, но его сложнее смоделировать, чем кодеки более низкого качества. В Zyphra утверждают, что устраняют этот недостаток за счет более масштабной модели и обучения на больших массивах данных.

Для обработки текста ZONOS2 не использует фонематический анализатор. Вместо этого он считывает необработанные байты в кодировке UTF-8, что, по словам разработчиков Zyphra, улучшает охват языков с ограниченными ресурсами, повышает производительность при работе с китайским, корейским и японским языками, а также поддерживает переключение между языками в середине предложения.

Кроме того, значительно увеличилось время обучения — примерно с 200 000 часов до 6 миллионов с лишним часов аудио. По словам представителей Zyphra, они использовали поэтапную фильтрацию данных с постепенным ужесточением требований к согласованности транскриптов на этапах предварительного обучения, среднего обучения и отжига. Предполагаемый результат — уменьшение количества галлюцинаций, неправильного произношения и повторов.

Zyphra также представляет ZTTS1-Eval, новый эталон для оценки систем преобразования речи в текст. Он включает в себя чистые и реальные наборы данных на 17 языках, а также новые модели оценки, такие как Qwen3-ASR, ReDimNet и MSR-UTMOS, и метрики просодии.

В этом вся суть. Большая модель, открытые веса, лицензия Apache 2.0, клонирование голоса и достаточная инфраструктура, на фоне которой старая базовая модель преобразования текста в речь выглядит как металлолом.

Блог: https://zyphra.com/our-work/zonos2
Веса: https://huggingface.co/Zyphra/ZONOS2
Код для логического вывода: https://github.com/Zyphra/ZONOS2
Код для оценки: https://github.com/Zyphra/ZTTS1-Eval
(Обсуждение)
#ZONOS2 #TTS #AiVoice #VoiceAi #AiModel #ModelAi #LocalAi #AiLocal

Please open Telegram to view this post