Pseudo2Real: Task Arithmetic for Pseudo-Label Correction in Automatic Speech Recognition

Сегодня разбираем статью о том, как бороться с систематическими ошибками псевдолейблинга в ASR.

Аудиоданных разных доменов существует огромное количество, но для конкретных задач (например, редких акцентов) разметки часто нет. Сбор качественных транскрипций стоит дорого и занимает много времени. В таких случаях выходом становится псевдолейблинг: сначала модель обучают на размеченных данных, потом она сама делает псевдолейблы для неразмеченных, а дальше модель дообучают уже на них.

Проблема в том, что псевдолейблинг даёт разметку, далекую от совершенства, — с ошибками и байесами. И если модель учится на этом итеративно, ошибки не исчезают, а накапливаются. В итоге появляются устойчивые паттерны, которые не лечатся простым уменьшением шума или confidence-фильтрацией.

Главный вопрос статьи такой: как уменьшить систематические ошибки псевдолейблинга, если в target-домене вообще нет ground truth?

Идея авторов — использовать task arithmetic. В упрощённом виде это выглядит так:

1. Берём предобученную ASR-модель и файнтюним её на source-домене с настоящей разметкой.
2. Отдельно обучаем модель на псевдолейблах source-домена.
3. Вычитаем параметры одной модели из другой и получаем correction vector — вектор, который описывает, что именно «портит» обучение на псевдолейблах.

Дальше этот correction vector добавляют при адаптации модели на target-домене, где есть только псевдолейблы. Смысл в том, чтобы при дообучении на псевдолейблах модель меньше перенимала их систематические ошибки.

В статье это показывают на примере смены акцентов: target-домен — это акценты, которых не было в source-домене. В экспериментах используют AfriSpeech-200 — датасет, в котором люди из африканских стран на английском языке с заметными акцентами наговаривают тексты на медицинскую и общую тематику.

Также в работе рассматривают вариант метода с subgroup correction. Вместо одного общего correction vector строят отдельные векторы для разных групп спикеров, а затем усредняют их и используют при адаптации модели к target-домену.

Эксперименты проводят через кросс-валидацию по акцентам: часть акцентов используют как source-домен, остальные — как target-домен, и так по всем разбиениям.

В таблице с результатами сравнивают несколько сценариев. Выводы следующие:

- Предобученная модель (zero-shot) на новых акцентах даёт высокий WER.

- Стандартный псевдолейблинг (файнтюн на сгенерированной разметке) значительно улучшает качество, но наследует систематические ошибки учителя.

- Confidence-based filtering (отсев неуверенных предсказаний) даёт лишь небольшой прирост и не решает проблему закрепившихся паттернов ошибок.

- Pseudo2Real показывает существенное снижение WER против обычного псевдолейблинга (до 35% относительного улучшения на Whisper Tiny).

- Pseudo2Real-SC (Subgroup Correction) с кластеризацией спикеров даёт дополнительный прирост качества (в среднем ещё на 4–6%), особенно эффективно исправляя ошибки на самых сложных акцентах (например язык хауса), так как учитывает разнообразие дикторов.

- Topline (обучение на реальной разметке target-домена) — теоретический «потолок» качества. Однако авторы отмечают важный инсайт: на некоторых сложных акцентах и малых моделях Pseudo2Real оказывается даже эффективнее топлайна. Вектор коррекции действует как регуляризация, не давая модели переобучиться, что часто случается при прямом файнтюне на малом объёме реальных данных.

Егор Реутов ❣ Специально для Speech Info

VocalNet: Speech LLM with Multi-Token Prediction for Faster and High-Quality Generation

Multi-Token Prediction часто рассматривают как способ ускорить генерацию, но кроме этого он может улучшить её качество. Сегодня разберём статью о том, как и почему такой подход одинаково хорошо работает и для LLM, и для аудиомоделей. Для этого упомянём ещё три работы — но обо всём по порядку.

Better & Faster Large Language Models via Multi-token Prediction

Начнём с простого: вспомним, как работает multi-token prediction (MTP). Cамая популярная и цитируемая статья на эту тему вышла в 2024 году.

Её идея очень проста: навесить на тушку (shared) не одну голову (linear-слой), которая предсказывает один токен, а сразу несколько. То есть по первому токену будет генерироваться не второй, а сразу четыре: второй, третий, четвёртый и пятый.

Для реализации авторы использовали self-speculative decoding: выбирали предсказания только с самыми высокими вероятностями. По результатам на бенчмарке MBPP и проверки людьми обнаружилось, что MTP может не только ускорить работу модели, но и улучшить её результаты.

При этом чем больше модель, тем сильнее улучшается качество. Но это работает только на сложных задачах, таких как кодинг. Для trivia-вопросов, которые предполагают односложный ответ (да или нет) не нужно генерить много токенов наперёд.

Так MTP начали использовать не только как ускоритель, но и как auxilary objective для улучшения качества.

DeepSeek-V3 Technical Report

Авторы немного видоизменили MTP: сделали его не параллельным, а последовательным. Во время обучения добавили hidden-слой перед каждой головой-трансформером и конкатенировали его токены с токенами ground truth, уже предсказанными предыдущей головой. На инференсе использовали обычный MTP с уменьшенными трансформерами — и тоже добились не только ускорения, но и повышения качества результатов.

Так как же это всё применимо к TTS?

VocalNet: Speech LLM with Multi-Token Prediction for Faster and High-Quality Generation

Короткий ответ: хорошо, даже очень.

VocalNet — не совсем TTS, скорее, заалайненная омни-модель. Сетап максимально базовый: претрейн-тушка с приклеенным Whisper-энкодером, который делает аудиоэмбеддинги. Сверху — Speech Vocoder, генерирующий аудиотокены. Потом аудиотокены отправляются в инференс.

Классика, но есть нюанс: Speech Decoder. Именно в него внедрили MTP.

Секрет успеха MTP применительно к задачам генерации речи в соотношении размеров фонемы и токена. Для обычной LLM токен — большая семантическая единица. А при генерации речи в одну фонему входит сразу несколько токенов. И тем, кто занимается TTS, очень хотелось бы научить модели предсказывать не токены, а целые фонемы.

На схеме выше — все подходы, которые перепробовали авторы VocalNet:

(a) — уменьшить размерность и предсказывать по три, а не по четыре токена подряд,
(b) — использовать несколько параллельных линейных голов, как в классическом MTP,
(c) — внедрить головы последовательно, как сделала команда DeepSeek,
(d) — попробовать по-своему: перенять лучшее у DeepSeek, но отказаться от GT, как в MTP. То есть, не спойлерить во время обучения токены, которые должна предсказать нейросеть.

Подход (d) позволил авторам удалось добиться существенного ускорения работы VocalNet, при этом не ухудшив качество.

Predicting the Order of Upcoming Tokens Improves Language Modeling

MTP не всемогущ. Чем больше токенов одновременно генерирует модель, тем нестабильнее objective — уже к 3-5 токену маленькие ошибки приводят к большим лоссам.

Авторы этой статьи предлагают сгладить лосс с помощью auxilary objective: вместо самих токенов предсказывать их порядок. Протестировать метод можно на GitHub.

Александр Цапков ❣ Специально для Speech Info

Beyond Transcripts: A Renewed Perspective on Audio Chaptering [1/2]

Сегодня начинаем разбирать свежую статью на тему аудиочаптеринга. Задача аудиочаптеринга — разбить запись на смысловые куски (чаптеры), чтобы каждый соответствовал какой-то теме или логическому блоку.

Обычно сначала прогоняют аудио через ASR, получают транскрипт, а потом делают текстовую сегментацию — например, с помощью LLM. Авторы статьи предлагают другой подход: попробовать делать чаптеринг напрямую по аудио, без обязательной опоры на текст.

В работе сравнивают три подхода:
1) классический текстовый чаптеринг;
2) AudioSeg — audio-only-подход, который предлагают авторы;
3) использование мультимодальных моделей.

Задача текстовой сегментации формулируется так. Есть транскрипт, разбитый на предложения. Для каждого предложения нужно предсказать, является ли оно концом чаптера.

Чтобы сравнить предсказания с референсом, предложения сначала алайнятся по времени. Тут есть несколько вариантов:
- по референсному тексту через forced alignment;
- по ASR-транскрипту;
- алайнмент по токенам;
- алайнмент по временному пересечению предложений.

После этого границы можно мапить в тайминги референса и считать метрики. Основные метрики такие:

Pk — смотрим пары предложений и проверяем, правильно ли модель определила, находятся они в одном чаптере или в разных.

Boundary Similarity — что-то вроде редакторского расстояния между последовательностями нулей и единиц, обозначающими границы чаптеров.

Авторы также предлагают временные метрики, которые вообще не используют текст. Есть два варианта:

T1 (time-based discrete) — аудио разбивается на равные чанки. Смотрим, в какие из них попадают референсные и предсказанные границы. Авторы репортят почти все результаты именно по этому протоколу.

T2 (time-based continuous) — уже настоящий вариант с непрерывными таймстемпами. Если предсказанная граница попадает в небольшой интервал вокруг референсной (collar), считаем её true positive и по ним считаем F1.

Подходы

1. Text-Based baseline. Берут предложения из транскрипта, кодируют их sentence encoder’ом, получают эмбеддинги и подают в трансформер (RoFormer). На каждом предложении решается бинарная задача: конец чаптера или нет. К тексту также добавляют аудиофичи: длину пауз, скорость речи, pitch, громкость, смену спикера и т.д. Их конкатенируют с эмбеддингами предложений.

2. AudioSeg — основной метод авторов. Пайплайн состоит трёх уровней: frame encoding, segment encoding и document encoding.

Аудио сначала режут на 30-секундные чанки и прогоняют через замороженный предобученный аудиоэнкодер (например, Whisper). Получаются фреймовые эмбеддинги. Дальше их группируют в 6-секундные окна. Каждое окно обрабатывается трансформером и превращается в один эмбеддинг сегмента.

Получается последовательность сегментных эмбеддингов, которая подаётся в документный трансформер. Он предсказывает, является ли окно концом чаптера.

Во второй части разбора расскажем об аблейшнах и выводах, к которым пришли авторы.

Даниил Волгин ❣ Специально для Speech Info

FlexiVoice: Enabling Flexible Style Control in Zero-Shot TTS with Natural Language Instructions

Сегодня разбираем статью о zero-shot TTS с управлением стилем через текстовые инструкции — FlexiVoice.

Авторы решают частую проблему таких моделей — конфликт модальностей. Если мы хотим озвучить фразу «Мне так грустно» весёлым голосом, опираясь на удивлённый голос спикера в референсе, модель скорее всего прочитает текст недостаточно радостно или вообще проигнорирует эмоцию из инструкции. Идея FlexiVoice заключается в чётком разделении источников сигнала: модель должна копировать из аудиопромпта только спикер-зависимые характеристики (тембр), а эмоцию, скорость и громкость брать исключительно из текстовой инструкции.

Архитектурно FlexiVoice — это текстовый претрейн Phi-3.5-mini-instruct, аудиотокенизатор Dual Codec, Flow Matching для генерации мел-спектрограммы и вокодер Vocos. На этапе претрейна модель учат только на текстовых инструкциях, без референсного аудио. Используют 8 тысяч часов открытых данных и 100 тысяч часов с синтетическими инструкциями, которые сгенерировали через DeepSeek-V3 по метаданным видео (датасет Emilia) и именам персонажей видеоигр, особенности голосов которых LLM и так хорошо знает. После этого претрейна у модели появляется базовая способность следовать инструкциям, но она всё ещё не следует сложным промптам.

Основной контрибьюшен статьи — решение этой проблемы с помощью трехстадийного RL-пайплайна, который постепенно усложняет задачу. Сначала модель учат базовому клонированию нейтрального голоса под нужную эмоцию. В качестве данных используют пары из датасета ESD для алгоритма DPO: позитивом выступает запись, лейбл которой совпадает с эмоцией из текстовой инструкции, а плохим — та же запись с любой другой эмоцией.

На втором этапе применяют алгоритм GRPO для разрешения конфликтов между аудиопромптом и текстом. В качестве reward используют две модели: SV оценивает схожесть тембра, а классификатор — точность эмоции. На третьей стадии добавляют сложные промпты: просьбы говорить с определённой манерой или от лица персонажа. Здесь тоже работает GRPO, но в роли LLM-as-a-judge выступает Kimi-Audio-7B-Instruct. Авторы показывают, что без предыдущих двух стадий, если после претрейна перейти сразу к третьему этапу, модель хуже следует сложным инструкциям и хуже клонирует эмоцию на противоречивых примерах.

Результаты на бенчмарках показали, что для английского языка FlexiVoice обходит весь опенсорс в умении следовать сложным инструкциям и разрешать конфликты модальностей. По WER модель немного уступает CosyVoice2, но выигрывает его по метрике CMOS.

Подводя итог, FlexiVoice — это пример того, как задачу синтеза речи с текстовыми инструкциями решают с помощью RL. Мне показались интересными три вещи. Во-первых, поднята важная проблема протекания эмоциональных аспектов из текста, и аудиопромпта. Во-вторых, показан простой способ собрать инструктивную разметку для претрейна при минимуме вводных (по тематике видео или имени персонажа). В-третьих, это хороший практический гайд по тому, где взять в опенсорсе DPO-датасеты для звука и какую модель использовать в качестве reward-моделей для GRPO.

Дарья Дятлова ❣ Специально для Speech Info

DisTAR: Diffusion over a Scalable Token Autoregressive Representation for Speech Generation

Дискретные токены по-прежнему тяжело моделировать и реконструировать: подробнее об этом мы говорили в посте о фреймворке DiTAR. А сегодня разберём статью об очень похожем решении — DiSTAR, фреймворке для zero-shot text-to-speech.

Авторы вдохновлялись LLaDA, где используют диффузионный подход. Но вместо обычных одноуровневых текстовых токенов используют RVQ (residual vector quantization):

- Их битрейта достаточно для качественной реконструкции.
- Из-за дискретности их обучение так же стабильно и интерпретируемо, как и классических LLM.

Авторы утверждают, что известные подходы к моделированию RVQ жертвуют либо скоростью инференса, либо долгосрочной консистентностью. Чтобы решить эту проблему, авторегрессионную языковую модель с маскированной диффузией учат предсказывать токены в дискретном RVQ-пространстве:

1. Формируют из RVQ-токенов патчи, как в DiTAR, и подают их на вход агрегатору — трансформерному энкодеру, который сжимает каждый патч до одного вектора.

2. Авторегрессионный каузальный трансформер учится моделировать непрерывные представления — на каждом шаге обрабатывает сжатый вектор из агрегатора с учётом предыдущего контекста. Новый вектор подаёт в диффузию в качестве контекста.

3. Маскированная диффузионная модель предсказывает следующий патч RVQ-токенов по скользящему окну предшествующих токенов и выходу трансформера.

RVQ-токены порождают гораздо меньше ошибок реконструкции, чем одноуровневый VQ. Моделировать их можно разными способами. В поисках трейд-оффа между качеством работы модели и скоростью её инференса авторы нашли работоспособный вариант с адекватным компьютом: связка авторегрессионного трансформера с маскированной диффузией позволяет совместно моделировать временные и послойные зависимости RVQ.

Александр Плахин ❣ Специально для Speech Info

CORD: Bridging the Audio–Text Reasoning Gap via Weighted On-policy Cross-modal Distillation

Сегодня разбираем работу о важной проблеме в Audio Language Models. Если дать модели один и тот же запрос в текстовом и аудиоформате, качество ответа на аудио обычно заметно хуже. Это видно на бенчмарках: аудиодомен почти всегда проседает относительно текстового.

Большие аудиоязыковые модели обычно строятся поверх текстовых LLM: к ним добавляют аудиоэнкодер и модуль выравнивания между модальностями. Предполагается, что этого достаточно, чтобы аудио и текст оказались в одном семантическом пространстве. Но на практике это работает неидеально: при одинаковом смысле входа модель рассуждает по аудио хуже, чем по тексту.

В этой работе авторы хотят передать в аудиомодальность текстовые reasoning-способности и сделать так, чтобы при аудиовходе модель рассуждала как можно ближе к тому, как она рассуждает при текстовом.

Для этого берут один и тот же вопрос, получают его текстовую и аудиоверсию, прогоняют через модель и сравнивают распределения. Это нужно, чтобы генерация при аудиовходе была максимально похожа на генерацию при текстовом.

Важно, что всё происходит on-policy. Для аудиовхода модель сначала сэмплирует ответ, а дальше сравнение идёт именно по этой траектории. Эти же префиксы подаются в модель с текстовым входом, чтобы посмотреть, как она продолжила бы ту же последовательность.

То есть здесь не идут по «правильной» текстовой траектории учителя, а обучают модель на тех состояниях, в которые она реально попадает при генерации по аудио. За счёт этого можно исправлять ошибки, которые возникают именно в аудиорежиме.
Для сравнения распределений используют reverse KL, а именно KL(p_audio || p_text).

Такой лосс особенно наказывает случаи, когда аудиоветвь даёт высокую вероятность токенам, которые текстовая ветвь считает маловероятными. Модель в первую очередь отучают генерировать продолжения, которые сильно расходятся с текстовым поведением.

Авторы также показывают, что расхождения между модальностями возникают неравномерно. Основные ошибки появляются в начале генерации, а затем тянутся по всей последовательности. Кроме того, сильный вклад дают не все токены, а лишь небольшое число наиболее важных шагов.

Из этого рождается основной трюк работы — взвешивание token-level loss. Во-первых, усиливают вклад токенов с наибольшим расхождением между аудио- и текстовым распределениями: берут top-K токенов, в работе K = 20. Во-вторых, больший вес дают ранним токенам, потому что ошибка в начале рассуждения чаще всего ломает всю дальнейшую траекторию. В итоге reverse KL взвешивается и по важности токена, и по его позиции.

Но этого авторам кажется недостаточно, потому что токенного уровня может не хватить, так как модель всё равно способна прийти к неправильному ответу в целом. Поэтому добавляется sequence-level.
Здесь генерируются ответы для аудио, и judge-модель проверяет, совпадают ли они семантически с текстовым ответом. Этот сигнал превращается в reward, и дальше обучение идёт через GRPO. В итоге комбинируются два сигнала: по токенам и по всей последовательности, а финальный objective — это их сумма.

По экспериментам видно, что подход стабильно уменьшает разрыв между аудио и текстом и делает аудиоответы ближе к текстовым. Обучаются только на математическом датасете, но улучшения переносятся и на general knowledge задачи.

По сравнению с обычной дистилляцией метод меньше ломает дополнительные аудиоспособности модели, то есть не ухудшает понимание звуков, музыки и прочего.

Ярослав Ведерников ❣ Специально для Speech Info

VibeVoice: Expressive Podcast Generation with Next-Token Diffusion

TTS хорошо работает на коротких фразах, но плохо масштабируется до длинной генерации вроде подкастов, где нужны стабильные голоса, паузы, turn-taking. VibeVoice предлагает решение этой проблемы.

Работа наконец превратилась из краткого техрепорта в полноценную статью. Главная идея — уйти от дискретных аудиотокенов к сжатому continuous-представлению. Учат hybrid tokenizer на 7,5 Hz, отдельно acoustic σ-VAE для тембра и качества, отдельно — semantic tokenizer через ASR для семантики.

Поверх этого обучают LLM, где генерируют латенты VAE через маленькую diffusion head. Получается next-token diffusion: трансформер выдаёт conditioning на токен, diffusion head итеративно генерирует acoustic latent, acoustic decoder превращает его в аудио.

Берут именно σ-VAE, потому что у стандартного VAE variance может схлопнуться почти в ноль, и latent space становится хрупким: авторегрессия промахивается на каждом шаге, ошибки накапливаются, генерация разваливается. В σ-VAE variance фиксируют через prior, создавая вокруг latent’ов tolerance zone. Diffusion head может не идеально попасть в latent, а decoder всё ещё восстанавливает стабильную речь.

Два токенизатора выбраны не просто так. Если оставить только acoustic, голос сохраняется, но семантика начинает плыть, особенно при нескольких спикерах. Hybrid tokenizer снижает WER при приемлемом SIM-O. То есть для подкастов сложно хранить «что сказано» и «как сказано» в одном латенте — модель начинает путаться.

Заявляют zero-shot-генерацию до 90 минут и до четырёх спикеров. По замерам VibeVoice-7B обходит Gemini 2.5 Pro TTS и ElevenLabs v3 alpha, а на long-form держит низкий WER и высокую speaker similarity, в то время как некоторые модели и вовсе разваливаются.

#YaICLR26

Владимир Гогорян ❣ Специально для Speech Info

ACE-Step: A Step Towards Music Generation Foundation Model

У популярных методов генерации музыки две основных проблемы:

- Модели на основе LLM (например, Yue и SongGen) отлично справляются с согласованием текста песни, но медленно работают и часто выдают артефакты.

- Диффузионные модели (такие как DiffRhythm) генерируют гораздо быстрее, но уступают в качестве структурной согласованности треков.

Сегодня разберём статью о фундаментальной опенсорс-модели ACE-Step. Её авторы утверждают, что смогли преодолеть все эти проблемы, объединив лучшее из LLM и диффузионных моделей.

Архитектура не нова. Внутри ACE-Step — две модели:

- Энкодер-декодер. Преобразует спектрограмму в латентное представление и обратно, сжимая её при этом в 64 раза.

- Flow-matching. Генерирует аудиозапись в латентном пространстве. Бэкбон этой модели состоит из 24 diffusion-transforme-блоков.

Главный импакт этой статьи — обуславливание моделей на множество разных кондишнингов. Секрет в кросс-аттеншне, который добавили в середину каждого diffusion-transformer-блока.

Чтобы генерировать аудио с нужным контентом, модели нужны три вещи:

1) Тэги, описывающие аудио на натуральном языке. Например, «an energetic pop-rock anthem with distortion guitar».
2) Текст песни, закодированный BPE-токенами.
3) Эмбеддинг спикера, полученный из предобученной биометрической модели.

Для того чтобы хорошо и разнообразно генерировать текст, аккорды, ритм и прочие музыкальные фичи, авторы добавили Semantic Alignment Loss. Аудио пропускали через две SSL-модели:

- МЕRT. По сути BERT, для музыки, который хорошо энкодит гармонию, аккорды и ритм,
- mHuBERT. Тоже специализированный BERT для музыки, но с фокусом на текст.

Потом на эмбеддинги в середине диффузионного трансформера (авторы выбрали восьмой из 24 слоёв) повесили cosine similarity c эмбеддингами SSL-моделей. Это позволяет модели лучше кодировать внутри себя информацию, связанную с гармонией, ритмом и текстом — а значит, лучше генерировать её.

ACE-Step обучали на 100 тысячах часах аудио на 19 разных языках — около 1,8 миллионов музыкальных треков. Для того чтобы разметить этот датасет тегами, использовали Qwen-Omni, Whisper в ASR, детектор BPM и универсальный классификатор для сегментации.

В результате ACE-Step синтезирует до 4 минут музыки всего за 20 секунд на GPU A100 — в 15 раз быстрее, чем базовые LLM-модели. А оценить результаты её работы и изучить код можно на сайте авторов — такое не стыдно добавить в свой плейлист.

Роман Кайль ❣ Специально для Speech Info