Ну, уже есть прогресс: кодовая книга постепенно адаптируется. Для аудио с речью модели требуется заметно меньше токенов, а шум, наоборот, требует большей ёмкости кодбука. Получается, что латентное пространство для шума менее стабильное, а речь — более структурированная, компактная и повторяемая.
Сейчас я пытаюсь сделать модель, которая будет не искать отдельно речь и музыку, а изначально считать речь самой важной частью сигнала и автоматически игнорировать всё остальное: шумы, музыку, фон и т.д.
Идея в том, чтобы модель сама училась speech-centric representation (представление, ориентированное на речь) когда почти вся ёмкость latent space уходит именно в речь, а шум кодируется очень грубо или почти игнорируется.
Если это нормально заработает, то для обучения tts/asr моделей больше не понадобится долго подготавливать датасеты: чистить аудио, делать шумоподавление и вручную фильтровать шумы. Можно будет просто брать сырые стримы, подкасты или видео и напрямую обучать модели на необработанной речи.

Хахахахахаха