🎙 Открытая TTS-модель с клонированием голоса по 2 секундам!
Умеет клонировать голос по двухсекундному образцу. Можно настроить пол, возраст, высоту, акцент, стиль речи (включая шепот) и скорость. Генерация работает в режиме стриминга — не нужно ждать полного файла.

В архитектуре используется активный акустический адаптер: обрабатывает кодек-эмбеддинги до и после основного блока. Может пригодиться для озвучки на редких языках, где коммерческие TTS пока не добрались.

dsv4-streaming запускает модель с 284B параметрами, наименьший опубликованный квант которой составляет 83 ГБ, на ноутбуке с 64 ГБ памяти, сохраняя неэкспертные веса на диске и передавая экспертные веса с SSD по запросу. Он содержит два движка: быстрый движок, построенный на среде выполнения ds4 от antirez (декодирование ~ 11 ток / с за 2 квартала) и полнокачественный движок, созданный с нуля стек MLX / Python, который запускает смешанную 4/8-битную контрольную точку с недоумением, сопоставляющим опубликованное число с -0.02%. Веб-приложение локального чата поддерживает оба движка с сеансами, потоковой передачей и API, совместимым с OpenAI. 

Качество не падает. Проверили качество вывода с помощью стандартного теста (перплексия, чем ниже, тем лучше). Настройка показала результат 6,1250. Официальный показатель для этого файла модели — 6,1262. Такое же качество.

Скорость: около 11 токенов в секунду при использовании 2-битного файла модели меньшего размера или 1–2 токена в секунду при более высоком качестве. Для сравнения: 11 токенов в секунду — это быстрее, чем читает большинство людей.

Кэш меньшего размера работал быстрее, чем кэш большего размера. Автор выделил программе 8 ГБ памяти для кэша и получил 2,04 токена в секунду. При 32 ГБ показатель упал до 1,23. Причина: macOS уже кэширует файлы самостоятельно и делает это лучше. Выделение программе большего объема памяти привело к тому, что macOS стала использовать меньше памяти. То же самое произошло в отдельном движке (ds4 от antirez), так что это не ошибка этого кода.

Популярные приемы для повышения скорости здесь не помогли. Спекулятивное декодирование и предварительная выборка данных в этой конфигурации только замедляли работу. Узким местом является диск, а эти приемы увеличивают объем считываемых данных, а не уменьшают его.

Лёгкий синтезатор речи, который работает без видеокарты. Клонирует голос по записи 10–20 секунд чистой речи.

Модель компактная — 6-слойный ученик, дистиллированный из 24-слойной версии. Быстрее и легче на инференсе.

На вход: текст + референс-аудио голоса. На выходе: WAV-файл речи.

Лицензия CC-BY-NC-4.0 — бесплатно для некоммерческого использования.

Текст нужно готовить: ударения обозначаются знаком «+» перед ударной гласной, числа раскрываются вручную. Длинные фразы лучше резать по предложениям. Качество зависит от промпта: шумная запись голоса даст шумную речь.

Можно передать список имён и терминов, чтобы модель их не коверкала. Поддерживает десять языков, включая русский.

По доле ошибок распознавания (WER для слов, CER для китайских иероглифов) версия 7B в среднем обходит Gemini 3.5 Transcribe Live, ElevenLabs Scribe v2 Realtime и потоковые модели OpenAI на пяти наборах записей встреч. Хотя на двух датасетах Gemini впереди. По атрибуции спикеров — лучший или равный лучшему результат в 12 из 13 настроек.

Веса версий с бэкбонами 1,5B и 7B под лицензией MIT, код открыт, есть демо.

TensorSharp - Собственный механизм логического вывода .NET для моделей GGUF. TensorSharp предоставляет консольное приложение, веб-интерфейс чат-бота и HTTP API, совместимые с Ollama/OpenAI, для программного доступа. Он поддерживает Windows/MacOS/iOS/Linux с использованием всех возможностей графического процессора.

Собственный движок вывода .NET LLM для моделей GGUF — авторегрессионные LLM и распространение текста в стиле DiffusionGemma, плюс редактирование изображений Qwen-Image-Edit и видео MiniMax-H3 с собственным стереозвуком 32 кГц (и Wan 2.1 / 2.2 только для видео). Включает консольное приложение, интерфейс чата в браузере и HTTP API, совместимые с Ollama/OpenAI. Движок на чистом .NET, который выигрывает по сравнению с C++ llama.cpp на идентичных файлах GGUF и с тем же графическим процессором. Дополнительный TensorSharp.AgentHost уровень добавляет навыки агента и ограниченный внутрипроцессный цикл преобразования модели в инструмент для работы с файлами и оболочкой в изолированной среде.