Контекст: запускают конвейер, который локально переводит целые художественные книги с английского на русский — фрагмент + глоссарий + скользящие аннотации к главам → перевод → замечания рецензента → исправление → корректура → аннотации к фрагментам. Книга — это ~1,5–2 млн токенов! После года тренировок появилась конфигурация для запуска, которая достаточно быстрая, чтобы не надоедать: 2–3 книги в день.

Запустите Qwen3.8-Flash-Next на Mac, который не справляется с этой задачей. Модель представляет собой смесь экспертов с 125B-параметрами, занимает 104 ГБ на диске в 4-битном формате; слотстрим считывает ее с SSD и запускает в любом объеме памяти, который вы выделите. Это один бинарный файл на Swift, без Python. Он поддерживает API чата Ollama и OpenAI, поэтому ваши существующие инструменты будут работать без изменений.

Найдите нужный подкаст или вставьте его ссылку, выберите нужные эпизоды, и Repodify создаст один хронологический эпизод, который вы сможете прослушать или скачать. Он работает на вашем компьютере или с вашими собственными API-ключами (BYOK) — выбор за вами на каждом этапе.

Превратите фрагмент подкаста в один адаптированный/дополненный короткий дайджест: поиск/инсталляция RSS, расшифровка, обобщение, написание сценария и, наконец, синтез и создание адаптированного подкаста, при этом все этапы машинного обучения можно выполнять локально (единообразно или смешанно).

• загружает аудио
• расшифровывает его
• при необходимости определяет, кто говорил (& объединяет одного ведущего/гостя из разных выпусков)
• объединяет в одно хронологическое повествование
• пишет сценарий для озвучивания с заданной продолжительностью
• синтезирует новый выпуск, который можно прослушать или скачать

Все это должно работать на вашем компьютере или с вашими собственными API-ключами (BYOK) для каждого этапа и задания. Никаких «загрузок архива в чужое облако». Преобразование речи в текст, диаризация, большие языковые модели и синтез речи — все это можно заменить: локальный графический процессор (faster-whisper, pyannote, Ollama, F5-TTS / Kokoro) или BYOK (OpenRouter / Anthropic / pyannoteAI).
Клонирование голоса доступно по запросу и отключено по умолчанию.

🎙 Открытая TTS-модель с клонированием голоса по 2 секундам!
Умеет клонировать голос по двухсекундному образцу. Можно настроить пол, возраст, высоту, акцент, стиль речи (включая шепот) и скорость. Генерация работает в режиме стриминга — не нужно ждать полного файла.

В архитектуре используется активный акустический адаптер: обрабатывает кодек-эмбеддинги до и после основного блока. Может пригодиться для озвучки на редких языках, где коммерческие TTS пока не добрались.

dsv4-streaming запускает модель с 284B параметрами, наименьший опубликованный квант которой составляет 83 ГБ, на ноутбуке с 64 ГБ памяти, сохраняя неэкспертные веса на диске и передавая экспертные веса с SSD по запросу. Он содержит два движка: быстрый движок, построенный на среде выполнения ds4 от antirez (декодирование ~ 11 ток / с за 2 квартала) и полнокачественный движок, созданный с нуля стек MLX / Python, который запускает смешанную 4/8-битную контрольную точку с недоумением, сопоставляющим опубликованное число с -0.02%. Веб-приложение локального чата поддерживает оба движка с сеансами, потоковой передачей и API, совместимым с OpenAI. 

Качество не падает. Проверили качество вывода с помощью стандартного теста (перплексия, чем ниже, тем лучше). Настройка показала результат 6,1250. Официальный показатель для этого файла модели — 6,1262. Такое же качество.

Скорость: около 11 токенов в секунду при использовании 2-битного файла модели меньшего размера или 1–2 токена в секунду при более высоком качестве. Для сравнения: 11 токенов в секунду — это быстрее, чем читает большинство людей.

Кэш меньшего размера работал быстрее, чем кэш большего размера. Автор выделил программе 8 ГБ памяти для кэша и получил 2,04 токена в секунду. При 32 ГБ показатель упал до 1,23. Причина: macOS уже кэширует файлы самостоятельно и делает это лучше. Выделение программе большего объема памяти привело к тому, что macOS стала использовать меньше памяти. То же самое произошло в отдельном движке (ds4 от antirez), так что это не ошибка этого кода.

Популярные приемы для повышения скорости здесь не помогли. Спекулятивное декодирование и предварительная выборка данных в этой конфигурации только замедляли работу. Узким местом является диск, а эти приемы увеличивают объем считываемых данных, а не уменьшают его.

Лёгкий синтезатор речи, который работает без видеокарты. Клонирует голос по записи 10–20 секунд чистой речи.

Модель компактная — 6-слойный ученик, дистиллированный из 24-слойной версии. Быстрее и легче на инференсе.

На вход: текст + референс-аудио голоса. На выходе: WAV-файл речи.

Лицензия CC-BY-NC-4.0 — бесплатно для некоммерческого использования.

Текст нужно готовить: ударения обозначаются знаком «+» перед ударной гласной, числа раскрываются вручную. Длинные фразы лучше резать по предложениям. Качество зависит от промпта: шумная запись голоса даст шумную речь.