Почему бы просто не запустить простую модель Whisper для каждой аудиозаписи? Модель Whisper предназначена для обработки полных высказываний, а не фрагментов в режиме реального времени. При обработке небольших сегментов теряется контекст, слова обрываются на середине слога, а транскрипция получается некачественной. В WhisperLiveKit используются передовые технологии одновременной обработки речи для интеллектуальной буферизации и инкрементальной обработки.
Серверная часть поддерживает одновременную работу нескольких пользователей. Функция обнаружения голосовой активности снижает нагрузку при отсутствии голосовых запросов.

WhisperLiveKit поддерживает Voxtral Mini, 4-параметрическую речевую модель от Mistral AI, которая изначально поддерживает более 100 языков с функцией автоматического определения языка. Whisper также поддерживает автоматическое определение (--language auto), но функция Voxtral для определения языка по фрагментам более надежна и не смещает акцент в сторону английского языка.
(в потоковом режиме мог бы переводить звук на другой язык!)

NexVid — это лёгкое браузерное расширение для масштабирования и улучшения качества видео в реальном времени. Оно использует обработку Anime4K с ускорением на графическом процессоре, продвинутые фильтры и большую библиотеку шейдеров WebGL для улучшения качества аниме, мультфильмов, фильмов, музыкальных клипов и других веб-видео прямо в вашем браузере. Выбирайте из более чем 15 профилей качества масштабирования Anime4K, настраивайте целевой показатель FPS в соответствии с возможностями вашего оборудования, устанавливайте порог разрешения, чтобы не обрабатывать видео с высоким разрешением, и создавайте собственный набор улучшений, не загружая медиафайлы.

✨ Особенности:
- Масштабирование в реальном времени с профилями от самого быстрого до максимально качественного.
- Управление производительностью, в том числе настройка целевого количества кадров в секунду и автоматическая обработка пороговых значений разрешения.
- Более 30 шейдеров WebGL в категориях ретро, свечения, глитча, хроматизма, художественных эффектов, аниме и экспериментальных категорий сверхвысокого разрешения.
- Расширенные фильтры и элементы управления изображением, в том числе яркость, насыщенность, контрастность, оттенки серого, сепия, поворот оттенка, размытие, гамма, тиснение, морфология, нерезкая маска и повышение резкости.
- Настраиваемые параметры шейдера, а также сохранение и загрузка предустановок для создания полноценных цепочек эффектов.
- Встроенный локальный видеоплеер для применения масштабирования, фильтров и шейдеров к локальным видеофайлам.
- Интерфейс доступен на английском, французском, испанском и упрощенном китайском языках.
- Обработка данных выполняется локально в браузере, что обеспечивает конфиденциальность.

Идеально подходит для пользователей, которым нужны более четкие линии, детализация и стилизованное воспроизведение без выхода из браузера.

Вот что сделали:
- 4-битное квантование GPTQ — сжатие модели с ~60 ГБ до ~20 ГБ
- Обучение с учетом квантования (Quantization-aware training, QAT) с помощью GPTQ и калибровкой для минимизации потери точности
- Тонкая настройка QLoRA на медицинских и научных корпусах
- Убран адаптивный слой идентификации для обеспечения прозрачности — модель корректно приписывает свою архитектуру оригинальной работе DeepSeek

MedQA — это то, что нужно: точность 84 %, что на 4 % меньше, чем у GPT-4o (~88 %), при этом модель работает на одном графическом процессоре L40/L40s.

Скорость: 36,86 токенов в секунду против 22,84 токенов в секунду у базовой модели DeepSeek-R1-32B — примерно в 1,6 раза быстрее и со средней задержкой на ~43 % ниже.

Зачем это сделали: нужна была модель логического вывода, которую можно было бы использовать локально для корпоративных клиентов в сфере здравоохранения со строгими требованиями к суверенитету данных. Никаких вызовов API в OpenAI, никаких данных, покидающих пределы здания. Оказывается, при правильной оптимизации можно добиться практически максимальной производительности за небольшую часть стоимости.

✨ 8 МОЩНЫХ ИНСТРУМЕНТОВ ИИ

📝 УМНЫЙ ЧАТ
Многоходовые диалоги с учетом контекста, память RAG, дополнительный веб-поиск, вывод речи с автоматическим озвучиванием и поддержка ввода текста, изображений и аудио. Создавайте собственные ИИ-персоны с персонализированными инструкциями.

✍️ ПОМОЩЬ В ПИСЬМЕННОЙ РАБОТЕ
Составляйте резюме документов, расширяйте идеи, переписывайте контент, улучшайте грамматику и генерируйте код на основе описаний на естественном языке.

🎨 ГЕНЕРАТОР ИЗОБРАЖЕНИЙ
Создавайте потрясающие изображения из текстовых подсказок с помощью Stable Diffusion 1.5. Генерируйте множество вариантов с помощью галереи, пролистывая изображения. Вся обработка происходит на устройстве.


🌍 ПЕРЕВОДЧИК (более 50 языков)
Переводит текст, изображения (OCR) и аудио в режиме реального времени. Работает полностью в автономном режиме с двусторонней поддержкой.

🎙 ТРАНСКРИПТОР
Преобразует аудио в текст с высокой точностью. Поддерживает WAV. Вся обработка выполняется на устройстве.

🎵 VIBECODE Creator
Создавайте, настраивайте и делитесь закодированными ИИ-персонами. Создавайте персонализированные наборы инструкций, которые управляют поведением ИИ во всех чат-сессиях. Разработайте своего идеального ИИ-помощника с помощью системных подсказок и описаний.

💻 ПОМОЩНИК ПО КОДУ
Генерируйте, отлаживайте и объясняйте код с помощью моделей ИИ, улучшенных VibeCode. Дополнительный веб-поиск документации и лучших практик.

🛡 ДЕТЕКТОР МОШЕННИЧЕСТВА
Анализируйте подозрительные сообщения и изображения на предмет попыток фишинга. Получайте четкие оценки рисков и подробные объяснения.

🚀 ПЕРЕДОВЫЕ МОДЕЛИ ИИ
Поддерживаемые форматы моделей: GGUF, ONNX, LiteRT, MediaPipe (бэкенды вывода MediaPipe, ONNX Runtime и Nexa SDK)

Рекомендуемые модели:
• Gemma-4 E2B/E4B (Google) - Мультимодальная: текст, изображение, аудио
• Llama-3.2 1B/3B (Meta) - Мощный открытый исходный код
• Phi-4 Mini (Microsoft) - Оптимизирована для мобильных устройств
• Ministral 3B/8B (Mistral AI) - Высокопроизводительная многоязычная модель с поддержкой изображения
• Семейство GPT-OSS - Быстрые и эффективные модели с оптимизацией ONNX
• LFM-2.5 Thinking (Thinking) - Рассуждения и генерация длинных текстов
• Granite Models (IBM) - Язык, готовый для корпоративного использования модели
• Stable Diffusion 1.5 — генерация изображений на устройстве

Все модели работают на 100% на устройстве с ускорением GPU/NPU.

⚡️ РАСШИРЕННЫЕ ВОЗМОЖНОСТИ:
• Преобразование текста в речь с автоматическим озвучиванием для прослушивания без помощи рук
• Ускорение GPU/NPU для высокой производительности
• Мультимодальный: текст, изображения и аудио
• RAG с глобальной памятью для улучшения ответов
• Создание пользовательских ИИ-персон с персонализированными инструкциями
• Vibecode, аналогичный использованию курсора/кода Клода
• Импорт пользовательских моделей (.gguf, .onnx, .task, .litertlm, .qnn, .mnn)
• 17 языков интерфейса

💡 КАК ЭТО РАБОТАЕТ:
1. Загрузите модели ИИ в приложении (однократно) — поддерживаются форматы GGUF, ONNX, LiteRT и MediaPipe
2. Создайте собственные персоны ИИ с помощью VibeCode для персонализированного поведения
3. Выберите инструмент: Чат (с персонами), Помощь в написании, Генератор изображений, Переводчик, Транскриптор, Помощник по коду или Детектор мошенничества
4. Используйте ИИ полностью в автономном режиме с полной конфиденциальностью

📖 ОТКРЫТЫЙ ИСХОДНЫЙ КОД (Лицензия MIT)

Qwen3.6-27B совершает прорыв в агентном кодировании для плотных моделей. Имея всего 27 миллиардов параметров, он превосходит Qwen3.5-397B-A17B (всего 397 миллиардов параметров / 17 миллиардов активных) по всем основным тестам на кодирование, включая SWE-bench Verified (77,2 против 76,2), SWE-bench Pro (53,5 против 50,9), Terminal-Bench 2.0 (59,3 против 52,5) и SkillsBench (48,2 против 30,0). Кроме того, она значительно превосходит все модели того же масштаба. В задачах на логическое мышление Qwen3.6-27B набирает 87,8 балла на GPQA Diamond, что сопоставимо с результатами моделей, размер которых в несколько раз больше.

Thinking mode for general tasks: temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0
Thinking mode for precise coding tasks (e.g. WebDev): temperature=0.6, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0
Instruct (or non-thinking) mode: temperature=0.7, top_p=0.80, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0