⬇️ Вышла версия 4.2
Что нового: https://github.com/oobabooga/text-generation-webui/releases
#TextGenerationWebUi #DeepReason #Windows #Linux #MacOS #AiLocal #LocalAi

💡 NoobScribe — это API для расшифровки, совместимый с Whisper, и веб-интерфейс для записи совещаний, расшифровки аудио и сохранения информации о выступающих на разных сессиях с помощью дневниковых записей и функции памяти выступающих.

База была создана parakeet-diarized, ссылка в разделе ATTRIBUTIONS(.)md в репозитории

NoobScribe предоставляет совместимый с Whisper API для расшифровки аудио, хотя моими основными дополнениями являются веб-интерфейс и конечные точки для управления записями, расшифровками и спикерами.

Он работает в Docker (на центральном процессоре или с помощью nvidia docker toolkit на графическом процессоре), использует аудиосистему Pyannote для диаризации и nvidia/canary-1b-v2 для расшифровки.

Добавить записи можно двумя способами: загрузить аудиофайл или записать звук с рабочего стола (через функцию демонстрации экрана в браузере) и/или с микрофона.

Затем эти аудиозаписи транскрибируются с помощью Canary-1b-v2 и диаризуются с помощью pyannote audio
После завершения транскрибирования и диаризации можно сохранить обнаруженные голоса (их эмбеддинги из pyannote) в векторной базе данных (Chroma) и заменить общие названия голосов (SPEAKER_00 и т. д.) на имена, которые вы указали.
Кроме того, программа проверяет существующие расшифровки на наличие совпадающих эмбеддингов для новых голосов или новых эмбеддингов для одного голоса, чтобы обновить их задним числом.

У диктора может быть несколько эмбеддингов (например, при использовании разных микрофонов эмбеддинги иногда не совпадают — так можно повысить точность распознавания диктора).

Все данные хранятся локально на вашем компьютере, и вам нужен только Docker и токен HF_TOKEN (если вы хотите использовать функцию ведения дневника, так как модель Pyannote является закрытой.

Создали это, чтобы лучше транскрибировать записи совещаний и т. д. и потом обобщать их с помощью большой языковой модели. В этом плане диаризация речи спикера очень помогает по сравнению с обычной транскрипцией.

🔗 https://github.com/meganoob1337/NoobScribe
(Обсуждение)
#NoobScribe #Whisper #Транскрибация #LocalAi #AiLocal

ℹМодель: GLiNER-PII - поможет с Персональными Данными!

Оказывается есть небольшая модель, обученная для извлечения персональных данных!
Модель GLiNER-PII создана на основе моделей Gretel GLiNER PII/PHI. Она построена на базе GLiNER large-v2.1 и обнаруживает и классифицирует широкий спектр персональных данных (PII) и защищенной медицинской информации (PHI) в структурированном и неструктурированном тексте. Модель не генерирует данные, а создает аннотации сущностей на уровне фрагментов с оценкой достоверности по более чем 55 категориям. Модель разработана компанией NVIDIA.
🔗 https://huggingface.co/nvidia/gliner-PII

Еще рекомендуют использовать: Llama 3.3 70B или Mistral Large.
#GLiNERPII #NVIDIA #PHI #PII #ПерсональныеДанные #AiModel #ModelAi #LocalAi #AiLocal

🎙 DictaFlow - Диктуйте текст в любом приложении.

Сверхбыстрая диктовка и голосовое редактирование для приложений, которыми вы уже пользуетесь. Теперь доступно на Mac: Fn для диктовки, Control + Fn для использования ИИ и удобное редактирование выделенного текста.

Бесплатно:
•2000 бесплатных слов в месяц
•Все основные функции включены
•Контекстно-зависимая транскрипция

$7 в месяц:
•100 000 слов в месяц
•Полный мобильный доступ: транскрибируйте где угодно через Telegram
•Улучшение с помощью искусственного интеллекта: мгновенная самокоррекция и команды
•Интеллектуальная работа с экраном: редактируйте выделенный текст с помощью голосовых команд
•Работает в любом приложении (в т. ч. в Remote Desktop)
•Триггеры для горячих клавиш, мыши и VDI
•Контекстно-зависимая транскрипция
•Автоматическое форматирование кода, электронных писем и математических выражений

🔗 https://dictaflow.io
#dictaflow #MacOS #Диктовка #LocalAi #AiLocal

ℹМодель: Devstral-Small-2-24B, доработанная на основе Claude 4.6 Opus, с использованием рассуждений, чтобы перед написанием кода он мог четко выстроить цепочку мыслей.

🔗 https://huggingface.co/adamjen/Devstral-Small-2-24B-Opus-Reasoning
(Обсуждение)
#DevstralSmall224B #DevstralSmall2 #AiModel #ModelAi #LocalAi #AiLocal

ℹМодель: Nemotron Cascade 2 30B A3B

🔗 https://huggingface.co/nvidia/Nemotron-Cascade-2-30B-A3B
🔗 Paper: https://arxiv.org/abs/2603.19220
(Обсуждение)
#NemotronCascade2 #NemotronCascade #Nemotron #AiModel #ModelAi #LocalAi #AiLocal

ℹМодель: Nemotron-3 Nano 4B без цензуры (агрессивный)

Агрессивный = без отказов, без изменений личности и без модификаций. ОРИГИНАЛЬНАЯ версия от NVIDIA, без цензуры.

Краткие характеристики:
- параметры 3,97Б
- 262 КБ собственного контекста
- Режим мышления / умозаключения (переключаемый)
- Поддержка вызова инструмента
- Сжатый с Nemotron-Nano-9B-v2

Настройки от NVIDIA:
temp = 1.0, top_p = 0.95 для рассуждений; temp = 0.6, top_p = 0.95 для вызова инструмента.

🔗 https://huggingface.co/HauhauCS/Nemotron3-Nano-4B-Uncensored-HauhauCS-Aggressive - легко запустится даже на смартфоне!
Все такие модели: HauhauCS
(Обсуждение)
#Nemotron3Nano4B #Nemotron3Nano #Nemotron3 #Nemotron #БезЦензуры #Uncensored #AiModel #ModelAi #LocalAi #AiLocal

⚡️ Flash-MoE: Qwen3.5-397B-A17B на Apple Silicon

Круто на 128 Гб. запускать модель 397B!
Форк ANEMLL. В первую очередь ориентирован на Apple M5 Max 128 ГБ.

Механизм логического вывода Pure C/Metal, работающий на Qwen3.5-397B-A17B (модели Mixture-of-Experts с 397 миллиардами параметров) на Apple Silicon. Вся модель загружается с твердотельного накопителя через специальный вычислительный конвейер Metal.
TL;DR: локально запустили модель с 397 миллиардами параметров на MacBook. без облачных технологий. лучшая конфигурация: 4-битная + cache-io-split 4 = 12,99 ток/с. При разбиении на 2 и 3 части результаты хуже. 2-битная конфигурация обеспечивает такую же скорость, но худшее качество. полные данные в посте.

🔗 https://github.com/Anemll/flash-moe
(Обсуждение)

⚡️ Qwen3.5-397B запустили и на M3 Macbook Pro с 48GB RAM!
#FlashMoE #AppleSilicon #Qwen35 #ANEMLL #AppleM5Max #M5Max #MacOS #LocalAi #AiLocal

🌐 Nemotron-3-Nano (4B) — новая гибридная модель Mamba + Attention от NVIDIA, работающая локально в вашем браузере на WebGPU.

Все работает локально в вашем браузере (с использованием Transformers.js). На M4 Max получают ~75 токенов в секунду — неплохо!

Это гибридная модель Mamba + Attention с архитектурой 4B, способная выполнять как логические, так и нелогические задачи.

Ссылка на демонстрацию (+ исходный код):
🔗 https://huggingface.co/spaces/webml-community/Nemotron-3-Nano-WebGPU
Работает даже на телефоне (браузер Chrome). Просто введите URL-адрес, и у вас будет локальная модель.
(Обсуждение)
#Nemotron3Nano4B #Nemotron3Nano #Nemotron3 #Nemotron #WebGPU #AiModel #ModelAi #LocalAi #AiLocal