База была создана parakeet-diarized, ссылка в разделе ATTRIBUTIONS(.)md в репозитории

NoobScribe предоставляет совместимый с Whisper API для расшифровки аудио, хотя моими основными дополнениями являются веб-интерфейс и конечные точки для управления записями, расшифровками и спикерами.

Он работает в Docker (на центральном процессоре или с помощью nvidia docker toolkit на графическом процессоре), использует аудиосистему Pyannote для диаризации и nvidia/canary-1b-v2 для расшифровки.

Добавить записи можно двумя способами: загрузить аудиофайл или записать звук с рабочего стола (через функцию демонстрации экрана в браузере) и/или с микрофона.

Затем эти аудиозаписи транскрибируются с помощью Canary-1b-v2 и диаризуются с помощью pyannote audio
После завершения транскрибирования и диаризации можно сохранить обнаруженные голоса (их эмбеддинги из pyannote) в векторной базе данных (Chroma) и заменить общие названия голосов (SPEAKER_00 и т. д.) на имена, которые вы указали.
Кроме того, программа проверяет существующие расшифровки на наличие совпадающих эмбеддингов для новых голосов или новых эмбеддингов для одного голоса, чтобы обновить их задним числом.

У диктора может быть несколько эмбеддингов (например, при использовании разных микрофонов эмбеддинги иногда не совпадают — так можно повысить точность распознавания диктора).

Все данные хранятся локально на вашем компьютере, и вам нужен только Docker и токен HF_TOKEN (если вы хотите использовать функцию ведения дневника, так как модель Pyannote является закрытой.

Создали это, чтобы лучше транскрибировать записи совещаний и т. д. и потом обобщать их с помощью большой языковой модели. В этом плане диаризация речи спикера очень помогает по сравнению с обычной транскрипцией.

Бесплатно:
•2000 бесплатных слов в месяц
•Все основные функции включены
•Контекстно-зависимая транскрипция

$7 в месяц:
•100 000 слов в месяц
•Полный мобильный доступ: транскрибируйте где угодно через Telegram
•Улучшение с помощью искусственного интеллекта: мгновенная самокоррекция и команды
•Интеллектуальная работа с экраном: редактируйте выделенный текст с помощью голосовых команд
•Работает в любом приложении (в т. ч. в Remote Desktop)
•Триггеры для горячих клавиш, мыши и VDI
•Контекстно-зависимая транскрипция
•Автоматическое форматирование кода, электронных писем и математических выражений