При первом запуске необходимо загрузить модели Whisper с Hugging Face. Это единственное использование разрешения на доступ в Интернет.

В приложении Whisper также может переводить все поддерживаемые языки на английский.

Как получить максимальную отдачу от Whisper:
- Удерживайте кнопку нажатой во время разговора
- Сделайте небольшой перерыв перед началом работы
- Говорите четко, громко и в умеренном темпе
- Обратите внимание на ограничение в 30 секунд на запись

Это плавающая кнопка для голосового ввода, которая работает поверх любого приложения. Нажмите, чтобы записать, нажмите еще раз, чтобы расшифровать, — текст будет вставлен в выделенное поле.
Также поддерживается дополнительная постобработка (удаление знаков препинания, форматирование, командный режим для использования в терминале).

База была создана parakeet-diarized, ссылка в разделе ATTRIBUTIONS(.)md в репозитории

NoobScribe предоставляет совместимый с Whisper API для расшифровки аудио, хотя моими основными дополнениями являются веб-интерфейс и конечные точки для управления записями, расшифровками и спикерами.

Он работает в Docker (на центральном процессоре или с помощью nvidia docker toolkit на графическом процессоре), использует аудиосистему Pyannote для диаризации и nvidia/canary-1b-v2 для расшифровки.

Добавить записи можно двумя способами: загрузить аудиофайл или записать звук с рабочего стола (через функцию демонстрации экрана в браузере) и/или с микрофона.

Затем эти аудиозаписи транскрибируются с помощью Canary-1b-v2 и диаризуются с помощью pyannote audio
После завершения транскрибирования и диаризации можно сохранить обнаруженные голоса (их эмбеддинги из pyannote) в векторной базе данных (Chroma) и заменить общие названия голосов (SPEAKER_00 и т. д.) на имена, которые вы указали.
Кроме того, программа проверяет существующие расшифровки на наличие совпадающих эмбеддингов для новых голосов или новых эмбеддингов для одного голоса, чтобы обновить их задним числом.

У диктора может быть несколько эмбеддингов (например, при использовании разных микрофонов эмбеддинги иногда не совпадают — так можно повысить точность распознавания диктора).

Все данные хранятся локально на вашем компьютере, и вам нужен только Docker и токен HF_TOKEN (если вы хотите использовать функцию ведения дневника, так как модель Pyannote является закрытой.

Создали это, чтобы лучше транскрибировать записи совещаний и т. д. и потом обобщать их с помощью большой языковой модели. В этом плане диаризация речи спикера очень помогает по сравнению с обычной транскрипцией.