Ключевые архитектурные особенности:
- Смешанная модель экспертов (Mixture of Experts, MoE): 128 экспертов, по 4 активных на каждый токен, что обеспечивает эффективное масштабирование и специализацию.

- 119 миллиардов параметров, по 6 миллиардов активных параметров на каждый токен (8 миллиардов, включая встраиваемые и выходные слои).

- Окно контекста 256 тысяч, поддерживающее взаимодействие с длинными текстами и анализ документов.

- Настраиваемая сложность логического вывода: переключение между быстрыми ответами с низкой задержкой и глубокими выводами, требующими больших вычислительных ресурсов.

- Встроенная мультимодальность: поддерживает ввод как текста, так и изображений, что открывает возможности для самых разных сценариев использования — от анализа документов до визуального анализа.

Модели:
Начните с раздела моделей, где вы можете скачать последние модели непосредственно из Hugging Face.
Сервер:
Используйте функцию сервера для подключения к Inferencer, запущенному на вашем Mac, для запуска еще более крупных моделей по сети.
Чаты:
Выберите модель для взаимодействия в верхней строке меню и напишите подсказку для начала. В любой момент вы можете переключаться между моделями и продолжать чат, чтобы увидеть, что еще они могут обнаружить. Вы также можете выборочно удалять прошлые сообщения, чтобы модель была сфокусированной и меньше рассеянной.
Элементы управления чатом:
Контролируйте параметры вывода, включая системную подсказку для управления тем, как модель реагирует, температуру для контроля точности ответа и многое другое.
Энтропия и проверка токенов:
Выберите инспекторов, чтобы заглянуть во внутреннюю работу каждого выводимого слова и увидеть уровни достоверности модели и альтернативные варианты. Управление откликом:
Используйте функцию ответа управления для управления выводом, генерируемым моделью. Например, пропуск преамбулы или направление модели на вывод в структурированном html. Настройки включают родительский контроль, политику автоматического удаления и многое другое.
Конфиденциальность:
Для максимальной конфиденциальности вся обработка ИИ происходит в автономном режиме и на вашем устройстве по умолчанию. Базовые подписки (бесплатные): Большинство функций разблокированы бесплатно, включая неограниченное количество чатов и подключение к вашему Mac. Профессиональный:
Обновление для более продвинутой проверки токенов и контроля отклика.

При первом запуске необходимо загрузить модели Whisper с Hugging Face. Это единственное использование разрешения на доступ в Интернет.

В приложении Whisper также может переводить все поддерживаемые языки на английский.

Как получить максимальную отдачу от Whisper:
- Удерживайте кнопку нажатой во время разговора
- Сделайте небольшой перерыв перед началом работы
- Говорите четко, громко и в умеренном темпе
- Обратите внимание на ограничение в 30 секунд на запись

Это плавающая кнопка для голосового ввода, которая работает поверх любого приложения. Нажмите, чтобы записать, нажмите еще раз, чтобы расшифровать, — текст будет вставлен в выделенное поле.
Также поддерживается дополнительная постобработка (удаление знаков препинания, форматирование, командный режим для использования в терминале).

База была создана parakeet-diarized, ссылка в разделе ATTRIBUTIONS(.)md в репозитории

NoobScribe предоставляет совместимый с Whisper API для расшифровки аудио, хотя моими основными дополнениями являются веб-интерфейс и конечные точки для управления записями, расшифровками и спикерами.

Он работает в Docker (на центральном процессоре или с помощью nvidia docker toolkit на графическом процессоре), использует аудиосистему Pyannote для диаризации и nvidia/canary-1b-v2 для расшифровки.

Добавить записи можно двумя способами: загрузить аудиофайл или записать звук с рабочего стола (через функцию демонстрации экрана в браузере) и/или с микрофона.

Затем эти аудиозаписи транскрибируются с помощью Canary-1b-v2 и диаризуются с помощью pyannote audio
После завершения транскрибирования и диаризации можно сохранить обнаруженные голоса (их эмбеддинги из pyannote) в векторной базе данных (Chroma) и заменить общие названия голосов (SPEAKER_00 и т. д.) на имена, которые вы указали.
Кроме того, программа проверяет существующие расшифровки на наличие совпадающих эмбеддингов для новых голосов или новых эмбеддингов для одного голоса, чтобы обновить их задним числом.

У диктора может быть несколько эмбеддингов (например, при использовании разных микрофонов эмбеддинги иногда не совпадают — так можно повысить точность распознавания диктора).

Все данные хранятся локально на вашем компьютере, и вам нужен только Docker и токен HF_TOKEN (если вы хотите использовать функцию ведения дневника, так как модель Pyannote является закрытой.

Создали это, чтобы лучше транскрибировать записи совещаний и т. д. и потом обобщать их с помощью большой языковой модели. В этом плане диаризация речи спикера очень помогает по сравнению с обычной транскрипцией.