Промучившись с VOSK 4 дня, мне удалось получить что-то похожее на распознавание, но только около 10% слов, что я говорил. Сначала я почему-то вспомнил вот 📱 это из сериальчика "Теория большого взрыва", а потом вспомнил, что 4 года назад всё как-то лучше работало. Хуже распознавание стало, возможно, потому что стала лучше аппаратура. Если 4 года назад у меня была просто какая-то гарнитура с микрофоном, которую я сам лично ремонтировал, и встроенный звук, то сейчас звучка со страшными словами HD и Pro со стереомикрофоном. У меня почему-то частота дискретизации (sample rate) не хотела ставиться на 16 кГц (16000), которая требовалась для VOSK, а ставилась исключительно 48 кГц (48000). Я поток данных звука в 48 кГц пропускал через математику, чтобы получить данные в 16 кГц: это тупо отбрасываешь два байта из трёх. Потом пытался считать средние из этих трёх байт, как CDROM с заляпанным аудио CD. Но с качеством это не очень помогало. Заколебался.

Покосив траву и подумав, я решил, что нафиг Vosk, надо тащить Whisper. Тут возникает другая проблема: Vosk — он маленький, типа 90 МБ на модель, его на мелкий комп типа Raspberry Pi 3 можно запихнуть, а вот Whisper — это большая модель, ей надо прямо гигабайты памяти и желательно GPU, и не один.

С другой стороны, есть же Алиса — она как-то работает. Погуглил и выяснилось, что в Алисе типа процессор 🌎 ARM с 4 ядрами и до гигабайта памяти — по мощности как бюджетный смартфон. Стал думать, как она работает. Алисе приходится тяжело: куча шумов, и модель, если она на устройстве, то это магия. Но с другой стороны, в Алисе явно нет GPU для такого качества, а еще она не работает без интернета. Отсюда вывод, что она отправляет голос на распознавание на мощные сервера Яндекса (вот за это подписку и дерут). Гнать постоянно поток звука — никаких серверов не хватит у всех силовых ведомств, даже если поднимут НДС до 80%. Поэтому надо гнать только звук с голосом в большие вычислительные мощности и там уже преобразовывать речь в текст.

Для вычисления голоса в потоке данных с микрофона придумали такую штуку, как VAD. VAD расшифровывается как Voice Activity Detector. Звук — это поток байт, значит, можно брать куски этого потока, строить из этого куска спектрограмму и делать выводы, что это за звук в микрофоне. Задача проще, чем гонять нейросети, в принципе, для нейросетей, но можно, если захотеть, то и можно, и алгоритмами.

Почти монопольно рынок VAD захватил Silero VAD, но он нейросетевой. Есть программный WebRTC VAD. Есть еще пара устаревших. Наверное, можно найти еще что-то более древнее, типа для GSM (там, вроде, был какой-то флаг тишины).
WebRTC VAD подкупил меня тем, что он потребляет меньше всех. Но не всё так просто. Данных для анализа он берет от 10 до 30 миллисекунд. И в том-то и дело, что он мало захватывает — это его плюс и минус. Так как интерпретирует на очень коротком временном отрезке и алгоритмически, это дает кучу ложных срабатываний, что плохо, и на что почти во всех тестах жалуются. И то, что мало захватывает и обрабатывает алгоритмически, — это дает огромную скорость и малое потребление вычислительных мощностей.

Разобрался с WebRTC VAD, нашел реализацию на Go и собрал такое чудо: 👩‍💻 Heimdallr-sense. Название я опять заставлял придумывать ИИ, на этот раз DeepSeek. И вроде не страшно звучит.
Проблему с короткими кусками для анализа я решил просто: берём, например, 5 кусков по 30 мс (это 150 мс), и если VAD решил, что в 4 из них есть голос, то считаем, что голос начался. Так же с завершением: те же 5 кусков, и если в 4 кусках нет голоса, то голос закончился. Если меньше какого-то количества кусков набралось, тоже не считаем голосом. Большая часть настраиваться из конфига. Так я уже намучился с реализацией подключения микрофона — я просто стал гнать байты звука из другой программы (pw-cat или arecord). В README.md всё написано. Остаётся только покрутить настройки, чтобы получить нужное качество. Опции, что делать со звуком, две: скинуть в файл или отправить по HTTP.

Сделал я это чудо и пока тестировал, до меня дошло, что я создал вместо костыля умной колонки идеальный программный жучок. А то что ИИ в написании README еще больше склонил меня к этой мысли (см. примером для получения потока звука с удаленного компа по SSH). Комплекс Сахарова какой-то.

Стал тестировать эту штуку: нормально определяет мою речь в тихих помещениях, а на шумной улице в городе перестает определять голос совсем — хоть сколько крути настройки.

Вот думаю заняться Wake Word Detection... но об этом потом.

#ненормальное_программирование