В MAX встроена нейросеть, которая слушает ваши звонки 📞

VK модифицировали WebRTC – технологию, через которую работают звонки – и встроили туда систему распознавания ключевых слов. Та же технология, что «Привет, Алиса». Только здесь она работает на вашем микрофоне во время звонка, а вы об этом не знаете.

Когда вы звоните в MAX, нейросеть режет аудио с микрофона на куски по 10 миллисекунд и на каждом решает – произнесено ключевое слово или нет. Модель BC-ResNet, 1.17 МБ, ~300 тысяч параметров, streaming mode. Сейчас обучена на фразу «не слышу» – якобы для определения плохой связи. На данный момент выключена на сервере.

Но вот в чем дело. Модель не зашита в код приложения. Она лежит на публичном CDN – st.okcdn.ru и скачивается по ссылке из серверного конфига. При запуске MAX получает от сервера JSON с тремя полями: URL модели, MD5 и флаг use. Скачал, проверил хэш, загрузил в движок. Все.

Приложение вообще не проверяет, что модель распознает. Нет списка допустимых слов. Нет whitelist. VK кладет на CDN новый файл, меняет URL в конфиге – и при следующем звонке ваш телефон уже ищет не «не слышу», а что угодно. Без обновления в сторе и уведомления. Можно включить для одного конкретного userId.

При срабатывании отчет улетает на api.ok.ru. Внутри метрика bad_call_detected_by_audio_spotter, строка «не слышу», уровень уверенности от 0 до 1, привязка к userId и call_id. VK видит: в таком-то звонке у такого-то пользователя сработал детектор. Название метрики зашито в код – даже если модель заменят, отчет все равно уйдет как «не слышу». Удобно.

Модель рабочая. Побрутили CDN, перебрали 200+ путей – других моделей пока нет. Три версии SDK, во всех одна и та же модель с одинаковым MD5.

Теперь про звонки. P2P-соединений в MAX нет. Все медиаданные идут через TURN-сервер VK. Шифрование DTLS-SRTP есть – но от вас до сервера, а не от вас до собеседника. На relay-сервере шифрование заканчивается. Ключи у VK. То есть VK технически имеет доступ к аудио всех звонков.

И вишенка. В коде есть серверный флаг calls-sdk-log-audio – если VK его включит, аудио звонка пишется в файл. Плюс JNI-методы для дампа raw-аудио в файловый дескриптор. Все управляется с сервера.

Разница между детектором плохой связи и прослушкой – один URL в конфиге. Код, процесс, отправка на сервер – все одно и то же. Меняется только файл на CDN 🙃

Полный разбор по ссылке.

@echo_telegi​​​​​​​​​​​​​​​​

Яндекс ищет продуктовых дизайнеров в команды Yandex Cloud и Yandex Infrastructure

Компания проводит Fast Track* 20–26 апреля — за это время можно пройти все собеседования и получить офер

Ждут дизайнеров продукта с опытом от 3 лет. Идеально, если вы уже работали со сложными экосистемами, B2E- или SaaS-продуктами или участвовали в опенсорс-проектах

Как всё устроено:

🟣до 17 апреля зарегистрируйтесь на мероприятие
🟣до 19 апреля выполните тестовое задание
🟣с 20 по 26 апреля пройдите вайтборд, познакомьтесь с командами и получите офер

🔸 Переходите по ссылке, чтобы узнать подробности и зарегистрироваться

Приходите работать в окружении профессионалов, которые всегда поддержат, поделятся опытом и помогут вырасти в сложных и интересных проектах!

#промо

Доводить до крайности
#совет

Хорошая привычка — проверять строки с числовыми переменными на крайних значениях.

Допустим, вы хотите показать пользователю какой-то интересный факт о нём:

Вот это марафон! Вы пробежали N за месяц

Но что если N будет не 42 км, а какие-нибудь 100 м? Тогда наше сообщение будет звучать как сарказм. Кому это нужно?

Мысленно подставляем значения из разных диапазонов и легко обнаруживаем проблему. А решается она такими способами:

1️⃣ Убрать оценочные слова, чтобы строка подходила для любого числа

Не всегда возможно, но это самый дешёвый способ:

До конца книги всего 1050 страниц → До конца книги 1050 страниц

На счету целых 2 рубля! → На счету 2 рубля

2️⃣ Завести отдельные строки для больших и малых значений

Вот это марафон! Вы пробежали N м за месяц (если N > 40 км)

Класс! Не забывали выходить на улицу и пробежали 100 м! (если N < 1 км)

3️⃣ Не забыть про нулевые значения. Обычно тоже нужны отдельные строки

Вы потратили 0 калорий → Вы не потратили калорий

Женя молодец, прошёл 0 уроков! → Женя пока не проходил уроков

0 шагов сегодня → Сегодня прогулок не было

Похоже, мы отменяем подписку 😎