Еще одна достойная шутка для нашего ассистента 🌚
exe exe exe

Сделал настоящего Джарвиса , соединив Wake Word + ChatGPT + Vosk + SileroTTS.
И всё это в виде приложения на Rust + Tauri.

https://youtu.be/PvbzrEaSm3s

Ютуб на что-то намекает или мне кажется? 🤔

Хауди: *просит подписчиков предлагать идеи по Джарвису*

Подписчики:

🌚🌚🌚

Многие предлагают реализовать синтез речи в Джарвисе, чтобы голос был как в фильме.

Но, я смотрю на это с технической точки зрения (простыми словами, думаю как реализовать в коде).
Синтез голоса для нас сейчас это большая проблема.
Нейросети для STT развиты на порядок лучше, чем для задач TTS.
Иными словами сегодня распознать речь сильно проще, чем её синтезировать.

Нормальных OpenSource TTS решений очень мало, я бы сказал их всего 2 штуки.
Это Coqui TTS и Silero TTS.

— У первой нет поддержки русского языка (нет русской модели, правда есть Украинская).
— Вторая это не чистый OpenSource, там грубо говоря выложены только модели. Всё остальное платное.

Оба решения не имеют SDK.
Но зато модели Coqui TTS можно перекинуть в ONNX (у Rust есть враппер для ONNX).
А вот с Silero не уверен, информации об этом нет (но это не означает, что нельзя).

Еще для синтеза есть такие штуки, как Larynx и тот же SAM, но будем честны - им далеко до синтеза человекоподобной речи.
Так что их я пока серьезно не рассматриваю.

Ну и подытоживая всё сказанное.
Попытаюсь ответить на вопрос: Можно ли синтезировать речь Джарвиса как в фильме?

Больше да, чем нет.
Для тренировки нейросети Coqui TTS на одной из существующих моделей (Glow, Vits, Tacotron 1/2) нужно как минимум 10-20 часов записи голоса в хорошем качестве (желательно 48000Hz).
Причем вместе с транскрипцией (текст).

Такие пироги 🥧

p.s. О и да, не будем забывать, что голос - это собственность владельца.
А значит синтез речи чьего-то голоса без разрешения его владельца - это прямое нарушение авторских прав.

Откуда не ждали 🌚

Джарвис оказался сексистом, он отказывается слушать команды девушек.
Представительницам прекрасного пола приходится говорить грубо, имитируя мужской голос ... чтобы Джарвис отозвался.

Баг или фича? 🤔

p.s. Видео прислал подписчик.

Если вы не знали, вот так выглядит опытный Linux администратор 🌚

Микрофоны тоже люди 🌚

Ну и в чем он не прав? 🤔

Коротко обо мне, когда я разрабатываю Джарвиса 🌚

«ПризываНет» ПОДАРИТ договоры на полное сопровождение в получении военного билета на законных основаниях!

✅ Регистрация на розыгрыш призов займет всего 30 секунд

Успей воспользоваться уникальной возможностью!

Ведь военкоматы уже активно рассылают повестки.

‼️ Врач и юрист во время трансляции бесплатно ответят на все твои вопросы о получении военного билета по здоровью

Также вы можете помочь своей второй половинке получить в подарок договор от «ПризываНет», отправив им данный пост!

Розыгрыш и консультация от наших специалистов пройдут в прямом эфире

🔔 Переходи по ссылке в бота, регистрируйся и хватай шанс на заключение договора оказания услуг бесплатно - @prizyvanet_freebilet9_bot

Тарантиновские диалоги в нашем чате 🌚

Половина пользователей: *пишут что ниче не работает*

Тем временем Джарвис на моем ПК: 🌚

Ничего, со временем мы и до пентагона доберёмся 😎
С такой крутой аудиторией, разработка будет жить и развиваться!

Уже начинаю искать работу уборщика улиц 🌚