Создание синтезированного голоса нейросетью. Обзор и сравнение сервисов для озвучки NaturalReader, Еlevenlabs и Resemble

Искусственный интеллект для озвучки текста позволяет создавать подкасты, озвучивать героев игр и фильмов, создавать дубляж и редактировать аудиофайлы. Если вы по какой-то причине не хотите сами озвучивать видео, эти сервисы очень выручат. С воссозданным голосом можно озвучить текст, выбрать язык, на котором он будет воспроизведён, подобрать эмоции для голоса и скорость воспроизведения отдельных слов и другие параметры. Также синтезированный нейросетью голос можно привязать к телефонии для ответов на звонки клиентов или другим облачным сервисам по API.

Сервисы, которые я рассмотрела могут спокойно озвучивать книги - можно настроить озвучку, неотличимую от человеческой. АЕlevenlabs и Resemble могут клонировать голос знаменитости или ваш голос, так что можно сделать озвучку вашим голосом без вашего участия, что очень удобно. Но обо всем по порядку.

NaturalReader

Из русской озвучки есть только Максим и Татьяна, скачать в mp3 можно только по подписке Plus за 20 $ в месяц. Как настроить ударение, я так и не поняла

➕ Крутой инструмент для тех, у кого англоязычный контент. Голоса Plus обеспечивают плавное и естественное звучание текста в речь, которое соответствует шаблонам и интонациям человеческого голоса. Тогда можно подобрать даже интонации от веселого тона повествования до тревожного, правда не в русской озвучке. Отлично подойдет для озвучки книг.

➖ подходит больше для английской озвучки, для русского языка подписка Plus не целесообразна

Еlevenlabs

Очень крутой инструмент! Но опять-таки нет русского языка. Скачивать голос можно бесплатно до 10 000 знаков в месяц.
Есть расширенные настройки - можно выбрать возраст голоса, акцент и степень интенсивности акцента.
Так же есть библиотека голосов, сгенерированных другими пользователями. Их можно использовать и скачивать. Попадаются и голоса знаменитостей вроде Тома Хидлстона.

Но и это еще не главное! За 5 $/мес можно создать 10 голосов - достаточно просто загрузить голос в аудиоформате (более 1 минуты) без посторонних шумов! И можно сгенерировать озвучку голосом знакомого или знаменитости 🤯

Но и это еще не все! В июле открывается доступ в Voice Cloning - где можно создать идентичную ИИ-версию вашего голоса.

➕крутой профессиональный инструмент
➕доступная цена
➕хорошие бесплатные возможности
➕маркетплейс с голосами
➖нет русского языка

Одним из возможных применений Еlevenlabs является создание синтезированных голосовых помощников для различных устройств и приложений. Например, вы можете использовать эту технологию для создания голосового помощника для своего мобильного приложения или устройства умного дома.
Также Еlevenlabs может быть полезна в музыкальной индустрии, например, для создания синтезированных голосовых эффектов или имитации голосов знаменитых певцов или актеров.
В целом, Еlevenlabs представляет собой мощный инструмент для создания реалистичных голосовых имитаций на основе коротких отрезков аудио. 

Resemble

Бесплатно дается 300 секунд.
Функция Clone my voice на бесплатном пробном периоде
С Resemble маркетологи, контент-менеджеры, специалисты по рекламе и SMM могут создавать аудиролики, озвученные нейросетью, но звучащие как люди.

Нейросеть поддерживает 62 языка в том числе и русский, но в платной версии. Для создания шаблона персонажа озвучки нужно загрузить образец голоса или прочитать отрывок текста, если хотите использовать свой голос. Нейросеть проанализирует образец и воссоздаст синтезированный голос, похожий на оригинальный.

➕ управление эмоциями при создании записи
➕ перевод голоса на 62 доступных языка
➕ маркетплейс с голосами
➕ есть русский язык в платной версии
➕ в пробном периоде можно бесплатно клонировать свой голос
➖ цена 0,006 $ за секунду 😬

Итоги: Я намеренно не включила в итоги NaturalReader - он дорогой и все функции есть в Resemble и Еlevenlabs. Их и сравним.

#elevenlabs

Сравнение Resemble и Еlevenlabs

У обоих сервисов есть маркетплейсы, где можно скачать уже готовые голоса и бесплатно их использовать. Оба профессиональные инструменты и умеют клонировать голоса. В клонировании голосов лучшим считается Еlevenlabs, но в Resemble можно клонировать свой голос бесплатно, а в Еlevenlabs функция Voice Cloning будет доступна в июле платно. В Resemble в платной версии есть русский язык. Кроме того, в Resemble можно бесплатно поменять интонацию в тексте. А вЕlevenlabs больше выбора акцентов голосов, зато в Resemble есть озвучка шепотом). Кроме того, в Resemble есть возможность локализации языка - можно выбрать голос на одном языке и этот же голос перевести на другой язык.

Итог: Одним словом, в Resemble больше бесплатных возможностей для старта, аЕlevenlabs лучше клонирует голоса знаменитостей и более доступен по цене.
Если вам хватит функционала попроще, для озвучки вполне подойдет Cybervoice за 100 рублей в месяц, о нем здесь или сервис Speechki, как им бесплатно озвучить я рассказывала здесь

#elevenlabs

Друзья, обзор получился объемный, но без воды. Хотелось дать вам годную инфу и разложить ее по полочкам. Вот подробный обзор и сравнение сервисов для озвучки и создания синтезированных голосов NaturalReader, ElevenLabs и Resemble

#elevenlabs

Инновационный прорыв ElevenLabs: заработок в сфере ИИ-дубляжа

Сегодня технологию ElevenLabs используют сотрудники 41% компаний из списка Fortune 500. Компания уже привлекла $80M инвестиций 

Что нового?
Нейродубляж:

ИИ-стартап, который недавно оценили в $1,1 млрд (подробнее в Bloomberg), запустил студию нейродубляжа.

Теперь можно перевести видео на один из 29 языков (в т.ч. русский) с учетом тона голоса говорящего, акцента, фонового шума, сохраняя голос и эмоции оригинального говорящего.
В предыдущей версии, ролик наверху перевелся бы с кучей искажений, голосовых артефактов.Язык вывода я указала Английский, хотя в видео присутствует несколько языков. Не смотря на это, сервис без проблем перевел мне видос на русский, не теряя смысл.

Новые продукты

Dubbing Studio: можно дублировать фильмы целиком, создавать и редактировать их расшифровки, переводы и тайм-коды. 

Voice Library (голосовая библиотека): безопасная платформа для заработка на версиях собственных голосов, созданных ии. Пользователи могут создать свою профессиональную реплику голоса, проверить ее и поделиться ею через голосовую библиотеку. Когда другие используют эти проверенные голоса, создатели получают компенсацию. Пользователи всегда сохраняют контроль над доступностью своего голоса и условиями компенсации. Маркетплейс уже приносит доход небольшой группе альфа-пользователей.

Кстати, у сервиса есть классификатор речи с использованием ии, который может проверить, содержит ли аудиосэмпл контент, созданный ElevenLabs.  Его они тоже улучшат - включат и другие голосовые модели в свой классификатор.

Приложение Mobile Reader: Ранняя предварительная версия мобильного приложения для чтения, которая позволяет мгновенно преобразовывать текст и URL-адреса в аудио, упрощая пользователям доступ к контенту на другом носителе во время движения. В качестве ознакомительной пробной версии приложение будет доступно бесплатно в течение первых трех месяцев, и пользователи смогут зарегистрироваться для получения раннего доступа через список ожидания.

#elevenlabs

ElevenLabs добавил возможность заработать на клонировании голоса

В одном из прошлых постов я писала, что ElevenLabs анонсировали возможность заработать пользователям на клонировании голоса. И вот теперь все желающие могут загрузить свой голос и получать деньги за его использование.

Как работает:
Пользователь загружает 30 минут аудио голоса, добавляет описание, затем назначает цену и указывает реквизиты.
Голосом будет озвучиваться реклама и прочий контент, а взамен обещают пассивный доход.

Подать заявку можно здесь

Подробнее про ElevenLabs и сравнения с Resemble и тд в трех частях, начать отсюда

Про обновления и русский язык

Про возможность заработка на созданных голосах и инновации

Про дубляж видео на русский и сравнение с HeyGen

#elevenlabs

Еще одна новинка от ElevenLabs: Смешайте свой голос с любым другим и озвучьте на 29 языках⁠⁠

ElevenLabs выпустили новую функцию AI Voice Changer, теперь можно преобразовывать Speech to Speech (речь в речь) и превращать свой голос в другого персонажа, можно управлять его эмоциями и подачей. Сохраняется тембр, тайминги, благодаря чему синтезированная речь звучит ещё реалистичнее, имитируя ваше произношение.

Ваш голос можно преобразовать в любой другой на 29 языках, в том числе на русском. Достаточно будет записи вашей речи и образца чужого голоса.

Легко можно создать собственные AI голоса для своих видео, подкастов, игр и многого другого одним щелчком мыши.

Интересно, можно ли будет продать эти сгенерированные голоса? А так, видно вливание $80M инвестиций, ИИ-стартап развивается стремительно, недаром его недавно оценили в $1,1 млрд.

#elevenlabs

Нейросеть для создания звуковых эффектов

ElevenLabs конечно молодцы - везде успели! Анонсировали свою последнюю разработку - нейросеть для создания звуковых эффектов и заодно Заколлабились с нейросетью Sora, которая успела наделать много шума, еще даже не выйдя в широкие массы. (Про нее здесь)

К генерациям Sora появится возможность добавлять реалистичные звуки по текстовому запросу.

Видео, на котором показываются возможности Sora, уже взорвало интернет, показывая, как визуализации превращаются в невероятные звуки.

Вырисовывается хорошая перспектива для sound-дизайнеров, больше не нужно проводить много времени за поисками подходящего звукового эффекта. ElevenLabs все автоматизирует - сама создаст уникальные звуки, которые можно настроить по текстовым подсказкам.

Да в принципе, для всех креативщиков открываются хорошие возможности для творчества - производство фильмов, игр, музыкальную индустрию ждут изменения. Не нужно быть звукорежиссером, чтобы создать свой проект.

ElevenLabs прям радует частотой инноваций, не даром привлекли $80M инвестиций

Записаться на ранний доступ можно здесь, чтобы в числе первых протестировать нейросеть бесплатно, может даже вотермарок не будет

#elevenlabs