Пропускать нельзя, идти! Полное погружение в мир разговорного AI на Conversations⚡️

🔥Уже 2 декабря в Москве или онлайн.

На одной площадке соберутся спикеры Сбера, DeepPavlov, KODE, Ozon, Yandex Cloud и других топовых компаний, чтобы поговорить про UX, диалоговые платформы, фреймворки NLP-сервисы, генеративные модели, синтез, распознавание речи и другие тренды из мира разговорного AI.

📍Билеты можно купить здесь. Промокод на скидку 10% CNVS22_JNI

⚡️ О чём будут говорить?

KODE — об эволюционном подходе к проектированию блок-схем с помощью языка Дракон.
Yandex Cloud — как сделать модель, которая экономно использует вычислительные ресурсы и понимает всех: от тёти Сары до фрау Заурих.
Just AI — о работе над индустриальной NLP-платформой и управлении NLP-сервисами и моделями.

Программа конференции очень насыщенная, must visit для всех причастных к теме разговорного AI 👏🏼

Алекса приносит убытки, а в России продажи умных колонок бьют рекорды

📉 Подразделение Амазон, которое отвечает за Алексу, каждый год теряет более 5 миллиардов долларов. CEO компании проводит проверку расходов. Возможно, по её результатам, убыточный бизнес сократят, полагают эксперты.

Однако убытки подразделения не обязательно связаны только с Алексой. Амазон заявляет, что продажи умных колонок выросли на 15% в третьем квартале 2022 года, но это ниже ожиданий. Возможно, если Алексе потребуется продемонстрировать более высокую отдачу от инвестиций, этого удастся достичь за счёт рекламы на платформе.

Западный рынок умных колонок заметно изменился: набор функций, которым обладают современные колонки, интересен только 35–45% всего населения, отмечают аналитики.

Продажи смартфонов падают, колонок — растут

📈 В России спрос на умные колонки вырос на 80% с начала 2022 года. Объём рынка достиг 11 миллиардов рублей. Для сравнения: утюгов продано на 12,5 миллиарда рублей.

Умные колонки едва ли не единственная категория электроники, интерес к которой растёт, в то время как продажи ноутбуков и смартфонов сократились примерно на треть. Люди ищут новые эмоции, хотят приобрести новый пользовательский опыт, и колонки могут это дать.

Искусственный интеллект говорит об искусстве и становится его частью

Разговорный ИИ уже заменяет актёров в озвучке, работает в музеях и даже «выходит» на сцену. Это эксперимент для вовлечения зрителей или новый шаг в искусстве?

Дизайнер разговорных продуктов KODE Мария Зубарева изучила, какой вклад голосовые помощники вносят в культуру уже сейчас.

🔗 Читать статью по ссылке

Исследование: агрессия в общении с голосовыми помощниками 😱

Голосовые ассистенты позволяют себе непрошеные советы и неуместные шутки. Пользователи тоже не отстают: каждый третий признаётся, что бывает агрессивен по отношению к умному устройству, кричит на него, оскорбляет и угрожает. Мужчины чаще произносят фразы с сексуальным подтекстом.

В основном пользователи проявляют агрессию в ситуациях, когда помощник не понимает запроса или не реагирует на него. При этом сами устройства остаются невозмутимыми: стараются перевести всё в шутку или спокойно спрашивают, в чём причина такого отношения.

Треть участников опроса говорит, что относится к голосовому помощнику, как к другу, а значит ведёт себя более расслаблено и не всегда выбирает выражения.

Пиши в комментариях, как тебе нахамила колонка 😉

О чём сегодня говорят на Conversations🚀

Тренд года — мобильные секретари
Виртуальный секретарь уже есть у Мегафона, Билайна и Теле2. МТС сделал первый шаг в эту сторону, запустив сервис «Защитник».

Продажи умных колонок
Яндекс вышел в прибыль по продаже колонок во втором и третьем квартале 2022 года. В этом году компания продаст примерно столько же устройств, сколько за предыдущие годы вместе взятые.

Инвестиции в разговорный ИИ
Рынок остаётся привлекательным: к 2026 году он может вырасти в 12 раз — до 41 миллиарда рублей.

Анонс продукта
SberDevices анонсировали «Виртуального оператора». Он позволит завести собственного бота по нажатию одной кнопки.

Прямо сейчас мы смотрим доклады на Conversations и ждём выступления дизайнера разговорных продуктов KODE Кирилла Богатова. Подробнее о конференции расскажем в ближайшие дни. Stay tuned!

Главные инсайты с Conversations🔥 Part 1

▪️Тренд года — мобильные секретари и операторы

Сейчас самые популярные мобильные секретари — это Олег от Тинькофф, Агент Ева от Мегафона, два секретаря Теле2 и пять помощников Билайна. В конце 2022 года их аудитория — 1,5 миллиона человек. Через год, по прогнозам, она составит от 5 до 50 миллионов пользователей. Среди крупных игроков рынка не только мобильные операторы, но и стартап — виртуальный секретарь Маша.

▪️Продажи умных колонок

В мире универсальность голосовых помощников под вопросом: Google закрывает Google Actions для ассистента, Amazon сокращает людей в командах Алексы.

В России Яндекс объявил, что со второго квартала умные колонки стали прибыльными. Сбер сообщил, что к началу августа продано более миллиона устройств. VK выпускает новые устройства Xiaomi с Марусей и новые Капсулы Нео.

▪️Новости от Алисы

Алиса переехала в «облачко». Вместо шторки с историей чата, Алиса теперь открывается в фиолетовом «облачке». Павел Капля из Яндекса подчеркнул, что это не просто визуальное решение: команда хотела сделать взаимодействие больше похожим на диалог с человеком, а он происходит во внешнем контексте, и к «истории» диалога с собеседником вернуться уже нельзя.

Павел Капля также представил новый продукт — Алиса для застройщика. Голосовой помощник сможет открывать домофон, шлагбаум и принимать заявки для коммунальных служб. При этом планируется, что жители ЖК будут пользоваться собственными колонками, но посторонние люди обратиться к сервису не смогут.

Главные инсайты с Conversations🔥 Part 2

▪️Ассистент ВТБ в навыке Алисы оказался популярным

Клиенты перевели голосом более 200 млн рублей. В ближайшее время ВТБ также добавит возможность оплачивать штрафы ГИБДД и коммунальные услуги.

Лидия Мельникова, начальник управления «Мессенджеры и чат-боты» ВТБ, напомнила об основных барьерах пользователя при использовании голосовых решений:

1. «Эффект Т9» — опасение, что речь будет неверно воспринята.
2. Качественное определение запроса — русский язык слишком многогранен, часто смысл передается не только словами, но и интонацией.
3. Безопасность канала передачи информации.

▪️Инсайт от AGIMA AI

Андрей Татаринов, директор AGIMA AI, в своём докладе упомянул интересный факт: некоторые чат-боты намеренно вводят дополнительную задержку перед выдачей ответа, чтобы пользователю не казалось, что бот недостаточно хорошо подумал.

▪️Эксперимент Тинькофф: Олега заменили операторами

В Тинькофф перевели часть звонков от роботов, принимаемых Олегом, на живых операторов, чтобы сделать диалоги более осмысленными, «раскрыть» роботов с другой стороны. Цель команды — превратить Олега из шутника над спамом в настоящего секретаря, который может договариваться о входящих звонках с организациями и запрашивать причину звонка.

Раньше глубокими, то есть с понятной целью и информацией, были 30% диалогов. Эксперимент позволил увеличить их долю до 40%.

Алекса успокоит кошек и собак во время фейерверков

Когда за окнами шумно, животные могут чувствовать дискомфорт. Голосовой ассистент поможет с этим справиться.

Для котиков 🐈
Считается, что кошки восприимчивы к определённым тонам и частотам. Зная эту особенность, специалист по поведению животных написала музыку для Алексы. Навык запускается по команде «Алекса, помоги моей кошке расслабиться».

Для собак 🐶
Навык для собак не нужно запускать отдельной командой. Голосовой помощник сам отреагирует на лай и включит музыку из плейлиста Classical for Dogs на Amazon Music.

👉Делитесь в комментариях, если встречали подобные навыки у других голосовых помощников.

Снять тревогу с родителей поможет Алиса

Яндекс Станция научилась работать в режиме радионяни. Достаточно установить колонку в комнате, где спит ребёнок, и настроить трансляцию.

Есть два варианта подключения радионяни:
1. Передавать звуки на смартфон.
2. Передавать звуки на вторую колонку.

В обоих случаях понадобится приложение «Дом с Алисой». Колонку нужно один раз настроить и в дальнейшем включать и выключать радионяню голосом.

Удобно, что для прослушивания звуков из детской не нужно покупать отдельное устройство, как это реализовано у Амазон. Ну и не выбегать из ванной на звуки фантомного плача тоже очень удобно😉

#19 Что такое NLP, NLU и NLG?

Речь — это больше, чем совокупность слов в предложении. Разберём два запроса:
1. Где находится село Михайловское?
2. Что делать, если после стирки село платье?
Первое слово «село» — существительное, второе — глагол, у него другое значение. Мы воспринимаем слова в контексте предложений и ситуаций, поэтому для нас это не проблема.

Чтобы обучить этому ИИ, используются системы обработки, понимания и генерации естественного языка. За эти задачи отвечает NLP (Natural Language Processing) — технология обработки естественного языка и её компоненты: NLG, NLU и NER.

NLU (Natural Language Understanding) — понимание естественного языка. Это определение смысла сказанного. Алгоритм анализирует синтаксис предложения и устанавливает связи между словами и фразами, чтобы определить контекст реплики.
— Где находится [поиск места] село Михайловское [вот этого места]?
— Что делать [поиск инструкции], если после стирки село [для этой ситуации] платье [с этим предметом]?

Важным компонентом NLU является NER (named-entity recognition) — это выделение из речи определенных смысловых «параметров», важных для конкретной задачи. Алгоритм берёт текст реплики пользователя и выделяет в нём именованные сущности: имена, адреса, числа и другие объекты.
— Где находится село Михайловское [место]?
— Что делать, если после стирки [условие] село [результат] платье [предмет]?

NLG (Natural Language Generating) — генерация естественного языка. Это формирование ответа на основании распознанного текста. Изначально для этого использовались шаблоны генерации. Современные системы всё чаще используют скрытые марковские модели и нейронные сети — ИИ учится самостоятельно решать, как должен выглядеть текст.
— Село Михайловское [место из запроса] находится в Ростовской области [обстоятельство, предложный падеж].

Структурно NLU и NLG являются компонентами NLP. Работая вместе, они помогают создать опыт, близкий к общению с настоящим человеком.

Награды за лучший чат-бот и AI-технологию 🚀

Команда разговорных продуктов KODE привезла с церемонии Tagline две награды:

🥇 золото в номинации «Лучший чат-бот и AI-технология»,
🥈серебро в номинации «Лучшее решение в AR/VR».

Обе награды мы получили за разработку приложения для Skyeng «Английский с Элом».

Это игра с элементами виртуальной и дополненной реальности для детей от 6 до 12 лет. Дебютное приложение SkyEng на платформе SberPortal.

Мы разработали дизайн приложения, логику и механику игры, синхронизировали озвучку и анимацию персонажа, научили игру распознавать голосовые команды игрока и разработали систему монетизации в приложении.

По популярности навык входит в первую тройку игр на платформе для Kidsar — детского набора дополненной реальности. 25% пользователей регулярно возвращаются в игру, а средняя длительность сессии составляет около 40 минут.

🔗 Кейс «Английский с Элом» на сайте Tagline

Алекса передаёт курьерам спасибо

Перед Новым годом Амазон научил Алексу принимать благодарности для курьеров.

Пользователь, который заказал доставку из Амазон, может сказать колонке: «Алекса, поблагодари моего водителя». Водитель получит уведомление и 5 долларов за счёт компании.

Как только Алекса передаст миллион благодарностей, акцию приостановят. Пятеро водителей, которым говорили спасибо чаще всего, получат по 10 000 долларов и такую же сумму на благотворительность.

Ждём ответ от Алисы 😉

Рассказываем про ДРАКОН на Хабре

В начале декабря дизайнер разговорных продуктов KODE Кирилл Богатов выступил с докладом на Conversations. Он рассказывал, как нашей команде удалось упростить сложные схемы при помощи языка ДРАКОН.

Сегодня у Кирилла вышла статья на Хабре. В ней он подробно разбирает недостатки существующих подходов к проектированию разговорных интерфейсов и рассказывает, как применять методику ДРАКОН.

В статье масса схем и ссылка на Гугл-диск, чтобы рассмотреть их детально.

🔗 Читать статью на Хабре

Алиса, найди мой телефон!

У Алисы появилась новая функция — теперь она помогает находить потерянные в квартире телефоны. Опция доступна с колонок и телевизоров.

Чтобы найти устройство, скажите ассистенту: «Алиса, где мой телефон?» или «Алиса, найди мой телефон». Помощник позвонит на тот номер, к которому привязан Яндекс ID. Пока это работает только с номерами российских операторов.

Если найти телефон и поднять трубку, звонок завершится. Если перезвонить на этот номер, Алиса представится и расскажет, зачем звонила.

Мы проверили, как работает новая фича. Всё получилось!

Год назад Алиса научилась звонить по номерам из контактов (но только из приложений «Яндекс» и «Яндекс Карты» на телефоне, а не с колонок). С 2020 года у пользователей есть возможность позвонить на свою колонку или колонку друга. Эта функция может показаться странной, но она полезна, если нужный собеседник находится дома и по какой-то причине недоступен по телефону.

Когда спросил у бота про ЖК Весна…

а он рассказал, что у «мужика весна».

Шутки шутками, а лингвисты-разработчики очень хотят, чтобы бот понимал пользователя с первого раза.

🦾 Наши коллеги из Just AI рассказали на Хабре, как тестировать голосовых и чат-ботов, и поделились советами на примере своих кейсов.

О неочевидных вещах, которые могут стать причинами неприятных багов, читай в статье

Протестировали визуальный конструктор диалогов от Амазон ⚙️

В этом году Амазон представила визуальный конструктор для своего сервиса Amazon Lex. Мы уже писали о нём ранее, а теперь — испробовали в деле и готовы ответить на главные вопросы.

Похож ли он на Aimylogic и другие конструкторы? Можно ли собрать в нем телеграм-бота?

🔗 Читай обзор дизайнера разговорных продуктов KODE Кирилла Богатова

Маэстро, музыку! 🎧

Пока все рисуют шедевры с помощью текстовых запросов к нейросетям Midjourney, GauGAN, Artbreeder, DALL-E 2, команда SberDevices выпустила музыкальный навык «Маэстро». Поиграть в композитора можно в приложениях «Салют» и «Сбербанк Онлайн». Также планируется запуск навыка на умных устройствах от «Сбера».

Суть навыка — пользователь формулирует свой запрос, и нейросеть генерирует музыкальную композицию в виде MP3-файла. Таким способом разработчики адаптировали подход Text to Image для создания музыки.

Как написать запрос и получить результат

🔹Указать имя артиста и название музыкального произведения — реальные или вымышленные.

🔹Сервис обработает запрос и за 5 минут выдаст результат.

Пока нельзя уточнить тональность, музыкальный стиль и другие дополнительные условия, но разработчики обещали эти фичи в следующих релизах.

Свои треки можно скачивать и пересылать друзьям, собирать библиотеки и проигрывать их. Также можно оценивать композиции других пользователей. На основе оценок формируется рейтинг произведений.

⚙️«Под капотом» навыка — сложный набор моделей. Запрос пользователя обрабатывается моделью CLaMP, полученные данные попадают в модель SymFormer, которая создаёт структуру и мелодию будущей композиции. Далее приступает к работе модуль рендеринга и выдаёт пользователю MP3-файл. Подробнее об устройстве навыка можно почитать по ссылке.

Мы не смогли пройти мимо такого развлечения и записали для вас трек. Приятного прослушивания!⬇️

Дайджест событий из мира разговорного ИИ уже на vc.ru 🚀

Собрали в одной статье всё важное за 2022 год в индустрии голосовых помощников и чат-ботов. И заодно протестировали ChatGPT (куда ж без него!).

🔗 Читай итоговый дайджест по ссылке