Даниэль Виленчук написал о Net Promoter Score и ошибках при сборе этой метрики.

— NPS — индекс потребительской лояльности. Клиент отвечает на вопрос «Насколько вероятно, что вы посоветуете нашу компанию друзьям или коллегам?» оценкой от 0 до 10;
— Ответы с оценками от 7 до 8 отбрасывают, а из числа оставшихся позитивных оценок вычитают количество негативных (от 0 до 6);
— Формулировка вопроса важна. Лучше использовать классическую «How likely is it that you would recommend this company to a friend or colleague?» и её перевод, чтобы не манипулировать ответами или случайно не замерить какой-то другой показатель;
— Шкала оценок должна быть от 0 до 10 (не от 1 до 10 и не от 1 до 5). Не стоит менять цифры на графические элементы вроде смайликов, в них сложнее ориентироваться;
— Лучше располагать их в один ряд. Воспринимать 2 ряда сложнее, часть ответов будет случайной, что губительно на небольших выборках;
— Задавайте дополнительный открытый вопрос вроде «Расскажите, почему вы поставили нам такую оценку?». Здесь можно экспериментировать с призывом, так как стандартные вопросы людям уже надоели;
— Не концентрируйтесь на критиках. Пробуйте связаться и с теми, кто поставил средние и высокие оценки. В общении с ними тоже можно найти инсайты. Плюс, 20–30% нейтралов уходят к конкурентам в течение полугода, попробуйте их разговорить;
— Не стоит замерять отдельные участки взаимодействия клиента с компанией. Дайте ему «помариноваться» в ваших процессах. Хороший срок — 10 дней после покупки, начала использования, доставки и 30 дней после установки приложения. Но если продаёте услугу или впечатление, лучше спрашивать сразу, пока впечатления свежи;
— Оценку одного и того же пользователя стоит перезамерять со временем.

#metrics

Даша Почекуева написала об особенностях дизайна в телемедицине и снижении средней длительности консультаций.

— Частые кейсы: консультация без осмотра, второе мнение (есть сомнения в диагнозе после очного приёма), совет о коронавирусе, нет возможности прийти на очный приём;
— Врач в телемедицине не может поставить диагноз, а может только предположить в формате «На основании представленной информации можно предположить стоматит»;
— Всё конфиденциально. Дизайнеру недоступны материалы консультаций, статистика диагнозов и так далее. Можно узнать количество сообщений и фото, но не их содержание;
— Остаются глубинки, опросы, анализ Яндекс Метрики;
— Сервис должен помогать врачу принимать пациентов быстрее, но это не может быть целью. Цель: сократить время настолько, насколько возможно без потери качества;
— Метрики: средняя длительность консультации, скорость написания заключения (обычно происходит после консультации), удовлетворённость врача (без врачей не будет сервиса);
— Добавили возможность подстраивать соотношение областей с чатом и формой заключения;
— Внедрили в чат шаблоны. Простые: приветствие, прощание, вопрос об удобном формате консультации. Сложные: рекомендации пациентам. Все шаблоны врач может переделать под себя;
— Сбор анамнеза через бота, пока пациент ждёт очереди, не взлетел. Пациенты проходили его редко, не всегда успевали ответить на все вопросы;
— Средняя длительность консультации уменьшилась на 8%: 26,45 → 24,65 минут. Средняя оценка пациентов выросла;
— Добавили автоматические рекомендации пациентам и направления на анализы на основе диагноза. Форма заключения отслеживает рекомендации неэффективных препаратов вроде арбидола;
— Среднее время, в течение которого пациент получает заключение: 353 → 103 минуты. Почти 77% отдают его в течение часа;
— Удовлетворённость врачей можно отслеживать через встречи с медицинским блоком, опросы, развёрнутую обратную связь по работе продукта (минимум раз в квартал);
— По важным фичам можно проводить тесты и глубинки;
— Средняя оценка врачей: 7,8 → 8,8 из 10.

#health #metrics

Ксения Горбатенко написала о метрике CSAT.

— Customer Satisfaction Score показывает впечатление клиента от взаимодействия в моменте: от сайта, ассортимента компании и так далее;
— Используется гораздо чаще родственной метрики CES;
— Нет единого стандарта оценочной шкалы. Чаще всего шкала 5-балльная: очень недоволен, недоволен, нейтрален, доволен, очень доволен. Варианты оценки можно заменить на эмодзи;
— Есть несколько вариантов обработки оценок: 1) считать среднюю, 2) вычислять % оценок 4 и 5 от общего количества оценок. Во втором случае 76,5% — среднее значение для западных компаний. Если получилось меньше, надо что-то менять;
— Нет одного стандартного вопроса. Пример вопроса: «Насколько вы довольны сервисом?»;
— Важно помнить, что если человеку нравится конкретный сервис, это не значит, что он в целом лоялен компании;
— Метрику можно считать на каждой стадии взаимодействия клиента с компанией и видеть, где «болит».

#metrics

В uxtrends написали об измерении эффективности дизайна.

— Бенчмаркинг — оценка продукта, позволяющая оценить степень достижения поставленных целей (оценка эффективности продукта), или сравнение с конкурентами по определённым показателям (сравнительный конкурентный анализ);
— Конкурентный анализ подходит для начальной фазы проектирования, чтобы определить требования;
— Оценивать эффективность можно перед началом и после окончания цикла проектирования, чтобы сравнить новую версию дизайна с предыдущей. В этом поможет анализ метрик, количественное пользовательское тестирование, опрос;
— Сначала определите объект исследования. В зависимости от целей и KPI им может быть продукт, аудитория, определённая функциональность (или свойство) продукта. Выберите измеряемые показатели: вовлечённость пользователей, удовлетворённость, принятие (использование функции), удержание, эффективность выполнения задач;
— Выберите метод сбора данных, учитывая необходимое для него время, стоимость, наличие инструментов и навыков. Лучше не проводить исследование, чем получить неверный результат;
— Опросы помогают измерить поведенческие параметры: простоту выполнения задач, коэффициенты удовлетворённости и лояльности;
— Соберите первый массив данных. Он пригодится для сравнения с показателями конкурентов и отраслевыми стандартами;
— После переработки продукта соберите следующий массив данных. Пользователи могут негативно реагировать на изменения, дайте им время привыкнуть, прежде чем проведёте повторный опрос;
— Новый массив данных можно сравнить с предыдущим и сделать выводы о принятых дизайн-решениях. Так результаты работы над продуктом можно привязать к показателям компании и посчитать их окупаемость;
— В идеале бенчмаркинг становится частью дизайн-процесса. Поэтому важна стоимость выбранных методов сбора данных, так как заниматься ими придётся постоянно.

#metrics

В МТС написали об измерении кайфовости.

— Метрика опирается на SUPR-Qm Джеффа Соро, включающую большой перечень причин, по которым люди кайфуют от приложений;
— SUPR-Qm значительно пересекается с оценкой опыта использования (UMUX) и лояльности (NPS), а также рейтингом приложения;
— От чего зависит кайфовость: эмоциональная приверженность, функциональность и удобство, дизайн;
— Краткая версия анкеты включает вопросы: 1) Я не могу представить свой смартфон без X; 2) X легко использовать; 3) X имеет все функции или особенности, которые могли бы мне понадобиться; 4) Дизайн X выглядит обыденным (обратная шкала);
— Краткая версия чувствительна к изменениям в продукте;
— Полная версия включает 18 вопросов, в том числе «Мне нравится открывать новые функции в X»;
— Если главная функция приложения — контент, этот вопрос надо заменить на «…открывать новый контент в X»;
— Проводить опрос стоит среди тех, кто пользуется продуктом более одного месяца;
— Метрику можно использовать для оценки конкурентов и собственного прогресса (или регресса, ха-ха);
— Не стоит проводить опрос сразу после изменений в продукте, надо дать время пользователям, чтобы привыкнуть (пару месяцев);
— Результаты исследований отличаются в зависимости от канала. Не меняйте их при оценке динамики.

#metrics

Станислав Хрусталёв написал о подводных камнях NPS.

— Если человек говорит о готовности рекомендовать, это не значит, что он действительно так сделает. Не стоит использовать NPS для прогнозирования;
— Чем больше вариантов, тем сложнее сделать выбор. В данном случае люди выбирают из 11 вариантов ответа. Плюс для респондента разница между 6 и 7 (или 8 и 9) невелика, а для расчёта — значительна;
— По гайдлайнам варианты должны располагаться в один ряд слева направо. На телефонах цифры стоят близко друг к другу, что повышает вероятность ошибки;
— Показателем легко манипулировать, достаточно разослать опрос сегменту тех, кто оценил сервис на 5 в опросе CSAT;
— Его погрешность примерно в 2 раза выше, чем в том же CSAT. Для получения надёжных данных выборка должна быть больше;
— Он не покажет изменений, если клиенты в среднем ставили 0 и 1, а после изменений в компании стали ставить — 5 и 6. И в целом не покажет изменений при смещении оценок внутри групп промоутеров, нейтралов и детракторов.

#metrics

Константин Сахнов написал о проектировании экономики F2P-игр (free-to-play).

— Это такие игры, играть в которые можно бесплатно;
— Их главная особенность — экономическая модель, основанная на дефиците, то есть ресурсов игроки получают меньше нужного;
— Это связано с необходимостью монетизации (через донаты);
— Для привлечения игроков в F2P-игры работает только прямая закупка рекламного трафика;
— CPI (Cost Per Install) — стоимость одной установки, то есть одного игрока. Для многих игр составляет 2–3 доллара;
— PU (Paying Users) — доля платящей аудитории в активной. Зависит от жанра игры и платформы (на iOS платят чуть больше), в среднем 1,5–2%;
— Чтобы окупить рекламу, каждый платящий игрок в среднем должен задонатить 143 доллара с учётом комиссии платформы (30%);
— Как этого добиться: мотивировать платить чаще, платить больше за раз, играть дольше;
— Первые два пункта сводятся к метрике ARPPU (Average Revenue per Paying User) — средняя месячная выручка с платящего игрока;
— Третий — к Retention. Уже для первого дня он редко превышает 50%, для месяца — 10%;
— ROI (Return on Investment) должен быть больше 0. На практике редко учитывают стоимость создания игры. Важна окупаемость маркетинга (ROMI);
— Sticky Factor — отношение ежедневной активной аудитории к месячной (DAU/MAU), то есть как часто игрок заходит в игру;
— Зная целевые метрики, можно вычислить нужное значение ARPPU, а затем — спроектировать экономику игры так, чтобы в ней был примерно такой дефицит ресурсов;
— Лучше создавать большую монетизационную глубину, чтобы в игру можно было донатить и 10 долларов и миллион, а не пытаться получить 200 долларов с каждого платящего игрока.

#metrics #game