Евгений Паршин написал о Riskiest Assumption Test (RAT).

— Это быстрая проверка идей, провал которых может похоронить весь продукт целиком;
— Для проверки идеи не обязательно нужен MVP. Проверить спрос можно с помощью лендинга с рассказом о продукте и формой заявки;
— Надо 1) выделить рискованные гипотезы — предположения, из-за которых с высокой вероятностью продукт не выживет, 2) оценить степень их значимости, 3) протестировать самые опасные;
— С помощью RAT можно проверить спрос, ценность продукта для пользователя, юнит-экономику и правильность выбранного сегмента;
— Найти рискованные гипотезы можно через исследования, брейнштормы, самостоятельные рассуждения. Например, можно посмотреть на Lean Canvas и спросить себя: что может пойти не так, что мы ошибочно приняли за истину?
— Каждую гипотезу можно оценить по способности похоронить продукт, количеству ресурсов, необходимых для проверки гипотезы, сложности тестирования, времени проверки.

#product #research

Олег Королев написал о количественных исследованиях с помощью опросов.

— Их можно разделить на разовые (статистическая проверка гипотез) и регулярные (отслеживание динамики оценки);
— Регулярные: NPS, CSAT, CSI (помогает понять, насколько клиентам важны характеристики используемого продукта), CES (насколько сложно было взаимодействовать с компанией при решении своей задачи);
— Опросы наиболее эффективны на этапе исследования, тестирования и сбора обратной связи после разработки;
— С ними нельзя выявить глубинные мотивы и проверить сложные гипотезы и сценарии. Опросы не будут 100% истиной, так как люди лгут, забывают о своём опыте и часто только предполагают, как могли бы поступить;
— Чтобы провести разовый опрос, надо обозначить проблему и определить цели. На этапе исследования: проверить гипотезы о целевой аудитории, узнать её характеристики (в том числе, какими конкурирующими продуктами пользуются), отношение к услуге;
— Для расчёта размера выборки есть калькуляторы. По опыту, почти никогда не нужно больше 400 ответов на сегмент;
— От целевой аудитории зависит канал общения, а от него — формат вопросов. В почте допустимы длинные заходы, 5–7 вопросов (в том числе открытые), пояснения в скобках. В чате лучше использовать шкалы и вопросы с вариантами ответов;
— Закрытые вопросы лучше задавать в начале опроса. Они помогают быстро сегментировать респондентов. Но не спрашивайте, условно, про семейное положение, если эта информация не повлияет на продукт;
— Вопросы могут отличаться для разных категорий клиентов. Пользователей, которые зарегистрировались, но не используют продукт, можно спросить о целях, актуальности продукта для них и почему они его не используют;
— И для разных ситуаций. При раннем оттоке можно спросить о самой большой проблеме при взаимодействии, что компания может сделать, чтобы исправить ситуацию;
— При анализе ответов можно посмотреть сочетание ответов на несколько вопросов, чтобы понять зависимость одних ответов от других;
— Если вы можете узнать что-то о клиентах из аналитики или CRM, не спрашивайте об этом в опросе.

#research #survey

Владислава Епифанова написала о настройке каналов сбора обратной связи от пользователей.

— ОС помогает узнавать о пользовательских проблемах и быстро исправлять недостатки и находить идеи для улучшения продукта;
— Один из каналов — опросы в сервисе;
— Полезными оказались точечные опросы после релизов для определённых сценариев. Когда задача переходит в разработку, на встрече с проектировщиком и аналитиком можно узнать, какие есть сомнения, что хотелось бы узнать о пользователях или сценарии, и решить, нужен ли опрос, выбрать место для размещения в сценарии и так далее. Опрос позволяет узнать о недовольстве и быстро исправить замечания;
— В техподдержку приходит много ОС, поэтому работу с ней надо автоматизировать. Полезные отчёты: 1) Топ знаний по количеству обращений за месяц и их общее количество; 2) Общая сводка по всем знаниям;
— Важны аномалии в конкретном месяце и динамика знаний, попадающих в топ-5 обращений. Их можно сопоставлять с релизами. Из этого вырастают задачи на исследования;
— Комментарии специалистов техподдержки были расплывчатыми, тяжело было понимать проблемы. Добавили обязательное поле «Описание проблемы» для четырёх знаний, данные которых больше всего интересовали;
— Также, чтобы конкретизировать ОС, пришлось доработать анкету, которую заполняли в отделе активации (работают с теми, кто недоволен сервисом или купил, но не пользуется) при общении с клиентами;
— ОС от отдела продаж решили добавлять в виде инцидентов, с которыми работают специалисты техподдержки. Оттуда она попадает в беклог или напрямую команде (если доработка срочная);
— При этом описали критерии, которые обязательно надо указывать: данные клиента и чек за год, описание задачи или проблемы, как сейчас справляется с проблемой, как часто с ней сталкивается и так далее. Что-то может указать специалист по продажам, что-то — техподдержки;
— Этот канал обратной связи сейчас один из самых эффективных;
— Лучше не браться за всё разом, а идти поэтапно;
— Пробуйте разные каналы ОС для своего продукта. Универсальных решений нет.

#research #feedback

В 65pixels написали о модели Кано.

— В модели фичи можно разделить на 3 группы: «обязательные» — воспринимаются с безразличием, но пользователь расстроится, если их не будет; «желаемые» — основные функции, их отсутствие огорчает, а наличие радует; «воздействующие» — дополнительные фичи, без которых можно обойтись, но с ними потребитель испытает восторг;
— В первую очередь надо вводить обязательные функции;
— Что можно отнести к желаемым, зависит от целевой аудитории. Если убрать кружочки и стикеры из Телеграма, разочаруются молодые пользователи, которым важно многообразие средств выражения. Пользователи Вотсапа отнесутся к их появлению, скорее всего, спокойно;
— Воздействующие фичи могут набрать популярность и перейти в категорию желаемых, а затем и обязательных. Например, истории Снепчата, ставшие элементом сторителлинга;
— Они не обязательно должны быть частью основной функции продукта. Пример: туристические гайды на сайте Авиасейлс лишь косвенно связаны с покупкой авиабилетов;
— Выяснить, к какой категории относятся те или иные фичи, можно с помощью опроса. В статье есть пример вопросов, а также советы по обработке результатов;
— Опросы особо важны, если вы делаете продукт для групп людей, к которым сами не относитесь.

Ещё о модели Кано писали в Heads and Hands. И если я не ошибаюсь, в комментариях к этой записи доступны любые средства выражения, включая стикеры и кружочки 😉 #research #prioritization

Артемий Меньшиков написал о пользе UX-исследований.

— Продуктовый дизайнер и UX-исследователь — носители экспертизы о пользовательском опыте, но немного разной;
— Исследования показывают, какой опыт получают конкретные пользователи с конкретными продуктами;
— Часто решения основываются лишь на экспертизе дизайнера, что ускоряет time to market, но фактически означает тестирование гипотез на бою, что не круто (но иногда гипотезы можно проверить только так);
— Культуру проверки своих решений надо воспитывать в себе (но дизайнер не может заменить полноценного исследователя) и в компании;
— Надо быть готовым, что по результатам исследования дизайн придётся переделывать;
— Благодаря исследованиям дизайнер видит совершённые при проектировании ошибки и может расти;
— Исследования прокачивают эмпатию и вытаскивают из информационного пузыря (в котором все пользователи ходят с последними айфонами и тому подобное);
— И создают аргументацию для выбора того или иного решения.

#research

В Testograf написали, как удержать внимание участников опроса.

— Оптимальная длительность опроса — от 5 до 15 минут;
— Делите опрос на разделы и подразделы;
— Задавайте вопросы, которые стимулируют мышление и вызывают интерес;
— Сообщайте респондентам, почему их мнениие важно и что вы будете делать с результатами опроса;
— Используйте разные форматы вопросов: с выбором одного ответа, множественным выбором, открытые, шкалы.

#research #survey

В Selectel написали, как сократили время поиска респондентов (труднодоступная аудитория) для исследования не массового продукта.

— При поиске через знакомых и коллег желающие со временем заканчиваются. Участие других людей удлиняет коммуникационные цепочки. Невысокий процент отклика;
— Поиск через агентство сильно растянут по времени;
— Решили искать проактивно: сформировать базу потенциальных респондентов;
— На отдельной странице рассказали, как устроен процесс, какие проводят исследования (интервью, тестирование интерфейсов, опросы);
— Название изменили на «Selectel Мнения», так как слово «исследования» люди понимают по-разному (часть полагала, что это из области медицины);
— Людям важно быть услышанными и оказывать влияние. Вознаграждение для дорогих специалистов и руководителей — не главный фактор, но это правило хорошего тона;
— В анкете — необходимый минимум вопросов, чтобы не отбить желание слишком длинной формой. Но данных мало, респонденты не подходят для исследований с узкими критериями отбора;
— Страницу прорекламировали на собственных ресурсах (сайт, рассылка, телеграм-канал) и профильных (Хабр, VC);
— Собранные данные не используют для массовых рассылок.

#research #recruiting

Егор Грохотов написал о быстрой проверке гипотез.

— В Авито разработку и развитие продуктов делят на стадии. Каждая завершается гейтом — встречей, где команда презентует и защищает свой прогресс перед руководителями направлений;
— Проверяют гипотезы на стадиях New Opportunities Discovery (этап исследования) и Product Discovery (этапы проверки спроса и ручной проверки). Цель — попытаться убить продукт на самой ранней стадии;
— Быстрее и эффективнее всего проверять самые рискованные гипотезы;
— Изучайте рынок в том числе через экспертов. Пара интервью с экспертами поможет быстро разобраться, как устроена интересующая вас сфера;
— Если этап исследования подтверждает потенциал идеи, при проверке спроса можно оценить продукт по верхнеуровневой воронке и нащупать каналы продвижения. Например, можно посчитать конверсию лендинга;
— Ручная проверка — сопровождение нескольких клиентов по всем этапам взаимодействия от заявки до целевого действия, чтобы выявить проблемы. Продукт при этом может быть собран на коленке;
— Подключайте юристов и бухгалтеров пораньше, чтобы собрать соответствующие ограничения и не тратить время на правки продукта потом;
— Скорость сборки прототипов новых услуг увеличивает заранее подготовленная инфраструктура: CRM, телефония, чаты, отдельный счёт в банке.

#product #research #process

Павел Шечков написал о методе экспертной оценки интерфейса PURE.

— Расшифровывается как Pragmatic Usability Rating by Experts;
— Помогает проверить существующие сценарии и сделать их менее сложными. Можно использовать для сравнения с предыдущими версиями сценария и с решениями конкурентов;
— Оценки экспертов усредняются, чтобы итоговые цифры стали объективнее;
— Учитывается время до точки входа в сценарий и время на прохождение сценария. Чем дольше, тем больше баллов. О схеме перевода секунд в баллы надо договориться;
— Лучше оценивать не макеты, а тестовую сборку или хотя бы прототип с эмуляцией времени отклика системы. Так время прохождения сценария будет ближе к правде;
— В сценарии считаются все нажатия кроме ввода данных с клавиатуры, а также все скролы. За каждое нажатие и скрол — балл;
— Если есть затруднения с выполнением действия (есть когнитивная нагрузка, нужны усилия, но пользователи справляются) — 2 балла и жёлтая отметка;
— Если шаг выполнить трудно (высокая когнитивная нагрузка, вызывает смятение, часть пользователей может не справиться) — 3 балла и красная отметка;
— Если есть хотя бы одна жёлтая или красная отметка, весь сценарий окрашивается в этот цвет;
— Сценарий получает от эксперта цвет и сумму баллов. Чем больше баллов, тем сценарий сложнее. В красном сценарии надо исправлять шаги с красными отметками.

Статья Кристиана Рорера из Nielsen Norman Group о PURE (in English). #research #expert_valuation

В Creative написали о проведении исследований с участием детей.

— Чем младше ребёнок, тем ему важнее, чтобы рядом был близкий взрослый. Но взрослые иногда вмешиваются с подсказками и наводящими вопросами;
— Обеспечьте их присутствие, но продумайте, где они будут находиться, чтобы не сковывать свободу ребёнка слишком близким контактом;
— Попросите не вмешиваться. Объясните, что вы оцениваете не ребёнка, а качество вашего продукта;
— Обстановка важна. Идеально, если ребёнок находится у себя дома;
— Обязательно обсудите с родителями, прежде чем дать ребёнку сладости;
— Наполните пространство интересными вещами: книжки-картинки для малышей, сказки и энциклопедии для детей постарше, всем интересны игрушки с блёстками, механизмами, вынимающимися деталями;
— Заложите время на их изучение;
— Не задавайте сразу много вопросов, посмотрите на реакцию. Если с первых вопросов ребёнок всё больше замыкается, лучше спросить, хочет ли он продолжать или вы встретитесь в другой раз;
— Золотая середина общения: на ты, уважительно, без сюсюкания и сложных слов. Адаптируйте язык под возраст;
— Ребёнку может быть сложно выразить свою мысль. Не подталкивайте, ждите, дайте возможность ответить самостоятельно;
— Поддержите и поблагодарите за разговор, но не формальными фразами. «Спасибо! Мы здорово провели вместе время, мне очень понравилось разговаривать с тобой».

#kids #research

Юля Кондратьева написала, зачем и как читать научные исследования по дизайну.

— Они помогают защитить решение. У конкурентов не всегда есть подходящие кейсы. Советы экспертов вроде Nielsen Norman Group основываются непонятно на чём (как эксперт к ним пришёл?);
— Найти информацию можно по довольно общим темам (исследование шрифтов с засечками и без, а не конкретного семейства), вопросам с одним неизвестным (расстояние между карточками в интернет-магазине), не касающихся трендов;
— Искать — в Гугл Академии на английском. Если полный текст недоступен, часто можно нагуглить PDF или вложения. Чтобы узнать всё, что надо, обычно достаточно картинки и абстракта (краткое описание статьи);
— Если хотите действительно разобраться в теме, придётся собрать максимум материалов и критически на них посмотреть. Область применения может отличаться (пагинацию и скролинг изучали на новостных ресурсах, а у вас магазин), респонденты в эксперименте могут отличаться от ваших пользователей;
— Они помогают сгенерировать новые гипотезы и просто узнать что-то новое (например, что участники встреч, включающие камеры, устают больше);
— Зайдите на сайт с рейтингом научных журналов, выберите тему (Human factors and ergonomics или Human-computer interaction), отсортируйте журналы по индексу Хирша (как часто они цитируются другими), открывайте те, что отмечены Q1 и Q2;
— Можно читать то же самое в виде новостей, но иногда в них не хватает деталей и выводы оказываются перевранными;
— Авторы статей внимательно относятся к исходным данным и почти всегда перечисляют ограничения текущего исследования (например, маленькая выборка или что не проверили какой-то аспект) и предлагают будущие исследования (какие корреляции можно было бы проверить).

Видео. #research

Михаил Руденко написал, как погружаться в новую предметную область.

— Это полезно, если делаете проекты в разных сферах;
— Начните с визуализации (моделирования) текущего понимания, как всё работает. Так легче увидеть белые пятна в понимании и спланировать их прояснение. На старте это может быть модель системы как чёрного ящика: что у неё на входе, на выходе, в окружающей среде;
— Затем можно перейти к устройству чёрного ящика: как он превращает входные данные в выходные;
— Экспертные интервью — быстрый и малозатратный способ разобраться;
— Но надо отличать эксперта от болтуна. Ищите не медийность, а деятельность (кто сделал проекты, которые вас впечатлили) и тех, кто сочетает теорию с практикой: чистые теоретики бесполезны, а чистые практики не всегда могут понятно объяснить;
— Упирайте на вопросы «как» и «почему», просите примеры из жизни, почему в них эксперт действовал именно так. Не доверяйте какому-то одному эксперту;
— При изучении конкурентов в новой предметной области обычно непонятно, на что смотреть, поэтому конкурентный анализ бесполезен. Лучше выясните, какие у них ценностные предложения и какие проблемы клиентов они решают;
— В некоторых сферах многое зависит от регуляторных ограничений (законы и нормы, влияние государственных структур). Выделите нормы, которые выполняются фактически и которые есть только на бумаге. Представители регуляторов тоже идут на контакт;
— Внутренний анализ стоит начать с выделения стратегии (например, через стратегические классы Портера) и технологии создания ценности. Если есть возможность, обязательно поговорите с вождями компании (опросник по дисциплинам лидерства);
— Далее проведите интервью с сотрудниками (от топ-менеджеров до кассиров) и клиентами (как компания видится их глазами);
— Метрики не нужны. Измерять полезно только то, что понимаешь как работает.

#research

Исследователи из ВК рассказали о немодерируемых исследованиях.

— Не переносите вопросы исследования в анкету. Вместо вопроса «Удобно ли приложение?» разберитесь, что значит удобство (например, «Мне легко найти нужную функцию»), и спросите об этом;
— Не спрашивайте у респондентов, что лучше. У них нет системы оценки;
— Чем меньше возможностей неправильно понять вопрос, тем лучше. Избегайте специфичных слов, терминов;
— Смотрите, сколько времени респонденты тратят на отдельные вопросы (задания), где бросают тест. Так можно выявить непонятные вопросы или слишком сложные задания, которые можно упростить или разделить на несколько;
— Пытайтесь понять, почему кто-то из респондентов повёл себя странно. Например, в задании надо добавить трек в избранное, но респонденты ставят его на паузу. Им было важно остановить трек, чтобы не отвлекаться. Из таких странностей можно извлечь инсайты (в данном случае — по расположению контролов);
— Ограничивайте длину опроса и количество открытых вопросов. Чем дольше длится опрос, тем чаще выбирают первый попавшийся ответ и менее внимательно читают вопросы.

#research #unmoderated

Марина Суслова написала о репозитории клиентских проблем и его реализации в Jira.

— Всё началось с желания создать CJM, чтобы понять, где есть слабые места и куда направить ресурсы. Такая карта в Миро быстро потеряла бы актуальность;
— Репозиторий включает все клиентские проблемы, известные из исследований и других источников: обращений, жалоб, общения с консультантами, обратной связи;
— Когда результаты исследований хранятся отдельно, новое исследование как будто отменяет предыдущее. А так все знания в одном месте;
— Чтобы избежать дублирования, новые проблемы попадают в лист ожидания, из которого их разбирают дежурные;
— У каждой проблемы есть критичность и частота возникновения, которые определяют её вес и помогают приоритизировать задачи;
— Также есть ответственный за решение, который указывает статус, решение, ссылку на задачу или эпик в Jira (её добавление переводит проблему в статус In progress, а её завершение — в статус Done);
— Репозиторий используют для стратегического планирования, наполнения беклога, отслеживания прогресса;
— В 2023 году появился облачный Jira Product Discovery, который решает ту же задачу, но репозиторий можно вести и в обычной Джире, чтобы избежать дублирования работы по актуализации статусов;
— Приоритизацию упрощают поля Impact, Effort и Score;
— Для группировки и построения разных дашбордов могут пригодиться поля: шаг клиента; тип проблемы (Need, Problem, Resolution); источник знания (исследование, обращение и так далее); категория пользователей; канал, где проблема возникает.

#problem #product #research