Королёв про всё остальное (ex UX Research)
2.12K subscribers
56 photos
108 links
Download Telegram
Как Светлана Ратнер из Контура превратила менеджеров по продажам в исследователей
У исследователей часто стоит вопрос о том, как привлечь к исследованиям другие подразделения и распространить экспертизу. Особенно b2b и консалтинге, где эти "другие подразделения" часто знают продукт лучше, и чаще общаются с клиентами.
Светлана Ратнер рассказала о том, как превратила менеджеров по продажам в агентов исследований.
https://youtu.be/kz4fINVAano

1) Менеджеры постоянно общались с клиентами, но не умели структурировать требования и приносили их в формате "хочет зелёную кнопку вместо синей", без описания проблем и контекста.

2) Светлана сделала простой хороший скрипт для выявления потребностей:
- Какую задачу решаете?
- Какой результат ожидаете получить?
- Как будете использовать результат?
- Как действуете сейчас?
- Почему текущее решение не подходит?

3) Дальше, каждый раз, когда менеджер приходил с требованиями от клиентов по продукту, она прогоняла его по этому списку вопросов. Спустя 3-4 итерации каждый из них выучивал скрипт и приносил уже структурированные требования. Скоро менеджеры стали сами этому же скрипту обучать новичков.

4) Подключила мотивацию - чтобы сейлзы не забыли об этих вопросах, она спозиционировала их как часть техники продаж: когда клиент отваливается или просит добавить новую функцию, выявление потребности позволяет лучше с этими возражениями работать - часть хотелок можно закрыть уже сейчас, предложив альтернативное решение, а для остальных уточнить контекст.

5) Всё это за год дало около 700 чётких структурированных предложений от менеджеров, не в формате "клиент просит перекрасить кнопку" а с хорошим описанием потребностей и контекста. Класс.

Тут просматривается универсальная схема о том, как внедрять в команды новую практику:
- простой и прозрачный фреймворк (скрипт интервью, схема cj итд)
- обучение через обратную связь, а не просто через шаблон
- привязка к повседневным задачам и текущей мотивации, чтобы это не превратилось в практику ради практики.
____
Ещё про рекрут b2b и исследования без исследователей:
https://t.me/uxread/29 - Аня Булдакова про то, какие исследования менеджер может делать сам, а для каких нужен исследователь
https://t.me/uxread/37 как в Контуре рекрутят b2b пользователей по конкретным темам через почту для обратной связи
https://t.me/uxread/15 - IBM про рекрут sponsor users для кодизайна в b2b
Ещё про поиск людей: #Recruitment
Ещё про исследования в b2b: #b2bResearch
👍1
Интересный подход к оценке ROI исследований и обоснованию их ценности.
Авторы предлагают воспринимать исследования (и UX, и маркетинговые, любые) как способ повысить вероятность правильных решений, область риск-менеджмента.
https://www.illuminas.com/wp-content/uploads/2016/03/innovationCan-we-measure-the-ROI-of-Market-Research-BIG-Conference-2009-Jonathan-Fletcher-and-Andrew-Reynolds-FI.pdf

1) В двух словах - они взяли портфель проектов, оценили потенциальную стоимость удачного и неудачного запуска каждого проекта, а исследование оценили как штуку, которая позволяет снизить риск неудачных запусков на 15%. И получили ROI.

2) Под эти 15% подведена весьма хлипкая теоретическая база - они сравнивают примерную точность decision making с исследованиями и без. Звучит так себе, в реальности метод не очень рабочий. Как все подобные подходы, он скорее риторический, чем математический, но зато из него следует несколько интересных выводов.

3) В таком подходе для оценки ROI исследований, бизнес должен хорошо понимать стоимость решений. Сколько будет стоить запуск новой рекламы? Сколько стоит выход на новый рынок? Сколько стоит реализация новой функции, сколько денег мы упустим, если этой функцией будет пользоваться только 5% клиентов из-за плохого онбординга? ROI исследований нельзя посчитать отдельно от метрик остального проекта, эту задачу нельзя сваливать только на исследователя.

4) Легче всего поэтому считать ROI для решений, стоимость которых бизнес умеет считать. Например каждый A/B тест стоит денег: это либо потери от запущенного плохого варианта, либо недополученная выручка от хорошего варианта, который вы не запустили раньше. Иногда мы заранее можем примерно оценить, сколько денег мы должны недополучить, чтобы считать разницу в A/B тесте статистически значимой. Если юзабилити-тестирование позволило принять решение без A/B теста (хотя это маловероятный кейс), мы можем посчитать его ROI довольно точно. Сюда же, если известна стоимость минуты работы оператора, то мы можем посчитать ценность небольших интерфейсных измеений с помощью GOMS.

5) Чем меньше стоимость наших решений, тем более дешёвые исследования имеют смысл. Для диджитал продуктов распространены простые исследования: 5 респондентов, небольшие интервью, быстрая обработка результатов или даже отсутствие обработки - решений много и стоимость каждого - невелика (ошибки можно исправить в следующем спринте). А вот в FMCG стоимость запуска нового продукта очень высока (также, как стоимость телеэфира для рекламы) поэтому имеют смысл более сложные исследования, навороченные лаборатории, длительные фокус группы, ЭЭГ, КГР и нейромаркетинг (ладно, насчёт нейромаркетинга я не уверен даже здесь) - чтобы повысить вероятность правильного решения, можно потратить деньги на сложные методы. Ребятам из классических market research бывает сложно перестроиться на быстрые итеративные lean исследования, потому что они привыкли проверять очень дорогие решения очень методично.

6) У одного и того же исследования может быть разный ROI в зависимости от того, какую информацию из него смогли использовать. Т.е. его эффективность зависит не только от исследователя, но и от заказчиков. У некоторых decision makers исследования не окупятся никогда в силу специфики принятия решений.

Вот ещё более общая (и более короткая) статья о подходе в целом. https://www.b2binternational.com/publications/research-for-decisions/amp/
____
Ещё про ROI исследований:
https://t.me/uxread/63 Как Athenahealth оценили ROI дизайна через регрессионный анализ
#ResearchROI
Как Superhuman научились оценивать product-market fit через измерение лояльной базы продукта
Нашёл забавную метрику для новых продуктов: вывернутый наизнанку НПС, который позволяет оценить, насколько продукт близок к product/market fit (то насколько ваш продукт нашел свою аудиторию и готов к росту) и превращает этот product/market fit из интуитивного ощущения в нормальную метрику.
https://firstround.com/review/how-superhuman-built-an-engine-to-find-product-market-fit/

1. Автор предлагает оценивать, какой процент пользователей будет разочарован, если продукт больше не будет доступен. Тут, как и в NPS, всего один вопрос: "how would you feel if you could no longer use the product?" с тремя вариантами ответов (very/somewhat/not disappointed). Нужно замерить процент ответивших “very disappointed” - это и есть наша метрика.

2. Они сделали бенчмаркинг по сотне стартапов и обнаружили, что быстрый рост начинается, когда хотя бы 40% пользователей говорят, что будут очень разочарованы, если не смогут больше пользоваться продуктом. Для примера, у Slack в 2015-м был 51%.

3. Проводить просто. Как и все подобные опросники, спрашивать можно через почту, мессенджеры или in app нотификации. Они говорят, что достаточно 40 человек (ну не знаю, а как же доверительный интервал), но нужно взять тех, кто пользуется продуктом хотя бы 2 раза в неделю (но я думаю, что для ситуативных продуктов вроде дримсим, мэпс.ми и hh тоже работает).

4. К главному вопросу можно прибавить ещё парочку, чтобы понять, как эту метрику растить.
- Для кого, по мнению респондента, продукт будет полезней всего
- Что в нём самое полезное
- И как можно это пользу увеличить.

5. Наконец, ответы можно дробить по группам клиентов, и смотреть, например, какие сценарии или функции вызывают наибольшее привыкание, или из каких каналов привлечения приходят самые преданные клиенты, и на основе этого планировать разработку продукта и маркетинговую стратегию.
___
Другие методы:
https://t.me/uxread/36 как gov.uk тестируют понятность текстов с помощью highligther testing (маркерных тестов) (хайлайтер тестинг)
https://t.me/uxread/47 Google в 2011 поменяли поисковую выдачу на основе experience sampling
https://t.me/uxread/153 - как в Athenahealth применяют Technology Aсceptace Model для скоринга фич
Больше кейсов #Cases
Больше методов #Methods
Как Athenahealth оценили ROI дизайна и перекроили весь процесс
https://youtu.be/nG47ufRgY1k

Jennifer Cardello рассказывает, как у них в Athenahealth было 60 дизайнеров и 5 исследователей, а продукт всё равно был страшным и запутанным, потому что дизайнеров подключали для рисования галочек по запросу. А потом они устроили маленькую дизайн-революцию и всё изменили.
(С другой стороны, это история о том, как государство пыталось стимулировать электронное хранение медицинских данных, выделило 36$ дотаций и всё сломалось, а потом рынок всё починил).
Во-первых, вот шкалы, по которым вам стоит оценить себя, если вы задумали собственный переворот. Если у вас нет сильных конкурентов, или переходить с вам на конкурента очень дорого, или итоговые пользователи не влияют на выбор продукта, то качество дизайна не очень сильно влияет на продажи.
Чем вы левее, тем ниже шанс, что дизайн действительно влияет на бизнес метрики, и ниже шанс, что что он будет играть важную роль при создании продукта.
Во-вторых, вот история, как ребята всех переубедили.
1) Они делали софт для хранения медицинских данных, который очень удачно подходил под свежие государственные требования, что позволяло им делать неудобный софт и отлично продавать его (государство платило клиникам за переход на электронное хранение данных, если использовались правильные системы). Да, доктора систему ненавидели, потому что клинику внедряли её насильно, чтобы получить доп финансирование.
Удобство софта очевидно не влияло на дотации, а значит и на продажи, дизайнеров не воспринимали всерьёз.

2) Но! Постепенно ситуация изменилась, появились конкуренты, новые технологии снижали switching costs, а доктора (end users) оказались достаточно влиятельны, чтобы убеждать администрацию сменять поставщика. Все начали понимать, что потребности докторов уже не закрыть ad hoc рисованием галочек.

3) Дизайн-команда начала изменения именно с презентации об изменении рынка для бизнес-заказчиков. Не про дизайн, а про бизнес и новую роль дизайна в нем.

4) Дальше нужно было показать, что дизайн влияет на бизнес-метрики. Выбрали две - retention и referral users, дальше провели кучу опросников, позвали data science ребят, провели регрессионный анализ, показали, что customer satisfaction метрики действительно предсказывают отток и количество реферальных юзеров.
В третьих, там дальше чудная история, как они обучили продактов эвристкам Нильсена и заставили их оценивать 55 сценариев, и поменяли весь процесс принятия решений при проектировании продукта, но про это напишу попозже.
___
Про процессы в других компаниях
Mesosphere https://t.me/uxread/8,
Atlassian https://t.me/uxread/39,
Spotify https://t.me/uxread/104,
Facebook https://t.me/uxread/71,
Ableton https://t.me/uxread/123,
https://t.me/uxread/52 оценка ROI исследований через снижение риска продуктовых решений
#Companies
#ResearchROI
Вот узнал интересную штуку, Fred Davis в 90-м году заинтересовался, насколько использование нового продукта связано с юзабилити. Чтобы это проверить, он разработал Technology Acceptance Model (TAM) и опросник из 12 вопросов (опросник есть по ссылке ниже), 6 - направленных на оценку юзабилити продукта, и 6 - направленных на оценку полезности (usefulness). Дальше провёл исследование для 20 продуктов и посмотрел, как оценки юзабилити и полезности коррелировали с реальным использованием.
Выяснилось, что оценки полезности (usefulness), предсказывали в среднем 36% реального использования, в полтора раза лучше, чем оценки юзабилити.
Сама цифра ничего не значит, потому что будет отличаться, в зависимости от конкретного продукта, зрелости рынка и аудитории (и в некоторых случаях оценки юзабилити будут важнее, чем полезности), но интересно само разделение на usability и usefulness и попытка оценить всё сразу одним опросником.
Конечно, тут появляются Генри Форд и Стив Джобс и говорят, что спрашивать у пользователей, чего они хотят, нельзя ни в коем случае, рассказывают истории про более "более быструю лошадь" и айпад. Но Джефф Сауро (а я пересказываю его статью) рекомендует использовать не абсолютные оценки, а относительные - проверить на нескольких существующих фичах, насколько в вашем случае TAM предсказывает usage, и, если предсказывает, применять его, например, для приоритезации баклога. В таком виде может работать, похоже на облегчённую версию Кано.
https://measuringu.com/usefulness/
Оказывается, в Walmart и в Google есть позиция Head of Behavioral Science.
Я всегда думал, что попытки применить behavioral economics при создании продуктов не очень работают, все знают, что Канеман крутой, но никто не говорит "почитал Канемана и придумал вот такую вот штуку в продукте или сервисе, а без него бы не догадался". Разве что Дэн Ариэли так умеет.
Но вот не только Ариэли, есть целые департаменты теперь. Нормального описания я не нашёл, но вот маленькое из Волмарта http://www.persuasive2018.org/keynote-jason-hreha-head-of-product-behavioral-sciences-at-walmart/
И вот Гугл https://www.linkedin.com/in/maya-shankar-8b380350

Ну и чтобы лишний раз не постить, я читаю про разные Mental Health Startups, и https://www.limbix.com/ делают VR для терапии фобий, смотрите, как здорово.

(Канал всё ещё про исследования, простите за оффтоп, очень хотелось поделиться)
____
Ещё про behavior science в контексте исследований:
https://t.me/uxread/93 Канеман про работу памяти, дневниковые исследования и оптимальное время для опросов
https://t.me/uxread/137 как имплицитное чувство вины за потребление мешает покупать красивые вещи (связка anticipatory guilt и hedonic consumption) https://t.me/uxread/130 UX curve как опыт исследования опыт в динамике, дешёвая замена дневников
https://t.me/uxread/138 спекуляции на тему "как в разных культурах могут относиться к hedonic systems"
Больше "околонаучных" заметок по тегу #Science
Всем привет. Канал в задуманном виде не работает - я понял, что писать только про исследования мне не интересно, поэтому я чуть расширяю и меняю тему. Про что теперь будет:
- про исследовательские методы и про UX исследования в контексте бизнеса (как сейчас)
- про маркетинг, его связь с исследованиями и созданием продуктов (у меня есть немного опыта)
- про продакт-менеджмент (тут опыта нет, но я просто много читаю)
- и, скорее всего, про цифровые продукты в сфере mental health (VR для психотерапии, боты-ассистенты, распознавание депрессии по фильтрам в инстаграме, и, и про то, как это можно перенести на другие продукты и исследования).

Канал немного поштормит, давайте считать, что я ищу product/market fit, подходящий одновременно и для меня, и для вас. Надеюсь, что нам всем в итоге будет интересно.