Как Athenahealth оценили ROI дизайна и перекроили весь процесс
https://youtu.be/nG47ufRgY1k

Jennifer Cardello рассказывает, как у них в Athenahealth было 60 дизайнеров и 5 исследователей, а продукт всё равно был страшным и запутанным, потому что дизайнеров подключали для рисования галочек по запросу. А потом они устроили маленькую дизайн-революцию и всё изменили.
(С другой стороны, это история о том, как государство пыталось стимулировать электронное хранение медицинских данных, выделило 36$ дотаций и всё сломалось, а потом рынок всё починил).

Во-первых, вот шкалы, по которым вам стоит оценить себя, если вы задумали собственный переворот. Если у вас нет сильных конкурентов, или переходить с вам на конкурента очень дорого, или итоговые пользователи не влияют на выбор продукта, то качество дизайна не очень сильно влияет на продажи.
Чем вы левее, тем ниже шанс, что дизайн действительно влияет на бизнес метрики, и ниже шанс, что что он будет играть важную роль при создании продукта.

Во-вторых, вот история, как ребята всех переубедили.
1) Они делали софт для хранения медицинских данных, который очень удачно подходил под свежие государственные требования, что позволяло им делать неудобный софт и отлично продавать его (государство платило клиникам за переход на электронное хранение данных, если использовались правильные системы). Да, доктора систему ненавидели, потому что клинику внедряли её насильно, чтобы получить доп финансирование.
Удобство софта очевидно не влияло на дотации, а значит и на продажи, дизайнеров не воспринимали всерьёз.

2) Но! Постепенно ситуация изменилась, появились конкуренты, новые технологии снижали switching costs, а доктора (end users) оказались достаточно влиятельны, чтобы убеждать администрацию сменять поставщика. Все начали понимать, что потребности докторов уже не закрыть ad hoc рисованием галочек.

3) Дизайн-команда начала изменения именно с презентации об изменении рынка для бизнес-заказчиков. Не про дизайн, а про бизнес и новую роль дизайна в нем.

4) Дальше нужно было показать, что дизайн влияет на бизнес-метрики. Выбрали две - retention и referral users, дальше провели кучу опросников, позвали data science ребят, провели регрессионный анализ, показали, что customer satisfaction метрики действительно предсказывают отток и количество реферальных юзеров.

В третьих, там дальше чудная история, как они обучили продактов эвристкам Нильсена и заставили их оценивать 55 сценариев, и поменяли весь процесс принятия решений при проектировании продукта, но про это напишу попозже.
___
Про процессы в других компаниях
Mesosphere https://t.me/uxread/8,
Atlassian https://t.me/uxread/39,
Spotify https://t.me/uxread/104,
Facebook https://t.me/uxread/71,
Ableton https://t.me/uxread/123,
https://t.me/uxread/52 оценка ROI исследований через снижение риска продуктовых решений
#Companies
#ResearchROI

Вот узнал интересную штуку, Fred Davis в 90-м году заинтересовался, насколько использование нового продукта связано с юзабилити. Чтобы это проверить, он разработал Technology Acceptance Model (TAM) и опросник из 12 вопросов (опросник есть по ссылке ниже), 6 - направленных на оценку юзабилити продукта, и 6 - направленных на оценку полезности (usefulness). Дальше провёл исследование для 20 продуктов и посмотрел, как оценки юзабилити и полезности коррелировали с реальным использованием.
Выяснилось, что оценки полезности (usefulness), предсказывали в среднем 36% реального использования, в полтора раза лучше, чем оценки юзабилити.
Сама цифра ничего не значит, потому что будет отличаться, в зависимости от конкретного продукта, зрелости рынка и аудитории (и в некоторых случаях оценки юзабилити будут важнее, чем полезности), но интересно само разделение на usability и usefulness и попытка оценить всё сразу одним опросником.

Конечно, тут появляются Генри Форд и Стив Джобс и говорят, что спрашивать у пользователей, чего они хотят, нельзя ни в коем случае, рассказывают истории про более "более быструю лошадь" и айпад. Но Джефф Сауро (а я пересказываю его статью) рекомендует использовать не абсолютные оценки, а относительные - проверить на нескольких существующих фичах, насколько в вашем случае TAM предсказывает usage, и, если предсказывает, применять его, например, для приоритезации баклога. В таком виде может работать, похоже на облегчённую версию Кано.
https://measuringu.com/usefulness/

Оказывается, в Walmart и в Google есть позиция Head of Behavioral Science.
Я всегда думал, что попытки применить behavioral economics при создании продуктов не очень работают, все знают, что Канеман крутой, но никто не говорит "почитал Канемана и придумал вот такую вот штуку в продукте или сервисе, а без него бы не догадался". Разве что Дэн Ариэли так умеет.
Но вот не только Ариэли, есть целые департаменты теперь. Нормального описания я не нашёл, но вот маленькое из Волмарта http://www.persuasive2018.org/keynote-jason-hreha-head-of-product-behavioral-sciences-at-walmart/
И вот Гугл https://www.linkedin.com/in/maya-shankar-8b380350

Ну и чтобы лишний раз не постить, я читаю про разные Mental Health Startups, и https://www.limbix.com/ делают VR для терапии фобий, смотрите, как здорово.

(Канал всё ещё про исследования, простите за оффтоп, очень хотелось поделиться)
____
Ещё про behavior science в контексте исследований:
https://t.me/uxread/93 Канеман про работу памяти, дневниковые исследования и оптимальное время для опросов
https://t.me/uxread/137 как имплицитное чувство вины за потребление мешает покупать красивые вещи (связка anticipatory guilt и hedonic consumption) https://t.me/uxread/130 UX curve как опыт исследования опыт в динамике, дешёвая замена дневников
https://t.me/uxread/138 спекуляции на тему "как в разных культурах могут относиться к hedonic systems"
Больше "околонаучных" заметок по тегу #Science

Всем привет. Канал в задуманном виде не работает - я понял, что писать только про исследования мне не интересно, поэтому я чуть расширяю и меняю тему. Про что теперь будет:
- про исследовательские методы и про UX исследования в контексте бизнеса (как сейчас)
- про маркетинг, его связь с исследованиями и созданием продуктов (у меня есть немного опыта)
- про продакт-менеджмент (тут опыта нет, но я просто много читаю)
- и, скорее всего, про цифровые продукты в сфере mental health (VR для психотерапии, боты-ассистенты, распознавание депрессии по фильтрам в инстаграме, и, и про то, как это можно перенести на другие продукты и исследования).

Канал немного поштормит, давайте считать, что я ищу product/market fit, подходящий одновременно и для меня, и для вас. Надеюсь, что нам всем в итоге будет интересно.

Как устроены исследования в Facebook
Но пока давайте про исследования.
Почитываю блог Facebook Research, и пока узнал вот что:
1) Про сами исследования пишут маловато, зато много про доставку результатов - как вовлечь команду и топов. Например, они организуют поездки вице-президентов в поля к клиентам, чтобы нагляднее показать, как живут клиенты и какие проблемы у них возникают (мне кажется, ребята из Qiwi что-то такое делали). В целом кажется, в маленьких компаниях больше стоит проблема того, как делать исследования быстро и дёшево (отсюда WeWork с их continuous research https://t.me/uxread/46 или mesosphere с их супер lean схемой исследований https://t.me/uxread/8), а в больших сдвигается в сторону того, как донести ценность исследований до всех и всех поразить (и отсюда видео 360 в презентации результатов у Uber https://t.me/uxread/40 и research museums у Facebook https://goo.gl/578oGw)

2) В команде Фейсбука более 450 исследователей (сравнимо со всем русскоязычном рынком).

3) В части стран Фейсбук является драйвером развития интернета, и исследователи едут на места и проводят исследования с клиентами, которые никогда до этого не пользовались интернетом, вообще.

4) Но на самом деле в эти 450 исследователей, кажется, входят Quantitative UX Researchers - эти ребята не проводят интервью, знают R, SPSS и немножко машин лёрнинг и пытаются на основе количественных данных вытащить информацию о мотивации пользователей, контексте использования и эмоциях при использовании продукта.

5) И конечно, в эти 450 входят research ops, которые у берут на себя рекрут, настройку лаборатории, vendor and tools management, и координацию международных исследований.

https://medium.com/facebook-research
___
Про исследования в других компаниях:
Spotify https://t.me/uxread/104,
Ableton https://t.me/uxread/123,
Lyft https://t.me/uxread/11
IBM https://t.me/uxread/13
В других компаниях #Companies
Больше про презентацию результатов #Presentation

Я иногда мысленно возвращаюсь к исследованию Experience Sampling в Google (https://t.me/uxread/47), и, кажется, сформулировал для себя, что именно мне так нравится.

Обычно при исследовании подразумевается вопрос "как мы можем лучше решать текущую проблему нашего пользователя", это вопрос про небольшие итеративные улучшения существующего опыта, и мне, как исследователю, он приходит в голову первым.

Но они подразумевают другой вопрос: "какие проблемы нашего клиента мы ещё не решаем, хотя легко могли бы? Кто мог бы использовать наш продукт, но пока не использует?". Этот вопрос чуть больше связан с маркетингом и долгосрочным развитием продукта, я меньше привык его задавать, и он кажется свежим и неожиданным.

Зато теперь понятней, как перенести его на текущие проекты.

Ну и ещё, как и обещал, про VR стартапчики для психотерапии и mental health в целом. Я чуть раньше писал про limbix, которые делают VR для терапии фобий. Есть похожий стартап Psious, они делают VR окружения попроще, зато работающие на смартфонах, и они прислали мне парочку демо видео.

Тут надо сказать, как это вообще работает - в CBT (cognitive-behavoral therapy) психотерапии считается, что бесстрашие это что-то вроде навыка, который можно приобрести через опыт. Чтобы не травмироваться, опыт надо градуировать. Например, если вы боитесь полётов, то вам стоит сначала посмотреть на аэропорты издалека и привыкнуть, потом посидеть в терминале и привыкнуть, потом посмотреть, как люди заходят в самолёт и привыкнуть, потом посмотреть как взлетают, и привыкнуть, потом посидеть в самолёте и привыкнуть - что-то вроде растяжки. Каждый раз вы видите, что ничего плохого не происходит, страх притупляется, вам всё легче. Метаисследования показывают, что модель верна, и CBT помогает от тревожных расстройств и фобий очень-очень хорошо.

Так вот, иногда сразу идти в реальную ситуацию страшно, а воображаемых ситуаций недостаточно, и тогда хорошо работает VR, в котором эта ситуация смоделирована. Сейчас есть несколько стартапов, которые такие VR окружения делают, и Psious - один из.

Вот их видео, как вы едете в маленьком тесном лифте (для клаустрофобии) https://goo.gl/DC1pyB
А вот вы выстпаете перед здоровой аудиторией https://goo.gl/Gu85YT
В идеале, конечно, смотреть в VR коробке для смартфона, но и так норм.
Ну и у них есть ещё десяток, для страха полётов (как раз по тем сценариям, что я описал), для вождения, для ситуации экзамена итд.

Psious всё это объединяют с биофидбек датчиком, который замеряет, насколько вы сейчас боитесь, чтобы показывать более тревожное видео только после того, как предыдущее перестанет вас пугать.

Во-первых всё это классно само по себе, а во-вторых забавно, если лет через 5 появятся VR окружения для более экологичных тестирований, как сейчас браузерные рамки для прототипов. "Вань, сделай в прототипе пожалуйста, как будто клиент с этим приложением работает в метро, вставь его в VR с вагоном, у нас, кажется, была нужная библиотека в фигме". Вот это будет норм (надо было как-то привязать пост к исследованиям, сами понимаете).

Nocode
Мне кажется, появляется новый навык - прототипирование сервисов.

Для исследования и оценки дизайна до разработки используют прототип - в минимальном виде - набор связанных ссылками картинок, в максимальном - интерактивные конструкции с анимацией и логикой, которые всё равно собираются быстрее, чем реальный продукт. Прототипы позволяют найти проблемы в дизайне, но не помогают оценить бизнес-гипотезы, например, достоверно оценить спрос.

Поэтому для проверки бизнес-гипотез используют MVP продукта или функции. В основе MVP лежит тот же подход "ошибись дешевле", они, как и прототипы, нужны чтобы снизить риск дорогих решений (ещё MVP помогают начать получать деньги раньше, но это отдельная история). Они тоже не должны стоить дорого.

Последние пару лет появляются платформы для интеграции всего со всем. Они позволяют собирать довольно сложные процессы, используя в качестве кирпичиков готовые сервисы, и поэтому могут неплохо работать для быстрого прототипирования MVP нового продукта, процесса или фичи (это скорее прототипы, т.к. они плохо масштабируются).

Я немного пользовался https://zapier.com/ и https://www.integromat.com/en (спасибо, Петя), но, оказывается, есть целое движение no-code или zero-code devops, посвящённое подобным инструментам, они в том числе поддерживают сложную логику и сложную работу с данными.

Вот два последних поста Иво Дмитрова с подборкой инструментов https://t.me/growthup/350 https://t.me/growthup/351, об этом же, кажется писал Ваня Замесин https://t.me/zamesin (не могу найти конкретный пост, но он часто упоминает инструменты, на которых выстроил процессы в своём стартапе, в том числе из подборок выше).

Интересно, будет ли это развиваться как отдельный навык? Появится ли в командах проектировщик сервисов (сервис-дизайнеры ведь уже есть), который вместо Axure и Figma, будет указывать в резюме владение Zapier и Retool?
___
Сервисы и кейсы интеграций в исследованиях:
https://t.me/uxread/122 Cally.ru - русскоязычный аналог Calendly для автоскедулинга интервью
https://t.me/uxread/8 Как mesosphere (b2b) настроили процесс ежеденедельных UX тестирований без выделенного исследователя
https://t.me/uxread/46 Tomer Sharon угорел по nocode и автоматизировал все процессы исследований, какие можно (рекрут, sheduling встреч, составление отчётов)
https://t.me/uxread/148 zoom+otter для автотранскрипта интервью.
#ResearchNocode
#Operations

https://t.me/uxread/148 zoom+otter для автотранскрипта интервью.
https://t.me/uxread/75 про nocode движение в целом
#ResearchNocode
#Operations

Влияние бизнес-модели на проектирование навигации
Написал статью о том, как бизнес-модель и способы продвижения продукта влияют на дизайн витрин. Почему в некоторых случаях уместно сделать на главной здоровенную поисковую строку, а в других - выдачу с фильтрами или подборки товаров, и как понять, когда что нужно
(статья в большей части про маркетиновые каналы - лендинги и интернет-магазины, сугубо продуктовым дизайнерам будет не так интересно).
https://goo.gl/MkHSQs

____
https://t.me/uxread/61 - другой пример того, как бизнес-контекст влияет на дизайн - как изменения на рынке медсистем привели к тому, что исследования в Athenahealth стали иметь смысл

Матрица зрелости UX исследований
Продумываю рабочие цели на год, и решил посмотреть на maturity models of UX research, поискать, что делают старшие товарищи.

Статей много, вот несколько неплохих:
https://uxdesign.cc/the-organizations-design-research-maturity-model-b631471c007c
https://measuringu.com/maturity-of-ux-organizations/
https://www.nngroup.com/articles/ux-maturity-stages-1-4/
(Нильсен и Сауро самые полезные, как всегда) + на описания процессов в крупных компаниях, с которыми сталкивался ранее.

Если вы давно работаете в IT корпорации со зрелой культурой исследований (привет!) или просто много читаете, то всё знаете и так. Но если у вас не так всё хорошо, можно конвертировать любой пунктик в смарт цель, например "было минимум 2 проекта с concept generation" или "дизайнеры и менеджеры самостоятельно провели минимум 20 сессий" и запланировать на квартал.

Как исследования встроены в процесс:
- Каждый продукт проходит через исследования.
- Исследования проводятся регулярно, на них заложено при планировании проекта.
- Нормально проводить итеративные исследования (по несколько на запуск фичи или продукта)

Какие решения принимаются но основе исследований:
- Решения об изменении дизайна/принципа работы отдельных функций (исследования ориентированы на дизайнеров и продактов)
- Решения об изменении продуктовой стратегии, маркетинговой стратегии, запуске новых продуктов (исследования ориентированы на CMO и CPO).
- На основании исследования может быть принято (и иногда принимается) решение о переносе запуска/отмене запуска фичи/продукта/рекламной компании.

Какие методы используются:
- Есть исследования на прототипах до разработки (в идеале по большинству продуктов)
- Хотя бы часть продуктов исследуется на этапе идеи, до макетов
- Есть сессии кодизайна и concept generation с пользователями.
- Есть полноценные программы беты и пилотного запуска
- Исследования проводятся не только с текущими клиентами, но и с нетипичными клиентами, потенциальной аудиторией, экстремальными пользователями и т.д.
- Зрелые команды в среднем используют больше разных методов (т.е., вероятно, более изобретательны, или у них просто есть бюджет на айтрекер и нейромаркетинг).

Бюджет и ресурсы:
- На исследования и рекрут есть выделенный бюджет
- Есть отдельные люди, которые занимаются исследованиями большую часть времени.
- Экспертиза по исследованиям распределена - дизайнеры и продакты тоже могут проводить, есть лаборатория и оборудование, которое может использовать каждый

Как хранятся результаты:
- Результаты рассылают по почте в виде отчётов.
- Все знают, где лежат результаты, их можно легко посмотреть, есть доступная база (в airtable или ещё где-то)
- База не только есть, ей пользуются, все привыкли опираться на данные при принятии решений (это про культуру, и я пока не знаю, как это перевести в измеримую цель. Количество посещений портала, на котором лежат результаты?).
____
Как устроены процессы исследований в компаниях
Mesosphere https://t.me/uxread/8,
Atlassian https://t.me/uxread/39,
LinkedIn https://t.me/uxread/121,
Spotify https://t.me/uxread/104,
Facebook, https://t.me/uxread/71,
Ableton https://t.me/uxread/123,
Lyft https://t.me/uxread/11,
#Processes

Пока, правда, не понимаю, как замерять влияние на продукты.

Понятно, что в самих интервью и тестированиях пользы не особо много, важно, как они влияют на продукт, насколько получается их донести до команды. Но не понятно, как это замерять или отслеживать.
Количество изменений по результатам исследований? Кривовато и легко накручивается.
Сколько денег (пунктов NPS, счастливых комментариев) принесли продуктовые изменения, сделанные по результатам исследований? Очень сложно отслеживать и честно считать.
Количество дизайнеров/продактов, которые лично побывали на сессии или провели её? Это вроде бы тоже про влияние, но не всегда прямо связано с влиянием на продукт.

Не знаю, короче. Если видели хорошие примеры, напишите мне.

Инди Янг про хейт спичи на исследованиях и разные виды эмпатии
Инди Янг (соосновательница adaptive path, не абы кто) о том, что делать, when hate speech enters a research session, когда участник интервью начинает ясно выражать расистские или сексистские взгляды, или явно выражать неприязнь к исследователю.
https://indiyoung.com/when-hate-enters-a-research-session/

1) Одна из популярных реакций исследователя - стыд за то, что он не справился, не проконтролировал ситуацию и допустил такое на своём исследовании (неплохая статья о чувстве стыда в работе исследователя https://t.me/uxread/22). Отсюда стремление включить эмпатию на полную, простить и понять участника, а на деле вернуть себе чувство контроля и ощущение, что вы молодец.

2) Ок, давайте посмотрим, что такое эмпатия, и поможет ли она тут, пишет Инди Янг.

3) Есть эмоциональная эмпатия - понимание и разделение эмоций другого, готовность выслушать, поддержать и справиться с эмоцией. Эмоциональную эмпатию дают друзья и психотерапевт, модератору исследования она помогает установить контакт с респондентом и помочь ему расслабиться. Эмоциональная эмпатия в ответ на ненависть требует больших эмоциональных усилий, и редко "окупается" в ситуации исследования.

4) Также есть когнитивная эмпатия - понимание того, почему человек ведёт себя определённым образом. Она возникает в ходе длительного интервью или listening session, а не рождается спонтанно от большой душевности. В случае problem space research потратить время на выработку когнитивной эмпатии может быть важно, потому что нам важно понять систему убеждений человека. В случае юзабилити-тестирований задача - протестировать интерфейс, исследовать систему убеждений обычно не нужно.

5) Вместо того, чтобы эмпатировать и прощать, Инди Янг советует воспринимать исследование, как ситуацию, в которой вы, как исследователь, нанимаете респондента для решения определённой задачи. В случае юзабилити-тестирования вы нанимаете респондента, чтобы лучше понять его ментальную модель и найти проблемы в интерфейсе. Если он вместо этого переключается на хейт спич, вы можете давать явную обратную связь, что это неуместно, и можете прекратить исследование, вместо того, чтобы страдать.

Ещё у Инди Янг есть книга Practical Empathy (не читал, но собираюсь) https://rosenfeldmedia.com/books/practical-empathy/
А узнал я о ней из канала https://t.me/uxresearch, очень рекомендую всем (не реклама, канал правда хорош).