Написал про UX Curve (способ для исследования опыта в динамике, дешёвая замена дневников).
Писал о нём тут выше, но в этот раз разобрался поглубже. Из интересного - он, оказывается, работает в несколько раз лучше интервью для получения ретроспективных данных, и по качеству данных сравним с дневниками, хотя деталей даёт поменьше.

Там ещё lifetime value в заголовке - особо не ведитесь, отдельных секретов про LTV нет, это чтобы продактам чаще в выдачу попадать https://bit.ly/3eZ5y9y
____
Другие забавные исследования:
https://t.me/uxread/82 Как headspace повышали вовлечённость и улучшали онбординг в приложении по habit formation loop (по пути проведя опрос и дневники)
https://t.me/uxread/30 как Mozilla исследовали использование закладок в браузере, запрещая ими пользоваться (тоже дневники)
https://t.me/uxread/36 как gov.uk тестируют понятность текстов с помощью highligther testing (маркерных тестов) (хайлайтер тестинг)
https://t.me/uxread/41 как парные юзабилити-тестирования (с двумя респондентами одновременно) позволяют глубже понять ментальную модель пользователя
Другие методы #Methods
Другие кейсы #Cases

Про разные стили ведения интервью и probing technics
У NNGroup есть несколько замечательно практичных статей про модерацию интервью.
Вот классная о том, как правильно мычать в ответ на вопросы респондента, вы её видели наверняка, а если нет - посмотрите, там прямо войсы с примерами диалогов https://www.nngroup.com/articles/talking-to-users/
Или вот ещё одна хорошая - как помалкивать, тоже с аудиопримерами https://www.nngroup.com/articles/intentional-silence-ux/

Я к чему это - недавно прошёл курсеровский курс по qualitative researсh и там есть хорошее обзорное видео по probing technics (https://www.coursera.org/learn/qualitative-methods, неделя 4, урок 3)

Probing technics (русский перевод "зондирующие техники" меня пугает, оставим англицизм), это техники ведения интервью, от хмыканья до разных типов уточняющих вопросов - все те секретные секреты модерации, которые позволяют получить от респондента более глубокие и полезные ответы.
Сам термин, судя по всему, базовый для социологов, но не встречается в контексте UX исследований.

#Methods

Но что ещё интересно, лектор провёл небольшое дополнительное исследование - как разные стили ведения интервью (нейтральный, поддерживающий и конфронтирующий "challenging") влияют на качество результатов, и обнаружил, что особо никак. Качество результатов для интервьюеров с разными техниками модерации не отличались. Но окей, это исследования на трёх десятках студентов, наверняка есть более глубокие работы на тему. Если читали что-то интересное - присылайте мне)
Сам курс хороший, хотя скорее с перекосом в философию науки, чем в практику. Если интересно только про техники вопросов, то вам, напомню, нужна неделя 4 урок 3)
https://www.coursera.org/learn/qualitative-methods

И напоследок, если погуглить "probing technics" ещё немного, мы наткнемся на статью в блоге Gallup (у них есть блог! Пишут статей 5 в год, но пока не понял, толковые ли). Так вот, Gallup, и у них в статье указано, что не так всё просто, и probing искажает данные, так что надо аккуратней https://news.gallup.com/opinion/methodology/223286/effects-probing-survey-research.aspx
___
Ещё про модерацию:
https://t.me/uxread/79 Инди Янг про хейт спичи на исследованиях и как их переживать
https://t.me/uxread/120 можно записаться на исследования в другие компании, посмотреть, как модерируют
https://t.me/uxread/16 - Интерком про точечные интервью с пользователями, совершившим определенное действие на сайте
https://t.me/uxread/23 - Deliveroo про полевые исследования у людей дома
Другие методы #Methods
Другие кейсы #Cases

Выглядит как реклама, но нет.
Нашёл компанию, которая предлагает супер таргетированный рекрут экспертов для интервью.
Они, впрочем, позиционируют это не как рекрут респондентов, а как организацию созвонов с expert advisors, но это не важно.
Суть в том, что они готовы искать для вас людей, которые проектировали радиаторы для огромных двигателей, госзакупщиков софта для чрезвычайных ситуаций, или неврологов, специализирующихся на работе с болезнью Альцгеймера в общественных больницах.

Среди клиентов, понятное дело, IDEO (ну ещё бы) и Big Three consulting firms. Цена - от 300$ до 900$ за одно часовое интервью, что, внезапно, меньше, чем я ожидал бы.
А, ну и конечно можно зарегистрироваться как эксперт, и получать свои миллионы.
https://deepbench.io/find

(UPD: Саша Фенин скинул пост с обзором таких сообществ, их миллион, оказывается https://t.me/startupoftheday/888)

Как имплицитное чувство вины за потребление мешает покупать красивые вещи (связка anticipatory guilt и hedonic consumption)
Исследование о том, как разные качества продукта влияют на решение о его покупке, которое заодно объясняет, почему люди дарят друг другу бесполезные подарки.

Участникам исследования давали несколько пар продуктов (две пары наушников, два ноутбука, две шоколадки, два моющих средства), так, что у одного продукта в паре были больше выражены "полезные" качества (наушники долго держали батарею, но были не очень красивыми), а у второго - "гедонистические" (наушники были очень красивые, но батарею держали недолго).

По итогам обнаружили, что люди чаще выбирают для себя вещи с выраженными практичными качествами (ноутбук с ёмкой батарей, но страшный), а для других - с более гедонистическими (ноутбук с маленькой батареей, но стильным дизайном).

Авторы предполагают, что дело в "имплицитном чувстве вины за потребление" - неловко для себя желать слишком бесполезно-красивого. Эта гипотеза подтвердилась, хотя и очень опосредованно (они показали, что люди, выбирая продукты для других, испытывают субъективно более низкий уровень вины (anticipatory guilt from hedonic consumption)

Для нас это значит, что изменения hedonic quality (например, визуальные улучшения), вероятно, больше влияют на рекомендательные метрики (например, НПС), но меньше на готовность покупать и пользоваться продуктом самому.
Оп! В теории можно сделать продукт, которые все всем рекомендуют, но покупать его как-то неудобно.

Вот статья http://journal.sjdm.org/16/16428a/jdm16428a.html, опубликована на сайте Society for Judgment and Decision Making, там ещё много забавных.
___
https://t.me/uxread/68 Head of behavior science в Google
https://t.me/uxread/93 Канеман про работу памяти, дневниковые исследования и оптимальное время для опросов
Больше "околонаучных" заметок #Science

Тут интересно поразмышлять ещё о двух вещах:

Интересно, как это коррелирует с культурными различиями. Кажется, что в обществах, где нормально демонстрировать богатство, hedonic qualities будут повышать и собственную мотивацию к покупке, а вот в культурах с суровой протестантской этикой (или со старой аристократией, где публичное потребление - признак низкого статуса) люди будут предпочитать более утилилитарные продукты.

И ещё о том, как возрастает роль hedonic qualities в любых системах со временем. Для b2с систем этот процесс произошёл несколько лет назад - интернет банки превратились в hedonic systems со сториз. Для b2b этот процесс идёт прямо сейчас - изначально b2b продукты это utilitarian systems, которые должны работать, и выполнять задачу, а субъективный опыт конечных пользователей не так уж важен. Но постепенно роль конечных пользователей в выборе софта растёт (slack, например, растёт "снизу вверх"), и b2b превращаются в hedonic systems (Athenahealth немного писали на эту тему https://t.me/uxread/60). Глобально для цифровых продуктов этот процесс идёт последние 50 лет, но про это я порассуждаю чуть-чуть попозже, пока уровень занудства не стал критическим.

Machine learning для исследований на этапе формирования и проверки гипотез
Статья про использование machine learning для UX исследований от athenahealth
Эти знают, о чём говорят - вот кейс, где они построили регрессионную модель, чтобы обосновать ROI дизайна через NPS и ретеншн.

Статья - такой вводный чек-лист, который поможет понять, как это вообще работает, и какие задач могут решаться с помощью статистики и ML методов в исследованиях.

Они делят методы на три группы, в зависимости от того, какой тип задач исследователя они решают, и для каждой группы рассказывают про конкретные задачи.

Discover - по сути этап exploratory research. Чем тут поможет ML:
1) Персоны на основе кластеризации. У вас есть набор данных пользователей с признаками каждого, вы можете сформировать кластеры-группы на основе этих признаков. Тут не буду углубляться, в статье кратко описывают несколько видов кластеризации и их различия.
2) Association Rules - для выявления, какие события чаще встречаются вместе в одной сессии, или чаще встречаются для одного типа пользователей
3) Выявление частых сценариев (process mining) из неструктурированного лога событий аналитики. Это интересный кейс, когда вы хотите выявить какие-то неочевидные последовательности действий и пользовательские пути

Test hypotheses - этап проверки решений
Регрессия и деревья решений (decision trees) для предсказания того, какие события чаще ведут к целевому событию. Например, какие события в триальной сессии лучше всего предсказывают покупку, или какие параметры писем лучше всего предсказывают их конверсию, или какие параметры партнёров являются лучшим предиктором роста для них. В статье описано несколько типов регрессии, разница между ней и деревьями решений и даются ссылки на более подробные источники.

Data simplification - это, строго говоря, не про исследования, а про подготовку данных для анализа
1) Снижение размерности (Dimensionality Reduction) для более наглядного представления данных или их более простой обработки.
2) Подготовка данных, кратко описываются подходы и софт для подготовки.

https://link.medium.com/DNCUdct7I6
___
Ещё про исследования на разных этапах
https://t.me/uxread/13 - IBM про исследования на разных стадиях создания продукта
https://t.me/uxread/104 исследовательские процессы в в Spotify - mixed research и смешанный департамент product insights

В заметке ниже хорошие статьи про продуктовую аналитику

Что ещё можно посмотреть по теме:
- Очень хорошо про mixed research и конкретно про machine learning в UX пишет Антон в product science, вот его обзор области, а вот очень понятный рассказ, как они используют графы в продуктовой аналитике, с примерами и объяснениями, понятными, даже если вы в этом не шарите вообще (как я)
- Ещё один короткий кейс про графы, чем они лучше воронок, и как их использовать во имя конверсии

Ну и если хотите научиться руками строить простые предиктивные модельки и боитесь питона, у Куличевского есть практичный курс для новичков, я когда-то проходил, и теперь могу делать простенький машин лёрнинг в гугл таблицах)

Иногда вижу, что дизайнеры и исследователи не знают, как подступиться к продуктовой аналитике. Они не понимают
а) как её настроить (что писать в ТЗ на настройку, какие события нужно отслеживать),
б) за какими метриками следить в настроенной системе и как с помощью аналитики улучшать продукт.

Я не продуктовый аналитик, но расскажу о своем опыте, так как не видел внятного базового объяснения для таких, как я, исследователей и дизайнеров.

Шаг 1 - понять целевое поведение в интерфейсе
Вы как дизайнер создаете или тестируете интерфейсы.
Допустим, вы работаете над чекаутом, дашбордом, или новой навигацией.

За любым из этих интерфейсов стоит целевое поведение: то, как люди будут себя в нём вести, если вы сделаете этот интерфейс очень хорошо. Целевое поведение — то, ради чего вы и создаете интерфейс.

• Идеальный чекаут — тот, через который пользователь пройдёт быстро и не задумываясь.
• Идеальный каталог — тот, в котором пользователь быстро находит то, что нужно.
• Идеальный дашборд — тот, что регулярно используют, и на основе которого быстро принимают решение.
Часто возможных целевых сценариев несколько, суть от этого не меняется.

Шаг 2 - описать целевое поведение через события в продукте
Вы продумали целевое поведение. Следующий шаг — описать его в терминах событий: переходов на страницы, кликов на элементы, заполнения полей, и времени между ними.

• Идеальный чекаут -> тот через который проходят все без потерь -> видим в аналитике последовательность страниц, в которой аудитория не уменьшается (воронка без сужения)
• Идеальный каталог -> люди быстро находят нужную информацию и переходят на нужную страницу -> среднее время на странице каталога низкое, после переходов на страницы второго уровня нет возвратов назад к каталогу
• Идеальный дашборд -> его регулярно используют для быстрой оценки ситуации -> высокое dau/mau (заходят много раз за месяц), короткое время на странице дашборда (т.к. быстро принимают решение, что делать дальше).

Часть событий отслеживаются аналитическими системами "из коробки" (посещения отдельных страниц, время на странице), часть нужно настраивать (заполнение отдельных полей, отслеживание системных ошибок).

Сначала может быть сложно описывать целевые сценарии с помощью событий. Если это так, попробуйте представить, как кто-то работает с интерфейсом оптимальным образом, что в этот момент пишется в логах? Это оно.

Шаг 3 - на основе событий подобрать метрики
Когда у вас есть целевое поведение, описанное в виде событий на сайте, вам легче придумать метрики, которые покажут качество интерфейса. Они отражают, насколько реальное поведение в продукте близко к целевому.

• Для воронки чекаута — конверсия на каждом шаге
• Для каталога — время на разводящей и % возвратов со страниц второго уровня на разводящую
• Для дашборда — время на странице дашборда и, регулярность его использования средним пользователем.

Вы не сможете придумать метрики или понять, какие события отслеживать, пока не поймёте, зачем вы делаете интерфейс, и как выглядит идеальное поведение в нём.

Используйте типовые подборки событий
Есть типовые способы описывать успешные сценарии и частые проблемы - воронка (успешность линейных сценариев), bounce rate (проблемы с маркетингом/плохая навигация), rage clicks (недостаток обратной связи в интерфейсе), конверсия форм (качество формы и понятность описания), графы для сложных и разветвленных сценариев (например тут https://t.me/uxread/144).

Есть даже типовые способы описывать успешные сценарии для разных продуктов. Вы можете погуглить metrics for content products, или типичные дашборды для eсommerce. Такие подборки не всегда хороши, но они дают понимание, как качество продуктов можно описывать в виде событий и метрик.

Подытожим
Чтобы понять, какие события отслеживать, составьте в уме цепочку:
Зачем продукт/интерфейс нужен -> как выглядит идеальный сценарий пользователя -> как этот идеальный сценарий можно описать в виде событий на сайте.

Если настраиваете аналитику для большого продукта, начните с нескольких ключевых сценариев.

#Frameworks

Не настраивайте метрики для “политических” фич.
Напоследок - у некоторых фич очень сложно обнаружить целевой сценарий: его нет ни в ТЗ, ни в коммуникациях, не понятны ни метрики успешности, ни метрики качества.

Такое может быть, если фича делается не для удобства пользователя, а для других целей: пиара (привлечение внимания с помощью хайповой технологии), маркетинга и продаж (больше буллет поинтов в таблице сравнения с конкурентом), или под пожелания конкретного инвестора.

Для бизнеса эти функции могут быть не менее важны, чем классические продуктовые (бизнес != продукт), но с ними важно работать иначе, и не пытаться описывать их через пользовательские события, да и пользовательские метрики в них часто не нужны.
____
Ещё про фреймворки для исследований:
https://t.me/uxread/102 как структурированно продумывать исследовательские задачи, вопросы и гипотезы
https://t.me/uxread/87 feature canvas для планирования работы над фичей
https://t.me/uxread/144 - хорошие кейсы применения продуктовой аналитики
#Frameworks

Как мы используем полнотекстовую базу транскриптов интервью вместо базы инсайтов
Мы начали использовать для исследований связку Zoom+Otter.ai, и пока получается неплохо.

Сам Otter - инструмент для автоматического транскрибирования интервью, в него можно вручную загружать записи для расшифровки, а можно интегрировать с Зумом, тогда все встречи будут стримиться в Otter и транскрибироваться в реальном времени (можно прямо во время беседы видеть субтитры). Работает он только для английского языка, но я хочу рассказать про то, как такие подобные инструменты в принципе могут повлиять на процесс исследований (уверен, на русском тоже появятся).

Во-первых, коллаборативная разметка транскрипта для быстрого отчёта.
Когда-то писал, что исследователи Airbnb обязуют наблюдателей делать заметки во время тестов. Один наблюдатель отвечает за саммари, другой за запись интересных цитат, третий - за доп вопросы, после интервью общая сессия на 10 минут для сведения заметок.
Как результат, наблюдатели не выключаются в телефон, как обычно, а у модератора есть уже почти готовый отчёт, написанный наблюдателями во время сессий.

С Оттером ещё лучше - он умеет в живом режиме стримить субтитры со встречи. Этот транскрипт по ходу могут размечать, комментировать, добавлять в него картинки и скриншоты из зума все участники с team аккаунтом.
Т.е. на выходе с каждой сессии у вас уже есть размеченный транскрипт со скриншотами.

Во-вторых, корпус расшифрованных интервью с полнотекстовым поиском.
При интеграции с Зумом все записи интервью автоматически транскрибируются и хранятся в Оттере. По ним работает полнотекстовый поиск - вы можете по ключевым словам искать все цитаты респондентов, связанные с конкретной тематикой.
Искать можно по всем записям сразу, или по выделенным группам записей, что позволяет сформировать запрос вида "покажи мне всё, что b2b клиенты когда-либо говорили про billing integrations, на любом интервью за последний год". Кроме полнотекстового поиска есть возможность размечать текст комментариями/тегами.

Окей, вы можете быстро искать упоминания любой проблемы в своих интервью. Это уже неплохо, хотя если вы пользуетесь платформой для тестирований вроде uzertesting или uzerzoom, то у вас всё это уже есть - и авторасшифровки интервью, и разметка тегами, и полнотекстовый поиск, и всё это сделано удобней. Но тут есть другой момент

Расшифровка и база транскриптов из всех интервью, а не только исследовательских
Другой момент заключается в том, что сессии с клиентами проводят не только исследователи, но ещё и аккаунт-менеджеры, сейлзы, продакты, дизайнеры, и даже тимлиды, если вы угорели по демократизации исследований. Их вопросы и нужные им инсайты пересекаются, но вы едва ли заставите сейлзов делать отчёты, или вести базу инсайтов. И вы не станете покупать учётку Юзертестинга на каждого из них, а вот учётка Оттера стоит 20$ в месяц на человека, что позволяет в теории подсадить на него всех, и получать расшифровки сессий с клиентами, независимо от того, кто их проводит.

А это значит, что дизайнеры, наконец, смогут послушать, что новые клиенты говорят сейлзам про онбординг в продукте, продакты послушать запросы на новые фичи, которые озвучивают аккаунт-менеджерам, а маркетологи помониторить все упоминания маркетинговых материалов во обсуждениях с клиентами.
Вот это тотальная видимость, которую мы заслужили.
____
Ещё про способы хранения инсайтов
https://t.me/uxread/96 база инсайтов Майкрософт
https://t.me/uxread/44 Tomer Sharon из WeWork первым сделал базу инсайтов на Airtable, на которую мы все теперь равняемся

Про автоматизации и nocode в исследованиях:
https://t.me/uxread/122 Cally.ru - русскоязычный аналог Calendly для автоскедулинга интервью
https://t.me/uxread/8 Как Mesosphere (b2b) настроили процесс ежеденедельных UX тестирований без выделенного исследователя
https://t.me/uxread/46 Tomer Sharon угорел по nocode и автоматизировал все процессы исследований, какие можно (рекрут, sheduling встреч, составление отчётов)
#ResearchNocode
#Bases

Написал про technology acceptance model - как устроена модель, как с помощью опросника предсказывать adoption фич до запуска, и насколько это валидно
https://bit.ly/3hoCGYs

Пару фактов вынесу сюда:
1) В 2019-м вышло метаисследование (обзор 114 работ) на тему того, что TAM предсказывает использование цифровых технологий учителями.
2) Для бизнес систем TAM позволяет объяснить от 15 до 60% использования.
3) Athenahealth с 17-го года используют опросник для concept validation - скоринга фич на этапе концептов. Опрос позволяет прореживать баклог и отсекать нерелевантные для пользователей функции.
4) Хотя все говорят, что спрашивать об использовании напрямую нельзя, во многих исследованиях attitude toward adoption (замеренный опросником) довольно здорово коррелирует с реальным adoption в будущем.
____
Другие забавные методы:
https://t.me/uxread/89 Как проводить Кано
https://t.me/uxread/130 UX curve как опыт исследования опыт в динамике, дешёвая замена дневников
https://t.me/uxread/57 Как Superhuman научились оценивать достижение product-market fit опросником
Больше методов исследований #Methods
Больше "околонаучных" заметок #Science

Скоро дочитаю Ульвика и сделаю нормальный пост про desired outcomes и инновации, а пока вот заметка имени Деминга про то, как оценивать компетенции и нанимать https://bit.ly/3iNtTkh