Королёв про всё остальное (ex UX Research)
2.12K subscribers
56 photos
108 links
Download Telegram
Ещё хорошее, он даёт понятный фреймворк для планирования исследований, начиная с конца.

1. Deluverable. Какой выхлоп я хочу получить? Какую проблему решить?
2. Data. Какие данные мне для этого нужны?
3. Methods. Какие методы для этого подходят?
4. Sample. Каких людей опросить?

Это кажется тривиальным, но фреймворк может помочь объяснить, например, заказчикам, как именно мы планируем исследование и почему.
Shopify и Airbnb про близость к бизнесу и переход к стратегическим исследованиий
Недавно наткнулся сразу на несколько статей о том, как исследователи пытаются "выйти из лабораторий в бизнес". В больших компаниях (airbnb, ibm, intercom) ux-research отделы пытаются избавиться от репутации ребят, которые проводят какие-то там тесты для дизайнеров в своей лаборатории, и находят все больше возможностей влиять на культуру организации, продуктовую стратегию и выступать в роли лидеров при создании продукта.
Вот пара примеров:
https://www.shopify.com/careers/ux-research-lead-core-product-3f9e27
Вакансия старшего ux-исследователя в shopify в Канаде. Во-первых в ней хорошо описаны требования к специалисту, можно брать себе, а во-вторых, они прямо пишут, что фокус не только на тактические исследования и, в принципе не только на исследования, а на изменение культуры: "We also work on broader internal initiatives to cultivate empathy throughout Shopify (e.g. accessibility demos, employee field trips to Shopify stores, merchant Q&A panels)."

https://youtu.be/rhpB8sgEboU
Самый яркий, наверное, пример - стендап от head of research в airbnb о том, почему исследователь должен и может влиять на стратегию, и как ему это делать.
___
https://t.me/uxread/11 - руководитель исследований Lyft на ту же тему
Роль стыда и заботы о себе в работе UX исследователя
Все говорят, что soft skills и для менеджеров, и для исследований важнее всего, с другой стороны, конкретных статей на эту тему мало, всё больше расплывчатые рассуждения о том, что эмпатия - это очень важно.

Вот редкое (хотя и странненькое) исключение - статья про роль стыда в работе ux-исследователя https://uxdesign.cc/ethics-power-understanding-the-role-of-shame-in-ux-research-dafc08bd1d66
Основные идеи:
1. У многих из нас в процессе работы возникают мысли, что мы недостаточно компетентны, организованы и умны, и эти мысли заставляют нас чувствовать стыд. Причем не просто "я завалил эту сессию исследования", а "я ужасный исследователь, шеймшеймшейм".
2. Задача исследователя - создавать безопасное и комфортное пространство, для респондентов, в котором они смогут раскрываться и свободно давать обратную связь, а с другой стороны создавать безопасное пространство для продуктовой команды, в котором она сможет безболезненно принимать критику в виде результатов исследований. Создание такой среды - профессиональный навык (сюда же "broader internal initiatives to cultivate empathy" из вакансии Shopify).
3. Если человек чувствует стыд, он реагирует одним из трёх способов: нападает на себя или других (и разрушает безопасную среду), отмораживается и уходит в себя, или становится супер критичным перфекционистом (и опять разрушает безопасную среду). Респонденты и участники команды тоже чувствуют себя с ним менее комфортно, результаты исследований беднее, и доносятся они хуже.
4. Поэтому важно отслеживать моменты появления стыда, следить за эмоциональной нагрузкой после сложных сессий и проектов, не бояться обсуждать это всё внутри команды и вообще обращать на это внимание.

Статья как будто немного с перекосом в хиппи эмпавермент ньюэйдж, но это редкая статья на важную тему.
____
Ещё по теме:
https://t.me/uxread/79 Инди Янг про хейт спичи на исследованиях и разные виды эмпатии, которые может проявлять исследователь
Deliveroo про полевые исследования у людей дома
https://medium.com/deliveroo-design/researching-with-products-destined-for-use-in-noisy-contexts-9e9fd1046108
Ребята из deliveroo (доставка еды из ресторанов) рассказывают, как сделать исследования более реалистичными.
1) Они поняли, что люди часто заказывают еду в компании, и это отдельный совершенно сценарий. Поэтому попросили каждого респодента привести 5 друзей, поставили в лаборатории диванчик и включили нетфликс. На выходе узнали, что люди могут выбирать ресторан по пол часа, и в итоге тащат жребий, чтобы понять, кто заказывает сегодня.
2) Часть исследований проводили дома. Пишут, что, например, проверять экран отслеживания заказа в лаборатории плохо, потому что человек должен быть голодным и злым. Приходили домой. Там есть трогательный кусочек о том, что "watching customers use the delivery estimate to decide when to heat their plates in the oven or when to give their children a bath showed the team how important clear order tracking information really is."
___
Ещё по теме:
https://t.me/uxread/36 как gov.uk тестируют понятность текстов с помощью highligther testing (маркерных тестов) (хайлайтер тестинг)
https://t.me/uxread/47 Google в 2011 поменяли поисковую выдачу на основе experience sampling (и это опять был Tomer Sharon)

Больше примеров необычных исследований #Cases
Ребята из Playstation тестируют VR игры
А вот два доклада от ребят из playstation про тестирование игр в VR
https://youtu.be/_tu7D7F-eXk

Показали лабораторию, рассказали о процессе рекрута и особенностях самого исследования.
Из забавного, у игр на vr часто есть проблема simulator sickness, людей в шлемах укачивает. Эта simulator sickness - отдельная метрика для таких продуктов, за которой нужно следить отдельно, и они оценивают её с помощью опросников, разработанных для оценки симуляторов полётов в ещё до VRные времена.
А и ещё A/B тесты очень дорогие.
____
Ещё по теме:
https://t.me/uxread/57 Как Superhuman научились оценивать достижение product-market fit опросником
https://t.me/uxread/110 Люк Вроблевски (Google) c примером RITE исследований для интеративного быстрого улучшения продуктов
https://t.me/uxread/30 как Mozilla исследовали использование закладок в браузере, запрещая ими пользоваться (и про то, как люди сохраняют нужную им информацию в интернете)
Больше нетипичных исследований #Cases
Фреймворк FAST или как Zoe Dimov за неделю сделала проект для британского правительства
https://www.smashingmagazine.com/2018/05/fast-ux-research/
Это статья особенная, и у меня было для неё две затравки.

Во-первых, она о том, как заставить заказчиков сделать половину работы по исследованию самим. В ней описан фреймворк, который позволяет решить вечную проблему - вовлечь в исследования продуктовую команду, что позволяет делать сложные исследования в два раза быстрее, быстрее внедрять изменения по результатам, и в целом быстрее внедрять культуру исследований в компании.

А во-вторых она о том, как один исследователь попал в ад. Его (на самом деле её, Zoe Dimov) наняли в central UK government department, чтобы определить user requirements for a very complex internal system. Он никогда не работал с командой раньше, команда никогда раньше не работала с ux исследователями в принципе, все стейкхолдеры супер занятые, ничего не понятно, ааааа. И у него была неделя на проект. И он смог.

Пересказать это в нескольких пунктах сложно, выделю, как всегда, новое для меня.
1. Все говорят, что важно завлекать стейкхолдеров на само исследование. Но сидеть в тёмной наблюдательской скучно, и уже через пол часа все отвлекаются на телефон. В статье предлагаю выделить три типа активности для наблюдателей на каждую сессию - задавать доп вопросы в специальном чате, клеить стикеры с находками по ходу сессии, и суммировать находки по итогам. И назначать ответственного за каждую активность, ответственных менять.
2. В конце каждой сессии, в конце дня и в конце всего исследования проводить суммирование результатов с командой. Важно - это должен делать участник команды, которого вы назначили ответственным, исследователь только направляет и добавляет от себя. По итогам к концу исследования у вас уже есть список наблюдений и проблем, сформированных командой, и валидированный вами. На презентации вы не сообщаете ничего нового, и люди гордятся и топят за исследования, ведь они сами это выделили и нашли.
3. Решения тоже создаются командой - собираете воркшоп, команду делите на маленькие группы, каждая группа должна нагенерить решения, на выходе продакт получает много решений, согласованных в команде.

Что в итоге - ощутимую часть работы делают стейкхолдеры, они же по ходу становятся евангелистами исследований, и с большей готовностью принимают формулировки проблем и рекомендации (потому что это они их сами сформулировали). Удобно.
___
Ещё по теме:
https://t.me/uxread/17 Google Ventures про свой Research Sprint фреймворк (тоже тестирования без исследователя, тоже за неделю)
https://t.me/uxread/35 Airbnb реализуют FAST - вовлекают команду в исследования, заставляя наблюдателей писать протокол самостоятельно (модерация backroom)
Больше про способы организации исследований #Processes
А это плакат с описанием того, что должны делать наблюдатели во время сессий, предлагают вешать в наблюдательской.
Аня Булдакова про то, какие исследования менеджер может делать сам, а для каких нужен исследователь
https://goo.gl/q21qUv
Аня Булдакова разделяет способы получения обратной связи от пользователей на две группы: "базовое общение с пользователями" - это то, что менеджер может сделать сам, быстро и без больших затрат: чтение логов поддержки, переписка со sponsor users в чате и "полноценные исследования" - юзабилити-тестирования, включенные наблюдения итд. Они уже требуют лаборатории, ресурсов и квалификации.
"Базовое общение" как стетоскоп в работе врача - не всегда даёт достаточно данных, зато всегда под рукой. "Полноценные исследования" как ретген - более дорогие и длительные, не всегда нужны, зато позволяют разобрать более сложные случаи.

Почему это разделение кажется мне полезным:
1) Если исследований нет вообще, то можно начать внедрять их с "базового общения" и с него постепенно переходить к полноценным исследованиям. Это то, с чего может начать, например, консультант по исследованиям.
2) Исследователи часто видят свою задачу в том, чтобы проводить "полноценные исследования". Но я думаю, что у них также есть задача подсаживать менеджеров на "базовое общение" и учить их смотреть в логи поддержки, общаться с ключевыми пользователями итд, если продакты почему-то этого не умеют.
3) И ещё одна из задач исследователя или менеджера исследований, на мой взгляд, делать "полноценные исследования" базовыми, то есть создавать процесс и инфраструктуру, которые позволят делать полноценные исследования быстрее, дешевле, и доступней, создавать "компактный ретген". Тут тебе и удалённые исследования, и способы быстрого рекрута, и fast фреймворк из прошлой статьи, и готовые шаблоны сценариев и отчётов, которые позволяют менеджерам самим модерировать.
___
Ещё по теме исследований без исследователя:
https://t.me/uxread/8 Как Mesosphere (b2b) настроили процесс ежеденедельных UX тестирований без выделенного исследователя
https://t.me/uxread/17 Google Ventures про свой Research Sprint фреймворк (тоже тестирования без исследователя, тоже за неделю)
Как Mozilla исследовали использование закладок в браузере, запрещая ими пользоваться
https://blog.mozilla.org/ux/2012/10/save-for-later/
Статья 12-го года, и всё равно крутая: исследователь mozilla изучал, как люди сохраняют интересные материалы на потом, и как ним возвращаются, чтобы сделать в файрфоксе удобные закладки. Редкий наглядный пример exploratory study, когда исследуют не готовый интерфейс, а поведение, чтобы придумать интерфейс под него.

Из интересного:
1) Он сделал bookmark deprivation: просил людей на протяжении дня сохранять нужную им информацию и возвращаться к ней без использования закладок, и описать свой опыт. Классная идея, попросить клиентов выполнить работу, для которой обычно используют ваш продукт, без самого продукта. Я никогда такого не делал, и теперь хочу.
2) В целом же обычное дневниковое исследование: он просил людей несколько дней отмечать, что, когда и почему хочется сохранить, и также почему и когда хочется к сохраненным материалам вернуться, потом заполировал это интервью и веб-аналитикой.
3) Ещё классно, на интервью после дневников люди делали карточную сортировку своих же дневниковых заметок - выделяли общие триггеры для сохранения и возвращения к информации, контекст и все такое. Никогда не думал, что часть обработки дневников можно переложить на респондента, очень удобно :)
4) На выходе получил карту того, как люди сохраняют нужную информацию в интернете. "Внезапно" самый популярный способ - прислать мне ссылку по почте. И ещё карту того, что люди делают с сохраненным софтом на разных устройствах. Спустя шесть лет выглядит все ещё убедительно.
___
Другие забавные исследования:
https://t.me/uxread/36 как gov.uk тестируют понятность текстов с помощью highligther testing (маркерных тестов) (хайлайтер тестинг)
https://t.me/uxread/82 Как headspace повышали вовлечённость по habit formation loop (по пути проведя опрос и дневники)
https://t.me/uxread/23 - Deliveroo про полевые исследования у людей дома
Больше по тегу #Cases
Майкл Марголис из Google Ventures написал статьи по исследованиям для начинающих
https://www.stitcher.com/podcast/inside-intercom-podcast/e/51156336?autoplay=true
Послушал интеркомовский подкаст с Michael Margolis, исследователем из Google Ventures, я выкладывал его фреймворк для планирования исследования "start at the end" выше, а тут словил ещё несколько деталей.
1) В GV около трёхста компаний, и он - единственный постоянный исследователь там. Поэтому он знает, как работать очень, очень, очень быстро.
2) Половину времени Майкл (Майкл? Мишель?) делает исследования сам - около 50 проектов в год (неделю на проект в рамках research sprint, который он тоже хорошо описывает), половину учит людей проводить самостоятельно. Каждую неделю есть office hours, когда ребята могут пройти к нему и вместе подумать дизайн исследования. Часть про обучение не менее важна.
3) Одна из фишек, спрашивать не "когда вам нужно это исследование" (всем нужно было ещё вчера), а "когда последний день, когда я могу дать результаты, так, чтобы они ещё были полезны". Кроме более реалистичной оценки сроков это заставляет команду заранее думать о том, зачем они делают исследование, и как будут использовать результаты.
4) Он собрал маленькую библиотеку статей про lean ux research http://www.gv.com/library/, подчеркивает, что это не для взрослых исследователей, а для начинающих стартаперов, но статью о "Rapid user research: how to survey 400 users and interview 10 in three days" я все равно прочитаю и перескажу, если она ок.
5) А, ещё он много рекрутит через крейглист. Стоит ли рекрутить через авито/юду?

От себя добавлю, что всё чаще слышу запрос от дизайнеров "научите нас тестировать, дайте нам шаблоны артефактов и помогите все придумать, проведём мы сами" , поэтому эти его статьи весьма в кассу.
___
Ещё про исследования для начинающих:
https://t.me/uxread/29 - Аня Булдакова про то, какие исследования менеджер может делать сам, а для каких нужен исследователь
https://t.me/uxread/17 Google Ventures про свой Research Sprint фреймворк (тоже тестирования без исследователя, тоже за неделю)
https://bit.ly/3iUF9vo Эмилия Городовых из Контура про то, как провести исследование самому
#Processes
Airbnb вовлекают команду в исследования, заставляя наблюдателей писать протокол самостоятельно
https://airbnb.design/moderating-the-back-room/
Airbnb пишут про модерацию back room. Так они называют комнату, из которой наблюдатели следят за исследованием, давайте назовём её обсерваторией (это ведь лучше, чем наблюдательская). Что говорят в Airbnb:
- Не услышанное исследование не считается сделанным (Research that doesn’t get heard, didn’t happen), поэтому от того, как заказчики наблюдают за исследованием зависит так же много, как от исследовательской части в самой лабе.
- Это значит, что поведение наблюдателей в back room/обсерватории тоже нужно модерировать, и для этого тоже нужен сценарий.
- Сценарий, который предлагают airbnb прост, изящен и похож на кусочек FAST подхода (https://t.me/uxread/27): вы вместе с заказчиками перед началом исследования выписываете ключевые вопросы/гипотезы исследования на реальную или виртуальную доску. В виде таблички: строки - вопросы, столбцы - респонденты. Во время исследования наблюдатели выписывают замечания по каждой из гипотез на стикер и приклеивают в табличку, т.е. по сути сами заполняют качественный протокол.
- Как и в FAST в конце каждой сессии и каждого дня вы выделяете минут десять и обсуждаете/добавляете наблюдения.
- К концу исследования у вас есть качественный протокол, сделанный вместе с заказчиками, который вы уже несколько раз обсудили.
___
Ещё про вовлечение заказчиков и респондентов:
https://t.me/uxread/27 это по сути реализация FAST фреймворка от Zoe Dimov
https://t.me/uxread/17 у Google Ventures есть свой Research Sprint - тестирования за неделю с сильным вовлечением заказчиков
https://t.me/uxread/30 Mozilla частично отдали обработку результатов самим респондентам
#Processes
👍1
Как gov.uk тестируют понятность текстов с помощью highlighter testing (маркерных тестов)
Ребята из gov.uk предложили интересный способ тестирования контента (предложили ещё 4 года назад, но я то не знал): https://userresearch.blog.gov.uk/2014/09/02/a-simple-technique-for-evaluating-content/

Для меня исследование текстовых интерфейсов - большая боль, я часто сталкивался с запросами на тестирование лендингов, смс, текстов договора, интерфейсных подсказок и всего такого, и всегда казалось, что юзабилити-тестирования дают маловато фидбека и не помогают редактору написать хороший текст (и ощущаются как-то нелепо).

Этот способ называется Highlighter testing, и он лучше:
- Кусок текста распечатывают на бумаге (во всех описаниях метода подчёркивается, что надо печатать, а не с экрана, но думаю, это не так важно)
- Просят респондента разными цветами разметить слова и фразы, которые вызывают разную эмоциональную реакцию. В данном кейсе оценивали доверие сервису, поэтому просили зеленым маркером пометить слова, которые повышают доверие, и красным - те, что снижают. На деле признаки могут быть другими, можно добавить маркер для непонятных слов, для раздражающих слов, суть одна.
- Прогоняют несколько респондентов и строят общую цветовую карту, которая позволяет лучше понять язык, который понятен и удобен для клиентов.
- В комментариях есть лайфхак - прогнать такое исследование сначала на заказчиках, а потом на клиентах. Во-первых само задание заставляет заказчиков думать о тексте по-другому, а во-вторых цветовые карты заказчиков и клиентов интересно сравнивать, так как наглядно виден разрыв между ними.
___
Другие забавные исследования:
https://t.me/uxread/47 Google в 2011 поменяли поисковую выдачу на основе experience sampling (и это опять был Tomer Sharon)
https://t.me/uxread/23 - Deliveroo про полевые исследования у людей дома
https://t.me/uxread/89 Как проводить Кано
https://t.me/uxread/41 как парные юзабилити-тестирования (с двумя респондентами одновременно) позволяют глубже понять ментальную модель пользователя
Больше кейсов #Cases
Больше методов #Methods
Светлана Ратнер из Контура про рекрут b2b пользователей по конкретным темам через почту для обратной связи
Светлана Ратнер из Контура рассказала о том, как находит замотивированных и релевантных респондентов для исследования.
(Отдельное спасибо Руслану Крючкову за организацию митапа и и запись с него).
- у Контура есть "юзер эхо" - почта, куда каждый клиент может написать свои впечатления или вопросы.
- когда нужно больше узнать о конкретном сценарии или исследовать прототип нового решения, Светлана находит релевантные отзывы в почте юзер эхо (как я понял, просто поиском по ключевым словам), и связывается с теми, кто их оставил (в форме обратной связи есть контакты).
- для клиента это выглядит не как исследование, а как сеанс персональной техподдержки - ему помогают решить проблему или рассказывают лучший способ решить задачу, а заодно расспрашивают о работе с продуктом и обсуждают с ним возможные варианты нового решения (тестируют прототип).
- такое исследование может дать более полные результаты, чем обычное "представьте, что вы оказались в такой ситуации...", респондентам важна проблема и они больше вовлечены в исследование, хотя результаты могут быть скошенными (в форму обратной связи пишут не все).

Я это к чему, большинство компаний, особенно больших, завалено обратной связью. Отзывы от продаж, тикеты поддержки, регулярные опросы клиентов, комментарий того парня на реддите, отзывы в Фейсбуке и ВКонтакте, отрывки личных бесед продакта с клиентами, всё это раскидано по разным табличкам, презентациям и письмам, и до дизайнера, например, доходит не всегда. Как это нормально исправить, насколько я знаю, никто пока не придумал, но можно начать хотя бы с рекрута - следующий раз, когда будете тестировать сценарий, попробуйте собрать у SMM, саппорта и продаж контакты людей, которые оставляли отзывы на релевантную тему (иногда отзывы можно найти полнотекстовым поиском по ключевым словам в их базе).

https://youtu.be/Mj6dG_cRJXY
___
Ещё про рекрут:
https://t.me/uxread/4 Как рекрутить респондентов через фейсбук
https://t.me/uxread/15 - IBM про рекрут sponsor users для кодизайна в b2b
https://t.me/uxread/46 Томер Шарон про автоматизированный рекрут в WeWork
https://t.me/uxread/60 Как Athenahealth (b2b, it системы для больниц) перекроили весь процесс дизайна
https://t.me/uxread/39 - процессы исследований в Atlassian

Больше про рекрут по тегу #Recruitment
Больше про b2b исследования по тегу #b2bResearch
Mailchimp сделали базу инсайтов о пользователях в Evernote в 2013-м году
На самом деле конечно есть системы для централизованного сбора обратной связи из кучи каналов, например https://nomnominsights.com, но одно дело инструмент, а другое - налаженные процессы, которые позволяют всё это поддерживать в нормальном состоянии, не превратить систему тегов в кашу, и не забывать использовать при работе над продуктом.

Mailchimp сделали базу инсайтов о пользователях в Evernote в 2013-м году когда-то (в 13-м году) писали, что у них такое есть, база фидбека хранится в Evernote (не шучу, так и пишут), и все ей пользуются, пополняют и купаются в чистом полезном юзер фидбеке, но что-то я не знаю.
___
Ещё про базы инсайтов
https://t.me/uxread/96 база инсайтов Майкрософт
https://t.me/uxread/44 Tomer Sharon из WeWork первым сделал базу инсайтов на Airtable, на которую мы все теперь равняемся
https://t.me/uxread/127 как мы в Acronis вели базу 2 года, и почему разочаровались
https://t.me/uxread/118 что класть в базу инсайтов, а что - нет
https://t.me/uxread/148 полнотекстовые транскрипты интервью через связку zoom+otter как замена базе инсайтов
#Bases
Процессы исследований в Atlassian
Во-первых статья о том, как проводят UX-исследования в Atlassian (ребята, которые делают Jira и Confluence).
Всё как у людей:
- тестируют каждую фичу на прототипах
- до прототипах валидируют на интервью: "Prototyping actually comes quite late in the process for us, once we’ve validated a solution, and we’ve got a clear idea of what we want to do".
- делают быстрые итеративные исследования
- организуют воркшопчики с клиентами (стикеры, вайтборды, кодизайн, вот это всё).

Я всё надеюсь, что ссылка на джиру примирит с исследованиями самых лютых скептиков (тем более, что ощутимая часть продактов вышли из разработки и любят джиру нежной любовью), но пока не проверял.
https://www.justinmind.com/blog/how-atlassian-took-over-enterprise-software-qa-with-senior-ux-researcher/
____
Про процессы в других компаниях:
Mesosphere https://t.me/uxread/8,
LinkedIn https://t.me/uxread/121,
Spotify https://t.me/uxread/104,
Facebook https://t.me/uxread/71,
Ableton https://t.me/uxread/123,
Lyft https://t.me/uxread/11
IBM https://t.me/uxread/13 (чуть невнятно)
Больше про исследования в компаниях #Companies
Отдельно про b2b #b2bResearch