В Usethics написали о клик-тесте скриншотов (First Click Test).

Удалённое немодерируемое юзабилити-тестирование — простой способ проверить идею интерфейса. Но без участия модератора респондент не узнает об ограничениях прототипа и качество исследования будет зависеть от его реалистичности.

Вместо интерактивного прототипа можно тестировать скриншоты. В этом случае респондент без пояснений понимает, что работает с идеей будущего интерфейса.

Процесс взаимодействия надо разбить на задачи, выполняемые в один или 2−3 клика. Обычно результат — карта кликов для каждого экрана.

Такое исследование проще организовать: не нужен прототип, меньше требования к респондентам и инструменту тестирования.

Важно:
— Чтобы изображения были хорошего качества;
— Добавить экраны, которые вы не тестируете, но которые помогают респондентам понять процесс взаимодействия.

Ограничения:
— Не всегда можно увидеть клик каждого пользователя;
— Трудно понять, почему пользователь совершил то или иное действие (спрашивать после каждого клика так себе способ);
— Разные инструменты тестирования по-разному отрабатывают клик и не дают это настроить. Например, в Фабузе респондент после клика переходит на следующий шаг.

#user_testing

Тимофей Контанистов (в фамилии опечаток нет) написал об использовании Яндекс Толоки для тестирования интерфейсов.

— Когда дизайнер несколько недель подряд работает над одним и тем же макетом, у него замыливается глаз;
— Иногда сложно выбрать один вариант дизайна, а проводить всё через AБ-тестирование — долго и дорого;
— Практически нет инструментов для анализа результатов Толоки, сортировать и оценивать ответы приходится вручную. Нужны навыки работы с таблицам;
— С другой стороны, нет ограничения по типу заданий. Пользователям можно предложить всё: от сравнения двух текстов до похода в магазин и проведения контрольной закупки;
— Не подходит для тестов в узких сферах. У сервиса широкая целевая аудитория, на которой удобно проверять массовые продукты и сервисы;
— Можно сочетать с другими сервисами. UsabilityHub даёт классные возможности по аналитике, но аудитория там англоязычная, а тесты — дорогие. Можно создать тест в бесплатной версии UsabilityHub, а через Толоку привести туда пользователей;
— Четыре вида тестов на Толоке: 1) side-by-side, сравнение двух вариантов, 2) first click, 3) five second test, что пользователь успевает увидеть и понять за несколько секунд, 4) тест на понятность;
— Перед запуском на большую аудиторию проверяйте понятность вопросов на небольшой аудитории;
— Есть пользователи, которые не вникают в задания. Для борьбы с ними можно: 1) использовать ловушки для читеров, 2) добавлять вопросы, на которые нельзя ответить не подумав, 3) собирать базу проверенных респондентов, 4) увеличивать количество респондентов;
— Проведение тестов прокачивает дизайнера: развивает критическое мышление, учит задавать больше вопросов и не принимать первое решение как единственно верное.

#user_testing

Роман Местер написал о коридорном тесте.

— Он помогает найти мешающие пользователям ошибки дизайна и неучтённые сценарии, узнать, как пользователи воспринимают дизайн;
— Не позволяет определить, какой вариант дизайна лучше;
— Прототип может быть линейным. Подходит для проверки онбординга, простых фич без сложного взаимодействия;
— Нелинейный прототип имитирует полноценное взаимодействие с интерфейсом. Подходит для тестирования навигации, работы фильтров, сценария (или даже нескольких) и взаимодействия с продуктом в целом;
— Чем реалистичнее прототип, тем больше инсайтов можно получить;
— В начале теста надо задать контекст (рассказать легенду), но не стоит говорить, что именно вы тестируете;
— Обычно достаточно 3–5 тестов, чтобы выявить основные проблемы;
— Спрашивайте респондента: что он видит (станет понятно, как он воспринимает интерфейс и понимает ли, где находится), что понимает, что хочет сделать (чтобы избежать беспорядочного кликания на всё подряд).

#user_testing

Кейт Моран написала о пользовательском тестировании контента.

— Исследователь должен хорошо знать контент. Не надо быть экспертом, например, в сложных финансовых инструментах, но надо примерно понимать, что читают респонденты;
— Лучше проводить модерируемые тесты. Респонденты сравнительно много времени просто читают в тишине. Без модератора они могут почувствовать себя неловко, решить, что в их работе мало толка, и отнестись к задачам поверхностно;
— Также модератор может задать уточняющие вопросы вроде «Я заметил, что вы колебались по поводу этого пункта, не могли бы вы рассказать, о чем вы думали?»;
— Или спросить «Представьте, что человек сказал вам эти слова. Кем бы он мог быть? Как бы он выглядел или вёл себя? Какая у него была бы работа?», чтобы респондент таким образом описал тон текста;
— Не используйте слово «контент» при общении с респондентами;
— Тестировать контент надо на тех, для кого он написан. В отличие от исследования интерфейса, респондент не должен представлять, что находится в той или иной ситуации, например, что ему надо узнать о неходжкинской лимфоме. Это, конечно, усложняет поиск респондентов;
— Подготовьте для теста общие задания, но будьте готовы адаптировать или создавать новые во время исследования по мере того, как будете узнавать больше о ситуации участника;
— Также можно обсудить его ситуацию в начале сессии или на предварительном собеседовании, чтобы убедиться, что сценарий тестирования будет ей соответствовать;
— Чтобы оценить качество и актуальность контента, используйте открытые вопросы, у которых нет окончательного ответа.

In English. #user_testing #writing

Кирилл Шерстобитов написал о тестировании User Flow продукта.

Если продукт уже работает:

— Можно дать респондентам задание и по итогам прохождения задать вопросы из анкеты оценки юзабилити (System Usability Scale). Полезно таким же способом проверить конкурентов и сравнить результаты. Опрос даёт количественные оценки и прямую речь респондентов;
— Провести удалённое немодерируемое тестирование. Респонденты выполняют задание под запись экрана, а потом дают обратную связь. Тестирование помогает увидеть, с какими проблемами сталкиваются люди, но не позволяет уточнить у них непонятные моменты;
— Провести модерируемое тестирование. Интервьюер очно или удалённо наблюдает за респондентом и может задать уточняющие вопросы. Более трудоёмкий способ, требующий определённой квалификации.

Если продукт ещё в разработке, для каждого шага сценария можно провести First Click Test: показать дизайн или эскизы респондентам, дать задание и посмотреть, куда они нажмут. Тест даёт количественные данные, можно понять, какой шаг вызывает затруднения.

#userflow #user_testing

В KISLOROD написали, почему не стоит бездумно внедрять «лучшие практики».

— Лучшие практики — проверенные экспериментами и временем решения, применяемые лидерами рынка;
— Соответствующие эксперименты проводились конкретными компаниями (со своими категориями товаров и целевыми аудиториями) в определённое время для достижения своих задач;
— С тех пор могли пройти годы и сложиться новые паттерны поведения, категории товаров и целевые аудитории могут сильно отличаться, лидеры могли провести свои эксперименты неправильно или вовсе не отслеживать эффективность отдельных решений;
— Людям свойственно вести себя так же, как ведут себя остальные люди в группе. Также мы подвержены влиянию авторитета (эксперимент Милгрэма);
— Надо внедрять CRO — стратегию оптимизации конверсии — системные действия для улучшения покупательского опыта и увеличения важных показателей бизнеса;
— Этапы работ: сбор данных, анализ, формирование гипотез и подготовка плана оптимизации, тестирование, внедрение. Так снижается вероятность бесполезных изменений;
— Также надо собирать базу практик, показавших хорошие результаты на вашем проекте. Вы знаете, насколько они актуальны, у вас накапливаются гипотезы с высоким шансом на успех в похожих проектах;
— Не забывайте о размерах выборки и сроках проведения экспериментов.

#user_testing

Александр Кочеванов написал о немодерируемом тестировании.

— Такое тестирование позволяет выявить проблемы предлагаемого интерфейсного решения, подтвердить или опровергнуть гипотезы до того, как разработчики это решение реализуют;
— Провести его можно после подготовки первой версии дизайна;
— Процесс состоит из а) подготовки прототипов к тестированию, б) составления вопросов для респондентов, в) запуска на специальной платформе, г) обработки результатов, д) составления отчёта;
— Платформы: Userfeel, Loop11, Hotjar, UserZoom, UserTasting, Usability Hub, Maze, Marvel;
— Прототипы лучше делать как можно более полными. Например, кому-то из респондентов удобнее график, кому-то таблица, и лучше, если прототип даст возможность выбрать удобный вариант отображения;
— Перед запуском проверьте прототипы и вопросы на коллегах, чтобы выявить ошибки;
— Проведите тест сначала на части респондентов из запланированных, чтобы найти и исправить первые проблемы. Затем можно сосредоточиться на остальном;
— Начинайте тест с вводной, которая погрузит респондента в контекст. Разместить её можно на первой странице прототипа (с кнопкой «Начать исследование»), чтобы возможности платформы по оформлению текста вас не ограничивали;
— Старайтесь использовать реальный контент вплоть до актуальной текущей даты;
— Попросите респондентов озвучивать всё, что они видят и думают. Особенно, если они сталкиваются с трудностями;
— Подумайте, что может пойти не так и подготовьте респондентов. Например, расскажите, как перезагрузить прототип, если произошёл сбой;
— Просите отвечать на вопросы вслух, а не письменно, чтобы не тратить на это время;
— Используйте скрининговые тесты, чтобы отфильтровать участников, которые вам не интересны;
— Просите оставить контакты, чтобы можно было обратиться в следующий раз к тем респондентам, кто показал себя ответственным и ориентированным на результат.

#user_testing #unmoderated #process

Лена Бородина написала о методике тестирования 5 Second Test.

— Методика подойдёт, если надо оценить только восприятие дизайна (а не всего опыта взаимодействия), есть только стилеобразующие экраны и нет времени на тестирование методиками нейромаркетинга;
— Респондент смотрит на макет 5–10 секунд, а затем оценивает и описывает внешний вид продукта, выбирая прилагательные из списка или подбирая их самостоятельно;
— Если респондент сам подбирает прилагательные, их набор ограничен словарным запасом, но есть возможность услышать неожиданные варианты;
— Удалённо провести тест можно в сервисах UsabilityHub и Five Second Tests;
— Данные респондентами характеристики можно разделить на положительные, отрицательные и нейтральные и понять, как они восприняли дизайн в целом;
— Также можно оценить частоту использования разных прилагательных, подумать о причинах и доработать макеты.

#user_testing

Екатерина Бессчётнова написала о подготовке прототипа для пользовательского тестирования.

— Прототип строится вокруг сценария тестирования — вопросов и заданий, предлагаемых респондентам;
— Задания следуют из гипотез. Гипотеза: при подборе товара людям неудобно использовать фильтр по цене. Задания: подберите товар Х удобным способом; подберите товар Х не дороже 10 рублей;
— Продумайте точки входа в тестируемый сценарий, чтобы он не начинался для пользователя внезапно;
— Отобразите все граничные случаи, с которыми пользователь может столкнуться, например, сообщение об ошибке, если заполнены не все поля. Страницу с 404-й ошибкой добавлять не надо;
— Добавьте максимум путей решения задачи, чтобы увидеть, куда пользователи на самом деле пойдут, и сравнить эффективность главного и второстепенного пути;
— Добавьте ошибочные пути, чтобы не было гарантии, что все респонденты выполнят задания. Так можно узнать, когда они заметят ошибку и как будут её исправлять. Активны должны быть не все развилки, а только вызывающие сомнения;
— Проработайте не только линейный путь вперёд по сценарию, но и способы вернуться назад;
— Чем ближе прототип к финальному продукту и реалистичнее взаимодействие с элементами интерфейса, тем лучше: визуальные акценты, реалистичный текст и релевантный контент, соответствие тону голоса и так далее;
— Если пользователи должны вводить данные, поля должны быть активны и не заполнены. Если это не прототип в Axure, поля можно заполнять по нажатию. Проверьте, что контент адекватен выполняемому заданию;
— Скройте отображение кликабельных областей и, насколько возможно, служебный интерфейс прототипа;
— Некликабельные элементы, с которыми предположительно могут взаимодействовать респонденты, должны реагировать на наведение курсора и, например, приводить к изменению курсора;
— Учитывайте разрешение устройства, на котором будет проходить тестирование;
— Перед тестированием на респондентах, проверьте прототип внутри команды.

#prototype #user_testing

Анна Дегтева написала о проектировании голосового помощника.

— 2 типа запросов: сервисный и поболтать. Важно их не перепутать: представьте, вы хотите включить свет, а голосовой помощник начинает шутить;
— Если она вас не понял, задача сводится к «поболтать» — сгладить коммуникативный провал и рассказать, как избежать его в будущем;
— В 1950-м Алан Тьюринг предположил, что в 2000-м компьютер сможет 5 минут выдавать себя за человека в разговоре с 30% респондентов;
— Это смог чатбот Eugene Goostman, у которого была удачно выбранная личность: 12-летний мальчик из Одессы. Когда диалог на английском, иностранец и ребёнок может ошибаться, чего-то не знать и не понимать;
— Избежать ошибок нельзя, но можно сделать так, чтобы пользователи чаще их прощали;
— Имитация некоторой свободы воли превращает диалогового агента в личность: «Я с ней стал заигрывать, а она меня послала!»;
— Чтобы человек поверил в имитацию связного диалога, нужны: раппорт, эмоциональная поддержка («Ты великолепен!»), совместная деятельность (вербальные игры);
— Раппорт — ощущение, что вы на одной волне. Можно показать, что вы принадлежите одной культуре: читали одни книжки и так далее;
— Как рассказать о характере голосового помощника, когда никто не спрашивает? Обычно легенду зашивают в группу вопросов «Расскажи о себе» (сколько тебе лет, что любишь), но люди редко задают такие вопросы. Характер можно раскрыть при обработке непонимания, агрессии и троллинга, при эмоциональной поддержке;
— Не думайте, что интуитивно понимаете, что такое живая беседа. Поможет социолингвистика, антропология, психология общения;
— Вечерняя фраза «Уже так поздно, ляг, поспи!» от голосового устройства для взрослого — проявление заботы, для ребёнка — повод для обиды;
— При тестировании на детях учтите, что они думают дольше, чем вы заложили на ожидание ответа;
— Хорошо показал себя визуальный сигнал о состоянии системы: устройство ждёт ответа, обрабатывает запрос, что-то пошло не так. Дети за 15 минут научились эти сигналы учитывать: «Нет-нет, сейчас он слушает»;
— Тестировать диалоги лучше в голосовом, а не текстовом режиме, так как время ожидания становится критически важным, и его надо подгонять.

#voice_interface #user_testing

Кирилл Шерстобитов написал о подготовке прототипа к тестированию.

— Определите, что вы хотите проверить с помощью прототипа;
— Чтобы увидеть проблемы и сформулировать гипотезы, часто проводят модерируемые тесты, для которых подходят даже недоработанные прототипы — модератор может смягчить связанные с ними негативные эффекты;
— Для проверки интерфейсных гипотез лучше подходят количественные методы (от 100 человек на тест). Здесь модератор уже не поможет, поэтому важны понятное задание и работоспособность прототипа (в том числе быстрая загрузка);
— Чтобы проверить навигацию на удобство и понятность, не обязательно делать прототип, можно провести First click test;
— Прототипом можно проверить сценарии поведения в интерфейсе, взаимодействие с интерактивными элементами;
— Разбивайте интерфейс на короткие сценарии под конкретные задачи. Так проще будет готовить прототип, и грузиться он будет быстрее;
— Оптимизируйте прототип для более быстрой загрузки: убирайте лишние скрытые элементы, используйте облегчённые изображения вместо хайрезов;
— Часть советов повторяет статью Екатерины Бессчётновой, которая уже была в UX Notes.

Ставьте 👌 если статья понравилась. #prototype #user_testing

Юлиана Шевчук написала о сценарии модерируемого пользовательского тестирования.

— Сценарий — не только легенда и задания. Важны и другие составляющие: вводная, инструктаж, завершение;
— Вводная включает приветствие, цель встречи, установление контакта (small talk) и задаёт настрой. Если с респондентом договаривался не сам исследователь, а рекрутёр, вводной надо уделить больше внимания;
— В онлайне для установления контакта подготовьте общие вопросы, на которые человек легко ответит и которые помогут больше узнать о его контексте;
— Не скатывайтесь в монолог, сделайте паузу после приветствия, чтобы можно было ответить, беседуйте;
— Разбейте инструктаж на блоки, чтобы проще было усвоить. Открыв прототип, расскажите, что это и как с ним работать;
— Также расскажите: что будет происходить, об озвучивании мыслей вслух, что любые реакции приветствуются, чего ожидать от исследователя, что на часть вопросов вы ответите только в конце;
— Подготовьте краткие формулировки;
— Легенда описывает ситуацию, в которой оказался пользователь. Задания — что ему надо сделать в сервисе. Это должна быть жизненная (часто встречающаяся в жизни целевой аудитории) и логично развивающаяся история (чтобы не менять контекст);
— Иногда одного задания не хватает для проверки всех гипотез, это нормально;
— В заданиях придерживайтесь контекста, чтобы респондент не запутался и не стал игнорировать непонятные моменты, о которые споткнулся бы в реальности;
— Не формулируйте задания как инструкции, чтобы не исказить результаты исследования. «Перейдите в документы и проверьте статус оплаты по счету» → «Проверьте, оплатил ли клиент заказ»;
— В завершение попросите поделиться впечатлениями, пожеланиями по продукту, поблагодарите и подчеркните ценность тестирования.

Ставьте 👍 если статья понравилась. #user_testing

Сергей Тимофеев и Георгий Струнин написали об ошибках при проведении немодерируемого тестирования.

— В таком исследовании не нужен модератор, но важно правильно сформулировать цель, выбрать аудиторию, подобрать задание и метод тестирования;
— Оно подойдёт для количественной проверки, получения ответа на конкретный вопрос вроде «Найдут ли пользователи точку входа в сценарий»;
— Не подойдёт для проверки большого сценария (больше 6 экранов), понимания пользовательских потребностей, мотивации и контекста, ответа на вопрос «Почему?»;
— Главное правило для выбора аудитории — у респондентов должен быть релевантный опыт. Иногда важно учитывать демографию;
— Для количественного исследования надо 95–100 человек;
— Ошибка — проверять минорные гипотезы или то, что можно было не проверять (когда известны best practices);
— Выбирайте такой метод исследования, результаты которого можно подсчитать автоматически: тест сценария, первого клика, предпочтения, пяти секунд, а также карточкая сортировка;
— Ошибки при формулировании вопроса: в нём содержится подсказка, строится предположение про будущее, которое нельзя проверить тестом, используются профессиональные термины;
— В тесте предпочтения сравниваемые макеты не должны отличаться несколькими элементами, иначе не поймёте, что повлияло на выбор респондентов;
— В макетах: размещайте реалистичные данные, если задаёте вопрос о конкретном элементе, выделите его;
— Проверяйте тест до запуска, а также статистическую значимость результатов (есть калькуляторы).

#unmoderated #user_testing

Анастасия Винокурова написала об исследованиях с помощью краудсорсинговых платформ вроде Oprosso, Толоки, SurveyMonkey, Fastuna.

— Плюсы: дёшево, быстро, дизайнер может провести исследование сам;
— Минусы: не подходит узкоспециализированным продуктам, респонденты диджитальны (пользуются цифровыми продуктами);
— На таких платформах заказчик формирует задания, тесты, и есть исполнители, которые выполняют их за деньги;
— Задания могут быть любыми: от скачивания приложения до похода в магазин;
— Не везде есть инструменты для анализа результатов, иногда ответы приходится сортировать и оценивать вручную;
— Есть читеры, которые машинально отвечают на вопросы, чтобы получить оплату. Их ответы можно отсеивать с помощью вопросов-ловушек;
— Например, показать 2 варианта дизайна: нормальный и откровенно плохой и попросить выбрать лучший (и блокировать тех, кто выберет плохой) или задать завершающий вопрос «На что вы только что нажали» или «Какого цвета была кнопка». Кто нажимает бездумно, правильно не ответит;
— Проводите пробные запуски на 5–10 человек, прежде чем привлекать 100–200 респондентов, чтобы выявить ошибки, неоднозначно сформулированные вопросы;
— Эти платформы можно использовать для first click test, side-by-side (сравнение и выбор из 2 и более вариантов), five second test;
— Тест на понятность позволяет узнать, как люди воспринимают дизайн, например, расшифровывают иконки, микротекст. Достаточно показать макет и спросить «Как вы думаете, что произойдёт, когда вы нажмёте на…».

#user_testing #unmoderated

Катя Григорьева написала о влиянии визуальной привлекательности на удобство использования.

— Позитивная эмоциональная реакция на привлекательный интерфейс делает людей терпимее к небольшим неудобствам при взаимодействии (но только небольшим);
— Они могут оценивать удобство интерфейса выше, чем на самом деле. Это мешает увидеть часть проблем на пользовательском тестировании;
— Исследование Центра дизайна Hitachi в 1995 году показало сильное влияние эстетики на людей, даже если они оценивают функциональность системы;
— Можно немного снизить разрыв между опытом респондентов и тем, какие они дают оценки;
— Респонденты не должны давать свои оценки под давлением. Убеждайте, что это полезно. Давайте возможность комментировать, задавая открытые вопросы, но не давите, если им нечего сказать. Молчание — важная составляющая в общении исследователя и респондента;
— Они не должны хотеть порадовать вас. Подчёркивайте, что не вы разрабатываете этот дизайн и негативные комментарии вас не расстроят. И старайтесь эмоционально не реагировать;
— Направляйте респондентов за пределы визуального слоя. Используйте расплывчатые формулировки вроде «Есть ли у вас комментарии о том, насколько легко или сложно было найти эту информацию?»;
— Можно вернуть респондента на шаг, показавшийся особенно сложным, и попросить описать, что здесь произошло.

#user_testing