Александр Кочеванов написал о немодерируемом тестировании.

— Такое тестирование позволяет выявить проблемы предлагаемого интерфейсного решения, подтвердить или опровергнуть гипотезы до того, как разработчики это решение реализуют;
— Провести его можно после подготовки первой версии дизайна;
— Процесс состоит из а) подготовки прототипов к тестированию, б) составления вопросов для респондентов, в) запуска на специальной платформе, г) обработки результатов, д) составления отчёта;
— Платформы: Userfeel, Loop11, Hotjar, UserZoom, UserTasting, Usability Hub, Maze, Marvel;
— Прототипы лучше делать как можно более полными. Например, кому-то из респондентов удобнее график, кому-то таблица, и лучше, если прототип даст возможность выбрать удобный вариант отображения;
— Перед запуском проверьте прототипы и вопросы на коллегах, чтобы выявить ошибки;
— Проведите тест сначала на части респондентов из запланированных, чтобы найти и исправить первые проблемы. Затем можно сосредоточиться на остальном;
— Начинайте тест с вводной, которая погрузит респондента в контекст. Разместить её можно на первой странице прототипа (с кнопкой «Начать исследование»), чтобы возможности платформы по оформлению текста вас не ограничивали;
— Старайтесь использовать реальный контент вплоть до актуальной текущей даты;
— Попросите респондентов озвучивать всё, что они видят и думают. Особенно, если они сталкиваются с трудностями;
— Подумайте, что может пойти не так и подготовьте респондентов. Например, расскажите, как перезагрузить прототип, если произошёл сбой;
— Просите отвечать на вопросы вслух, а не письменно, чтобы не тратить на это время;
— Используйте скрининговые тесты, чтобы отфильтровать участников, которые вам не интересны;
— Просите оставить контакты, чтобы можно было обратиться в следующий раз к тем респондентам, кто показал себя ответственным и ориентированным на результат.

#user_testing #unmoderated #process

Сергей Тимофеев и Георгий Струнин написали об ошибках при проведении немодерируемого тестирования.

— В таком исследовании не нужен модератор, но важно правильно сформулировать цель, выбрать аудиторию, подобрать задание и метод тестирования;
— Оно подойдёт для количественной проверки, получения ответа на конкретный вопрос вроде «Найдут ли пользователи точку входа в сценарий»;
— Не подойдёт для проверки большого сценария (больше 6 экранов), понимания пользовательских потребностей, мотивации и контекста, ответа на вопрос «Почему?»;
— Главное правило для выбора аудитории — у респондентов должен быть релевантный опыт. Иногда важно учитывать демографию;
— Для количественного исследования надо 95–100 человек;
— Ошибка — проверять минорные гипотезы или то, что можно было не проверять (когда известны best practices);
— Выбирайте такой метод исследования, результаты которого можно подсчитать автоматически: тест сценария, первого клика, предпочтения, пяти секунд, а также карточкая сортировка;
— Ошибки при формулировании вопроса: в нём содержится подсказка, строится предположение про будущее, которое нельзя проверить тестом, используются профессиональные термины;
— В тесте предпочтения сравниваемые макеты не должны отличаться несколькими элементами, иначе не поймёте, что повлияло на выбор респондентов;
— В макетах: размещайте реалистичные данные, если задаёте вопрос о конкретном элементе, выделите его;
— Проверяйте тест до запуска, а также статистическую значимость результатов (есть калькуляторы).

#unmoderated #user_testing

Анастасия Винокурова написала об исследованиях с помощью краудсорсинговых платформ вроде Oprosso, Толоки, SurveyMonkey, Fastuna.

— Плюсы: дёшево, быстро, дизайнер может провести исследование сам;
— Минусы: не подходит узкоспециализированным продуктам, респонденты диджитальны (пользуются цифровыми продуктами);
— На таких платформах заказчик формирует задания, тесты, и есть исполнители, которые выполняют их за деньги;
— Задания могут быть любыми: от скачивания приложения до похода в магазин;
— Не везде есть инструменты для анализа результатов, иногда ответы приходится сортировать и оценивать вручную;
— Есть читеры, которые машинально отвечают на вопросы, чтобы получить оплату. Их ответы можно отсеивать с помощью вопросов-ловушек;
— Например, показать 2 варианта дизайна: нормальный и откровенно плохой и попросить выбрать лучший (и блокировать тех, кто выберет плохой) или задать завершающий вопрос «На что вы только что нажали» или «Какого цвета была кнопка». Кто нажимает бездумно, правильно не ответит;
— Проводите пробные запуски на 5–10 человек, прежде чем привлекать 100–200 респондентов, чтобы выявить ошибки, неоднозначно сформулированные вопросы;
— Эти платформы можно использовать для first click test, side-by-side (сравнение и выбор из 2 и более вариантов), five second test;
— Тест на понятность позволяет узнать, как люди воспринимают дизайн, например, расшифровывают иконки, микротекст. Достаточно показать макет и спросить «Как вы думаете, что произойдёт, когда вы нажмёте на…».

#user_testing #unmoderated

Исследователи из ВК рассказали о немодерируемых исследованиях.

— Не переносите вопросы исследования в анкету. Вместо вопроса «Удобно ли приложение?» разберитесь, что значит удобство (например, «Мне легко найти нужную функцию»), и спросите об этом;
— Не спрашивайте у респондентов, что лучше. У них нет системы оценки;
— Чем меньше возможностей неправильно понять вопрос, тем лучше. Избегайте специфичных слов, терминов;
— Смотрите, сколько времени респонденты тратят на отдельные вопросы (задания), где бросают тест. Так можно выявить непонятные вопросы или слишком сложные задания, которые можно упростить или разделить на несколько;
— Пытайтесь понять, почему кто-то из респондентов повёл себя странно. Например, в задании надо добавить трек в избранное, но респонденты ставят его на паузу. Им было важно остановить трек, чтобы не отвлекаться. Из таких странностей можно извлечь инсайты (в данном случае — по расположению контролов);
— Ограничивайте длину опроса и количество открытых вопросов. Чем дольше длится опрос, тем чаще выбирают первый попавшийся ответ и менее внимательно читают вопросы.

#unmoderated

Аня Попова рассказала о таком способе тестирования юзабилити как домашнее задание.

— Обычное модерируемое тестирование не подходит, если выполнение задачи занимает у пользователя более 2 часов, требует вникать в документацию и использовать другие сервисы;
— Домашнее задание — это задание, приближенное к рабочим задачам, которое пользователь выполняет в удобное время (и даже в несколько подходов), записывая экран и комментируя происходящее;
— В инструкцию для участников включите, как сделать запись экрана и что делать после завершения задания;
— Вводное интервью на 15 минут позволит лучше узнать профиль респондента, подробнее рассказать о процессе, согласовать сроки, ответить на вопросы;
— Важно донести, что вы не тестируете их навыки и компетенции, а хотите выявить проблемы при использовании продукта;
— Выполняя задание, респонденты будут задавать вопросы, поэтому предусмотрите, кто и через какой канал связи будет на них отвечать. Учтите, что часто это происходит в нерабочее время;
— Респонденты могут быть профи с загруженным графиком, из-за чего домашка отодвинется на второй план. Связывайтесь с ними во время исследования, чтобы напомнить о сроках и узнать, нет ли у них проблем с выполнением задания;
— Опыт Selectel: около 10% из них отвалится, сроки исследования сильно растянутся;
— Финальное интервью на 30 минут с участием продуктовой команды позволит респондентам поделиться общим впечатлением и основными сложностями, а вам — прояснить детали из видеозаписей;
— Небольшой опрос, суммирующий опыт респондента, поможет собрать более структурированную обратную связь;
— Плюсы: наблюдение за процессом целиком (походы на сторонние сайты за помощью, как люди вообще действуют, решая задачу) позволяет получить более глубокие инсайты, естественная среда, информативнее интервью, убедительно для команды;
— Минусы: задание ≠ рабочая задача, требует много усилий от респондента, долгий цикл исследования.

#unmoderated

В Pathway подготовили минигайд, как проводить немодерируемые исследования. Некоторые рекомендации:

— Исследование должно давать новое знание, которого нет в лучших практиках и предыдущих исследованиях. Не надо проверять иконку лупы в контексте поиска, но можно узнать, понятно ли, что текст «Поехали» означает отправку поискового запроса;
— В общем случае для количественного исследования стоит привлекать 100 человек на сегмент. С уровнем значимости 95% максимальная погрешность будет ≈10%;
— Сценарное тестирование — вид теста, когда респондент совершает простое действие, ради которого нет смысла проводить модерируемое исследование. Пример задания: «Выберите способ оплатить доставку еды на этом экране»;
— В заданиях иногда нужен контекст, чтобы человек понял, что происходит на экране. «Купите ОСАГО» → «Представьте, что вы уже выбрали тариф, срок и вид ОСАГО, заполнили анкету. Пожалуйста, оплатите страховку»;
— Если предлагаете варианты ответа, добавьте вариант «Другое» с возможностью оставить комментарий. Иначе респондент может не найти подходящего варианта, и вы получите недостоверные данные;
— В вопросах не указывайте на элементы интерфейса. Если кнопка называется «Оформить подписку», нельзя спрашивать «Куда нажать, чтобы оформить подписку»;
— Не используйте термины и профессиональную лексику. «Чекаут», «точка входа», «футер» наверняка вызовут затруднения;
— Если возможно, не запускайте тест сразу на всю выборку. Пилотная версия на 20−30 респондентов позволит отловить и исправить проблемы;
— К немодерируемым можно отнести: тест первого клика, Preference-тест или Side-by-side, пятисекундный тест, карточная сортировка, сценарное тестирование;
— В Preference-тесте макеты должны различаться всего одной деталью, отличие должно быть заметным. Лучше не сравнивать похожие оттенки или шрифты, тексты уведомлений или кнопок;
— Перед пятисекундным тестом не предупреждайте об ограничении в 5 секунд и не говорите, на что надо обратить внимание.

#unmoderated