Александр Кочеванов написал о немодерируемом тестировании.

— Такое тестирование позволяет выявить проблемы предлагаемого интерфейсного решения, подтвердить или опровергнуть гипотезы до того, как разработчики это решение реализуют;
— Провести его можно после подготовки первой версии дизайна;
— Процесс состоит из а) подготовки прототипов к тестированию, б) составления вопросов для респондентов, в) запуска на специальной платформе, г) обработки результатов, д) составления отчёта;
— Платформы: Userfeel, Loop11, Hotjar, UserZoom, UserTasting, Usability Hub, Maze, Marvel;
— Прототипы лучше делать как можно более полными. Например, кому-то из респондентов удобнее график, кому-то таблица, и лучше, если прототип даст возможность выбрать удобный вариант отображения;
— Перед запуском проверьте прототипы и вопросы на коллегах, чтобы выявить ошибки;
— Проведите тест сначала на части респондентов из запланированных, чтобы найти и исправить первые проблемы. Затем можно сосредоточиться на остальном;
— Начинайте тест с вводной, которая погрузит респондента в контекст. Разместить её можно на первой странице прототипа (с кнопкой «Начать исследование»), чтобы возможности платформы по оформлению текста вас не ограничивали;
— Старайтесь использовать реальный контент вплоть до актуальной текущей даты;
— Попросите респондентов озвучивать всё, что они видят и думают. Особенно, если они сталкиваются с трудностями;
— Подумайте, что может пойти не так и подготовьте респондентов. Например, расскажите, как перезагрузить прототип, если произошёл сбой;
— Просите отвечать на вопросы вслух, а не письменно, чтобы не тратить на это время;
— Используйте скрининговые тесты, чтобы отфильтровать участников, которые вам не интересны;
— Просите оставить контакты, чтобы можно было обратиться в следующий раз к тем респондентам, кто показал себя ответственным и ориентированным на результат.

#user_testing #unmoderated #process

Сергей Тимофеев и Георгий Струнин написали об ошибках при проведении немодерируемого тестирования.

— В таком исследовании не нужен модератор, но важно правильно сформулировать цель, выбрать аудиторию, подобрать задание и метод тестирования;
— Оно подойдёт для количественной проверки, получения ответа на конкретный вопрос вроде «Найдут ли пользователи точку входа в сценарий»;
— Не подойдёт для проверки большого сценария (больше 6 экранов), понимания пользовательских потребностей, мотивации и контекста, ответа на вопрос «Почему?»;
— Главное правило для выбора аудитории — у респондентов должен быть релевантный опыт. Иногда важно учитывать демографию;
— Для количественного исследования надо 95–100 человек;
— Ошибка — проверять минорные гипотезы или то, что можно было не проверять (когда известны best practices);
— Выбирайте такой метод исследования, результаты которого можно подсчитать автоматически: тест сценария, первого клика, предпочтения, пяти секунд, а также карточкая сортировка;
— Ошибки при формулировании вопроса: в нём содержится подсказка, строится предположение про будущее, которое нельзя проверить тестом, используются профессиональные термины;
— В тесте предпочтения сравниваемые макеты не должны отличаться несколькими элементами, иначе не поймёте, что повлияло на выбор респондентов;
— В макетах: размещайте реалистичные данные, если задаёте вопрос о конкретном элементе, выделите его;
— Проверяйте тест до запуска, а также статистическую значимость результатов (есть калькуляторы).

#unmoderated #user_testing

Анастасия Винокурова написала об исследованиях с помощью краудсорсинговых платформ вроде Oprosso, Толоки, SurveyMonkey, Fastuna.

— Плюсы: дёшево, быстро, дизайнер может провести исследование сам;
— Минусы: не подходит узкоспециализированным продуктам, респонденты диджитальны (пользуются цифровыми продуктами);
— На таких платформах заказчик формирует задания, тесты, и есть исполнители, которые выполняют их за деньги;
— Задания могут быть любыми: от скачивания приложения до похода в магазин;
— Не везде есть инструменты для анализа результатов, иногда ответы приходится сортировать и оценивать вручную;
— Есть читеры, которые машинально отвечают на вопросы, чтобы получить оплату. Их ответы можно отсеивать с помощью вопросов-ловушек;
— Например, показать 2 варианта дизайна: нормальный и откровенно плохой и попросить выбрать лучший (и блокировать тех, кто выберет плохой) или задать завершающий вопрос «На что вы только что нажали» или «Какого цвета была кнопка». Кто нажимает бездумно, правильно не ответит;
— Проводите пробные запуски на 5–10 человек, прежде чем привлекать 100–200 респондентов, чтобы выявить ошибки, неоднозначно сформулированные вопросы;
— Эти платформы можно использовать для first click test, side-by-side (сравнение и выбор из 2 и более вариантов), five second test;
— Тест на понятность позволяет узнать, как люди воспринимают дизайн, например, расшифровывают иконки, микротекст. Достаточно показать макет и спросить «Как вы думаете, что произойдёт, когда вы нажмёте на…».

#user_testing #unmoderated

Исследователи из ВК рассказали о немодерируемых исследованиях.

— Не переносите вопросы исследования в анкету. Вместо вопроса «Удобно ли приложение?» разберитесь, что значит удобство (например, «Мне легко найти нужную функцию»), и спросите об этом;
— Не спрашивайте у респондентов, что лучше. У них нет системы оценки;
— Чем меньше возможностей неправильно понять вопрос, тем лучше. Избегайте специфичных слов, терминов;
— Смотрите, сколько времени респонденты тратят на отдельные вопросы (задания), где бросают тест. Так можно выявить непонятные вопросы или слишком сложные задания, которые можно упростить или разделить на несколько;
— Пытайтесь понять, почему кто-то из респондентов повёл себя странно. Например, в задании надо добавить трек в избранное, но респонденты ставят его на паузу. Им было важно остановить трек, чтобы не отвлекаться. Из таких странностей можно извлечь инсайты (в данном случае — по расположению контролов);
— Ограничивайте длину опроса и количество открытых вопросов. Чем дольше длится опрос, тем чаще выбирают первый попавшийся ответ и менее внимательно читают вопросы.

#research #unmoderated