Екатерина Бессчётнова написала о подготовке прототипа для пользовательского тестирования.

— Прототип строится вокруг сценария тестирования — вопросов и заданий, предлагаемых респондентам;
— Задания следуют из гипотез. Гипотеза: при подборе товара людям неудобно использовать фильтр по цене. Задания: подберите товар Х удобным способом; подберите товар Х не дороже 10 рублей;
— Продумайте точки входа в тестируемый сценарий, чтобы он не начинался для пользователя внезапно;
— Отобразите все граничные случаи, с которыми пользователь может столкнуться, например, сообщение об ошибке, если заполнены не все поля. Страницу с 404-й ошибкой добавлять не надо;
— Добавьте максимум путей решения задачи, чтобы увидеть, куда пользователи на самом деле пойдут, и сравнить эффективность главного и второстепенного пути;
— Добавьте ошибочные пути, чтобы не было гарантии, что все респонденты выполнят задания. Так можно узнать, когда они заметят ошибку и как будут её исправлять. Активны должны быть не все развилки, а только вызывающие сомнения;
— Проработайте не только линейный путь вперёд по сценарию, но и способы вернуться назад;
— Чем ближе прототип к финальному продукту и реалистичнее взаимодействие с элементами интерфейса, тем лучше: визуальные акценты, реалистичный текст и релевантный контент, соответствие тону голоса и так далее;
— Если пользователи должны вводить данные, поля должны быть активны и не заполнены. Если это не прототип в Axure, поля можно заполнять по нажатию. Проверьте, что контент адекватен выполняемому заданию;
— Скройте отображение кликабельных областей и, насколько возможно, служебный интерфейс прототипа;
— Некликабельные элементы, с которыми предположительно могут взаимодействовать респонденты, должны реагировать на наведение курсора и, например, приводить к изменению курсора;
— Учитывайте разрешение устройства, на котором будет проходить тестирование;
— Перед тестированием на респондентах, проверьте прототип внутри команды.

#prototype #user_testing

Катя Григорьева написала о влиянии визуальной привлекательности на удобство использования.

— Позитивная эмоциональная реакция на привлекательный интерфейс делает людей терпимее к небольшим неудобствам при взаимодействии (но только небольшим);
— Они могут оценивать удобство интерфейса выше, чем на самом деле. Это мешает увидеть часть проблем на пользовательском тестировании;
— Исследование Центра дизайна Hitachi в 1995 году показало сильное влияние эстетики на людей, даже если они оценивают функциональность системы;
— Можно немного снизить разрыв между опытом респондентов и тем, какие они дают оценки;
— Респонденты не должны давать свои оценки под давлением. Убеждайте, что это полезно. Давайте возможность комментировать, задавая открытые вопросы, но не давите, если им нечего сказать. Молчание — важная составляющая в общении исследователя и респондента;
— Они не должны хотеть порадовать вас. Подчёркивайте, что не вы разрабатываете этот дизайн и негативные комментарии вас не расстроят. И старайтесь эмоционально не реагировать;
— Направляйте респондентов за пределы визуального слоя. Используйте расплывчатые формулировки вроде «Есть ли у вас комментарии о том, насколько легко или сложно было найти эту информацию?»;
— Можно вернуть респондента на шаг, показавшийся особенно сложным, и попросить описать, что здесь произошло.

Канал Кати. #user_testing

Виктория Гордеева написала о борьбе с сетевыми эффектами при проведении а/б-тестов.

— Сетевой эффект — влияние одного участника эксперимента на другого;
— Например, идёт тест изменения, которое должно повысить количество отправляемых сообщений. Пользователи из экспериментальной группы начинают активнее писать пользователям из контрольной группы, а те отвечают. Метрики меняются в обеих группах, и оценивать результаты а/б-теста становится сложно;
— С этим можно бороться: 1. Сравнивать метрики до и после изменения. Но на показатели могут повлиять внешние факторы вроде погоды;
— 2. Сравнивать разные натуральные кластеры пользователей, образовавшиеся естественным путём, например, людей из разных стран. Но они могут сильно отличаться поведенчески или быть слабо замкнутыми (пользователи из Беларуси и России часто взаимодействуют);
— 3. Сравнивать обычные кластеры. Но разные модели кластеризации дают разные результаты выборок, сценарий тестов нельзя унифицировать и применять всегда, результаты старых и новых тестов будут несопоставимыми;
— 4. Сравнивать эго-кластеры. Кластер формируют эго-вершины и альтер-вершины, которые связаны с эго-вершиной и взаимодействуют с ней;
— Эго-вершина должна подходить под критерии эксперимента;
— Кластер строится на основе графа взаимодействий, например, графа дружб, сообщений и так далее (надо подходить творчески);
— Минусы: не подходит для долгосрочных экспериментов, нужна большая аудитория, не подходит для тестирования изменений, направленных на расширение графа;
— Параметр Ignored vertices degree — отсечение эго-вершин, у которых альтер-вершин больше заданного предела. Такие эго-вершины повышают алгоритмическую нагрузку, плюс их альтер-вершины нельзя включать в другие кластеры.

#user_testing #unmoderated

В RetailRocket написали об а/б-тестировании.

— Хороший источник — книга «Доверительное а/б-тестирование»;
— Большая проблема — отсутствие а/а-тестов, когда оба сегмента пользователей видят один и тот же контент;
— Значимые различия между сегментами в таком тесте показывают, что есть проблемы с делением трафика, недостаточностью данных (мало пользователей) или аномалиями. В этом случае а/б-тест запускать бессмысленно;
— Пример аномалии с метрикой «средняя выручка на пользователя» — покупатели с суммой заказа, в разы превышающей остальные заказы. Можно использовать метрики, менее чувствительные к аномалиям;
— Важная процедура — оценка мощности метрики, вероятности, что она значимо изменится в ответ на тестируемое изменение (достаточно 80%);
— Например, метрика «средняя выручка на пользователя» показывает пользу от блока с рекомендациями в денежном выражении, но её мощность ниже, чем у «среднее количество просмотренных карточек товаров» или «конверсия в пользователя с корзиной»;
— При краткосрочном тестировании пользу в деньгах можно не увидеть, если клиент добавит товар в корзину, а вернётся к покупке уже после окончания теста;
— Мощность также зависит от окружения. Чтобы проверить влияние блока с рекомендациями, лучше убрать с этой страницы другие инструменты, решающие ту же задачу. Также если блок находится на странице слишком низко, его влияние тоже будет ниже;
— Важно понимать, на что влияет тестируемая функциональность. Блок рекомендаций может увеличить количество покупателей, но ARPPU при этом может даже уменьшиться, если часть из них купит что-то по мелочи;
— Влияние на разные группы пользователей может отличаться. Блок рекомендаций для новых пользователей может влиять на конверсию, а для старых — на средний чек;
— Чаще всего не получится обойтись одним тестом;
— Оценить полезность инструмента можно и без а/б-теста. Можно проанализировать количество товаров с атрибутом «найдено с помощью системы рекомендаций».

#user_testing #unmoderated

Меган Чан написала о тестировании визуального дизайна.

— Визуал влияет на первичное впечатление от продукта, привлекает внимание, транслирует идентичность бренда, вызывает эмоции;
— Отношенческое (attitudinal) тестирование: покажите дизайн пользователям, а затем узнайте их отношение к увиденному;
— Сделать это можно в рамках 5-секундного теста, тестирования предпочтений, теста первого клика или юзабилити-тестирования;
— Открытое объяснение предпочтений: задайте открытый вопрос о дизайне (почему нравится или не нравится), дополнительно попросите описать увиденное, выбрать более привлекательный вариант;
— Подходит, если вы ничего не знаете об ожиданиях аудитории. Позволяет отсеять субъективные предпочтения (не нравится фиолетовый). Может быть неэффективен в немодерируемых исследованиях (понапишут фигни);
— Открытый выбор слов: попросите перечислить прилагательные, описывающие дизайн. Обработка ответов может быть непростой;
— Закрытый выбор слов: попросите выбрать прилагательные из списка. Проще обработать, но нельзя выявить новые точки зрения. Хорошо в модерируемых исследованиях, так как можно узнать причины выбора того или иного слова;
— Числовая шкала: выберите 3−5 характеристик бренда и попросите оценить, насколько хорошо дизайн их отражает;
— Поведенческое (behavioral) тестирование позволяет оценить визуальный дизайн как часть целостного опыта, который зависит и от контента, и от нюансов взаимодействия. К ним можно отнести айтрекинг и а/б-тестирование.

In English. #visual #user_testing