Хороший exel-шаблон подсчетов для Кано.

Также на сайте ресурса еще несколько полезных гайдов. Например, если вы знаете только Кано, то вот, знакомьтесь, максдифф.

Удивляюсь, как часто ресечеры и продакты ищут респондентов в телеграм-чатах формата "респонденты для касдевов" на 500-2 000 человек, в которых, похоже, не менее 50% участников - ресечеры и продакты.

Ладно, если это призывы пройти интервью или поучаствовать в фокус-группе (хотя тоже вопросики к этому, но на безрыбье и продакт-респондент), но искать респов для опросов совсем странно.

Вот, например, вы хотите узнать, насколько люди озабочены экологией в России и спрашиваете, что делают они для природы, в таком чате.

Люди обычно в анкетах более ответственны, чем в жизни (на словах ты заботишься об экологии, а на деле 💩), но IT-специалисты к тому же - специфическая аудитория. Тут эко-повестка может быть более популярна (тоже вопрос для ресеча, конечно).

В общем, не знаю. Я стараюсь не участвовать в таком как респондент. Либо участвую, чтобы посмотреть на опросники или работу других ресечеров (что, в общем-то, не этично, но интересно).

Не берусь утверждать на 100%, но кажется, что надо делать так: скинуть опрос в такой чат, результаты разделить на 10, потом выкинуть их и опросить нужную аудиторию заново.

(нагоревшее брюзжание)

Синтетические респонденты (СР)

1. СР — ИИ, эмулирующий определенную персону, для имитации реального поведения последней.

2. СР могут применяться для дешевой генерации гипотез об ошибках в продукте или поведения пользователей без тестов.

Проблема дизайнера/копирайтера, работающего над лендингом — замыливается взгляд и нужна оценка со стороны насколько понятен текст, считывается метафора с изображения, понятен call to action. Когда нет возможности провести тест с реальной целевой аудиторий прибегают к помощи коллег, друзей, родственников, т.е. проводят так называемые «коридорники», чтобы живые люди, отличные от ца, провалидировали решение и позволили посмотреть на свою работу со стороны. К ответам относятся как к гипотезам, которые нужно самостоятельно провалидировать.

3. Чтобы создать синтетического респондента просто задайте ИИ роль: «Действуй как [описание респондента]» и опишите все нужные характеристики, которые бы вы описывали в гайде на рекрут (hint: вы можете попросить ИИ самой описать портрет персоны, только провалидируйте ответ или поищите характеристики ЦА в открытых источниках). Укажите также цель человека, при взаимодействии с тестируемым материалом.

Далее дайте модели задание, напр.:

- Мужчина подошел к полке с кофе, взял в руки зерновой кофе, прочитал этикетку, повертел в руках и положил обратно – т.е. не стал покупать. Напиши 30 причин, почему он так сделал.

- Напиши, что человек понял или не понял, прочитав этот текст по критериям: [перечисление критериев].

4. Вы можете дать критерии оценки материала, напр.:

• понятность сути сообщения; наличие непонятных слов и жаргона; тон коммуникации; наличие call to action; эмоциональное воздействие; привлекательность; понятность визуальных метафор и пр.

5. Ко всему, что написала модель следует относиться как к гипотезам, которые следует самостоятельно провалидировать с помощью собственного product sense. Вы можете предложить модели тоже сделать оценку, например, по пятибальной шкале и приоритеризовать ее гипотезы или собрать их в группу.

6. Можно загружать тексты, изображения, фото упаковки и пр.

7. Нельзя выдавать ответы синтетических респондентов за реальные ответы и манипулировать этим в исследовании. Не все ответы будут верны, но часть будет полезна. Даже если модель в каких-то ваших тестах показала похожее поведение с респондентами, это не означает, что она будет показывать это всегда, особенно если вы используете модель для редкого языка.

Исследователь Айелет Исраэль, совместно с Microsoft, сравнивали поведение модели с реальным поведением потребителей и результат показал, что GPT-3.5 с высокой степенью правдоподобия имитировал процессы принятия решений потребителями (так, напр., СР показывали разную чувствительность к цене в зависимости от уровня дохода, что согласовывалось с эмпирическими данными).

Итого: подход может быть полезен на ранних этапах исследований, но не заменяет опросы реальных людей. Результаты LLM должны рассматриваться как дополнительный источник инсайтов, а не истина.

Доп. ссылки:
• Статья Айелет Исраэль «Using GPT for Market Research»
• Эксперимент Кантара сравнения ответов синтетических и обычных респондентов
• Синтетические панели

⚡️ Изящно проработанный сценарий получения фидбека.

Vlad Dugnist разместил вот такое сообщение в iOS приложении. Его видно по лонг-тапу, обычно перед попыткой удалить аппку. В итоге c этой точки прилетает 50% от всего фидбека от юзеров.

@tg_knl

Не откликайтесь, если не можете провести 8 часов зума в шубе :)

Психоанализ для глубинных интервью

Читаю работы Ирвина Ялома, психотерапевта и психиатра. Некоторые его приемы обязательны или применимы для глубинных интервью.

1. Объяснение правил взаимодействия до начала общения

Четко объяснить: кто вы, для чего вы здесь, что будет дальше, что и как долго можно говорить. Это, конечно, база. У Ирвина Ялома был свод правил, с которым знакомился пациент до начала общения. Например, общение в кабинете с психиатром в установленное время продолжается несмотря ни на что.

2. Самораскрытие психотерапевта интервьюера

Это выглядит ненормально: один человек 1,5 часа рассказывает о том, как делает заказы в интернет-магазине запчастей, а второй только изредка задает вопросы. Но если интервьюер немного расскажет о себе - “да, понимаю, тоже выбирал комплектующие на прошлой неделе…”, то оба участника диалога переместятся из комнаты допросов или с экзаменационной статьи в более доверительную атмосферу.

3. Разделение сути разговора и отношений "интервьюер-респондент"

Важно следить не только за смыслом слов, но и за тем, как взаимодействует с вами человек. Старается понравиться? Ищет одобрения? Боится ли обидеть? Это можно корректировать, чтобы диалог был открытым. Можно спросить, почему человек вообще откликнулся и пришел на интервью. Это помогает понять мотивацию.

4. Спросить, помогли ли вы

Тут тоже база. Пересказать респонденту резюме его слов и спросить, правильно ли они поняты. Хочется ли еще что-то добавить? Ирвин Ялом спрашивал пациентов, смог ли он помочь, эффективна ли была сессия. Почему да или нет?

Что почитать, если вдруг захотелось погрузиться в психологию и психотерапию:

Ирвин Ялом. "Экзистенциальная психотерапия"
Ирвин Ялом. "Вглядываясь в солнце. Жизнь без страха смерти"

Интересная аналогия ниже. Думала недавно о причинах, почему разные CJM и JTBD-фреймворки иногда лежат и пылятся.

Сложно соблюсти все условия применения. Нужны высокая продуктовая культура, спокойная внешняя среда организации, заинтересованность всех участников процесса в работе именно с этим фреймворком и многое, многое другое.

Наткнулся на совершенно новый для меня способ думать об эффективности исследований (и в целом продуктовых подходов).

В медицинских исследованиях есть два способа оценивать эффективность лекарств.
Есть эффективность "per protocol" (PP), когда при оценке лекарства смотрят только на тех пациентов, которые строго следовали указанному протоколу лечения - частоте, дозировкам итд.
Есть эффективность "intention to treat" (ITT), когда эффективность оценивают по всем участникам исследования, в том числе по тем, кто путал дозировки или бросал на середине.

Эти две оценки различаются, так как люди часто не следуют протоколу - забивают, снижают дозы или перестают принимать лекарство совсем с появлением побочных эффектов, и т.д.
Если эффективность "per protocol" отличается от "intention to treat" очень сильно, это может значить, что лекарство в целом эффективно, но схеме лечения сложно следовать.

"Золотым стандартом" для оценки эффективности является "intention to treat", потому что она точнее отражает реальную клиническую практику. Нам важно, чтобы лекарство было эффективным не только в лаборатории, но и в обычной жизни, где за пациентом не следят.

Это разделение на PP и ITT легко переносится и на исследовательские, менеджерские, продуктовые подходы.

Например, я уверен, что подход Ульвика к созданию продуктов (с выделением сотен desired outcomes, выявлением underserved outcomes и их кластеризацией) имеет очень высокую PP эффективность. Но следовать этому "протоколу" очень сложно, поэтому ITT эффективность у него невысока.

Или условное включённое наблюдение имеет высокую PP эффективность, но относительно низкую ITT, потому что не все умеют проводить его хорошо.
Наконец, споры про "scrum это супер, вы просто неправильно его применяете" или "все неправильно понимают, что такое lean ux" обращаются к той же теме - зазору между теоретически достижимой "per-protocol" эффективностью подхода, и реальной "intention to treat" эффективностью, учитывающей сложность использования.

Интересно, что эффективность "intention to treat" явно зависит от выборки людей и их культуры (их способности следовать протоколу), может отличаться в разных сообществах, и, видимо, меняться со временем.
Например, процесс демократизации исследований явно снижает ITT части исследовательских методов, включая "в выборку" людей, которые к исследовательским "протоколам" непривычны.

Ну и мне конечно симпатична идея, что лекарства оценивают по ITT - т.е. что хорошее лекарство должно быть в том числе таким, чтобы средний пациент мог его +- нормально принимать (или чтобы оно работало даже несмотря на отклонения от протокола лечения).
Нам в исследованиях стоит поучиться, мне кажется.

__
Про саму идею прочитал у Скотта Александера, он использует её для обсуждения социальных практик и проблем (условно, можно ли утверждать, что у христианства высокая PP эффективность для построения счастливых сообществ, хотя и невысокая ITT, т.к. его практикуют неправильно).
Это тоже кажется очень интересным.

Когда не боишься делегировать

(нашла на одном из фриланс-ресурсов)

Прекрасное!

Чей-то пет-проект на Авито)