4 режима поиска информации, и как проектировать для них
https://boxesandarrows.com/four-modes-of-seeking-information-and-how-to-design-for-them/

Модель Донны Спенсер не устарела за 15 лет (статья написана в 2006-м), она простая и практичная, и я часто использую её, когда продумываю сценарии продукта или исследования. Даже разок где-то ссылался (а, вот здесь), сейчас расскажу:

Донна выделяет 4 ситуации, в которых находятся люди, когда ищут что-либо:
1. Я не знаю, чего именно хочу (Don’t know what you need to know), например, зашёл на медиум посмотреть, чего бы почитать про UX.
2. Знаю, чего хочу в целом, но без конкретного объекта (Exploratory), хочу статью про то, как лучше презентовать результаты, но не знаю, какую.
3. Точно знаю, какой объект, информация или операция мне нужна (Known-item), мне рекомендовали статью конкретного автора, ищу её.
4. Хочу найти что-то, что уже находил ранее (Re-finding), хочу найти то, что уже читал.

Для каждого паттерна поиска нужны свои интерфейсные паттерны:
- Поиск полезен known-item, но бесполезен для don’t know what you need to know.
- Exploratory и Don’t know what you need требуют витрины, пушей, рассылок, и других способов рассказать пользователю о том, чего он ещё не очень ищет.
- Для re-finding помогут закладки/недавно посещённые страницы.

Хотя изначально это список сценариев поиска информации, он легко адаптируется для проектирования интерфейсов. Вот 4 состояния пользователя относительно функции в продукте:
1. Пользователь не знает, что в вашем продукте есть функция, надо донести (продакт маркетинг и онбординг в широком смысле)
2. Знает про функцию, но не понимает, как именно ей пользоваться, надо объяснить (онбординг фичи, эмпти стейты, стартовые сценарии)
3. Знает, понимает, нужно, чтобы было удобно (ежедневное взаимодействие)
4. Пользуется часто, нужно, чтобы продукт можно было адаптировать, нужная конфигурация настраивалась и сохранялась (настройка под пользователя)

Придумался забавный критерий удобного продукта - его много используют не по назначению.

Планируют задачи в миро, ведут бюджеты в трелло, ремонтируют что угодно с помощью изоленты, ведут дневники в телеграме, про эксель даже начинать не буду - во всех этих случаях продукт очевидно создан для другого, но настолько привычен(?)/ удобен(?)/очарователен(?), что его используют вместо целевых.

Вот теперь думаю, во-первых, можно ли "% пользователей со странными сценариями" выкрутить в симпатичную метрику - показатель хорошего ux или всенародной любви (очень амбивалентную метрику, потому что её приятно видеть высокой, и при этом всё время надо снижать, делая популярные сценарии частью позиционирования).

И во-вторых, какие есть в b2b софте (в энтерпрайз сегменте даже) примеры таких инструментов? Какой-то рабочий инструмент, который людям нравится настолько, что его используют не по назначению.
Среды разработки, наверняка, а что ещё?

___
Сразу ещё хочется поспекулировать про способность инструментов (физических и цифровых) становиться частью нас, про условия, в которых это происходит, но это отдельно, потом)

Метрики продукта и рынок труда
На рынке сейчас не хватает курьеров, официантов, вообще работников из сфер сервиса и обслуживания, дефицит огромный. Как это повлияет на метрики продуктов в этой сфере?

Вернёмся на шаг назад - в b2b и внутренних продуктах метрики вроде LTV и оттока работают плохо. Они запаздывают и их нельзя измерить на маленькой выборке b2b клиентов.
Поэтому качество продукта пытаются измерить другими способами - через объективные показатели (время на операцию, кол-во кликов, GOMS), или субъективные (NPS, CSI, SUS, UMIX итд).
Если выбираете, фокусироваться на количестве кликов или на NPS, есть простая эвристика - чем важнее итоговый пользователь, тем важнее субъективные метрики.

Если в отрасли избыток кандидатов на вакансию, то бизнесу не так важно обеспечивать хорошие условия труда. В числе прочего - можно не так заморачиваться по удобству внутренних систем.
В таких ситуациях эффективность (т.е. время на операцию) условной crm-ки для колл-центра важнее субъективного удобства, хорошая система - та, которая позволяет снизить время на задачи и сократить штат операторов.

Но если потенциальных кандидатов в отрасли не хватает и конкуренция за них велика, роль субъективных метрик растёт. Работадатель улучшает условия, в том числе удобство рабочих инструментов, а итоговые пользователи становятся достаточно влиятельными, чтобы выбирать. Это верно и для SMB (где пользователь=покупателю) и для энтерпрайз продуктов для дефицитных специалистов - например, разработчиков или врачей.

Atlassian (Jira, Confluence) сделали ключевой метрикой NPS в том числе потому, что разработчиков на рынке настолько не хватает, что они (разработчики) могут навязывать работодателям удобную для них систему, даже более дорогую.
Salesforce с NPS не торопится, т.к. дефицит сейлзов на рынке меньше.
Системы IP телефонии торопятся ещё меньше. Они стараются, очевидно, делать удобные продукты, но это не так приоритетно для них, т.к. итоговые пользователи менее дефицитны и влиятельны.

Вернёмся к курьерам. Их не хватает, компании начинают повышать зарплаты, чтобы удержать людей. Повышать зарплаты дорого, чтобы удерживать не только зарплатой, улучшают условия труда и employee experience (EX, по аналогии с CX) - страховки, больничные, принимают людей в штат. Удобное приложение в этом же ряду, оно гораздо менее важно для курьера, чем программа страхования, но и стоит оно для компании потенциально десятки раз меньше, поэтому роль субъективных метрик в продуктах для сервисных работников, как я ожидаю, возрастёт.

Соотношение спроса/предложения на рынке труда для пользователей в вашей отрасли можно найти на https://stats.hh.ru/ (для США такого же удобного пока не нашёл).
___
Ещё по теме - роль hedonic qualities в b2b продуктах в целом растёт https://t.me/uxread/138.

Как считать окупаемость исследований
Обычно UX исследователя просят посчитать ROI не для того, чтобы получить точную выверенную модель (иногда да, но обычно нет), а чтобы проверить, что она/он не блаженные и мыслят с бизнес-заказчиком в одних категориях.

Формально верный ответ на просьбу оценить окупаемость ресерча такой: "давайте сделаем a/b тест, выпустим часть фичей с исследованием, часть без, по 100 на группу, только надо уравновесить фичи по всем параметрам", или "давайте сделаем регрессионный анализ и оценим влияние исследований и дизайна" или "давайте посмотрим на Service-Profit Chain model и посчитаем всё как там". Всё это прекрасно, правильно, и в среднем проекте нереализуемо. При формально верном ответе вы проваливаете тест на адекватность, вас запишут в категорию умниц-эрудитов, с которыми полезно посоветоваться, но каши не сваришь.

Ответ получше (повторюсь, не всегда так, иногда нужна "Service-Profit model" нужно уточнять контекст задачи итд итп, но часто именно так) - приблизительно прикинуть ценность исследований в деньгах. Она оценивается в рамках ценности всей доработки продукта, в том же кейсе. Сейчас объясню.

Когда продакт берёт в работу фичу, он делает мысленную или реальную прикидку по её рентабельности.
Примерно так:
Затраты: запилить блок рекомендаций стоит спринт продуктовой команды, это где-то 1.2млн, если считать по текущим ставкам.
Доходы: я предполагаю, что конверсия вырастет на 0.1% (из бенчмарков, из сравнения с похожими фичами, из опыта, ещё как-то). С учётом текущей конверсии, среднего чека, и маржи, это + 40к в день
Итог: 1.2 млн/40 тысяч - фича отобьётся за 30 дней. Неплохо.

Это супер сжатый формат, иногда обоснование каждого из пунктов (и затрат и возможного влияния на метрики) декомпозируется и требует десяти табличек, но категории такие.

Исследования можно посчитать по схожей схеме:
Расходы: время исследователя + время дизайнера на прототип + время команды на переделки + рекрут ~ 300к.
Доходы: мы на 10% увеличим эффективность фичи, будет не 0.1%, а 0.11%, ещё +4к в день.
Итог: 300/4 - окупится за 2.5 месяцев примерно

Доходную часть можно прикинуть на основе прошлого опыта, или поискать бенчмарки, или спросить у коллег из других компаний, или предположить.
В начале оценка будет не точная, это ок, потом итеративно подкрутите.

Дальше можно обсуждать и детализировать - а сколько стоит сдвиг фичи на неделю (ещё почти 300к), а есть ли ещё упущенная выгода от сдвига сроков, а как получили +10% эффективности и т.д. Ещё можно думать, можем ли мы сделать дешевле (немодерируемое тестирование сократит стоимость раза в два) или повлиять больше.
Это всё обсуждаемо, но важно, что вы в принципе попробовали прикинуть, за счёт чего исследования могут окупаться, в терминах, понятных для бизнес-заказчиков, и с вами можно иметь дело.

Со стратегическими исследованиями так работает хуже, они дороже и их сложнее обосновать. Тут важнее культура компании и ваше влияние.
Ну и понятно, что фундаментальные исследования по HCI и UX обосновываются иначе.

Ну и оговорюсь, что хотя прошло почти полгода, я так и не придумал, как писать в канал, чтобы это ощущалось этичным и уместным на фоне происходящего. Извините

(Простите за back to basics нужен пост, чтобы на него ссылаться)

Когда пишете что-то по работе (тестовое, резюме, отчёт, письмо, план проекта) прогоняйте это через внутренний 5-second test (это метод исследования, при котором человеку показывают экран на пять секунд, а потом просят пересказать основное содержание. Проверяют первое впечатление и заметность главных элементов).

Это сильно повысит конверсию ваших резюме, тестовых заданий, презентаций, отчётов, фолоуапов и любых других письменных сообщений. Это особенно важно в случаях, когда у получателя такого рода сообщений десятки (для резюме и тестовых).

Реальный тест делать не нужно, достаточно воображаемого. Обычно и так понятно, считывается основная идея и структура при беглом сканировании, или нет.

(И избегайте бесконечных уточнений в скобочках, как у меня, это, конечно, мешает)

Зачем нужны фреймворки, почему нельзя просто голову включить.

В психологии есть понятие "пустое усилие". Пустое усилие - попытка произвольно делать что-то, что мы на самом деле намеренно делать не можем: не волноваться, включить голову, быть уверенней, замедлить сердцебиение, пошевелить левой почкой.

Обычно ничего не выходит, потому что эти процессы непроизвольны. Мы контролируем (или чувствуем, что контролируем), движение и внимание - можем задержать дыхание, пошевелить ногой, пробежать километр.
Но мы не можем произвольно перестать волноваться, у нас нет мышц волнения. Не можем включить голову, нет произвольного контроля количества глюкозы в мозгу. Не можем усилием воли почувствовать себя уверенно, не можем произвольно не грустить.

Мышление тоже не всегда подконтрольно. Остановитесь и попробуйте минуты две как следует подумать про зелёный.

Это, вероятно, будет сложно, не только из-за скачков внимания, но ещё и потому, что не до конца понятно, а что именно делать. Ок, вы подумали "зелёный", а дальше что? Ощущается не как сложность "почему так трудно" а скорее как замешательство "а как это вообще". Что значит "глубоко, структурированно и долго думать о чём-то?"

Но мы можем контролировать эти процессы - мышление, волнение, уверенность - через привязку к конкретным физическим действиям или результатам.
- Не волнуйся -> сделай 20 медленных вдохов и выдохов, сделай мышечную релаксацию
- Подумай про зелёный -> придумай пять способов органично встроить зелёный в интерьер вокруг, а ещё напиши эссе на пару страниц про роль зелёного в древних сообществах
- Будь дальновиднее, включи голову -> распиши заранее табличку вариантов и последствия второго порядка, составь матрицу рисков.

Во всех этих случаях мы сводим задачу к более конкретному действию по заполнению артефакта. Мыслить физически проще.

Профессиональные фреймворки работают по такому же принципу:
- Подумай про клиентский опыт -> построй cjm
- Прикинь, ок ли бизнес-модель -> заполни лин канвас и pnl вот по таким-то шагам
- Придумай остроумное решение -> напиши список из 50 решений
- Подумай про клиентов -> опиши персону

Мы снижаем скорость и гибкость, зато становится понятно, что именно надо делать.

Есть универсальные фреймворки для мышления о чём-то - записать это в математической форме, написать эссе, разложить на майндмап, сделать issue tree, подготовить лекцию на тему. Все они - про перевод мышления в физическую форму и создание внешнего артефакта.
Есть частные тематические фреймворки - jtbd, юзкейсы, swot анализ, диаграмма Исикавы, и т.д. Но их идея в том же самом - перевести "подумайте о конкурентах" в понятное действие "заполните матричку 2*2"

Со временем нужда в таких опорах пропадает, мы учимся делать что-то непосредственно, и мышление снова становится более гибким и быстрым, но в начале внешние опоры нужны.

Наверное практический совет тут такой: если у вас не получается придумать решение какой-то проблемы, можно попробовать перевести процесс решения в физическую форму. Написать письмо, составить список, нарисовать картину, не знаю.
И второй: если вам нужно масштабировать на группу людей свою экспертизу, интуицию, навык думать про что-то, попробуйте перевести этот навык в физическое действие по заполнению фреймворка. Это работает гораздо грубее, чем непосредственное понимание, но помогает в освоении новой темы.
___
Пара смежных идей:
- Extended mind, тоже про внешние инструменты мышления и физическое мышление
- общий тезис - экстериоризация повышает качество чего угодно. Это работает на уровне отдельных идей (подготовка поста заставляет глубже обдумать тему, чтение лекций упорядочить собственный опыт, проговаривание выступления помогает ощутить нестыковки и слабые места), так и на уровне сервисов/продуктов (внешние интерфейсы обычно аккуратней внутренних, public API обычно согласованней и стройней внутренних)

Можно делать количественные выводы на маленьких выборках, если привязываться к причинам с изученной частотой.

Допустим, вы исследуете банковское приложение для физлиц. 3 из 10 респондентов не понимают, как посмотреть историю платежей.
Считаете доверительный интервал, и оказывается, что 3 из 10 это от 1 до 59% популяции (p 0.95), т.е. проблема может быть супер редкой или супер частой. Это почти бесполезное знание.
Вы копаете глубже и оказывается, что эти трое - единственные из всей тестовой выборки, кто не пользовался другими банковскими приложениями до этого.
Добираете ещё четверых таких новичков, и да, оказывается, что из 7 новичков 6 не поняли, как смотреть историю операций (а из 7 опытных 7 поняли).
Смотрим дальше: какова доля таких новичков в вашей аудитории? Гуглите, что аудитория банковских приложений на вашем рынке растёт на 5% в год, т.е похоже, что вы нашли частую (46-99% при p 0.95) проблему для 5% аудитории.
Но потом вспоминаете, что стратегия вашего банка сейчас в том, чтобы привлекать больше подростков, 80% роста аудитории в этом году заложено на них. А аудитория среди подростков растёт на 20% в год, т.е. каждый пятый - новичок.
Итог: ~15% (80% подростков*20% новичков среди них) аудитории вашего приложения в этом году - новички, и минимум половине из них скорее всего будет сложно найти историю платежей.

Или ещё пример: вы делаете систему документооборота, и у одного из опрошенных клиентов специфическое требование - выгружать документы в каком-нибудь странном формате с водяными знаками на фоне.
Выясняется, что нужно это потому, что клиент участвует в гос тендерах, а там при подаче обязательны документы в таком формате.
Ищите инфу (иногда по косвенным данным), какая доля компаний вообще участвует в гос. тендерах, хоп, понимаете примерный размер аудитории, для которой требования релевантны.

Или (это последний): вы делаете приложение для покупки ЖД билетов, и 4 из 10 людей сказали, что им важна модель вагона, хотят видеть её в поисковой выдаче при покупке билета.
Копаете, выясняется, что все четверо состоят в клубе "побывай в вагонах всех существующих моделей". В нём всего три тысячи человек (вы нашли группу в ВК и форум), и это 0.001% вашей аудитории. Но четверо из них пришли к вам на интервью, т.к. они все друг с другом знакомы.

Логика проста: наблюдения на маленькой выборке->огромный доверительный интервал->причины с изученной частотой->маленький доверительный интервал.

На словах звучит красиво, а на деле так складно не получается - явные причины встречаются редко, обычно поведение обусловлено десятками факторов. Но всё часто находятся причины, которые позволяют сузить вероятную частоту с 1-56% до более практичной.
Особенно в b2b продуктах - процессы клиента диктуют требования к продуктам, и маленькие выборки часто получается компенсировать типизацией клиентов и открытыми данными по ним.

Привет) Я попал в подборку каналов про продуктовые исследования (Костя, спасибо!)
Подборка хороша, здорово видеть в ней небольшие каналы, которые заслуживают больше читателей (аналитику на кубах, Улитина, и другие).

Представлюсь для новичков.
Я Макс Королёв, руководил исследованиями в Билайне и Акронисе, маркетингом в Genotek, сейчас продакт лид в TalentTech.

Про что я пишу:
1. Про редкие способы исследований: highlighter testing для контента, UX Curve для оценки длительного опыта
2. Исследовательские кейсы: headspace чинят онбординг дневниками, mozilla перепридумывают закладки, запрещая их
3. Связь UX и бизнеса: как дефицит курьеров повышает важность CX, как снижение госрегуляций повышает важность дизайна (на примере Athenahealth)
4. Процессы исследований в компаниях: Ableton, LinkedIn, Spotify, Atlassian и других.
5. Про странненькое: русалочность, манифест онтологического дизайна,
костыльное использование продукта как признак удобства.

Рад вопросам здесь, или в личке @Node_of_Ranvier

Лето эвристик Нильсена
У меня проблема с эвристиками Нильсена.
Они мне нравятся, но я помню их очень приблизительно, и у меня нет привычки их применять.

А хочется прямо встроить их в перцептивный цикл, чтобы можно было "видеть через эвристики", и замечать проблемы на автомате (не задумывался раньше, что схемы Найсера это же почти аугментации)

Ну так вот. Придумал формат - каждую неделю беру эвристику, и пытаюсь замечать её везде где можно - в цифровых продуктах, физических продуктах, и сервисах. Удачные и неудачные примеры кидаю в комменты или в чат.

Буду рад, если вы присоединитесь)

Неделя первой эвристики - видимость состояния системы
Про формат выше

Первая эвристика: The design should always keep users informed about what is going on, through appropriate feedback within a reasonable amount of time.

Вольный перевод - "пользователь может оперативно получить информацию о том, что происходит в системе, втч увидеть обратную связь на свои действия".

Трёхминутное видео Нильсена на тему, и хороший пример оттуда: при вызове лифта кнопка горит красным (фидбек, что мы вызвали его), а табло над лифтом показывает, что он начал движение, и находится на n-м этаже.
Накидывайте примеры)

Около месяца назад я анонсировал лето эвристик Нильсена, а потом пропал (спасибо тем 15 людям, что не отписались из чата за это время).

Я пропал, потому что тема показалась мне новичковой, и я застеснялся.
Как будто на литературной мастерской все обсуждают построение сюжетных арок и характера героев, а я вылез с историей про то, как новая клавиатура позволяет быстрее печатать. Здорово, конечно, но серьёзные специалисты обсуждают проблемы другого порядка.

Так что я застеснялся, что тема слишком базовая, и что в ней нет интеллектуальной претензии. Нет ни престижа новых областей (исследования в ML? Continuous research?) ни гордой бесполезности академических моделей.
Подзабытая, всем известная, пыльноватая тема.

Мне помог роман, который я сейчас читаю (рассечение Стоуна, хороший). В одном из эпизодов наставник главного героя, хирурга, заставляет его перевязывать узелки на хирургических швах. Узелки на швах - очень повседневная и всем известная вещь, но он прямо заморачивается над тем, как это важно.
Я не знаю, есть ли на самом деле прок в эвристиках, но давайте продолжим)

Вторая эвристика - соответствие между системой и реальным миром
Про формат выше

Как формулирует Нильсен: Systems should speak the users' language with familiar words, phrases, and concepts rather than system-oriented terms. Interfaces that follow real-world conventions and make information appear in a natural and logical order demonstrate empathy and acknowledgement for users.

Т.е.: система должна использовать понятный пользователью язык, и ещё должна использовать паттерны и конвенции реального мира.

Вот коротенькое видео на тему [Usability Heuristic 2: Match Between the System and the Real World (Video)](https://www.nngroup.com/videos/match-system-real-world/)

В изначальной статье Нильсена под "рельным миром" понимается "физический мир". И в такой трактовке эвристика кажется мне устаревшей, если честно. Немножко подробней в комментариях об этом напишу.

Как исследования экономят время разработки, и почему их лучше не разделять
Когда я только стал продактом, то думал, что будет примерно так: я буду исследовать клиентов и конкурентов, описывать требования, и отдавать разработке, а дальше оно всё будет разрабатываться само.
Короче, я буду отвечать за дискавери, а в деливери особо лезть не буду, там же уже есть проджект и тимлид. Так я на месяцы сорвал сроки запуска первых нескольких фичей.

Причин было несколько. Одна из них в том, что даже при хорошо описанных требованиях в процессе разработки возникает куча вопросов. Например:
- Как отрабатывать сообщения об ошибках? Допустим, какая-то форма может не работать по каким-то двум причинам. Вы можете вывести в тексте ошибки универсальный текст "не работает из-за причины x или y" или разработать штуку, коротая определяет, какая именно ошибка случилась, и выводит специфический текст (это доп. время разработки)
- Или если есть маловероятная ошибка, обрабатывать ли её? Например, "если новый пользователь является полным однофамильцем существующего, система не может его зарегистрировать". Мы хотим ли мы что-то с этим делать, или забиваем? (если хотим, то это доп. время разработки)
- А какую нужно закладывать гибкость на следующие итерации? Например, вы решили добавить пуш уведомления. А вы захотите потом историю пуш уведомлений, надо их хранить? А вдруг захотите потом кроме пушей сделать уведомления в вацап и смс, нужен какой-то единый центр нотификаций, и возможность добавлять каналы? (+время разработки)
- А вот вы хотите выводить список каких-нибудь сущностей. Надо сделать паджинацию списка на всякий случай? Вдруг сущностей будет больше ста? (+время разработки)

Часть таких вопросов можно продумать заранее, а часть нет - какие-то ограничения не видны до начала разработки, про какие-то технические возможности вы не знаете. Вопросы возникают по ходу.
Если их не отслеживать, можете оказаться в ситуации, когда в продукте закладывается ненужная гибкость, прорабатываются нерелевантные сценарии, и сроки съезжают. Так было у меня.

Спустя время я стал больше погружаться, и давать команде больше контекста по ходу работы, в том числе более явно подсвечивать, что важно делать, а куда погружаться не критично. И стал уточнять требования по ходу, по результатам исследований и аналитики.

Я сделал из этой истории несколько выводов (мб чуть тривиальных, но прожитых с опытом):
1. Что погружение продуктовой команды в сценарии и потребности пользователей позволяет экономить время в процессе разработки, отсекая неважные направления (раньше думал только с точки зрения ценности, а про сроки - нет).
2. Что погружение это нужно не только на старте (вот юзкейсы, вот сценарии, вот jtbd, поехали) а постоянно в процессе работы, т.к. всё время возникает много маленьких вопросов, о которых на берегу никто не подумал.
3. Что погружение должно быть push, а не pull, т.е. разработчик/дизайнер не всегда приходит с вопросом "не знаю, делать ли тут паджинацию, давайте в аналитике посмотрим, сколько тут может быть сущностей". Надо самому отлавливать такие точки принятия решений и закрывать их данным. Ну и учить команду замечать их, конечно.
4. Что из-за вот этих микровопросов и микроконтекстов очень важен быстрый доступ к знаниям о пользователе. В любом формате: продуктовая аналитика, continuous research, база инсайтов, user board, накопленная за счёт наблюдений экспертиза - нужен способ получить быстрый и относительно верный ответ на точечный вопрос.
5. Я сформулировал для себя идею сценарной/UX устойчивости напишу о ней чуть позже.

Всё встраивают ИИ (LLM) в свои продукты, и я тоже буду.

Интересно, что пространство решений +- понятно (даём пользователю в нужном контексте задать промпт и получить ответ), а вот пространство проблем (куда можно такое взаимодействие приткнуть) очень большое.


Составил для себя набор шагов, по которым пойду, поделюсь:
1. Составить список "работ", которые может закрывать LLM, не в моём продукте, а вообще. Этот список примерно понятен, соберу его из личного опыта и наблюдения за другими продуктами, погуглю.

2. Происследовать, в каких контекстах при взаимодействии с моим продуктом эти работы возникают (интервью, опрос, мб просто task analysis даже. Скорее на интервью остановлюсь)

3. Проскорить, какие из задач наиболее полезно упростить через LLM. Тут может быть любой подход для ранжирования: Кано, опросник TAM, всякие concept validation опросики. Вероятно, на входе буду давать либо описания на пару строк, либо статичные макеты (кажется, базовое взаимодействие с LLM уже понятно, и можно не прототипировать прямо жёстко, но будет понятней после интервью). Можно сделать дневниковое и попросить пользователей поиспользовать LLM для типичных задач недельку, и потом опросить про полезность. Ну не знаю.

4. Предсказательная сила у таких опросов низкая. Это способ отбросить очевидных аутсайдеров, или выявить лидеров настолько явных, что мы можем доверять их лидерству даже на метрике со слабой валидностью. Жду что отсеятся слабые варианты, а из сильных придётся выбирать финалиста самому :)

5. Можно ещё опросить, несколько часто и для каких задач пользователи уже используют LLM, и отскорить по этому признаку. Вроде идея норм, но не хочется почему-то, не интересно (ну и тут явный скос в early adopter-ов)

6. Вот и всё. Надеюсь, всё это позволит мне а)не делать совсем ерунду б)отойти от прямого копирования конкурентов


А есть, ещё два момента:
1. Это может быть эмоционально заряженной фичой, т.е. есть шанс, что кто-то из разработки будет готов запилить первую версию на коленке за выходные ради веселья. И в этом случае "давайте сначала поисследуем потребности" может обломать изначальный кураж, и бонус "фича бесплатно" я потеряю (мотивация команды разработки - отдельная большая тема. Я знаю, что интерес очень влияет и на сроки, и на качество разработки, и что исследованиями можно и разжигать этот интерес, показывая смысл и ценность продукта, и гасить, превращая всё в болото. Но пока я не очень хорош в этом, разберусь, напишу пост).

2. Это может быть политически заряженной фичой, т.е. может быть её нужно выпустить за две недели, чтобы получить PR повод "первая в мире штучка с ИИ", или получить доп инвестиции, или чтобы у продаж был классные слайд в презе для роста конверсии из первой встречи Это потёмкинские деревни, когда нужно быстро сделать для галочки, а уже потом союз будет сделать нормально. Я такое не очень люблю, но такой контекст случается. К счастью, у меня сейчас не так)

Что мы создаём? Что я создаю как продакт, как исследователь?

Один из ответов (скорее поэтический, чем практически применимый) - мы создаём поведение.

IT это способ создавать или масштабировать поведение людей - новые способы покупать, тратить, учиться, разговаривать, и запоминать.

(На самом деле не само поведение, а среду, которая делает определенное поведение более притягательным, снижая барьеры и подключая триггеры)

В целом это тривиально, можно так сказать про что угодно - "Макдональдс создаёт не бургеры, а поведение по их покупке" или "Найк создаёт культуру бега, а не кросы". Это схоластика, такая же, как и "мы создаём пользовательский опыт".

Отчасти да. Но разница в том, что Найк замеряет количество проданных кроссовок, а не количество километров, которые в них пробежали.
В противовес, IT продукты (SAAS особенно) отслеживают само поведение: количество транзакций в магазинах, сражений в играх, мэтчей и переписок в дэйтинге. Не количество отрисованных экранов или строчек кода.
Поведенческие метрики, а не приложенческие.

Это немного сдвигает фокус. Например, задача Хедспейса - сделать так, чтобы люди больше медитировали, и дольше платили за подписку, а Эйрбнб - увеличить количество путешествий с проживанием вне отелей. Хорошее приложение - возможный способ, но не обязательный.

Хорошо. Так какое поведение мы создаём?
У Влада Головача в одной из книг (золотой батон?) было разделение дизайна на "дизайн чтобы дороже" (упрощённо - дизайн для создания доп ценности) и "дизайн чтобы дешевле" (дизайн для удешевления текущей ценности).
По аналогии можно разделить наши продукты на "продукты, чтобы упростить поведение" и "продукты, чтобы создать поведение".

"Продукт чтобы упростить" облегчает действия, которые мы уже совершаем. Быстрее заказ, проще оплата, проще выбор, быстрее доставка. Один клик вместо десятка. Еком в большинстве случаев про это - упросить выбор, заказ, и получение товара. CRM облегчает ведение дел с клиентами.

"Продукт чтобы создать" - открывает для нас новые сценарии, что-то, что мы не могли делать раньше, а теперь можем.
Анализ текста математическими методами, планирование сложных путешествий, новые форматы групповой работы.

В большинстве случаев это одни и те же решения.
Убер упростил поездки на такси для одних, и сделал в принципе возможным/доступным для других.
Инструменты для разметки интервью (dovetail, considerly, и другие) меняют поведение исследователей, упрощая практику дотошного анализа интервью, тем самым создавая её для тех, кто раньше заморачивался, или облегчая для тех, кто раньше кодировал всё руками.

В таком ракурсе у работы появляется более социальное, гуманитарное измерение.
"Я создал такой продукт, что такие-то люди стали чаще вести себя таким-то образом, иначе делать свою работу, иначе планировать свой день".

Наткнулся на совершенно новый для меня способ думать об эффективности исследований (и в целом продуктовых подходов).

В медицинских исследованиях есть два способа оценивать эффективность лекарств.
Есть эффективность "per protocol" (PP), когда при оценке лекарства смотрят только на тех пациентов, которые строго следовали указанному протоколу лечения - частоте, дозировкам итд.
Есть эффективность "intention to treat" (ITT), когда эффективность оценивают по всем участникам исследования, в том числе по тем, кто путал дозировки или бросал на середине.

Эти две оценки различаются, так как люди часто не следуют протоколу - забивают, снижают дозы или перестают принимать лекарство совсем с появлением побочных эффектов, и т.д.
Если эффективность "per protocol" отличается от "intention to treat" очень сильно, это может значить, что лекарство в целом эффективно, но схеме лечения сложно следовать.

"Золотым стандартом" для оценки эффективности является "intention to treat", потому что она точнее отражает реальную клиническую практику. Нам важно, чтобы лекарство было эффективным не только в лаборатории, но и в обычной жизни, где за пациентом не следят.

Это разделение на PP и ITT легко переносится и на исследовательские, менеджерские, продуктовые подходы.

Например, я уверен, что подход Ульвика к созданию продуктов (с выделением сотен desired outcomes, выявлением underserved outcomes и их кластеризацией) имеет очень высокую PP эффективность. Но следовать этому "протоколу" очень сложно, поэтому ITT эффективность у него невысока.

Или условное включённое наблюдение имеет высокую PP эффективность, но относительно низкую ITT, потому что не все умеют проводить его хорошо.
Наконец, споры про "scrum это супер, вы просто неправильно его применяете" или "все неправильно понимают, что такое lean ux" обращаются к той же теме - зазору между теоретически достижимой "per-protocol" эффективностью подхода, и реальной "intention to treat" эффективностью, учитывающей сложность использования.

Интересно, что эффективность "intention to treat" явно зависит от выборки людей и их культуры (их способности следовать протоколу), может отличаться в разных сообществах, и, видимо, меняться со временем.
Например, процесс демократизации исследований явно снижает ITT части исследовательских методов, включая "в выборку" людей, которые к исследовательским "протоколам" непривычны.

Ну и мне конечно симпатична идея, что лекарства оценивают по ITT - т.е. что хорошее лекарство должно быть в том числе таким, чтобы средний пациент мог его +- нормально принимать (или чтобы оно работало даже несмотря на отклонения от протокола лечения).
Нам в исследованиях стоит поучиться, мне кажется.

__
Про саму идею прочитал у Скотта Александера, он использует её для обсуждения социальных практик и проблем (условно, можно ли утверждать, что у христианства высокая PP эффективность для построения счастливых сообществ, хотя и невысокая ITT, т.к. его практикуют неправильно).
Это тоже кажется очень интересным.

Хорошая история неожиданна, но реалистична.

Это относится к любой форме: в хороших стихах, романе и мелодии сложно предсказать следующий поворот, но когда он случается, то кажется логичным. В этом удовольствие.
В плохих все рифмы, повороты и развязки понятны с первого кадра.
(Не всегда так, но часто срабатывает)

Можем ли мы сказать то же самое про результаты исследований?
Должны ли хорошие исследования быть неожиданными и удивлять?

Вопрос в таком виде не имеет смысла, я заменю его тремя другими: имеют ли ценность тривиальные исследования, как эту ценность обосновывать, и как получать неожиданные результаты.

Имеют ли ценность исследования, которые не удивляют?
Да. Конечно да. Безусловно.
Исследование - источник данных. Большинство данных не удивляют нас, но они нужны.

Если вы закроете глаза и подойдёте а другую комнату, то, вероятно, наткнётесь на что-то, или заденете плечом косяк двери. Без зрительных данных сложно.
Значит ли это, что, открыв глаза я вы удивитесь обстановке в комнате и положению дверного проёма? Едва ли.
Зрение помогает, хотя его результаты ожидаемы.

Как обосновывать ценность исследования, если результаты тривиальны?
Обосновать себе сложно - мне кажется, это зависит от характера и опыта. Если вам важно удивлять, то убедить себя "ну и что, что не вышло, я же делаю полезное дело" в моменте тяжело.

Но вот обосновать заказчику проще, потому что важна (часто) не неожиданность результатов, а эффект.
"Мы на тестировании обнаружили, что люди не жмут кнопку, потому что опасаются, что сразу спишут деньги. Текст на кнопке поменяли, и конверсия выросла" - что может быть банальней?

Но такие результаты ценны, и не требуют дополнительного обоснования.
Тривиальные результаты в ключевых точках важнее, чем неожиданные результаты в неважных.

Чтобы выбирать эти важные точки, нужно понимать контекст - знать, где сейчас самая большая проблема, как выглядит цепочка создания ценности, где режется воронка, где есть запрос на данные, даже ожидаемые.

Как всё-таки получать неожиданные результаты?
Иногда это важно.
Есть плохой способ, средний, и хороший.

Плохой - "натягивать" данные, и раздувать анекдотичные свидетельства в тренд, преувеличивать проблемы. Он очевидно плох, но соблазнителен и доступен особенно в качественных методах. Мало кто так не делал.

Средний - смотреть на данные под неожиданным углом, осмыслять с другого ракурса, вписывать в исторический контекст и тренды.
Этот способ лучше, и производит впечатление, но у него есть проблема - результаты сложно применить.
То, что результаты вашего исследования рифмуются с отчётом Deloitte за прошлый год и статьями по behavioral science не делает их более полезными.
(Сам я этот способ нежно люблю, что видно по каналу).

Хороший - пойти "в другие комнаты", если неожиданность результатов для вас или заказчика важна.
В странную предметную область, в странные сегменты, странные сценарии. Найти заказчиков, которым это важно.

Привет)
Этот канал начался шесть лет назад с пересказа англоязычных статей про UX исследования (кажется, я просто пересказывал статьи из дайджеста Ветрова).
Я писал про исследования в mozilla, операционализацию сложных запросов, RITE подход, влияние Канемана на дневниковые исследования, и другие смежные темы.

С тех пор мои интересы поменялись - исследую я мало, а думаю про другое: про то, как распространяются идеи, про науку как медиа, про то, что каждый хороший продукт что-то экстериоризирует (а GPT, возможно, экстериоризирует эмпатию), и про другие бесполезные вещи. Хочу писать про них.

Страшновато отказываться от родной идентичности исследователя, но пора)

И ещё, я знаю, что многие из вас ведут каналы про UX и продуктовые исследования более актуальные, бодрые и бойкие, чем этот, накидайте пожалуйста, ссылок в комментариях)