Обещал поделиться кейсом, иллюстрирующим приём Говарда Беккера из недавнего поста («общество как машина»). Исполняю!

Дисклеймер: написано после мучительного согласования фактов с основателем, вернее, основательницей сервиса (ныне он закрыт). Т., спасибо за доверие, и ещё раз обозначу: у меня точно не было цели выставить тебя и коллег какими-то недотыкомками. Вы действовали в разрезе бизнес-аналитики и дата-анализа чрезвычайно грамотно — никто не виноват в том, что у продукта оказалось столько, блин, социального и психологического в бэкграунде.

В первой половине 2025 года я консультировал и помогал по части исследований сервису с adult conversational чатботами. Да-да, очередному. Но тот был, кстати, и правда не кондовым клоном конкурентов, со своим вайбом, не без оригинальных механик. После работы в EVA AI у меня было несколько таких проектов — с удовольствием берусь на такие по сей день, хотя рынок стал ещё жёстче, и надо быть смельчаком или совсем уж самозабвенно любить свой продукт, чтобы дерзнуть сейчас залететь туда с нуля.

На тот момент продуктовая команда уже натолкнулась на аномалию в когортах и пыталась её побороть. Самые вовлечённые пользователи — те, кто писал по 120+ сообщений в день, оформлял сразу квартальную или годовую подписку, проводил в приложении больше часа ежесуточно — не размывались плавно, а срывались без видимых причин на втором-третьем месяце после пика. D1, D7, D21 у них были образцовые, стартовый вклад в LTV лучший в базе, зато churn — с места в карьер (ну, так выглядело), и ни одна стандартная гипотеза его предпосылок не ловила. Даже в самих переписках, за редчайшим исключением, не проступало никаких явных причин ухода. Команда перебрала всё, что привычно при траблшутинге в развлекательном b2c. Сперва сочли проблемной зоной пейволл — поэкспериментировали с лимитами, с выбором триггерных событий для активации самого пейволла: D7 у низкововлечённых слегка подрос, обрыв у «китов» остался. Куда дальше обычно идёт мысль в таком случае? Правильно, к тому, что с LLM что-то не так. Ну, модель всё равно было в планах модифицировать. Прикрутили RAG, саммаризацию фрагментов беседы, выровняли, насколько получилось, консистентность персоны: длина сессии чуть выросла (и не только среди heavy users) — обрыв среди самых лакомых никуда не делся. Запустили реактивации — пуши типа «Она по тебе скучает» (понятно, с большей персонализацией), винбэк, скидки: ушедшие возвращались — короткий отскок был — и уходили снова, теперь уже куда быстрее и навсегда.

К моменту, когда меня позвали (звали не конкретно на решение этой проблемы, но она была на повестке), у команды был набор паллиативов: ARPPU подтянули апселлами, онбординг пошевелили A/B, только глубинных причин «отвалов» никто по-прежнему не понимал. На вопрос «Почему уходят-то?» отвечали: «Приедается новизна», «Надоедает», «Ушли к конкуренту», «Мы по экспириенсу объективно хуже, чем Replika и Nomi AI» — ровно теми тейками, что сами требуют объяснения и никуда не ведут.

Я… Ну нет, врать не стану. Предложил перевернуть вопрос, да, и отказаться от «Почему уходят самые вовлечённые?», однако беккеровского приёма в моём арсенале тогда не было. Поэтому я не предложил помыслить, как смоделировать машину, которая гарантированно берёт привязавшегося было к продукту платящего, и платящего хорошо, пользователя и с регулярностью выбрасывает его прочь на втором-третьем месяце. Хотя фактически именно это и раскапывал, просто через иную логику. Но сейчас давайте разберём тот кейс по-беккеровски — он для этого чудо как удобен.

(Продолжение — в комментариях к посту.)

Заметки на краях стелек (по следам недавних исследований в фэшн)

«По обувке встречают» — эту формулу, чуть переиначенное «По одёжке встречают», информанты в интервью о выборе одежды регулярно преподносят как символ веры. Один собеседник дал её с отсылкой к источнику: «Где-то читал — первый взгляд на обувь, второй на часы, потом причёска», — и согласился с ней. А через минуту, после уточняющего вопроса «А что такой первый взгляд вам даёт? Было у вас такое на днях, в недавнее время?», задумался и заключил: «Честно, раньше об этом не задумывался, такого прям анализа я не проводил». И вспомнил, что его новые лоферы, гордость сезона, никто из окружающих, кажется, не заметил.

Информант, говорящий «Я всегда сужу по обуви», вовсе не обязательно отчитывается о своём восприятии. Например, цитирует прочитанное/услышанное, предъявляет интроецированную норму, подаёт желаемую компетенцию как сформированную. Интервью, кстати, вообще фиксирует нормы охотнее, чем практики, и ремесло интервьюера во многом к тому и сводится, чтобы различаться зазор между «как я смотрю» и «как положено смотреть».

Перед нами не просто расхождение между декларативным вниманием и практической слепотой. Возможно, информант вообще не отчитывался о движениях собственного взгляда. Он предъявлял культурную компетентность: «Я знаю, на что смотрят люди, умеющие разбираться в людях». Соответственно, он не вспоминает о восприятии, просто применяет правило социального чтения и одновременно выдвигает заявку на принадлежность к числу «квалифицированных читателей».

Ещё Чарльз Райт Миллс предложил видеть в вербализуемых мотивах не тайные пружины поступков, а ситуативные словари, при посредстве которых действия делают понятными и приемлемыми. Суждения вроде «Я всегда смотрю на обувь» устроены сходным образом. Они сообщают не только — иногда и не столько — о практике взгляда, сколько о норме хорошей, подобающей социальной проницательности.

Хорошая иллюстрация (буквально) здесь — самая знаменитая пара башмаков в истории мысли, а именно ван-гоговская (Een paar schoenen, 1886). Хайдеггер в «Истоке художественного творения» прозревал в них мир крестьянства, тяжесть борозды и зов земли. Искусствовед Мейер Шапиро три десятилетия спустя не без тихого ехидства констатировал: а башмаки-то городские и, по всей видимости, принадлежали самому художнику. Деррида в «Истине в живописи» (1978) посвятил спору сих двух изрядно места и никого не рассудил, зато разобрал саму страсть к «реституции» — желание непременно атрибутировать башмаки правильному владельцу. Спор, к слову, не закрыт и сегодня. Башмаки не рассказали о своём гипотетическом владельце ничего, зато позволили каждому рассказать о себе.

Что до [якобы] первичности внимания к обуви, вероятнее другое. Публичный взгляд дисциплинирован: незнакомца можно заметить, однако неприлично долго рассматривать. Поэтому обувь иногда оказывается не первым, а самым безопасным объектом инспекции, особенно в лифте, метро или очереди, где взгляд вниз помогает не вступать в контакт. А иногда её действительно видят первой, при условии что взгляд обучен. Продавец, стилист, коллекционер кроссовок замечают не больше остальных, а иначе: профессиональное и любительское зрение тоже социально выучивается.

(Окончание — в комментах к посту.)

Важная, очень важная книжка, не в последнюю очередь «самым остроумным образом» полезная в прикладных, исследованиях [а также в семейной жизни и уходе за мотоциклом, и я почти не шучу]. Продуктовых в особенности. Основное у Коллинза, с чем те, кому эти идеи в новинку, едва ли согласятся с порога (впрочем, с порога и не надо, лучше критически осмыслить): люди не выбирают — вернее, в меньшей степени, чем принято считать, — выбирают то, чему привержены. Их туда втягивает, клонит, кренит. Или, лучше сказать, они тяготеют к тому или иному.

Социальная жизнь не сложена из взаимодействия автономных индивидов, обладающих предпочтениями и оценками, которые якобы остаётся «захайлайтить» интервью или замерить CSI. Сложена она, утверждает Коллинз, из ситуаций — мимолётных встреч тел, заряженных эмоциями и сознанием, потому что эти тела уже прошли через цепочки/секвенции прошлых встреч. При совпадении четырёх условий — телесное со-присутствие, взаимный фокус внимания, общее настроение и символическая граница «свои — чужие» — ситуация «вскипает» (стоит учитывать, что автор наследует Дюркгейму, в т. ч. понятийно, и не краснеет) и производит две вещи: во-первых, эмоциональную энергию — уверенность, инициативу, тягу повторить, — во-вторых, групповые символы, наделённые смыслом групповой же принадлежности. По сильной формулировке Коллинза, индивид сам — цепочка интеракционных ритуалов, «осадок» (precipitate) прошлых ситуаций и одновременно ингредиент каждой новой, но никак не причина процесса. Здесь Коллинз с подначкой переворачивает формулу Гоффмана: вместо «Люди и их моменты» — «Моменты и их люди».

При взгляде под таким углом уже не получается видеть лояльность, вовлечённость, «ценности бренда», привычки тем, что сидит в голове респондента и ждёт декларации. Всё это предстаёт в ином свете — как то, что нарастает или иссякает ситуация за ситуацией. Люди прагматически — хотя почти всегда не сознательно, действуя на ощупь, — тяготеют к тем цепочкам взаимодействий, которые дают им больше эмоциональной энергии, и уклоняются от энергетически истощающих. Emotional engagement — тот общий знаменатель, на котором совершается «выбор», тогда как сам выбор высчитается плохо и осознаётся редко.

И исследователю приходится перекалибровать оптику — перестать каталогизировать артикулируемые мотивы и начать описывать и реконструировать ситуации и их составные части: где у продукта возникает совместный фокус, чьё со-присутствие он опосредует, какие символы заряжает или обесценивает, какие ритуалы благодаря ему удаются, а какие оказываются вынужденными и выхолощенными. В общем, то, что называют retention, по Коллинзу (замечу, он про это не пишет, это моя проекция его работы на свою исследовательскую повседневность) представляет собой положение пользователя в различных цепочках интеракционных ритуалов — и предсказуемо оно ровно в той степени, в какой мы знаем его траекторию. И траектория эта, понятно, CJM никак не ограничивается.

Exit-интервью и опросы: прощание для галочки

Вот отписывается пользователь от нашего сервиса. Мы подсовываем ему форму с вопросом «Почему вы уходите?» или даже пробуем выцепить на короткий разговор и что там, что тут получаем спокойный, звучащий разумно и честно ответ: «Стало дорого», «Перестал успевать», «Нашёл бесплатную замену». Ответ, повторю, вполне честный, только обычно бесполезный сам по себе. Можно дальше это утверждение бывшего клиента раскручивать, показывая пиковые достижения в мастерстве пробинга, и пытаться узнавать в разговоре, а что это такое — «дорого» в жизненном мире нашего собеседника и чем оно отличается от его же «дорого» применительно к другим вещам. Только это не шибко помогает, если мы в самом начале свернули не туда.

Я бы вообще сказал, что exit-интервью — жанр с врождённым пороком встроенным дефектом, однако же не стану. Не так всё плохо.

Беда не в том, что респондент нас обманывает (нет, бывает, и лукавит, лишь бы отвязались). Просто сам вопрос «Почему вы ушли?» устроен хитрее, чем выглядит.

В медицинском свидетельстве о смерти обязательно содержатся строчка «Смерть наступила от: …» (причина) и строчка «Дата». Вопросом об уходе, целясь в причину, мы попадаем в дату и сами того не замечаем: человек охотно рассказывает про момент, когда нажал кнопку отписки, хотя, с очень высокой степенью вероятности, то, в связи с чем он в конце концов её ткнул, произошло куда раньше, и, скорее всего, это был не какой-то один легко реконструируемый эпизод, чаще — последовательность происшествий и конфигурация факторов.

Тут надо развести два события, которые в отчётах о churn rate нередко слепляют в одно. Первое — уход, как результат медленного ли, быстрого ли остывания/разлада отношений с продуктом. Второе — отмена, короткая административная процедура, оформление того, что давно случилось (продолжало случаться до сего момента, has been going on). Между ними лежат недели, если не месяцы, когда подписка уже мертва, во всяком случае, агонизирует, пусть даже деньги за неё исправно списываются с карты каждый месяц. Точно так же, как разводы — они ведь случаются не в загсе: туда приносят бумаги, фиксирующие то, что произошло задолго до. То, что человек называет нам в качестве причины ухода — ну, там, уведомление о повышении тарифов, перевыпуск карты, случайно замеченное списание, переход на более выгодную в его понимание альтернативу — обычно лишь социально приемлемый повод оформить документы на развод.

Ну а почему же люди в принципе называют причиной ухода совсем не то, что послужило такой причиной? Механизм простой, и его давным-давно описали социология, когнитивистика и отчасти социолингвистика: когда мы спрашиваем человека, отчего он поступил так, а не иначе (ещё давайте не станем забывать, что такие вопросы сопряжены с высоким риском инвазивности), он не столько вспоминает подлинный мотив, сколько сигнатурно подбирает подходящее объяснение — из тех, что среди его окружения и «среди него самого» считаются уместными и не требуют оправданий (отсылаю вас и себя к Бёрку, Миллсу и другим). У каждой ситуации свой репертуар «приличных» причин, свой «словарь мотивов». Вдобавок мы, люди, будучи нарративными машинами, плохо переносим истории без причин, без мотивированных ходов — как свои, так и чужие: раз уж решение принято, к нему задним числом подыскивается объяснение, которое делает рассказ связным и не роняет достоинство рассказчика. Опять же, явление это проблематизировал, каждый со своего стороны, много кто. Отец этнометодологии Гарольд Гарфинкель пришёл к тому, что социальные действия изначально устроены так, чтобы быть accountable — наблюдаемыми и объяснимыми, дословно «подотчётными». Причём «подотчётность» эта, accountability вовсе не камуфляж поверх некоего «настоящего мотива», она-то как раз и конституирует социальное действие.

(Окончание в комментах к посту.)

Синтетические респонденты как мера доксы

Индустрия разделилась, в который раз — ну, хоть не так бесплодно и потешно, как в годы активной qual/quant дискуссии, она же «куку-дискуссия». Одни ратуют за «синтетических респондентов» (кто-то их продаёт, кто-то использует) — нейросетевые сущности, призванные репрезентировать сегменты аудитории или их отдельных представителей, и многие из энтузиастов инструмента предвещают закат исследований с участием людей. Реализованы «синтетики» могут быть по-разному — хоть в виде агентов, хоть в виде т. н. промпт-персон, хоть через статистическую аугментацию, не столь важно как. Другим такой инструмент претит — методологически ли, эстетически ли, и они, как правило, озвучивают доводы в том духе, что у LLM нет жизненного опыта и вместо человека та воспроизводит стереотипы, третьи офигевают и пребывают в свирепой задумчивости. Сейчас не стану вдаваться в то, в чём правы и в чём, на мой взгляд, заблуждаются первые. Главное, что у вторых есть своя правда (сам я, будучи по специализации и индоктринации качественником, впрочем, совершенно спокойно отношусь к тому, что «синтетики» являют собой дериваты от дериватов). Не правы они, имхо, в выводе, к которому — в большинстве своём — приходят: стереотипы вовсе не брак «синтетиков» как продукта. Неа. Это собственно продукт, и парадоксальным образом весьма ценный, по крайней мере для качественных исследований.

Что такое языковая модель? Упрощённо — скомпрессированный публичный дискурс. Попросите её ответить от лица «34-летней женщины с детьми из города-миллионника» про доставку здорового питания, и получите не эту женщину (её не существует), а взвешенное среднее всех текстов о таких женщинах и такой доставке: то, как принято об этом говорить, то, что о них известно. Модель, простите за тавтологию, моделирует не человека — текстовые/знаковые следы, которые оставляют люди определённого типа: то, как у них принято отвечать, мотивировать, оправдываться. Бурдьё называл это доксой — совокупностью само собой разумеющегося. И большая языковая модель даёт нам суперпозицию той доксы, что попала в обучающие датасеты. Впервые у нас в руках оказался прибор, способный ужасающе детализированно зафиксировать то, что носится в воздухе, причём отдельно от людей. Эдакий демон Шеннона.

И вот ведь забавность: это ровно то, чего исследованию чаще всего не хватает: нулевая отметка. Мы говорим клиенту, что поле дало инсайты, однако подчас затрудняемся при необходимости показать, насколько далеко инсайт отстоит от условного здравого смысла и common knowledge (или по-новому его раскрывает), и точки отсчёта для измерения «прироста смысла» не было. Теперь есть.

Как говорил один литературный персонаж, «и что для нас это значит в практическом смысле?». Самое простое — прогнать гайд на синтетических респондентах до поля, зафиксировать корпус ожидаемых ответов (ту самую доксу), пойти в поле, собрать эмпирический материал — и наконец, при анализе размечать его относительно той самой нулевой отметки. То, что живые люди говорят так же, как продемонстрировала LLM, с высокой вероятностью может быть отнесено на счёт воспроизводства публичного дискурса. То, что расходится с нейросетевой доксой, суть кандидаты в инсайты, причём слово «инсайт» обретает тут новое операциональное определение: то, чего нет в «скомпрессированном здравом смысле». И мы, как исследователи, начинаем видеть во всех деталях планку, которую должны взять. Если двадцать четыре наших интервью почти неотличимы от выдачи модели, значит, либо гайд собирает клише, либо исследователь не сдюжил, либо нужен другой метод — в общем, много разных диагностических «либо».

(Окончание в комментарии к посту.)

И снова о гибридах в исследованиях

Если долго сидеть на берегу реки в отраслевых чатах, увидишь, как коллеги-исследователи осуждают коллег-исследователей за использование методологических сборок, в которых UX-тест (например, walkthrough) сочетается — в пределах одной сессии — с глубинным/когнитивным интервью, точнее, с элементами глубинного/когнитивного интервью. Обычно запрет на эту комбинацию мотивируют тем, что методы мешают, если не противоречат друг другу: беседа подсказывает человеку, на что смотреть в интерфейсе, интерфейс подбрасывает готовые ответы-сигнатуры для последующего разговора, в результате исследователь получает микс наблюдений, рационализаций и мнений не пойми какого происхождения.

Так-то смысл осторожно относиться к таким гибридным дизайнам есть. Но дело не в том, что методы несовместимы by default. При соблюдении определённых правил — совместимы. В HCI/UX-исследованиях это вполне нормальная практика: партисипант выполняет задачу, исследователь наблюдает за его действиями и слушает комментарии, затем возвращается к отдельным эпизодам и задаёт уточняющие вопросы. В разных традициях это называют retrospective probing, stimulated recall, retrospective think-aloud и т. д. Методологическая проблема заключена не в самом сочетании наблюдения и беседы. Всё начинает разъезжаться тогда, когда мы перестаём различать, что именно получили на каждом этапе, тем или иным методом — и в каких условиях получен тот или иной, ммм, содержательный юнит. И когда соответствующие инструменты не разделены.

Допустим, пользователь оформляет доставку и на экране выбора времени несколько раз переключается между слотами, возвращается назад, открывает пояснение про стоимость, потом всё-таки тычет в более дорогой вечерний интервал. По ходу он бросает: «А, вечером доплата… тогда, наверное, лучше днём». Но выбирает вечер. После задачи исследователь спрашивает почему. Пользователь отвечает: «Да мне вечер изначально был удобнее, цена тут не особо важна». А позже, когда разговор заходит о доставках вообще, говорит: «Я почти всегда выбираю самый дешёвый вариант, если нет срочности».

Тут у нас, разумеется, не три варианта реализации одного и того же критерия выбора, обязательно имеющие за собой некий общий инвариант. В первом случае видно, как цена становится релевантной прямо внутри решения, ситуативно и реактивно. Во втором имеем уже сконструированное задним числом объяснение конкретного выбора. В третьем — обобщённое правило, посредством которого человек описывает собственное поведение, весьма вероятно с сильным элементом рационализации (через свой «словарь мотивов», по Миллсу). Все три эпистемологические единицы полезны, хотя единицы это разные. Ошибкой было бы пытаться свести их к единому «критерию выбора пользователя» и ждать, что они обязаны совпасть.

Так что главное правило годной гибридной сборки — разводить исследовательские режимы и единицы анализа.

Пока человек действует, стоит дать ему… действовать, с особой осторожностью оперируя вопросами вида «Почему?», «Что вы ожидаете увидеть?» и не увлекаясь в процессе пробингом. Каждый такой вопрос меняет и всю ситуацию, и взгляд респондента: заставляет внимательнее смотреть, формулировать критерии, замечать то, что без интервенции исследователя могло остаться незамеченным. Велик риск превратить тестирование интерфейса в совместное решение задачи (спасибо, партисипаторность, но не сейчас), описывая впоследствии получившееся как якобы естественное пользовательское поведение.

Обратная ошибка возникает, когда перед тем же UX walkthrough проводится обстоятельное интервью. Если сначала подробно расспросить человека о безопасности платежей, доверии к банкам или страхе ошибиться, придётся ли удивляться тому, что именно эти вещи он начнёт особенно тщательно выискивать на явленных ему экранах?

Поэтому вопрос не в том, допустимо ли соединять методы (способов сделать это криво — тьма). Вопрос зачем.

(Окончание — в комментарии к посту.)

Собираем — как часть более обширного исследования — тест компетентности для сотрудников крупной компании и заспорили об одном методологическом приёме: целесообразно ли после каждого задания с one-choice или multiple-choice просить человека отметить, насколько тот уверен в своём ответе, по четырёх- или пятибалльной шкале?

На итоговый балл такой self-report об уверенности, по нашей задумке, не влияет, балл считается только по правильным/неправильным ответам (их развесовка здесь не принциальна). Нам — ну ладно, мне — такой ход кажется ценным в плане того, чтобы увидеть совершаемые с уверенностью ошибки. Сотрудник, который чего-то не знает и понимает это, не страшен: он остановится и спросит, разузнает, повременит. Опаснее тот, кто твёрдо усвоил неверное правило и действует по нему без колебаний — скажем, спокойно отправляет клиентские данные во внешний сервис. По одним только ответам эти два человека различимы в недостаточной мере, между тем учить их и оценивать сопряженные с их поведением риски, кажется, нужно по-разному. Также маркирование степени уверенности в ответе обещает неплохо дополнить самоотчётную часть нашего опросника (вопросы вида «Я умею X», «За последний месяц я использовал Y в своей работе», etc.).

Понятное дело, изобрели приём не мы: к нему с полвека прибегают в психометрических исследованиях, на нём построено certainty-based marking в медузах — там уверенная ошибка студента (ожидаемо!) тревожит экзаменатора куда сильнее честного «не знаю». Впрочем, и претензии к нему выдвигают. Уверенность — во многом свойство личностное: кто-то уверен всегда, кто-то никогда. Плюс при таком измерении неизбежны когнитивные и статистические артефакты/искажения: эффект «трудное — лёгкое», регрессионные эффекты [Erev, Wallsten, Budescu, 1994] и тэ дэ. В частности, известно, что на трудных заданиях чрезмерная уверенность возникает отчасти механически. Кроме того, на 20-25 заданиях с четырёхбалльной шкалой индивидуальные оценки, вероятно, будут шумными: про группы/кластеры какие-то выводы получится сделать, про отдельного человека — если и да, то с существенными-пресущественными оговорками.

Разошлись во мнениях и относительно того, не будет ли такая сборка задания существенно увеличивать когнитивную нагрузку и не вызовет ли смещения в самих ответах. На мой взгляд, перформативная компонента в таком дополнительном измерении безусловно есть, но эта самая перформативность конкретно здесь мне видится желанной: условное «За базар отвечаешь?» «А насколько ты уверен?» задаёт правильный модус принятия решения. А что касается того, оправданно ли спрашивать про две вещи в одном вопросе, так это ведь не double-barreled question: мы спрашиваем про две эпистемически разные сущности, которые различаются примерно так же, как диктум и модус в лингвистике.

Друзья, коллеги, тунчжи — использовал кто-нибудь такой ход? Что думаете?

Рубрика «Безоговорочная рекомендация». Безоговорочная — в том смысле, что ручаюсь я за неё абсолютно. 3 сентября стартует курс «Анализ качественных данных» Константина Ефимова и Анастасии Жичкиной. Витийствовать не стану, все подробности — на лендинге и в канале. Скажу только, что я прошёл курс сам ещё в 2023 году и подтверждаю: он годится и для начинающих, и для опытных. Вот я на тот момент был уже — вроде как — опытный, а унёс с курса столько, что потом осмыслял и внедрял в свою практику не один месяц. А с тех пор, насколько знаю, программу ещё и проапгрейдили.

Это (увы!) последний поток, поэтому если вы размышляли, заскочить или нет, даже не сомневайтесь.

А ещё дают скидку 15% по промокоду FINAL2026.