✅ Активация в продукте и aha moments

В последние месяцы мы в команде плотно работаем над активацией пользователей в продукте.

Зачем вообще работать над активацией?

Мы знаем свой продукт изнутри, знаем результаты качественных, продуктовых исследований и понимаем, что у нас есть эффективные фичи, продуманный и удобный флоу пользователей, которые выделяют нас среди других продуктов и помогают удобно купить подходящий билет 🛫

Но при этом продукт достаточно сложный. Можно иметь лучший сервис на свете, но не научиться быстро и эффективно доносить эту ценность до пользователя. Именно поэтому важно научиться создавать такие механизмы, которые будут доносить “крутость" продукта до пользователя, то есть активировать его. Например, через онбординг.

Где-то здесь появляется вопрос — а что считать активацией? Какие фичи представляют наибольшую ценность? Это сложный, но интересный вопрос.

UX-исследования будут полезны, но нужны и количественные, потому что нам нужно считать метрики. Тут я хочу поделиться примерным решением.

Для ответа на этот вопрос можно изучить «успешных» пользователей и выделить набор фич или сценариев в продукте, использование которых отличает таких пользователей. Этот набор мы будем называть потенциальными aha moments и считать их достижение пользователями активацией (если докажем причинно-следственную связь).

Примерный набросок:

🟣Берем много-много фичей в продукте, с которыми сталкивается пользователь на своем пути
🟣Можно посмотреть на корреляции использования таких фичей с «успехом» (в контексте активации это обычно retention), коэффициенты регрессии или feature importance в более сложных ML моделях
🟣Найти оптимальные aha-moments корреляционным анализом (например, вот тут описано, как это можно делать)
🟣Проверить через A/B наличие причинно-следственных связей между использованием выбранных фич и «успехом»

Важно помнить, что найденные корреляции в большинстве случаев будут лишь корреляциями, и нужно валидировать наличие причинно-следственных связей через эксперимент, а также тот факт, что разные пользователи в продукте решают разные задачи и для разных сегментов пользователей могут быть разные aha moments 🙂

📕 Про снижение дисперсии, но не про CUPED


Прочитал свежую статью о снижении дисперсии в экспериментах Variance reduction combining pre-experiment and
in-experiment data от Zhexiao Lin и Pablo Crespo

Мы привыкли к методам CUPED / CUPAC для снижения дисперсии, которые используют данные до эксперимента. В статье предлагается метод, в основе которого лежит объединение предэкспериментальных ковариат и ковариат, которые мы получаем во время эксперимента 🔫

Но, конечно, подходят не все постэкспериментальные ковариаты, а только те, которые не зависят от тритмента. Затем все отобранные ковариаты предлагается включать в структуру CUPAC посредством регрессионной корректировки.

Основная идея в том, что, как правило, данные во время эксперимента (при условии независимости от тритмента) также могут сильно влиять на целевую переменную, и если мы научимся их правильно находить, то будем еще больше снижать неопределенность по сравнению с методами, которые используют только данные до эксперимента.

На графике оранжевым цветом отмечено дополнительное снижение асимптотической оценки дисперсии, достигнутое методом из статьи по сравнению с CUPAC на 29 экспериментах в Etsy. Причем для получения этих результатов авторы использовали всего 23 пост-ковариата в предложенном методе против 117 предэкспериментальных ковариат в CUPAC.

Ключевые моменты

🔵важно проверять ковариаты из экспериментальных данных на независимость от тритмента стат тестами (например, среднее значение не должно отличаться между контролем и тестом)
🔵 конечно же, нужно отбирать ковариаты, которые скоррелированы с целевой метрикой; иначе все это не имеет смысла
🔵в качестве практического преимущества метода авторы ссылаются на то, что до эксперимента данные, как правило, есть не у всех пользователей (для новичков, например, совсем нет), а после эксперимента данные есть у всех
🔵 при отборе пост ковариат важно учитывать поправки на множественное сравнение (контроль FWER)


Я уже, конечно, попробовал на данных одного из недавних экспериментов. Получаю 9% снижение дисперсии по сравнению с CUPAC, но выбирать подходящие ковариаты трудоемко, конечно. А еще не покидает ощущение возможного смещения из-за необходимости следить за независимостью от тритмента. В планах поэкспериментировать с симуляциями и поделиться результатами 🍪

Не все так однозначно

Наткнулся на небольшую статью от data scientists Meta, которая примечательна тем, что подчеркивает важность долгосрочных эффектов в экспериментах.

Ребята снизили число уведомлений в Facebook, оставив только нужные конкретному пользователю, но при этом обнаружили, что такие пользователи стали использовать приложение реже. Была интуитивная надежда, что, поскольку снижением числа уведомлений в пользу более релевантных увеличилась "удовлетворенность" пользователей, то и частота использования приложения может вернуться на прежний уровень в течение какого-то времени.

Учитывая наличие такой интуиции, они решили подержать эксперимент ГОД 😬

Через год оказалось, что несмотря на меньшее число уведомлений, пользователи стали использовать приложение чаще по сравнению с контрольной группой.

Бонусом в статье есть ссылка на статью о том, как можно создать долгосрочную прокси метрику для оценки долгосрочных эффектов на коротких экспериментах. Основная идея в использовании результатов уже проведенных долгосрочных экспериментов для получения коэффициентов регрессии, которые можно использовать для оценки длинных эффектов.

Выводов несколько:

🔵важно помнить, что долгосрочные эффекты могут отличаться от быстрых

🔵снижение количественных метрик не всегда плохо, особенно при увеличении "удовлетворенности" пользователей

🔵нужно быстрее достигать масштабов Facebook, чтобы почаще иметь возможность держать эксперимент годами (ладно, нет, существует множество подходов для прогнозирования оценки долгосрочных эффектов)

Мне кажется, это интересная и очень полезная тема. Мы проверяем долгосрочные эффекты в редких случаях, а вы сталкивались с интересными долгосрочными эффектами? 🍿

Люблю слушать и узнавать что-нибудь новое в области нейробиологии. Наткнулся на очередной подкаст с Владимиром Алиповым и хочу поделиться основными тезисами оттуда. Не совсем по теме, но, на мой взгляд, весьма полезно для всех сфер жизни, в том числе и для карьеры 🖐. Ссылочки на исследования будут не везде, но что-то поискал 😮‍💨

🔵Влияет ли изучение иностранных языков, игра в шахматы или другие подобные активности на риск возникновения болезни Альцгеймера в пожилом возрасте?

Корреляция с более низким уровнем возникновения болезни и активным изучением чего-то нового в течение жизни есть, но причинно-следственная связь не доказана. То есть, скорее всего, пользователи люди, изначально менее склонные к болезни Альцгеймера склонны более активно изучать новое в течение жизни

🔵Но помимо когнитивных способностей от рождения (которые изменить невозможно) есть и другие факторы, которые позволяют оттянуть "старение" мозга с возрастом: минимизация хронического стресса, силовые тренировки и сон. Про важность силовых тренировок писал еще здесь, со сном и так понятно, а вот хронический стресс сильно сокращает долгосрочность пластичности мозга

🔵Близкое общение ребенка с родителями в первые месяцы жизни повышает его IQ на 5-10 пунктов (например, есть такое исследование, но конкретно в нем есть сомнения в стат мощности)

🔵Большой разницы для успеха ребенка в будущей жизни между обучением в топ-школах и обучением в средних школах нет, с точки зрения влияния самой школы на успех; гораздо больше влияет исходный уровень способностей

Но при этом как будто очевидно, что способности еще нужно постоянно развивать и реализовывать. И делать это гораздо проще и более естественно в школах получше, за счет окружения, конечно.

🔵Работать над собой тоже нужно: во-первых, важно развивать способности; во-вторых, (субъективное мнение) человек с большим желанием и старанием часто догоняет более способных, но менее дисциплинированных

🔵Можно ли улучшить свою память?

Нет. Но можно изменить подход к запоминанию информации. Например, использовать знание об участии дофамина в обучении и использовать в момент обучения эффект рассогласования информации. Когда мы видим информацию, которая не соответствует нашим ожиданиям, мы лучше ее запоминаем. Поэтому при изучении чего-либо можно постоянно задавать себе вопросы, а затем уже узнавать ответы. Также очень помогает рассказывать самому себе или еще лучше кому-нибудь об изученном.
Как правило, слишком хорошая память ассоциирована с неспособностью агрегировать и анализировать информацию.

Кстати, лайфхак с эффектом рассогласования информации при запоминании неосознанно замечал и ранее, теперь буду пробовать использовать намеренно 😞

Написал более подробную статью на habr с разбором метода снижения дисперсии из статьи. Заодно и симуляций накинул для сравнения предложенного метода с CUPED / CUPAC. Но это просто на поразвлекаться 🎮

Основные выводы:

🔵 метод может быть особенно полезен, когда мы имеем дело с продуктом с низкой частотой использования: обычно в таком случае недостаточно данных до эксперимента, чтобы использовать их для снижения дисперсии; тут-то и могут пригодиться данные во время эксперимента

🔵то же самое касается и сетапа эксперимента только для новых пользователей

🔵применение метода имеет смысл, если есть ковариаты во время эксперимента, которые не зависят от тритмента, но коррелируют с целевой метрикой

🔵 метод нужно применять очень осторожно, чтобы не получить несмещенную оценку эффекта

Получилось сложно, но, надеюсь, полезно 💙

Кстати, доделал и, наконец, опубликовал статью на habr об опыте применении методов Causal Inference на практике. Заходите почитать! 🙂

А я поделюсь мемом, ставшим моим любимым на эту тему

Путеводитель по каналу ✈️

Ранее особо не упоминал о себе, но, как мне кажется, сделать маленькую заметку нужно.

Я Артём 👋. Занимаюсь анализом данных в Aviasales 🛫. До этого занимался тем же самым в 🟦, а еще раньше в берлинском e-grocery стартапе Wuplo.

Здесь делюсь необычным и полезным на аналитические темы в самом широком смысле. А еще мне нравится писать о здоровье, нейрофизиологии и спорте 🏋️‍♀️ (да, чем старше становлюсь, тем больше дурею с этой прикормки)


А вот и посты для навигации

🔵Почему Propensity Score Matching не лучший вариант для оценки эффекта без A/B

🔵Про снижение дисперсии, но не про CUPED

🔵Влияет ли изучение иностранных языков, игра в шахматы или другие подобные активности на риск возникновения болезни Альцгеймера в пожилом возрасте?

🔵Про долгосрочные эффекты в экспериментах

🔵Как НЕ сделать стартап

🔵Активация в продукте и aha moments

🔵Зачем нужен контроль MDE и мощности на этапе оценки эксперимента и что можно сделать не так

🔵Дельта-метод и ratio-метрики

🔵О множественном тестировании гипотез

🔵Можно ли изменить уровень IQ в течение жизни?

🔵Дисбаланс в A/B экспериментах: как влияет разное количество пользователей в группах на результаты?

🔵Что делать, когда нет возможности засетапить A/B? Causal Inference методы на практике

🔵Разбор стрима Валерия Бабушкина и Адама про здоровье

🔵Про важность долгосрочного планирования

Сегментация в продукте 🙂

В условный список недооцененных аналитических инструментов я бы добавил сегментацию пользователей. Причем без детализации, какую именно сегментацию. Потому что (как я выяснил на практике) сам поиск типа сегментации, который будет полезен для продукта и аналитики, уже может быть отдельной классной задачей, которая помогает лучше понять продукт и потребности в более широком смысле.

Разные типы сегментаций решают разные задачи, конечно. Это могут быть как довольно простые сегменты вроде RFM, которые часто полезны для оптимизации / персонализации маркетинговых рассылок (кстати, набор и количество букв в такой сегментации может быть каким угодно, если он решает задачу; вот, например, доклад от Авито об адаптированной RFM сегментации), так и более сложные, на основе намерений пользователей или их Customer Journey Map.

В большинстве продуктов пользователи приходят с разными потребностями и задачами. Например, в Aviasales кто-то приходит просто взглянуть на дешевые предложения, кто-то посравнивать цены на направление, а кто-то с конкретной целью купить билет. Причем один и тот же пользователь в разное время может решать разные задачи.

Понимание того, к какому сегменту относится пользователь в конкретный момент для продукта позволяет, например, оптимизировать путь пользователя и предлагать более релевантные фичи для решения его текущей задачи. А для аналитики -- делать метрики более чувствительными во время A/B или находить полезные инсайты, изучая поведение пользователей в контексте сегментов.

Я как раз нахожусь в процессе решения подобной задачи, поэтому интересно будет послушать о вашем опыте и попытках решения такой задачи 🍿

💭 Важность dream team

Нередко на собесах задают вопрос о том, что для меня важно в работе. И в моем ответе всегда есть пункт о важности атмосферы в команде. Но обычно это где-то в конце списка как приятное дополнение (интересные задачи и продукт всё же сложно сдвинуть с первого места 🙈)

Тем не менее, все чаще прихожу к выводу, что для меня приятная атмосфера внутри команды является очень важным фактором не только с точки зрения какого-то психологического комфорта, но и с точки зрения роста и мотивации.

Но как на раннем этапе понять, соответствует ли культура и атмосфера внутри команды желаемой? 🤔

Я думаю, во многом это субъективный, индивидуальный и где-то случайный фактор. Мне повезло с моей первой работой в индустрии в Wuplo, потому что долгое время та атмосфера внутри компании была для меня где-то около идеала. И тогда это способствовало быстрому и эффективному техническому и продуктовому развитию меня, а я отдавал много результата. А повезло, потому что у меня невольно сформировался запрос на такое в будущем.

А сейчас у меня просто топовая+топовая особенная команда и приятная атмосфера внутри, что здорово и что тоже в какой-то мере является результатом «присматривания» друг к другу на этапе собесов.

К слову, помимо того, что каждому нужно разное, есть какие-то общие принципы здоровой атмосферы внутри команд, и здесь нужно отдать должное менеджерам и всем тем, кто во многом формирует настроение внутри. У меня тоже был опыт решения такой задачи, и, мне кажется, это отдельное непростое искусство.

Поделитесь, что для вас особенно важно в команде и почему?

📕 Causal Inference для нестандартных задач

Ранее рассказывал про опыт применения методов причинно-следственного вывода в своих задачах, а на днях прочитал интересную статью от Meta Research A Causal View for Item-level Effect of Recommendation on User Preference.

Чем примечательна?

Существует небезызвестный эффект эхо-камер или контентных / информационных пузырей, когда пользователь ограничен в разнообразии информации, которую потребляет и которая подтверждает его взгляды или личные предпочтения.

Так вот авторы статьи исследуют, как на создание такого эффекта эхо-камеры влияют рекомендательные системы.

Любопытен предложенный подход к решению задачи 😟

Для корректной оценки наличия такого эффекта от рекомендательной системы, авторы по сути пытаются ответить на вопрос: как эффект от рекомендации конкретного элемента v влияет на предпочтения пользователя j, то есть хотим понимать эффект от каждой отдельной рекомендации.

Далее все стандартно: нужно устранить влияние конфаундеров. Для этого в статье применяется двухэтапная корректировка:

✔️ стратификация по времени для устранения временных конфаундеров
✔️ matching по признакам юзеров для устранения user features конфаундеров

Но когда речь идет об оценке эффекта на каждой паре (v, j), мы сталкиваемся с тем, что на больших данных это очень трудозатратная задача по времени, а матчинг по стандартному propensity score будет не оптимален, потому что мало данных на каждый элемент v + много комбинаций.

Поэтому авторы статьи разработали аппроксимации для каждого из этих шагов и формально получился новый алгоритм, который может вычислять эффекты на уровне item за разумное время.

Например, для устранения конфаундеров пользовательских признаков вместо использования propensity scores в авторы выбрали два наиболее влияющих признака пользователя (общая активность пользователя и предпочтение определенной категории пользователем), и на их основе построили простую метрику близости без явного расчета многомерной вероятности (все еще учитываем значимые факторы пользовательского поведения но значительно ускоряем матчинг). Плюсом во время матчинга используется сортировка и бинарный поиск, что позволяет сократить сложность матчинга до линейной вместо квадратичной при наивном подборе.

Затем посчитали , что варианты предложенного метода в ~15-20 раз быстрее, чем вычисление тех же эффектов на основе стандартных методов с использованием propensity scores 🤨

Какие получились выводы рисеча?

🔵рекомендации усиливают предпочтения в пределах уже известных пользователю категорий, но если контент разнокатегорийный, то заметного подкрепления интереса не происходит​ 🤔
🔵показ очень похожего контента в том же тематическом русле с высокой вероятностью усиливает «закрепление в пузыре», тогда как рекомендация похожего по аудитории, но тематически другого контента намного реже ведёт к усилению прежних предпочтений

Из этого следует предложенный практический вывод: для борьбы с эффектом Filter Bubble можно рекомендовать пользователю новые элементы, которые похожи на его интересы, но из других категорий. Такой подход всё ещё учитывает предпочтения, не показывая совсем неинтересное, но расширяет кругозор, снижая замкнутость 🌿

Но ключевая ценность статьи, как мне кажется, именно в подходе к решению задачи, можно брать на вооружение 🔫

О старении 🍀


Во время отпуска посмотрел очередное видео о долголетии с участием биофизика Петра Федичиева (CEO стартапа биотехнологической компании Gero, где в том числе занимаются поиском методов борьбы со старением).

Самое интересное ниже в тезисах:

🟣 На текущий момент есть разные подходы к решению проблемы старения: попытки «омоложения» и замедление старения. Наиболее вероятный сценарий связан именно с замедлением старения (вернуть клетки с накопленными повреждениями к более молодому состоянию – очень сложная задача)

🟣Сейчас «вакцины от старения» уже тестируются на собаках (на мышах сложно оценивать эффект, старение собак более похоже на старение людей)

🟣 Одна из ключевых решаемых задач сейчас это поиск «быстрых» маркеров старения. Способ оценки эффективности той или иной терапии без необходимости ждать сотни лет для оценки эффекта (привет прокси-метрикам для некоторых A/B экспериментов в продукте 😐)

🟣 Выводы исследований подобные «Занятия теннисом продлевают жизнь на 9 лет» скорее всего ассоциированы со смещенной выборкой людей, чем с реальным эффетком (более состоятельные люди чаще могут себе позволить заниматься теннисом, у таких людей больше возможностей получать лучшую медицину)

🟣 Эффект от Рапамицина на продолжительность жизни есть, но он небольшой

🟣 Государственные регуляции сильно тормозят возможные исследования и эксперименты новых методов (зато в Гондурасе можно прямо сейчас за N денег получить генную терапию, которая имеет статзначимый, но небольшой эффект +2-3 года)

🟣 Очевидно, но никогда не будет лишним проговорить еще раз, что занятия спортом сильно связаны с увеличением продолжительности жизни. В эту же копилку и регулярное ограничение калорий в рационе (вообще удаление курения, алкоголя, лишнего веса и добавление регулярного спорта в жизнь это база, которая дает самый сильный эффект)

Ну и основной вывод в том, что мы все ближе к появлению терапии для замедления старения, поэтому очень важно стараться сохранять свое тело и разум в хорошем состоянии и стараться не умирать 🍌

А еще я воскресил бота для изучения английских слов, которым когда-то занимался для стартапа Wordbi. Немного доработал и порефакторил

Чуть позже выложу код с проектом, чтобы была возможность сделать форк и допилить под свои нужды, а пока буду рад любому фидбеку 🙂

Бот тут: @wordbi_bot