Корреляция и причинно-следственная: Часть 1.

Наши решения приводят к тому, что юзеры продолжают пользоваться продуктами или удаляют их. Поэтому нам надо ясно мыслить, когда мы сталкиваемся с данными, и быть осторожными, когда видим возможные проблемы корреляции и причинно-следственной связи.

Пример: мы сделали новый дизайн нашего сервиса > трафик в сервисе увеличился
И тут сразу надо подумать: было ли увеличение трафика вызвано новым дизайном (причинно-следственная связь)? Или трафик просто увеличился органически в то время, когда был выпущен новый дизайн (корреляция)?

Пример: мы обновили картинки в app store, google play > кол-во загрузок увеличилось в 2 раза
Думаем: увеличилось ли количество загрузок из-за новых изображений в магазинах приложений (причинно-следственная связь)? Или они просто появились одновременно (корреляция)?

Причинно-следственная - это связь двух величин, при которой изменение одной величины вызывает всегда изменение другой. Тут все просто.

Корреляция - это связь двух величин, где смена одной из них ведет к изменению другой. При этом связь может как быть, так и не быть причинно-следственной. Например, две величины зависят от третьей, но не зависят друг от друга. Тут не все так просто.

Пример корреляции: есть А и Б переменные, которые мы наблюдаем одновременно. Мы не говорим что А причина Б и наоборот. Мы просто говорим, что наблюдая А, мы наблюдаем и за Б. Они просто есть. Так вот может быть следующее:
Положительная корреляция - это когда мы наблюдаем, что A увеличивается, и Б также увеличивается. Или если A уменьшается, Б соответственно уменьшается. Пример: чем больше покупок совершается в приложении, тем больше времени тратится на использование приложения.
Отрицательная корреляция - это когда увеличение A приводит к уменьшению Б или наоборот.
Отсутствие корреляции - это когда две переменные совершенно не связаны между собой, и изменение A не приводит к изменению Б, или наоборот.

В целом, можно даже опустить виды корреляции, так как самое важное: корреляция не означает причинно-следственную связь. Это может быть совпадением или случайностью.

Опять же пример: если смотришь и видишь в аналитике, что юзеры больше проводят времени на странице, а также у вас доход растет, то это не значит, что есть причинно-следственная связь. Это корреляция и значит что есть что-то еще.

#метрики @easyaboutdesign

Корреляция и причинно-следственная: Часть 2.

Сразу пример: допустим, хочешь протестировать гипотезу по изменении корзины в приложении или в интернет-магазине. Гипотеза в том, что юзер проходит слишком много шагов, прежде, чем он оформит и оплатит заказ и что эта сложность мешает купить. Поэтому ты выдвигаешь гипотезу и рисуешь новый флоу, а затем хочешь проверить повысит ли это вероятность того, что юзеры будут чаще покупать.

Остановимся на этом примере поподробнее:
Слишком много шагов для покупки - гипотеза.
Брошенная корзина в приложении <-> Удаление приложения - корреляция, то есть по гипотезе и то, и то может быть или влиять, но точно ты этого не знаешь.
Слишком много шагов для покупки -> Брошенная корзина в приложении - причинно-следственная связь.
Слишком много шагов для покупки -> Удаление приложения - причинно-следственная связь.

Как проверить два последних пунктов? Увы, только тестами.

Ну и последний пример: есть продукт, в котором средн. доход на юзера растет месяц к месяцу. Хороший сигнал? Да. Вместе с этим мы запускаем опросник NPS, чтобы оценить лояльность юзеров нашего продукта и видим, что NPS падает месяц к месяцу. Доходы растут, а лояльность падает. Как же так получается? Это что же, надо уменьшать лояльность в продукте, чтобы доходы росли? Нет, это корреляция. Надо искать причину.

Мы можем посмотреть, например, на сегменты юзеров с точки зрения "жизни в продукте", то есть посмотреть сколько юзер пользуется продуктом и, условно, поделить на новичков и дедов. Это можно банально сделать вопросом "сколько пользуетесь продуктом" и т.д. Так вот может стать так, что опрос проходят только "новички", которые не поняли ценность и нам не платят еще. А вот лояльные юзеры, которые активные "деды", выражают свою лояльность деньгами. Это лучшая награда и оценка и причина. Но даже опустив какие-то ложные выводы, можно выяснить, почему "новички" теряют лояльность, и, возможно, найдя причину, устранить ее, тем самым увиличив платящую юзер базу и, как следствие, деньги.

Всегда четко определяйте где корреляция, а где причинно-следственную связь, чтобы не попасть в ловушку. Если между сущностями есть причинно-следственная связь, то между ними точно будет корреляция. Но если между сущностями наблюдается корреляция, то причинно-следственной связи может и не быть. Единственный способ доказать наличие причинно-следственной связи – проводить тесты, но об этом потом.

#метрики @easyaboutdesign

Корреляция и причинно-следственная: Часть 3.

Бонус шутка: существует очень высокая корреляция между количеством людей, утонувших в бассейнах, и количеством фильмов с Николасом Кейджем в главной роли. Значит ли это то, что чтобы не утонуть, надо проверить количество фильмов, в которых снялся сейчас за год Николас Кейдж? Нет, это корреляция🤡

#метрики @easyaboutdesign

Возникли сомнения как преподнести материал, поэтому сейчас будет небольшой ИНТЕРАКТИВ

Картинка в помощь☝️

#метрики @easyaboutdesign

Теперь смотрим на Day 30 retention (долгосрочный дневной retention) продукта. На 30 день мы видим что он ~0.7%

#метрики @easyaboutdesign

Теперь давай думать, вот у нас 25% юзеров, которые потыкались и поняли ключевую ценность продукта. Но лишь очень-очень малая часть юзеров продолжает использовать продукт регулярно.

Тут я не буду тянуть, поэтому: решение хорошее и несет ценность, но тут в примере мы нихуя не смогли как команда донести до юзеров ценность и объяснить ее юзеров. Новые пришли, покумекали, не поняли и именно поэтому свалили.

Что тут важно сейчас понять:
- 25% пробуют ценность (это не 100, но и не 0,1,5,10%)
- И мы видим что на 30 день у нас нет нихуя юзеров лол
- Поэтому мы идем к ним (ушедшим) и поболтать на предмет чо они не поняли и т.д.
- И мы еще поняли что 75% даж не пробовали фичу, которая ключевая, потому что "ну а нахуя доносить, давай сделаем еще фич! я лучше знаю!"

#метрики @easyaboutdesign

Итак, раз продукт дает ключевую ценность (n-фича) 25% новых юзерам и при этом retention на 30 день = 0,7%

Гипотезу в студию: ну епт, юзеры же остаются именно из-за ключевой ценности, которую дает та n-фича? Так? Ну значит нам надо ебануть онбординг получше и доносить ценность до 100% новых юзеров, вместо 25, изи-пизи.

Подсказка: мы предполагаем лучший сценарий, то есть предположим мы реально донесли ценность всем 100% юзеров к 30 дню ретеншена и считаем, что взаимосвязь линейна. Щас будет еще один опросик...

#метрики @easyaboutdesign

Тут не надо грустить если что-то не правильно отвечали. Это ваще нормально. Даже 2,8% хоть и правильный ответ, но он ничего нам не даёт потому, что это абстрактный пример. 2,8% - это непонятный нам Retention для продукта из не понятно какой ниши + мы лишь делаем предположение (гипотезу), то есть даже не тестили и не сравнивали.

Но даже это может помочь подумать хорошо или плохо мы думаем над гипотезой. Допустим мы посмотрели бенчмарки, скажем от Appsflyer, и нашли что Day 30 retention для нашей ниши "shopping" = 5%, а у нас 2,8%.

Важно понять, что мы узнали то, что у продукта фундаментальная проблема - ценность не убеждает юзеров остаться. Пока эта проблема не решена нет смысла сжигать бабки на продвижение юзеров в текущем состоянии. Это не эффективно, потому что целью компании может быть рост, а у нас как из ведра льются юзеры, то есть валят из продукта.

Хорошая аналогия: лодка, которая не плывет и вообще в озере стоит. Глупо строить к ней трап, логичнее разобраться почему лодка не плывет и сделать так, чтобы поплыла. Все, спасибо за внимание и интерактивчик небольшой, доброй ночки и хороших выходных!

upd: во втором опросе я косякнул с подсказкой "ПОэтому давай считать, что ценность доносится до заметной части продукта", а надо правильно: "Поэтому давай считать, что ценность не доносится почти ни до кого". Сам же вопрос и ответы - верные.

Суть же не меняется: на основе ни одной из цифр практически нельзя делать какой-либо вывод: мы не знаем нишу, мы не знаем историю того с чем сравниваем и т.д. Но даже так на пальцах можно подумать. Эх, долбанные опросы в телеге... в следующий раз попробую вам в фигму давать доступ с примером, а в телеге простыни текста не будет, кроме опроса.

#метрики @easyaboutdesign

Гипотезы и факты надо отделять - это важная часть работы над продуктом, потому что создание продуктов это сложно и рискованно.

На досуге на работе или вне, посидите и вдумайтесь в то, как какая-то гипотеза, вкинутая в духе "а чо бы и нет" и все выводы и тд на основе нее могут повлиять на работу.

Даже нашу, дизайнерскую, ведь мы отвечаем и за и визуал и за опыт, который будет потом на основе этого выстраиваться, на основе таких вот решений.

Поэтому надо иногда просто посидеть и подумать подольше, перед тем как идти и разрабатывать/дизайнить. Стараться превращать гипотезы в факты, через исследования, через корридорки, через ю-тесты, через просмотр аналитики и т.д.

в базе НЕ является фактом:
1. Опыт другого продукта. Где-то что-то сработало - не значит, что сработает у вас.
2. Опыт из статей аля "лучшие практики", например "эмодзи в письмах/пушах взрывают конверсию х2" и т.д
3. И любимое: "Логично", "Это очевидно", "Я считаю/знаю лучше блэт"😁

#метрики @easyaboutdesign

Начал формировать знания в виде текста и схемы, в которых сперва будет база, которая потом плавно перетечет по итогу в схему, на которой будут объединены практические инструменты для работы, которые я считаю самыми важными. Буду стараться максимально понятно и очень точечно/коротко описывать саму суть.

Формировать начал в фигме, доступ открытый. Вот файл. Он будет обновляться и корректироваться по мере моих возможностей - об этом я буду писать тут, а также комментов.

Пока что я попробовал объяснить то, из чего базово состоит любой продукт на условном делении метрик: на метрики продукта и роста, но важно уловить суть:
- На входе подаются юзеры
- Юзеры в продукте конвертятся/перерабатываются во что-то - метрики продукта.
- Это “что-то” важно для бизнеса - метрики роста.
- Метрики в целом отвечают на разные вопросы.
- Ты всегда работаешь с метриками продукта (даже если этого не осознаешь).
- Например, метрика удержания (retention).
- Получив юзеров, наш продукт превращает их для бизнеса в метрики роста.
- Например, активные юзеры, выручка, прибыль и тому подобное.
- Метрики продукта и роста важны одинакого.

@easyaboutdesign

Продолжаем постигать базу. На выходные и праздники вам составил блок про ценность, чтобы освоили и потом удивляли всех на работе, хе-хе. Вот файл. Также слегка обновлена "база продукта" (можно не перечитывать)

@easyaboutdesign

Добавил блок product/market fit и почему там дизайна нет. Дизайнеру важно осознавать эти моменты: базу продукта, ценность, pmf и гипотезы - первые 4 блока это как раз таки база, которую я хочу донести. Затем уже начну формировать это в схему из конкретных инструментов, где все соберется воедино. Опять же, это итеративный процесс, который я буду дорабатывать.

Вот файл.

@easyaboutdesign