Про OKR (Часть 1)
Когда доходит до какой-то оценки дизайнеров или в целом сотрудников/команд/департаментов - все чот пугаются, лел.
Сперва сразу всех успокою, потому что OKR не про это.
Суть в том, что постановка целей по OKR это про вовлеченность сотрудников в достижение этих самых целей. Есть даже исследования про это, но ссылки все в конце.
OKR это метод для постановке амбициозных целей и для трекинга их прогресса. Вещь эта публичная, чтобы каждый видел то, над чем работают другие и был еще больше вовлечен, т.е OKR'ы должны быть видны.
И ещё раз, OKR не является оценкой сотрудников или списком дел. Это ближе к описанию "резюме", т.е. условно над чем работал дизайнер/маркетолог и т.д. за n-период времени - чаще всего квартал (3 месяца) - зависит от руководства и текущей стратегии.
OKR - это цель (Objective), т.е. это то, чего хотим добиться или амбициозная цель, а ключевой результат (Key Results) - это то, как мы измерим движение к цели.
Цель (Objective) должна быть ограничена промежутком времени и быть описательной.
Ключевой результат (Key Result) должен быть конкретным, измеримым (в любой момент процесса работы над ним) и достижимым.
Если брать в цифрах, то может быть не более 2-3 целей на человека/команду/департамент и по каждой цели 1-3 результата, но если больше, то рабочий процесс станет слишком размытым и не эффективным.
Нужно это всё исключительно для того, чтобы задать правильное направление и фокус.
Поэтому еще раз и с небольшим дополнением: это не про оценку вас, а также OKR по сути запрещено использовать для расчета премий, потому что сразу начнется постановка "слабых" целей и их перевыполнения - люди начнут арбузить OKR.
Уже упомянул, но повторюсь: OKR могут быть как командные, так и личные. Ставятся на квартал и/или год, а оцениваются каждый спринт/месяц. OKR можно пересматривать со временем.
OKR измерима, а если нет, то ее невозможно достигнуть. Постановка целей по OKR - отдельная (хоть и несложная) наука. Мы должны точно знать, достигли ли мы нужных значений, или нет.
Важно чтобы OKR была достижима. Ничто так не демотивирует команду и клиентов, как нереалистичный план.
OKR не просто так определена на промежуток времени. Лимит по времени позволяет иметь контрольную точку, когда пора остановиться и оценить результат.
Ранее я писал про "описательность" цели, а это значит что OKR говорит "что" надо достичь, а не "как". Пути достижения цели определяются командой и зависят от контекста. Язык программирования, фреймворки, архитектура кода, подключение платежных систем и другие тактические шаги в хорошей продуктовой команде не должны быть заданы извне. То есть OKR должен быть достаточно абстрактным, оставляя команде большую степень свободы выбирать пути достижения цели.
Вообще, когда ты работаешь с продактами/тим-лидами/лидами замечай то, как он отвечает за планирование твоей/других работы на разных гаризонтах и умеет ли между ними переключаться. Это ты заметишь на митингах, грумингах и т.д., а также это поможет тебе его "обкакать" и отобрать позицию или кратно вырасти быстрее и устроиться в компанию выше позицией 🤡.
Условно обрщай внимание на то, как он ставит краткосрочный горизонт, т.е. как пишутся user/job story для спринта, как вообще он в этом горизонте заполняет спринт, а также что по итогу спринта получается.
Какие OKR'ы ставит и эпики создаёт, чтобы выстроить работу уже на месяц/квартал - это среднесрочный горизонт, за который продакт менеджер отвечает, а твой лид получает отмашку и уже на тебя переводит.
И как вообще эти чуваки метят в долгосрочной перспективе, а тут уже ты в курсе что такое принципы, видение, миссия и стратегия - это все согласуется между ними на уровне компании.
@easyaboutdesign
Когда доходит до какой-то оценки дизайнеров или в целом сотрудников/команд/департаментов - все чот пугаются, лел.
Сперва сразу всех успокою, потому что OKR не про это.
Суть в том, что постановка целей по OKR это про вовлеченность сотрудников в достижение этих самых целей. Есть даже исследования про это, но ссылки все в конце.
OKR это метод для постановке амбициозных целей и для трекинга их прогресса. Вещь эта публичная, чтобы каждый видел то, над чем работают другие и был еще больше вовлечен, т.е OKR'ы должны быть видны.
И ещё раз, OKR не является оценкой сотрудников или списком дел. Это ближе к описанию "резюме", т.е. условно над чем работал дизайнер/маркетолог и т.д. за n-период времени - чаще всего квартал (3 месяца) - зависит от руководства и текущей стратегии.
OKR - это цель (Objective), т.е. это то, чего хотим добиться или амбициозная цель, а ключевой результат (Key Results) - это то, как мы измерим движение к цели.
Цель (Objective) должна быть ограничена промежутком времени и быть описательной.
Ключевой результат (Key Result) должен быть конкретным, измеримым (в любой момент процесса работы над ним) и достижимым.
Если брать в цифрах, то может быть не более 2-3 целей на человека/команду/департамент и по каждой цели 1-3 результата, но если больше, то рабочий процесс станет слишком размытым и не эффективным.
Нужно это всё исключительно для того, чтобы задать правильное направление и фокус.
Поэтому еще раз и с небольшим дополнением: это не про оценку вас, а также OKR по сути запрещено использовать для расчета премий, потому что сразу начнется постановка "слабых" целей и их перевыполнения - люди начнут арбузить OKR.
Уже упомянул, но повторюсь: OKR могут быть как командные, так и личные. Ставятся на квартал и/или год, а оцениваются каждый спринт/месяц. OKR можно пересматривать со временем.
OKR измерима, а если нет, то ее невозможно достигнуть. Постановка целей по OKR - отдельная (хоть и несложная) наука. Мы должны точно знать, достигли ли мы нужных значений, или нет.
Важно чтобы OKR была достижима. Ничто так не демотивирует команду и клиентов, как нереалистичный план.
OKR не просто так определена на промежуток времени. Лимит по времени позволяет иметь контрольную точку, когда пора остановиться и оценить результат.
Ранее я писал про "описательность" цели, а это значит что OKR говорит "что" надо достичь, а не "как". Пути достижения цели определяются командой и зависят от контекста. Язык программирования, фреймворки, архитектура кода, подключение платежных систем и другие тактические шаги в хорошей продуктовой команде не должны быть заданы извне. То есть OKR должен быть достаточно абстрактным, оставляя команде большую степень свободы выбирать пути достижения цели.
Вообще, когда ты работаешь с продактами/тим-лидами/лидами замечай то, как он отвечает за планирование твоей/других работы на разных гаризонтах и умеет ли между ними переключаться. Это ты заметишь на митингах, грумингах и т.д., а также это поможет тебе его "обкакать" и отобрать позицию или кратно вырасти быстрее и устроиться в компанию выше позицией 🤡.
Условно обрщай внимание на то, как он ставит краткосрочный горизонт, т.е. как пишутся user/job story для спринта, как вообще он в этом горизонте заполняет спринт, а также что по итогу спринта получается.
Какие OKR'ы ставит и эпики создаёт, чтобы выстроить работу уже на месяц/квартал - это среднесрочный горизонт, за который продакт менеджер отвечает, а твой лид получает отмашку и уже на тебя переводит.
И как вообще эти чуваки метят в долгосрочной перспективе, а тут уже ты в курсе что такое принципы, видение, миссия и стратегия - это все согласуется между ними на уровне компании.
@easyaboutdesign
❤12🔥2👍1
Про OKR (Часть 2)
Вернемся к OKR. Сразу пример:
Цель: Улучшить конверсию в подписку на я.музыку в q2 2023
- написано "что", а не "как", т.е описательно написана.
- есть временной отрезок.
Теперь про KR к этой цели, которых может быть 1 или несколько напоминаю:
- KR1: провести исследование потребностей клиентов
- KR2: повысить конверсию на лэндинге на 10%
- KR3: Увеличить процент успешных платежей до 90%
👆 Как видишь KR описаны конкретно и их можно в любой момент измерить, т.е. посмотреть конверсию и процент успешных платежей. А также просто сказать: было исследование или нет.
А вот плохие KR для этой же цели:
- Править баги
- Увеличить скорость приложения я.музыка
- Начать проводить a/b тесты новой фичи
👆Непонятно что конкретно нужно и как это измерить и достичь вообще. Разработчик поправил 1 баг, а премию дадут? Дизайнер нарисовал 2 макета, а премию дадут?
И снова хорошие KR:
- Увеличить retention на 7 день на 5%
- Провести 5 коридорок с прохождением флоу подписки на 95%
- Провести 3 эксперимента по увеличению retention
- Запустить 3 новые фичи через эксперименты.
👆Еще раз, это измерить можно? Да. Это конкретно? Да.
Думаю смысл понятен теперь как это на практике выглядит.
Последнее: KPI vs OKR. Это не одном и то же. Кого-то может это путать, поэтому сразу надо прояснить и этот вопрос.
OKR - могут меняться от квартала к кварталу, но всегда OKR имеет целевое значение (к чем стремимся), которое отличается от начального, т.е. это инструмент и вовлечения команду в работу, и для положительного влияния на значение определенной метрики.
Напомню, что метрики - просто значение (число), в котором надо понимать 2 вещи: важна ли эта метрика для бизнеса, чтобы определить её как KPI и как эта метрика посчитана.
То есть OKR всегда имеет O + KR (и тут у нас есть текущее значение метрики (конверсия, retention и т.д.) и то на которое надо эту метрику повысить (на 5%, 95% и т.д.);
KPI же это ключевой показатель эффективности. Устанавливая (беря) какую-то метрику как ключевую - компания для себя определяет ключевые области бизнеса и метрику, по которой будет просто определять ее текущее значение, а также целевой показатель, к которому компания стремится. Отсюда отличие от OKR, т.к. KPI не могут меняться и обычно остаются неизменными квартал за кварталом, т.к. KPI надо контролировать всегда. В основном это про деньги.
Пример KPI: закрыть квартал с выручкой за подписки 1,8 млн ₽. Поэтому по KPI смотрят что сейчас, и как далеко от целевого показателя.
Ну и по схеме, которую я прикреплял выше теперь я думаю понятно, что дальше продакт менеджеры дробят для вас (разработчиков, дизайнеров, тестировщиков) всё на эпики > user/job story и формируют это все в спринты.
Про OKR от Google
60 примеров OKR
Отличия от KPI и еще про отличия
Хорошие и плохие OKR
Примеры видения и миссий
@easyaboutdesign
Вернемся к OKR. Сразу пример:
Цель: Улучшить конверсию в подписку на я.музыку в q2 2023
- написано "что", а не "как", т.е описательно написана.
- есть временной отрезок.
Теперь про KR к этой цели, которых может быть 1 или несколько напоминаю:
- KR1: провести исследование потребностей клиентов
- KR2: повысить конверсию на лэндинге на 10%
- KR3: Увеличить процент успешных платежей до 90%
👆 Как видишь KR описаны конкретно и их можно в любой момент измерить, т.е. посмотреть конверсию и процент успешных платежей. А также просто сказать: было исследование или нет.
А вот плохие KR для этой же цели:
- Править баги
- Увеличить скорость приложения я.музыка
- Начать проводить a/b тесты новой фичи
👆Непонятно что конкретно нужно и как это измерить и достичь вообще. Разработчик поправил 1 баг, а премию дадут? Дизайнер нарисовал 2 макета, а премию дадут?
И снова хорошие KR:
- Увеличить retention на 7 день на 5%
- Провести 5 коридорок с прохождением флоу подписки на 95%
- Провести 3 эксперимента по увеличению retention
- Запустить 3 новые фичи через эксперименты.
👆Еще раз, это измерить можно? Да. Это конкретно? Да.
Думаю смысл понятен теперь как это на практике выглядит.
Последнее: KPI vs OKR. Это не одном и то же. Кого-то может это путать, поэтому сразу надо прояснить и этот вопрос.
OKR - могут меняться от квартала к кварталу, но всегда OKR имеет целевое значение (к чем стремимся), которое отличается от начального, т.е. это инструмент и вовлечения команду в работу, и для положительного влияния на значение определенной метрики.
Напомню, что метрики - просто значение (число), в котором надо понимать 2 вещи: важна ли эта метрика для бизнеса, чтобы определить её как KPI и как эта метрика посчитана.
То есть OKR всегда имеет O + KR (и тут у нас есть текущее значение метрики (конверсия, retention и т.д.) и то на которое надо эту метрику повысить (на 5%, 95% и т.д.);
KPI же это ключевой показатель эффективности. Устанавливая (беря) какую-то метрику как ключевую - компания для себя определяет ключевые области бизнеса и метрику, по которой будет просто определять ее текущее значение, а также целевой показатель, к которому компания стремится. Отсюда отличие от OKR, т.к. KPI не могут меняться и обычно остаются неизменными квартал за кварталом, т.к. KPI надо контролировать всегда. В основном это про деньги.
Пример KPI: закрыть квартал с выручкой за подписки 1,8 млн ₽. Поэтому по KPI смотрят что сейчас, и как далеко от целевого показателя.
Ну и по схеме, которую я прикреплял выше теперь я думаю понятно, что дальше продакт менеджеры дробят для вас (разработчиков, дизайнеров, тестировщиков) всё на эпики > user/job story и формируют это все в спринты.
Про OKR от Google
60 примеров OKR
Отличия от KPI и еще про отличия
Хорошие и плохие OKR
Примеры видения и миссий
@easyaboutdesign
❤17🔥3👍1
JTBD.zip
2.9 MB
Ролик по JTBD на ютубе.
Схему из видео прикрепляю к этому сообщению. Для нее нужен obsidian.md - бесплатная программа для создания заметок и базы знаний.
@easyaboutdesign
Схему из видео прикрепляю к этому сообщению. Для нее нужен obsidian.md - бесплатная программа для создания заметок и базы знаний.
@easyaboutdesign
👍28❤🔥9🔥5❤2👏1
Про OKR (Часть 3 - финал)
Ранее была часть 1 и часть 2. К этому времени у тебя появится вопрос: "как понять достиг ли я цели по OKR или нет?". Хороший вопрос! Для этого надо понимать на сколько ты достиг Key Results. Давай разбираться.
Как по мне есть 2 варианта:
1. KR либо достигнул, либо нет, то есть он бинарный: 0 или 1. Например, тебе поставили провести 5 коридорок. Если вообще не проводил коридорок и не провел все пять штук, то считаем как 0. Провел 5 значит засчитано как 1. Но это как-то странно и не всегда так бывает. Но может быть, потому что руководители могут быть разными.
2. Считать среднее и определять некий целевой показатель как Google. Например, таргет был на 5 коридорок, а ты провел 2. Значит 2/5 = 0,4. Таким образом считаешь: результат/таргет и считаешь среднее по всем OKR. Что же касается целевого показателя, то Google просто считает среднее, где результат по всем KR может быть:
- от 0 до 0,3 - не очень, прогресса нет или незначительный.
- от 0,4 до 0,6 - средний результат, какой-то прогресс есть.
- 0,7 - 1 - классно, в самый раз или цель достигнута. Примечание: гугл задает таргет 0,6-0,7 как в самый раз, а 1 - это если команда/чел-к превосходят все ожидания.
Пример: Ты работаешь дизайнером в компании. Тебе поставили 1 OKR. Работаешь свою работу. Прошел квартал (3 месяца). Ты хочешь оценить достиг ли цели.
Пример OKR: Objective: Улучшить число платных подписок в Q3
- KR1: Провести 5 коридорок с прохождением флоу подписки на 95% (провел 3 коридорки с 95% прохождением флоу)
- KR3: Увеличить конверсию в оплату подписки на 1% (результат: 0.4%)
- KR2: Увеличить CTR рассылки писем на 25% (увеличил 13% когда обновил дизайн писем)
Пример: Как были достигнуты результаты по KR выше?
- KR1: была гипотеза и ты сделал прототип, который потестировал 3 раза.
- KR3: ты сделал дизайн с меньшим количеством шагов, это подняло конверсию на 0,4%
- KR3: ты обновил визуальный стиль писем и донес с маркетологом посредством текстов ценность лучше, тем самым поднялся ctr на 13%.
Пример: Как посчитать?
Просто делим результат на то, что в KR и считаем среднее по этим данным: (3/5; 0,4/1; 13/25)
OKR = среднее (0,6; 0,4; 0,52) = 0,5
Итого, если целимся по оценке на 0,7 как "в самый раз", то 0,5 не плохой, а хороший результат. Есть прогресс, работаем дальше.
И последний пример: Повысить активацию улучшив опыт после регистрации.
KR1: Повысить коэффициент завершения регистрации с 45% до 75%. (результат 64%, за счет добавление кнопок соц. сетей)
KR2: Сократить кол-во шагов до активации с 14 до 6. (результат 6 за счет проработки флоу онбординга)
KR3: Сократить время активации с 25 минут до менее 5 минут. (результат 12 минут за счет причесывания экранов онбординга)
KR4: Повысить оценку CSAT во время процесса активации с 30% до 70%. (результат 56% за счет создания опросника и измерения в конце онбординга)
OKR = среднее (64/75; 6/6; 5/12; 56/70) = 0,7 - круто, цель в среднем достигнута. P.S.: Там, где время "менее 5 мин" - это таргет, поэтому делим 5 на 12)
@easyaboutdesign
Ранее была часть 1 и часть 2. К этому времени у тебя появится вопрос: "как понять достиг ли я цели по OKR или нет?". Хороший вопрос! Для этого надо понимать на сколько ты достиг Key Results. Давай разбираться.
Как по мне есть 2 варианта:
1. KR либо достигнул, либо нет, то есть он бинарный: 0 или 1. Например, тебе поставили провести 5 коридорок. Если вообще не проводил коридорок и не провел все пять штук, то считаем как 0. Провел 5 значит засчитано как 1. Но это как-то странно и не всегда так бывает. Но может быть, потому что руководители могут быть разными.
2. Считать среднее и определять некий целевой показатель как Google. Например, таргет был на 5 коридорок, а ты провел 2. Значит 2/5 = 0,4. Таким образом считаешь: результат/таргет и считаешь среднее по всем OKR. Что же касается целевого показателя, то Google просто считает среднее, где результат по всем KR может быть:
- от 0 до 0,3 - не очень, прогресса нет или незначительный.
- от 0,4 до 0,6 - средний результат, какой-то прогресс есть.
- 0,7 - 1 - классно, в самый раз или цель достигнута. Примечание: гугл задает таргет 0,6-0,7 как в самый раз, а 1 - это если команда/чел-к превосходят все ожидания.
Пример: Ты работаешь дизайнером в компании. Тебе поставили 1 OKR. Работаешь свою работу. Прошел квартал (3 месяца). Ты хочешь оценить достиг ли цели.
Пример OKR: Objective: Улучшить число платных подписок в Q3
- KR1: Провести 5 коридорок с прохождением флоу подписки на 95% (провел 3 коридорки с 95% прохождением флоу)
- KR3: Увеличить конверсию в оплату подписки на 1% (результат: 0.4%)
- KR2: Увеличить CTR рассылки писем на 25% (увеличил 13% когда обновил дизайн писем)
Пример: Как были достигнуты результаты по KR выше?
- KR1: была гипотеза и ты сделал прототип, который потестировал 3 раза.
- KR3: ты сделал дизайн с меньшим количеством шагов, это подняло конверсию на 0,4%
- KR3: ты обновил визуальный стиль писем и донес с маркетологом посредством текстов ценность лучше, тем самым поднялся ctr на 13%.
Пример: Как посчитать?
Просто делим результат на то, что в KR и считаем среднее по этим данным: (3/5; 0,4/1; 13/25)
OKR = среднее (0,6; 0,4; 0,52) = 0,5
Итого, если целимся по оценке на 0,7 как "в самый раз", то 0,5 не плохой, а хороший результат. Есть прогресс, работаем дальше.
И последний пример: Повысить активацию улучшив опыт после регистрации.
KR1: Повысить коэффициент завершения регистрации с 45% до 75%. (результат 64%, за счет добавление кнопок соц. сетей)
KR2: Сократить кол-во шагов до активации с 14 до 6. (результат 6 за счет проработки флоу онбординга)
KR3: Сократить время активации с 25 минут до менее 5 минут. (результат 12 минут за счет причесывания экранов онбординга)
KR4: Повысить оценку CSAT во время процесса активации с 30% до 70%. (результат 56% за счет создания опросника и измерения в конце онбординга)
OKR = среднее (64/75; 6/6; 5/12; 56/70) = 0,7 - круто, цель в среднем достигнута. P.S.: Там, где время "менее 5 мин" - это таргет, поэтому делим 5 на 12)
@easyaboutdesign
👍15❤2🔥1
Изи о дизе
Про OKR (Часть 3 - финал) Ранее была часть 1 и часть 2. К этому времени у тебя появится вопрос: "как понять достиг ли я цели по OKR или нет?". Хороший вопрос! Для этого надо понимать на сколько ты достиг Key Results. Давай разбираться. Как по мне есть 2…
А вот пример шкалы для оценки OKR
👍18🔥1
В метриках будем разбираться?
Готовлю ряд постов, но как всегда начнем постепенно: с базы. Важны же не цифры, а выводы, которые делаются на их основе
Готовлю ряд постов, но как всегда начнем постепенно: с базы. Важны же не цифры, а выводы, которые делаются на их основе
Final Results
84%
Да🤩
11%
Да🥺
5%
Да😔
🔥35👍3💯1
Корреляция и причинно-следственная: Часть 1.
Наши решения приводят к тому, что юзеры продолжают пользоваться продуктами или удаляют их. Поэтому нам надо ясно мыслить, когда мы сталкиваемся с данными, и быть осторожными, когда видим возможные проблемы корреляции и причинно-следственной связи.
Пример: мы сделали новый дизайн нашего сервиса > трафик в сервисе увеличился
И тут сразу надо подумать: было ли увеличение трафика вызвано новым дизайном (причинно-следственная связь)? Или трафик просто увеличился органически в то время, когда был выпущен новый дизайн (корреляция)?
Пример: мы обновили картинки в app store, google play > кол-во загрузок увеличилось в 2 раза
Думаем: увеличилось ли количество загрузок из-за новых изображений в магазинах приложений (причинно-следственная связь)? Или они просто появились одновременно (корреляция)?
Причинно-следственная - это связь двух величин, при которой изменение одной величины вызывает всегда изменение другой. Тут все просто.
Корреляция - это связь двух величин, где смена одной из них ведет к изменению другой. При этом связь может как быть, так и не быть причинно-следственной. Например, две величины зависят от третьей, но не зависят друг от друга. Тут не все так просто.
Пример корреляции: есть А и Б переменные, которые мы наблюдаем одновременно. Мы не говорим что А причина Б и наоборот. Мы просто говорим, что наблюдая А, мы наблюдаем и за Б. Они просто есть. Так вот может быть следующее:
Положительная корреляция - это когда мы наблюдаем, что A увеличивается, и Б также увеличивается. Или если A уменьшается, Б соответственно уменьшается. Пример: чем больше покупок совершается в приложении, тем больше времени тратится на использование приложения.
Отрицательная корреляция - это когда увеличение A приводит к уменьшению Б или наоборот.
Отсутствие корреляции - это когда две переменные совершенно не связаны между собой, и изменение A не приводит к изменению Б, или наоборот.
В целом, можно даже опустить виды корреляции, так как самое важное: корреляция не означает причинно-следственную связь. Это может быть совпадением или случайностью.
Опять же пример: если смотришь и видишь в аналитике, что юзеры больше проводят времени на странице, а также у вас доход растет, то это не значит, что есть причинно-следственная связь. Это корреляция и значит что есть что-то еще.
#метрики @easyaboutdesign
Наши решения приводят к тому, что юзеры продолжают пользоваться продуктами или удаляют их. Поэтому нам надо ясно мыслить, когда мы сталкиваемся с данными, и быть осторожными, когда видим возможные проблемы корреляции и причинно-следственной связи.
Пример: мы сделали новый дизайн нашего сервиса > трафик в сервисе увеличился
И тут сразу надо подумать: было ли увеличение трафика вызвано новым дизайном (причинно-следственная связь)? Или трафик просто увеличился органически в то время, когда был выпущен новый дизайн (корреляция)?
Пример: мы обновили картинки в app store, google play > кол-во загрузок увеличилось в 2 раза
Думаем: увеличилось ли количество загрузок из-за новых изображений в магазинах приложений (причинно-следственная связь)? Или они просто появились одновременно (корреляция)?
Причинно-следственная - это связь двух величин, при которой изменение одной величины вызывает всегда изменение другой. Тут все просто.
Корреляция - это связь двух величин, где смена одной из них ведет к изменению другой. При этом связь может как быть, так и не быть причинно-следственной. Например, две величины зависят от третьей, но не зависят друг от друга. Тут не все так просто.
Пример корреляции: есть А и Б переменные, которые мы наблюдаем одновременно. Мы не говорим что А причина Б и наоборот. Мы просто говорим, что наблюдая А, мы наблюдаем и за Б. Они просто есть. Так вот может быть следующее:
Положительная корреляция - это когда мы наблюдаем, что A увеличивается, и Б также увеличивается. Или если A уменьшается, Б соответственно уменьшается. Пример: чем больше покупок совершается в приложении, тем больше времени тратится на использование приложения.
Отрицательная корреляция - это когда увеличение A приводит к уменьшению Б или наоборот.
Отсутствие корреляции - это когда две переменные совершенно не связаны между собой, и изменение A не приводит к изменению Б, или наоборот.
В целом, можно даже опустить виды корреляции, так как самое важное: корреляция не означает причинно-следственную связь. Это может быть совпадением или случайностью.
Опять же пример: если смотришь и видишь в аналитике, что юзеры больше проводят времени на странице, а также у вас доход растет, то это не значит, что есть причинно-следственная связь. Это корреляция и значит что есть что-то еще.
#метрики @easyaboutdesign
👍29
Корреляция и причинно-следственная: Часть 2.
Сразу пример: допустим, хочешь протестировать гипотезу по изменении корзины в приложении или в интернет-магазине. Гипотеза в том, что юзер проходит слишком много шагов, прежде, чем он оформит и оплатит заказ и что эта сложность мешает купить. Поэтому ты выдвигаешь гипотезу и рисуешь новый флоу, а затем хочешь проверить повысит ли это вероятность того, что юзеры будут чаще покупать.
Остановимся на этом примере поподробнее:
Слишком много шагов для покупки - гипотеза.
Брошенная корзина в приложении <-> Удаление приложения - корреляция, то есть по гипотезе и то, и то может быть или влиять, но точно ты этого не знаешь.
Слишком много шагов для покупки -> Брошенная корзина в приложении - причинно-следственная связь.
Слишком много шагов для покупки -> Удаление приложения - причинно-следственная связь.
Как проверить два последних пунктов? Увы, только тестами.
Ну и последний пример: есть продукт, в котором средн. доход на юзера растет месяц к месяцу. Хороший сигнал? Да. Вместе с этим мы запускаем опросник NPS, чтобы оценить лояльность юзеров нашего продукта и видим, что NPS падает месяц к месяцу. Доходы растут, а лояльность падает. Как же так получается? Это что же, надо уменьшать лояльность в продукте, чтобы доходы росли? Нет, это корреляция. Надо искать причину.
Мы можем посмотреть, например, на сегменты юзеров с точки зрения "жизни в продукте", то есть посмотреть сколько юзер пользуется продуктом и, условно, поделить на новичков и дедов. Это можно банально сделать вопросом "сколько пользуетесь продуктом" и т.д. Так вот может стать так, что опрос проходят только "новички", которые не поняли ценность и нам не платят еще. А вот лояльные юзеры, которые активные "деды", выражают свою лояльность деньгами. Это лучшая награда и оценка и причина. Но даже опустив какие-то ложные выводы, можно выяснить, почему "новички" теряют лояльность, и, возможно, найдя причину, устранить ее, тем самым увиличив платящую юзер базу и, как следствие, деньги.
Всегда четко определяйте где корреляция, а где причинно-следственную связь, чтобы не попасть в ловушку. Если между сущностями есть причинно-следственная связь, то между ними точно будет корреляция. Но если между сущностями наблюдается корреляция, то причинно-следственной связи может и не быть. Единственный способ доказать наличие причинно-следственной связи – проводить тесты, но об этом потом.
#метрики @easyaboutdesign
Сразу пример: допустим, хочешь протестировать гипотезу по изменении корзины в приложении или в интернет-магазине. Гипотеза в том, что юзер проходит слишком много шагов, прежде, чем он оформит и оплатит заказ и что эта сложность мешает купить. Поэтому ты выдвигаешь гипотезу и рисуешь новый флоу, а затем хочешь проверить повысит ли это вероятность того, что юзеры будут чаще покупать.
Остановимся на этом примере поподробнее:
Слишком много шагов для покупки - гипотеза.
Брошенная корзина в приложении <-> Удаление приложения - корреляция, то есть по гипотезе и то, и то может быть или влиять, но точно ты этого не знаешь.
Слишком много шагов для покупки -> Брошенная корзина в приложении - причинно-следственная связь.
Слишком много шагов для покупки -> Удаление приложения - причинно-следственная связь.
Как проверить два последних пунктов? Увы, только тестами.
Ну и последний пример: есть продукт, в котором средн. доход на юзера растет месяц к месяцу. Хороший сигнал? Да. Вместе с этим мы запускаем опросник NPS, чтобы оценить лояльность юзеров нашего продукта и видим, что NPS падает месяц к месяцу. Доходы растут, а лояльность падает. Как же так получается? Это что же, надо уменьшать лояльность в продукте, чтобы доходы росли? Нет, это корреляция. Надо искать причину.
Мы можем посмотреть, например, на сегменты юзеров с точки зрения "жизни в продукте", то есть посмотреть сколько юзер пользуется продуктом и, условно, поделить на новичков и дедов. Это можно банально сделать вопросом "сколько пользуетесь продуктом" и т.д. Так вот может стать так, что опрос проходят только "новички", которые не поняли ценность и нам не платят еще. А вот лояльные юзеры, которые активные "деды", выражают свою лояльность деньгами. Это лучшая награда и оценка и причина. Но даже опустив какие-то ложные выводы, можно выяснить, почему "новички" теряют лояльность, и, возможно, найдя причину, устранить ее, тем самым увиличив платящую юзер базу и, как следствие, деньги.
Всегда четко определяйте где корреляция, а где причинно-следственную связь, чтобы не попасть в ловушку. Если между сущностями есть причинно-следственная связь, то между ними точно будет корреляция. Но если между сущностями наблюдается корреляция, то причинно-следственной связи может и не быть. Единственный способ доказать наличие причинно-следственной связи – проводить тесты, но об этом потом.
#метрики @easyaboutdesign
👍21💋2
This media is not supported in your browser
VIEW IN TELEGRAM
Корреляция и причинно-следственная: Часть 3.
Бонус шутка: существует очень высокая корреляция между количеством людей, утонувших в бассейнах, и количеством фильмов с Николасом Кейджем в главной роли. Значит ли это то, что чтобы не утонуть, надо проверить количество фильмов, в которых снялся сейчас за год Николас Кейдж? Нет, это корреляция🤡
#метрики @easyaboutdesign
Бонус шутка: существует очень высокая корреляция между количеством людей, утонувших в бассейнах, и количеством фильмов с Николасом Кейджем в главной роли. Значит ли это то, что чтобы не утонуть, надо проверить количество фильмов, в которых снялся сейчас за год Николас Кейдж? Нет, это корреляция🤡
#метрики @easyaboutdesign
👍13😁6
Возникли сомнения как преподнести материал, поэтому сейчас будет небольшой ИНТЕРАКТИВ
👌5👀3👍1
Дано: У нас продукт, у которого есть n-фича, которая доносит ключевую ценность.
Цифры: Запустило впервые приложуху: 4899 юзеров Испытало ключевую ценность: 1234 юзеров Вопрос: Какая доля новых юзеров испытала ценность? #метрики @easyaboutdesign
Цифры: Запустило впервые приложуху: 4899 юзеров Испытало ключевую ценность: 1234 юзеров Вопрос: Какая доля новых юзеров испытала ценность? #метрики @easyaboutdesign
Final Results
6%
30,4%
2%
27,3%
90%
25,1%
2%
12,9%
Как думаете, такой продукт доносит ключевую ценность до юзеров?
Final Results
63%
Не доносит, но до заметной части да
21%
Нет, не доносит почти ни до кого
17%
Не знаю ответ
Теперь смотрим на Day 30 retention (долгосрочный дневной retention) продукта. На 30 день мы видим что он ~0.7%
#метрики @easyaboutdesign
#метрики @easyaboutdesign
👍4
Теперь давай думать, вот у нас 25% юзеров, которые потыкались и поняли ключевую ценность продукта. Но лишь очень-очень малая часть юзеров продолжает использовать продукт регулярно.
Тут я не буду тянуть, поэтому: решение хорошее и несет ценность, но тут в примере мы нихуя не смогли как команда донести до юзеров ценность и объяснить ее юзеров. Новые пришли, покумекали, не поняли и именно поэтому свалили.
Что тут важно сейчас понять:
- 25% пробуют ценность (это не 100, но и не 0,1,5,10%)
- И мы видим что на 30 день у нас нет нихуя юзеров лол
- Поэтому мы идем к ним (ушедшим) и поболтать на предмет чо они не поняли и т.д.
- И мы еще поняли что 75% даж не пробовали фичу, которая ключевая, потому что "ну а нахуя доносить, давай сделаем еще фич! я лучше знаю!"
#метрики @easyaboutdesign
Тут я не буду тянуть, поэтому: решение хорошее и несет ценность, но тут в примере мы нихуя не смогли как команда донести до юзеров ценность и объяснить ее юзеров. Новые пришли, покумекали, не поняли и именно поэтому свалили.
Что тут важно сейчас понять:
- 25% пробуют ценность (это не 100, но и не 0,1,5,10%)
- И мы видим что на 30 день у нас нет нихуя юзеров лол
- Поэтому мы идем к ним (ушедшим) и поболтать на предмет чо они не поняли и т.д.
- И мы еще поняли что 75% даж не пробовали фичу, которая ключевая, потому что "ну а нахуя доносить, давай сделаем еще фич! я лучше знаю!"
#метрики @easyaboutdesign
😁8🔥5👍1
Итак, раз продукт дает ключевую ценность (n-фича) 25% новых юзерам и при этом retention на 30 день = 0,7%
Гипотезу в студию: ну епт, юзеры же остаются именно из-за ключевой ценности, которую дает та n-фича? Так? Ну значит нам надо ебануть онбординг получше и доносить ценность до 100% новых юзеров, вместо 25, изи-пизи.
Подсказка: мы предполагаем лучший сценарий, то есть предположим мы реально донесли ценность всем 100% юзеров к 30 дню ретеншена и считаем, что взаимосвязь линейна. Щас будет еще один опросик...
#метрики @easyaboutdesign
Гипотезу в студию: ну епт, юзеры же остаются именно из-за ключевой ценности, которую дает та n-фича? Так? Ну значит нам надо ебануть онбординг получше и доносить ценность до 100% новых юзеров, вместо 25, изи-пизи.
Подсказка: мы предполагаем лучший сценарий, то есть предположим мы реально донесли ценность всем 100% юзеров к 30 дню ретеншена и считаем, что взаимосвязь линейна. Щас будет еще один опросик...
#метрики @easyaboutdesign
😁1
Тут не надо грустить если что-то не правильно отвечали. Это ваще нормально. Даже 2,8% хоть и правильный ответ, но он ничего нам не даёт потому, что это абстрактный пример. 2,8% - это непонятный нам Retention для продукта из не понятно какой ниши + мы лишь делаем предположение (гипотезу), то есть даже не тестили и не сравнивали.
Но даже это может помочь подумать хорошо или плохо мы думаем над гипотезой. Допустим мы посмотрели бенчмарки, скажем от Appsflyer, и нашли что Day 30 retention для нашей ниши "shopping" = 5%, а у нас2,8%.
Важно понять, что мы узнали то, что у продукта фундаментальная проблема - ценность не убеждает юзеров остаться. Пока эта проблема не решена нет смысла сжигать бабки на продвижение юзеров в текущем состоянии. Это не эффективно, потому что целью компании может быть рост, а у нас как из ведра льются юзеры, то есть валят из продукта.
Хорошая аналогия: лодка, которая не плывет и вообще в озере стоит. Глупо строить к ней трап, логичнее разобраться почему лодка не плывет и сделать так, чтобы поплыла. Все, спасибо за внимание и интерактивчик небольшой, доброй ночки и хороших выходных!
upd: во втором опросе я косякнул с подсказкой "ПОэтому давай считать, что ценность доносится до заметной части продукта", а надо правильно: "Поэтому давай считать, что ценность не доносится почти ни до кого". Сам же вопрос и ответы - верные.
Суть же не меняется: на основе ни одной из цифр практически нельзя делать какой-либо вывод: мы не знаем нишу, мы не знаем историю того с чем сравниваем и т.д. Но даже так на пальцах можно подумать. Эх, долбанные опросы в телеге... в следующий раз попробую вам в фигму давать доступ с примером, а в телеге простыни текста не будет, кроме опроса.
#метрики @easyaboutdesign
Но даже это может помочь подумать хорошо или плохо мы думаем над гипотезой. Допустим мы посмотрели бенчмарки, скажем от Appsflyer, и нашли что Day 30 retention для нашей ниши "shopping" = 5%, а у нас
Хорошая аналогия: лодка, которая не плывет и вообще в озере стоит. Глупо строить к ней трап, логичнее разобраться почему лодка не плывет и сделать так, чтобы поплыла. Все, спасибо за внимание и интерактивчик небольшой, доброй ночки и хороших выходных!
upd: во втором опросе я косякнул с подсказкой "ПОэтому давай считать, что ценность доносится до заметной части продукта", а надо правильно: "Поэтому давай считать, что ценность не доносится почти ни до кого". Сам же вопрос и ответы - верные.
Суть же не меняется: на основе ни одной из цифр практически нельзя делать какой-либо вывод: мы не знаем нишу, мы не знаем историю того с чем сравниваем и т.д. Но даже так на пальцах можно подумать. Эх, долбанные опросы в телеге... в следующий раз попробую вам в фигму давать доступ с примером, а в телеге простыни текста не будет, кроме опроса.
#метрики @easyaboutdesign
❤23👍5
А давайте мы аккуратно всунем в продукт рекламу, которая ненавящиво будет встроенна между новостей. Это очевидно, что такая реклама не будет портить Retention и UX
Что это?
Что это?
Anonymous Quiz
83%
Гипотеза
9%
Факт
8%
Не знаю
👌1
Мы встроили рекламку в продукт и стали получать негативные отзывы. Блин, это изменение портит UX продукта и Retention
А это что?
А это что?
Anonymous Quiz
24%
Гипотеза
74%
Факт
2%
Не знаю
🤔10💩2👌2