Product case bar

Классические задачи по продуктовой аналитике с примером решения

Задачи ниже не решить без базы, но именно такие хард-навыки есть среди необходимых минимумальных для работы продактом. Если хотите систематизировать знания по продуктовой аналитике и менеджменту - обратите внимание на курсы: Курс по аналитике, Курс по продакт-менеджменту
Обсудить сотрудничество - писать @SKoloskov или заполните анкету :

1. Парадоксальная метрика. Вы провели A/B-тест, где новая версия лендинга (группа 😎 должна была увеличить конверсию в покупку.
В группе A (старая версия) конверсия в покупку: 10%.
В группе B (новая версия) конверсия в покупку: 12%.
Кажется, что новая версия работает лучше. Но если разрезать данные по каналам привлечения:

В платном трафике конверсия упала с 15% (A) до 13% (B).
В органическом трафике конверсия выросла с 5% (A) до 11% (B).
При этом в группе B стало больше органического трафика из-за алгоритмов SEO.

Вопрос: можно ли считать тест успешным, или рост связан с изменением структуры трафика?

Решение: это пример парадокса Симпсона – общий рост может быть вызван не улучшением лендинга, а изменением состава аудитории. Чтобы честно оценить эффект теста, нужно:
- Рассчитать конверсии отдельно для каждого канала.
- Привести доли трафика к одной структуре (взвешенный расчет).
- Проверить статистическую значимость по каждому сегменту.
- Если тест показал улучшение только из-за перераспределения трафика, его нельзя считать успешным.

2. Ловушка краткосрочных метрик (LTV vs. краткосрочная окупаемость). Компания инвестировала $100 000 в маркетинг, запустив рекламу в двух каналах:
Канал A привлек 2 000 пользователей, каждый из которых в среднем принёс $20 в первый месяц.
Канал B привлек 1 500 пользователей, но средний доход в первый месяц был $30.
На первый взгляд, кажется, что Канал B выгоднее. Однако исторические данные показывают, что пользователи из Канала A делают повторные покупки, а LTV на 6 месяцев у них $80, тогда как у Канала B — $50.

Вопрос: в какой канал стоит реинвестировать больше денег?

Решение: оценим доход в первый месяц:
- Канал A: 2 000 × $20 = $40 000
- Канал B: 1 500 × $30 = $45 000
- Оценим доход за 6 месяцев (LTV-модель):
- Канал A: 2 000 × $80 = $160 000
- Канал B: 1 500 × $50 = $75 000
Вывод: хотя Канал B выглядит прибыльнее в краткосрочной перспективе, Канал A приносит больше прибыли на долгом горизонте. Реинвестировать стоит в Канал A.

3. Когда метрики вводят в заблуждение. Вы запускаете новую систему скидок в подписочном сервисе, ожидая уменьшения оттока (churn rate). Через месяц:
- Средний churn rate снизился с 10% до 7%.
- Однако, новых подписок стало на 20% меньше, чем обычно.
- Дополнительный анализ показывает, что пользователи, которым дали скидку, остаются дольше, но при этом акция снизила приток новых клиентов.

Вопрос: действительно ли программа скидок помогла бизнесу?

Решение:
- Разделяем пользователей на новые когорты и анализируем их churn отдельно.
- Смотрим, компенсирует ли рост удержания уменьшение количества новых пользователей.
- Если LTV пользователей со скидками вырос, а общий доход не упал, акция успешна.
- Если доход снизился, возможно, скидки были слишком агрессивными.
Вывод:
Простое уменьшение churn rate не всегда = успех, важно учитывать влияние на приток пользователей. Возможно, стоит оптимизировать баланс скидок и рекламы.
________
Все курсы редакции - @koloskoveducation
Канал Клуба разборов задач - @productcasebar
Канал для тех, кто хочет перейти в предприниматели - @freshfoundergo

❤4

598 views10:12