Ребята, принесла вам крутую новость - "Яндекс" открыл регистрацию на Школу продакт-менеджеров. Обучение бесплатно, регистрация закрывается по мере набора потока.

https://yandex.ru/promo/academy/productschool/

Начинаем рабочую неделю с еще одной классной новости: No Flame No Game запартнерился с Go Practice!

Что это значит:
В следующие три недели на канале будет проходить Retention-марафон с задачками на Retention – задачи будем публиковать по понедельникам, а правильные ответы по четвергам. И даже если ваш ответ не совпадет с правильным, это не повод расстраиваться: для всех подписчиков NFNG будет доступна скидка на Основной тариф курса по продуктовой аналитике https://simulator.gopractice.ru/

Размер скидки и количество купонов будет отличаться от недели к неделе: самая большая скидка и наименьшее количество купонов будет на первой неделе, к третьей количество купонов возрастет, но сама скидка уменьшится.

Вот здесь я писала отзыв на сам курс: https://telegra.ph/Otzyv-na-kurs-Go-Practice-Simulyator-09-10
Если вкратце, то сейчас это один из лучших образовательных продуктов на рынке, который дает не только знания, но и возможность собеседования в топовых компаниях.

Итак, погнали!

Скидка первой недели – 10%, доступно 15 купонов действием до 15 сентября. Чтобы активировать купон, надо оплатить курс по ссылке:
https://simulator.gopractice.ru?utm_source=partner&utm_campaign=5f8340247658

Задача первой недели - Основы метрики Retention.

1 октября в приложение пришли 100 новых пользователей. 2 октября 40 из них зашли в приложение. 3 октября его запустили 30 из 100 новых пользователей, которые пришли 1 октября. 15 пользователей из этих 30-ти были в приложении 2 октября, а 15 не были.

Чему равен Retention 2-го дня для пользователей, которые пришли 1 октября?

Варианты ответа:
public poll

30% – 278
👍👍👍👍👍👍👍 81%

15% – 38
👍 11%

45% – 19
▫️ 6%

25% – 10
▫️ 3%

👥 345 people voted so far. Poll closed.

А на Youtube-канале тем временем вышла еще одна серия NFNG Talks! Это самое длинное интервью, но оно того стоит: герой выпуска – Илья Красинский, CEO Rick.ai и методолог акселераторов ФРИИ, Яндекс.Старт, Qiwi Universe, Happy Farm по экономике продукта и метрикам.

Поговорили, конечно, про аналитику: на какие метрики смотреть, почему нужно заниматься "анти-аналитикой" (и что не так с дашбордами), как проверять гипотезы. Но для меня лично еще интереснее оказалась часть про личный путь Ильи: как он пришел в продуктовую разработку, почему вдруг начал думать про метрики и как началась история про юнит-экономику (спойлер: довольно неожиданно!).

Илья нереально крутой, почти все видео можно разбирать на цитаты 😊 смотрите, делитесь, комментируйте!

https://www.youtube.com/watch?v=w_TJSWxY5vw

Спонсор проекта

Свежие вакансии от @talentdealers:

💪 Head of Product в FL.ru — https://goo.gl/UmcnS1 и Product Manager в FL.ru — https://goo.gl/YNir8R — У вас есть возможность полностью пересобрать FL.ru. От Head of Product будут ждать достижения целей по выручке и запуск двух вертикалей. Смотрите рассказ от CEO и CTO FL.ru про перспективы сервиса: https://www.facebook.com/eugene.barulin/posts/10216247840849450/

🤖 Product Manager в Chatfuel — https://goo.gl/dxAZEh — Позиция для middle/senior продакта, который хочет работать в команде с отточенными процессами на англоязычных рынках. Цель — вырастить конверсию целевого сегмента в 2 раза за 6 месяцев.

Присылайте CV и рассказ о себе на to@talentdealers.ru

А вот и ответ на задачку первой недели! https://t.me/proproduct/701

Метрика Retention показывает, как новые пользователи возвращаются в приложение.

Дневной Retention, в частности, показывает, какая часть новых пользователей вернется в приложение на следующий день после первого запуска (Retention 1-го дня), на 2-й день после первого запуска (Retention 2-го дня), на день N после первого запуска (Retention N-го дня).

Метрика Retention дня N никак не зависит от того, как пользователи возвращались в прошлые дни, она отвечает на вопрос: "Какая часть новых пользователей вернулись на день N после первого запуска приложения?"

В примере выше на 2-й день (3 октября) вернулось 30 пользователей, поэтому Retention 2-го дня будет равен 30 / 100 или 30%.

Kindle и большое количество перелетов - залог успеха для чтения: с начала года я прочитала уже 19 книжек ^_^ из последнего, если коротко:

- Designing for emotion - ничего особо нового, довольно поверхностный материал
- Deep Work - одна мысль: чтобы хорошо работать, надо хорошо фокусироваться
- Inspired - должна стать библией для начинающих продактов; обязательно добавлю ее в список рекомендуемых книг https://t.me/proproduct/676.

Читаю сейчас:
- Game thinking - структура неплохая; но по сути - просто агрегация основных идей из пары классных книжек
- Good strategy, bad strategy - а вот это пока что огонь! Собираюсь подготовить для вас большую статью на тему продуктовой стратегии - напишите мне вопросы в личку, если есть по этой теме @Anna_Boo

А вообще сегодня решила вам рассказать про офигенный инструмент – про него знают все, но правильно готовить умеют единицы. Догадались? Сегодня я поделюсь с вами критериями успешного брейншторминга.

Для тех, кто в танке:
брейншторминг - техника "мозгового штурма", когда несколько людей пытается придумать как можно больше идей для решения определенной проблемы.

Брейнштормить можно со всеми: с командой, с пользователями, со стейкхолдерами. Главное, понимать, зачем вы все это делаете.

Вот пара примеров, как я использовала брейнштормы в работе:
- чтобы вовлечь команду в стратегическое планирование. Цели, которые нам спускают сверху, не вызывают у людей энтузиазма; при этом все равно нужно общее видение, куда идет продукт. Простые вопросы типа "Как выглядит наш продукт через 5 лет?", "Спустя n времени наш продукт прекратил существование - почему?" дают команде возможность задуматься о долгосрочной перспективе.
- чтобы понять, как мыслит пользователь. Берем основную проблему, от которой страдают люди, берем несколько групп пользователей и просим их придумать решение. Важно здесь, понятно, не решение, а мыслительный процесс. Если людям нечего сказать, это тоже довольно сильный показатель.
- чтобы поделиться результатами исследований. По опыту, информация из презентаций усваивается довольно плохо, но, если сделать сессию интерактивной (например, накидать идеи для решения выявленной проблемы или составить customer journey map), команда вовлекается гораздо лучше.

Основные принципы:
- обязательно разогреться перед началом на простых играх. НЕТ, ЭТОТ ШАГ ПРОПУСТИТЬ НЕЛЬЗЯ (и интровертам тоже!). Качество сессии падает в разы, если люди не чувствуют себя расслабленно и не успели перестроиться в нужный режим. Искать по запросу "ice breakers" или "игры на знакомство" в гугле. Пример - рассказать историю: первый участник говорит одно предложение и начало следующего. Второй должен его продолжить и сказать начало третьего, и так далее.
- избегать groupthink: это когда то, что думает один человек, начинает влиять на всех остальных (например, в комнате есть руководитель, который давит авторитетом, или очень обаятельный сотрудник с даром убеждения). Групповое общение должно случаться не на этапе генерации идей, а на этапе их обсуждения.
- устаревшие данные – что на брейншторме никого нельзя критиковать. Последние исследования показывают, что это правило радикально снижает количество хороших идей. Важно быть доброжелательно настроенным, но и про уровень качества забывать нельзя.
- использовать как дивергентное, так и конвергентное мышление. Дивергентность – это когда мы идем вширь и пытаемся найти как можно больше возможных решений. Конвергентность – когда мы, наоборот, сужаемся и пытаемся определить основные направления. Если избавиться от первого, пропадет креативная составляющая. Если избавиться от второго, то у всех будет ощущение потраченного зря времени: ну вот есть у нас теперь длинный список идей, и что дальше?

Выглядеть это все может примерно так:
- интро - объснение проблемы и контекста
- разогрев - пара веселых игр
- генерация идей (дивергентность) - все в тишине пишут идеи на листочках
- обсуждение - каждый участник коротко проговаривает свои идеи
- голосование/разбивка на категории/приоритизация (конвергентность) - зависит от того, что вы дальше намерены предпринять
- фиксация результатов и следующих шагов.

@proproduct

Спонсор проекта

🔥 Отличная новость: No Flame No Game запартнерился с ProductStar
(Миша Карпов из Skyeng и Рома Абрамов, CPO Carprice)!

Курс уже вот-вот стартует (старт 20 сентября, длительность 2 месяца, по вечерам), будут спикеры из Booking.com, PayPal, Alibaba, Яндекс, Рамблер и других классных компаний.

А тут можно посмотреть полную программу: http://productstar.ru/program

😎 Для участников No Flame No Game – скидка 1000 рублей на участие в курсе.
👉 http://productstar.ru/reg-proproduct (промокод: NOFLAMENOGAME)

P.S: для ознакомления – вот одна из лекций ProductStar с прошлого набора
https://www.youtube.com/watch?time_continue=5164&v=knHwmIVUmRw

А мы продолжаем Retention-марафон! https://t.me/proproduct/700

Скидка второй недели – 7%, доступно 20 купонов действием до 22 сентября. Чтобы активировать купон, надо оплатить курс по ссылке:
https://simulator.gopractice.ru?utm_source=partner&utm_campaign=5e5496a55198

Задача второй недели: Retention – фундамент роста.

У нас есть два приложения.

Месячный Retention первого: 0 месяц – 100%, 1 месяц – 70%, 2 месяц – 40%, 3 месяц и далее – 20%.
Месячный Retention второго: 0 месяц – 100%, 1 месяц – 80%, 2 месяц – 75%, 3 месяц и далее – 70%.

Мы запускаем оба приложения одновременно. В первое каждый месяц приходит по 4000 новых пользователей, во второе – по 1000. Давайте предположим, что так будет продолжаться следующие 10 лет.

Сначала из-за большего числа новых пользователей месячная аудитория первого приложения будет выше второго. Это очевидно. Сохранится ли это преимущество через 10 лет?

Сохранится ли это преимущество через 10 лет?
public poll

Сохранится – 158
👍👍👍👍👍👍👍 53%

Не сохранится – 129
👍👍👍👍👍👍 43%

Будет одинаковая аудитория у двух приложений – 10
▫️ 3%

👥 297 people voted so far.

Ответ на задачку второй недели https://t.me/proproduct/712

В задаче нас интересует далекое будущее (что будет через 10 лет), поэтому ключевой фактор – насколько хорошо продукты способны сохранять пользователей в долгосрочной перспективе.

Мы знаем, что у первого приложения плато месячного Retention на уровне 20%. Второе на уровне 70%. Этот показатель характеризует то, какую часть новых пользователей продукт смог превратить в постоянную месячную аудиторию.

Таким образом, первое приложение из каждых 4000 новых пользователей будет получать 800 (4000*20%) пользователей в стабильной месячной аудитории. Второе приложение из каждых 1000 пользователей будет получать 700 (1000*70%) пользователей в стабильной месячной аудитории.

Выходит, что второе приложение так и не сможет догнать первое за 10 лет, так как каждый месяц будет добавлять в свою регулярную долгосрочную месячную аудиторию 700 пользователей, а первое – 800.

Несмотря на то, что второе приложение не обгонит первое по аудитории, оба они будут стабильно и предсказуемо расти. Фундаментом этого роста будет факт наличия плато в их Retention. Если его нет, то на определенном масштабе рост прекратится – компенсировать уход старых пользователей новыми станет практически нереально.

Если вас заинтересовала эта тема, посмотрите лекцию Алекса Шульца (VP of Growth в Facebook) – он интересно рассказывает о том, что он понимает под словом "рост". Спойлер – не то, что многие подумали.
https://www.youtube.com/watch?v=n_yHZ_vKjno&app=desktop

Можно я одной строкой про свой любимый Workplace, где сейчас работаю?

Наши пользователи – 30+ тысяч организаций, в том числе - Spotify, Booking, GoPro, Starbucks, Danone, Walmart; авиакомпании, заводы, стартапы, университеты и больницы. Для образовательных и некоммерческих организаций (а нами пользуется WWF, Unicef, Save the children и многие другие) – бесплатно.

Вот, например, крутейший use case от авиакомпании VirginAtlantic:

- СEO Крэйг Кригер ведет группу "Спросите Крэйга", где любой сотрудник может поделиться своими идеями или задать вопрос.

- На каждый полет автоматически создается чат, куда добавляются команды на земле и на самолете, в том числе, пилоты, бортпроводники, стюардессы. Если происходят какие-то изменения, команды могут легко синхронизироваться через чат.

- Сотрудники компании могут летать бесплатно, но раньше, чтобы зарезервировать место на рейсе, нужно было потратить немало времени. С Workplace компания сделала бота, который мгновенно может ответить, сколько мест доступно на рейсе, и помочь сделать бронь за пару секунд.

Больше историй можно почитать тут:
https://www.workplace.com/workplace/case-studies

Ну что, ребята, это последняя неделя Retention-марафона https://t.me/proproduct/700 – запрыгивайте!

Скидка последней недели – 5%, количество купонов безлимитно, но срок действия до 7 октября. Чтобы активировать купон, надо оплатить курс по ссылке: https://simulator.gopractice.ru?utm_source=partner&utm_campaign=c1370373b21b

Задача третьей недели. Чему равен Retention известного музыкального продукта?

Оцените долгосрочный месячный Retention мобильного приложения Spotify. Для ответа на вопрос можно использовать любые данные, которые вы найдете в интернете.

Retention мобильного приложения Spotify в процентах:
anonymous poll

20-40 – 92
👍👍👍👍👍👍👍 37%

40-60 – 72
👍👍👍👍👍 29%

60-80 – 40
👍👍👍 16%

80-100 – 31
👍👍 12%

0-20 – 15
👍 6%

👥 250 people voted so far.

Ребята, а у меня для вас крутейшая новость!

Опыт продакт-менеджера складывается из количества и качества проверенных гипотез: чем больше вы фигачите, тем выше шанс, что вырастет соотношение успехов к общему числу попыток. К сожалению, это не всегда происходит быстро, из-за ограничений компании, команды или продукта.

Дима Думик, CEO Chatfuel, придумал конкурс, который позволит вам выйти за рамки и провести эксперимент на самом Chatfuel. Схема простая:

1. Придумать концепт онбординга для Chatfuel - конструктора ботов. 🤖
2. Получить обратную связь от мощнейшей команды экспертов (а также ждите классный образовательный контент ;). 💡
3. Лучшее решение будет внедрено в Chatfuel; лучшие три – разделят приз в миллион рублей 💰

В команде экспертов:
- CEO Chatfuel и сооснователь сервисов Penxy и Мята Дмитрий Думик
- директор по продуктам Google и бизнес-ангел Андрей Дороничев
- продакт-менеджер в Facebook Анна Булдакова (это я 😊)
- CEO Rick.ai Илья Красинский
- дизайн-менеджер в Intercom и бывший директор по дизайну в «Яндексе» Константин Горский.

Такие конкурсы проводятся супер-редко, поэтому не упускайте возможность добавить такой интересный кейс себе в портфолио ;)

Больше информации + детальное описание проблемы с циферками тут:
https://t.me/dumik/8

Ну что же, вот и ответ на последнюю задачку Retention-марафона: https://t.me/proproduct/717 Не забывайте, что скидка будет действовать еще неделю!

В задаче оценки долгосрочного Retention Spotify нам поможет график роста месячной аудитории, Sensor Tower и арифметика.

- С июня 2016 по июнь 2017 года, то есть за год, MAU Spotify выросло на 40 миллионов пользователей.
- По данным Sensor Tower, в июне 2017 Spotify имел 12 миллионов скачиваний в Google Play и Apple AppStore. Можем предположить, что число новых пользователей примерно равно этому значению (в реальности оно меньше, так как часть скачиваний приходится на старых пользователей, которые поменяли телефон).
- Sensor Tower нам также поможет узнать, что позиции Spotify в топе бесплатных приложений за год почти не менялись, поэтому можно предположить, что в другие месяцы число скачиваний было сопоставимым. То есть, за год приложение скачали примерно 140 миллионов раз.
- Теперь, чтобы оценить долгосрочный месячный Retention, поделим дополнительную месячную аудиторию за год на число скачиваний за этот год. Это приблизительная оценка того, какую часть новых пользователей за год Spotify превратил в месячную аудиторию.
- Примерная оценка долгосрочного месячного Retention будет 40 / 144 = 27%.

А вот и обещанный образовательный контент в рамках конкурса для продактов https://t.me/proproduct/719 (вы ведь уже участвуете? :)

Лонг-рид от Ани Булдаковой про приоритезацию в продукте

Для продакт-менеджера умение приоритизировать не просто полезный навык — это основа успеха в профессии. Поэтому неудивительно, что вокруг него развелось невероятное количество различных фреймворков и методов.

Давайте вспомним, как это обычно выглядит:

— Все идеи и фичереквесты сваливаются в бэклог. Некоторые особо упоротые персонажи даже пишут брифы к каждому таску, но в какой-то момент сдаются, так как за скоростью роста бэклога угнаться невозможно;
— Затем все это копируется в эксельку (или же используется шаблон для скоринга в таск трекере). Продакт и компания (обычно техлид, но в особых случаях и вся команда) собираются и начинают скорить по некоторым критериям из фреймворка. Возьмем, к примеру, RICE (Reach - Impact - Confidence - Effort), для оценки трудозатрат (Effort) обычно привлекаются разработчики. Если разработчики джуны, процесс идет относительно быстро. Если постарше, то мучительно медленно: на этапе брифа или идеи у всех очень разное представление о решении и о том, как его воплощать в жизнь, поэтому дискуссия затягивается и порой вообще уходит в сторону;
— Все это веселье повторяется с завидной регулярностью, потому что новые идеи прибывают, старые теряют актуальность или, наоборот, становятся более важными.

Обычно в какой-то момент всем это надоедает и табличка в эксельке начинает зиять пустыми столбцами.

Если у вас не так — вы большие молодцы. Но поверьте, во многих компаниях процесс построен именно таким образом: продакт тратит львиную долю времени на менеджмент бэклога и его приоритизацию.

Почему все это в корне неправильно? Не читайте дальше, задумайтесь на минутку — давайте для наглядности возьмем такой (супер упрощенный) пример.

Допустим, я ученый, и моя цель — устроиться на работу в престижный университет. Какое из следующих трех действий будет иметь наибольший эффект для достижения моей цели:
— Провести исследование и опубликовать результаты в научном журнале;
— Начать ходить в спортзал;
— Смотреть сериалы по вечерам.

Несмотря на то, что спортзал может дать хороший результат для нашей жизни в целом, а сериалы наиболее просты в выполнении, непосредственно к цели нас продвинет только первая опция.

Давайте теперь переложим это на наши продуктовые реалии. Предположим, мы делаем новый Netflix, и у нас есть три фичи в бэклоге:
— Добавить блок "Рекомендуемые фильмы";
— Сделать возможность родительского контроля;
— Добавить возможность создавать списки фильмов.

Что будем делать? У первого, вроде, наиболее широкая аудитория, третье проще всего сделать — второе исключаем, получается?

А теперь давайте снова вспомним про цель — какую фичу вы возьмете в работу, если ваша цель:
— увеличить среднее время просмотра;
— выйти на рынок детских продуктов;
— совершить прорыв в machine learning.

Кажется, понятно, что в первом случае мы сравнивали яблоки с апельсинами. Если продакт начинает приоритизировать фичи — это четкий звоночек, что у продукта нет стратегии.

(Продолжение в следующем посте)

(продолжение)

Как происходит приоритизация здорового человека:

1. Анализ рынка, определение основных рисков и возможностей. На основе этого создается стратегия продукта (анализ, безусловно, подразумевает общение с пользователями — существующими или потенциальными).
2. Анализ текущего состояния продукта, основных проблем и блокеров.
3. На основе п.1 и п.2 команда определяет цели. Повторюсь, цели — это не фичи; это некоторая точка, в которую мы хотим прийти за счет изменения продукта. Здесь очень большую роль играет продуктовое чутье, умение предугадать, что может стать катализатором роста.
4. Обычно если первые три пункта сделаны хорошо, то дальше не составляет труда определить основные гипотезы.
5. Понять, какое минимальное решение позволит нам проверить гипотезу. Оценка фич "по размеру" не имеет никакого смысла по двум причинам:
— Если маленькая фича не продвинет нас к цели, а большая продвинет, имеет смысл вкладываться в большую: ее в итоге все равно придется делать, а маленькая только отвлечет нас по пути.
— Сравнение из первого пункта "большая-маленькая" работает только для сравнения порядка: понятно, что поменять цвет кнопки намного проще, чем добавить блок "Рекомендуемые фильмы". Саму же фичу можно (и нужно) резать до тех пор, пока не получится ровно тот кусок, который проверяет гипотезу. Например, для блока "Рекомендуемые фильмы" не обязательно писать рекомендательную систему с нуля, если мы хотим проверить, как люди относятся к рекомендациям в принципе: для этого подойдут и ручные редакторские подборки.

Стандарт — делать первые два пункта раз в полгода; третий пункт — раз в квартал. Но все индивидуально, смотрите, что лучше ложится на модель вашего продукта.

Первые два пункта самые затратные по времени, но это того стоит: затем все следующие шаги очень логично и просто ложатся в общую канву.

Не будьте менеджерами бэклога, будьте менеджерами продукта.