Data Science команда из Sequoia Capital опять разразилась циклом статей про метрики.
Оказывается, у них в портфеле находится App Annie и, видимо, они делятся с ними данными, т.к. в статьях идет речь об анализе огромного количества компаний из разных ниш и разного размера.
Вкратце про каждую статью.

Defining Product Success: Metrics and Goals
Обзорная статья для разминки. Напоминают, что топ-метрики надо выбирать не “как у ребят на районе”, а исходя из вижена продукта.
Конечно, есть “джентельменский набор” метрик: growth/engagement/monetization => number of users/time spent/revenue. Но они скорее всего не будут отражать суть продукта и при достижении определенной вехи развития их надо будет заменить (и это нормально).
Я, как и авторы статьи, придерживаюсь идеи выбора метрик исходя их “сути продукта”. В статье предлагают мысленно проделать упражнение: представьте свой продукт через 10 лет и численно охарактеризуйте его успех одним числом.

Selecting the Right User Metric
В этом посте делается упор на продуктах, которые ставят во главе угла количество активных юзеров. Sequoia Capital дают целый фреймворк по определению идеальной метрики. По нему надо определить:
- что мы хотим видеть в итоге (вижен)
- что у нас есть сейчас (текущие показатели)
- как дела у других (исследования рынка/конкурентов)

С виженом немного разобрались в предыдущем посте, поэтому учимся понимать имеющиеся ситуацию:
1) Посчитайте сколько у вас уникальных пользователей за час, день, неделю, месяц, квартал и год.
2) Теперь посчитайте HAU/DAU, DAU/WAU, WAU/MAU, MAU/QAU, QAU/YAU.
3) Найдите выражения с выдачей >60% и возьмите то, что ближе к левой части списка. Из этой метрики берем числитель. Допустим, это было WAU. Поздравляю, вы определили что у вашего продукта еженедельный паттерн использования.

В статье разобраны примеры на основе данных из App Annie с конкретными числами по сегментам, поэтому можно подметить бенчмарков для себя.

The laws of nature strongly influence product behavior
Завершает эту мини-серию статся с попыткой найти закономерности в метриках. Никаких особых кол-ту-экшенов тут нет. Просто факты:
1) Успешные продукты объединяются в кластеры по категориям, если смотреть в разрезе метрик активности.
2) Также топовые продукты на графике “выстроились в линейку”, что намекает на какую-то закономерность и принцип перехода из одной категории активности в другую.
3) Они пытались найти паттерны в “эволюции” продуктов, но не срослось. Слишком индивидуальные истории (или слишком мало наблюдений?)

🛠 Jobs To Be Done
Время чтения ~15 минут. Анна Булдакова в блоге Tilda Publishing

Про JTBD все уже поговорили и это давно не новинка, но данная статья настолько подробно и по полочкам раскладывает подход, что ей невозможно не поделиться. Если вам интересен JTBD - это must read.

🔹 Что это такое?
Продукт, который вы создаете, решает проблему пользователя — «выполняет работу». Пользователи покупают, то есть «нанимают на работу» ваш продукт, чтобы он сделал свою работу.

💡 Job To Be Done = задача + контекст

🔹 Зачем нужен JTBD?
Компании стремятся улучшить свой продукт, но этого недостаточно. В итоге кто-нибудь изобретет новый способ решения проблемы, и пользователи просто переключатся на другой продукт. Если он лучше решит их задачу, конечно.

🔹 Какая бывает конкуренция?
- Прямая — продукты выполняют одну и ту же работу одинаковым способом;
- Вторичная — продукты выполняют одну и ту же работу разными способами;
- Непрямая — продукты выполняют разную работу с конфликтующим результатом.

🎁 Бонус-трек в следующем посте

#product #strategy @pm_dump

🎁 Бонус-трек к посту про JTBD

"Пользователи не покупают ваш продукт, а переключаются на него с чего-то другого. Цена переключения на другой продукт = (привычка + степень удовлетворенности) * страх перемен."

"Продукты решают не изолированные проблемы, а проблемы, которые происходят в потоке разных других действий и обстоятельств."

🔹 Гайд по JTBD: книги, статьи, видео от Александры Клименко
🔹 Книга Intercom по Jobs-To-Be-Done
🔹 Большой блок ссылок на англоязычные источники по JTBD от Никиты Ефимцева в рамках Product Mindset (особое внимание сюда)

@pm_dump

🤖 Подборка курсов по AI и анализу данных

Это практически старая рубрика #naked_links для тех кто интересуется анализом данных, ML и AI в целом. Если кто-то проходил какой-то из курсов - поделитесь мнением, опубликую в канале, поможем коллегам.

🖌 Специализация "Машинное обучение и анализ данных" от МФТИ и Яндеса
https://www.coursera.org/specializations/machine-learning-data-analysis

🖍 Специализация "Прикладная наука о данных с Python" от Мичиганского университета
https://www.coursera.org/specializations/data-science-python

🖊 Пользователь YouTube учил модельку машины в GTA V быть самоуправляемой и снял про это серию роликов
https://www.youtube.com/playlist?list=PLQVvvaa0QuDeETZEOy4VdocT7TOjfSA8a

🖋 An end to end implementation of a Machine Learning pipeline от Harvard University и MIT
https://spandan-madan.github.io/DeepLearningProject/docs/Deep_Learning_Project-Pytorch.html

🖌 Fast.ai обучающие курсы (реко от @ProductsAndStartups)
https://www.fast.ai

🖍 Deeplearning.ai обучение курсы от cs230.stanford.edu
https://www.deeplearning.ai

🖊 Обучение AI от Google
https://ai.google/education/

🖋 Обучение AI от Amazon
https://aws.amazon.com/ru/training/

🎁 Мини-бонус
Машинное обучение — это весело! Самое легкое в мире введение в машинное обучение

@pm_dump @pm_tools

🤔 Несвойственный воскресный пост

Когда-то я завёл канал из необходимости делать конспекты полезных статей, чтобы "выгружать информацию" из головы на внешний носитель и легко обращаться к нему при необходимости. Со временем благодаря вашим отзывам и подпискам стало понятно, что это может быть полезно кому-то еще. Так вот 🙂

Вчера по мотивам моей заметки про retention Аня написала пост на канале "Будни продакта". В нем есть всеми любимое "мясо" из практической работы продакта, оттого радостней вдвойне.

👍 С удовольствием даю ссылку на этот пост и рекомендую подписаться на канал Ани

🗺 Посмотреть чего еще полезного было написано: @pm_menu

🤖 Подборка курсов по AI и анализу данных
vol.2

🎁 Сегодня не без бонусов)
Посмотрите лекцию Анны Булдаковой про AI в менеджменте продуктов, если еще не. В воскресенье как раз найдется минутка.

🔗 https://slideslive.com/academyox/world-product-summit-2019

🕗 How to Plan an MVP

MVP - это одна и первых версий продукта, которую вы готовы показать первой волне пользователей, чтобы принести хоть какую-то ценность для них. Всё просто 🙂

Цели для прелонча:
⁃ Запускайтесь быстро (MVP). По сути всё что будет сказано ниже - это перефраз этой мысли. Просто показывайте первую первую версию очень быстро.
⁃ Получить первых пользователей. Хоть кого-то.
⁃ Говорите с пользователями и получайте фидбек на продукт. Круто иметь видение финального продукта в его пике, но помните, что это может оказаться не тем, чего хотят потребители.
⁃ Улучшайте продукт и делайте pivot, если надо. И не влюбляйтесь в свою идею, это очень важно.

Признаки Lean MVP:
⁃ Его очень быстро построить (можно лендинг+гугл таблица)
⁃ Очень ограниченная функциональность
⁃ Фокусируйся на маленькой группе пользователей и реши их проблему. Здесь типичная ошибка, что основатели обычно хотят транслировать большую функциональность на весь спектр сегментов ЦА.
⁃ Цель MVP - просто начать. Не думайте, что MVP это что-то особенное, его задача совсем другая. MVP - это база для начала итераций по улучшению продукта и расширению функциональности.
⁃ Есть исключения, когда требуется «heavy MVP», но всегда можно начать с лендинга, который просто объясняет как вы работаете.

Приёмы для запуска MVP:
⁃ Ограничьте функциональность временем. Не могу сделать что-то за 3 недели? Тогда мы это не делаем!
⁃ Запишите свой функционал и порежьте его, если потребуется.

Другие примеры кривых и ограниченных MVP:
⁃ Airbnb - без платежей, без просмотра карты, part-time CTO
⁃ Twitch - 1 канал и никаких видеоигр
⁃ Stripe - никаких банковских сделок, пара фич, основатель сам делал интеграцию клиентам

Цитаты, которые Майкл повторяет вновь и вновь:
- Главное начать и начать быстро
- В запуске (MVP) нет ничего особенного, абсолютно.

🎁 Вместо summary: досмотрите кусок с вопросами, они действительно дельные (некоторые)

#product @pm_dump

🔷 How to set KPIs and goals
YC Partner Adora Cheung, 29:02

☝️ KPI в рамках этой лекции определяется как «набор количественных метрик, которые показывают насколько ваш бизнес здоров».

🤔 Как упражнение, важно определить одну и только одну метрику, которая расскажет о вашем бизнесе на 90%. Лучше иметь 1 метрику для 90% обзора, чем целую пирамиду метрик для 91%. Чтобы найти эту метрику давайте ответим на ряд вопросов.

Вопрос 1. Доносит ли продукт ценность?
На этот вопрос отвечает потраченное время или деньги пользователей на продукт

Вопрос 2. Доносит ли ценность продукт регулярно?
На это отвечает MRR или MAU/DAU, но последние достаточно плохи как главная метрика

Вопрос 3. Можно ли использовать «отложенную» метрику? Например «количество регистраций»
Да, но лучше не надо. Важнее смотреть на момент, когда ценность уже донесена.

Вопрос 4. Можно ли использовать выбранную метрику как инструмент обратной связи?
У вас должна быть возможность на её основе принимать решения или оценивать результат работы (вверх/вниз)

Главные метрики:
- Revenue / MRR
- Active users
- (!)Для hardware и biotech бизнесов другие метрики

😓 Под главной метрикой иногда понимаю «North Star». Плохо, что практикуют подход «буду фокусироваться на ней и забью на всё остальное». Не делайте так 🙂

Вторичные метрики
Это 3-5 метрик в дополнение к главной, которые помогут охватить большую часть всего, что происходит с продуктом. Тут скорее 3, чем 5.

Как выбрать цель?
Адора советует брать за цель еженедельный рост в %, потому что это позволит вам делать быстрые итерации и «есть слона по частям».

У цели может быть несколько признаков:
- Очень быстрый рост, если вы только начали. Цель стартапа.
- Время до продажи. Это особенно важно учитывать в работе с кровавым энтерпрайзом.
- Organic vs paid. Это отсылка к первой лекции. Стремимся к CAC=0, все дела.
- Экспоненциальные цели. Тут сделаю ремарку, что многое из лекций актуально для стартапов (в терминах YC). Ключевая цель для инвестора стремительный рост стартапа и поэтому в лекциях такой большой упор на этом. Вы можете сделать прибыльный и замечательный продукт без этого, просто это не назовут стартапом.

🎁 Вместо summary: "Вы можете не достигать поставленных целей несколько недель - это окей. Но до тех пор, пока вы понимаете почему это происходит"

#product @pm_dump

Бонус к посту про KPIs и цели

"Если правильно интерпретировать данные, то они вам не соврут и вы сможете принимать правильные решения"

"Фидбек получаемый от платящий пользователей значительно отличается от фидбека бесплатных пользователей. Думайте о монетизации сразу"

"Вы можете не достигать поставленных целей несколько недель - это окей. Но до тех пор, пока вы понимаете почему это происходит"

Бонус-трек:
- Неделя метрик на весеннем Product Mindset
- Больше про метрики в разделе "Аналитика": @pm_menu

@pm_dump

🔷 Продолжаю тему ИИ
чуть-чуть

По ссылке можно поиграться с нейросетями (GAN):
https://runwayml.com/download/

А по этой послушать генеративную фоновую музыку Mubert. Я 60% рабочего времени точно работаю под муберт. В общем очень рекомендую 👌
https://mubert.com/

🔊 Лайк, шер, пятница 🔊

#naked_links @pm_dump

📚 Сборник книг по менеджменту продуктов

В бонусе давал ссылку на библиотеку книг, а тут наткнулся на ещё одну в saved messages, но не записал, кто автор 🙈 Тем не менее.

Elle's Notion Workspace с подборкой книг и ссылок, как я люблю 🤟

Больше книг и статей тут 👈

#naked_links @pm_dump @pm_tools

💪 Автопостинг - это для слабых духом

💬 В ближайшее время вынужден пропасть с радаров. Оставить вас без порции материалов я не мог, поэтому вдохновляемся Сашей Амзиным и делаем рубрику Read later на стероидах. Enjoy!

⭐ All the best engineering advice I stole from non-technical people
Время чтения ~13 минут, ENG

⭐ Usability testing and how to convince your stakeholders
Время чтения ~6 минут, ENG

Inversion: The Crucial Thinking Skill Nobody Ever Taught You
Время чтения ~8 минут, ENG

⭐ Platform Management by Brandon Chu
Время просмотра 26:49, ENG

5 best practices to distribute decision-making
Время чтения ~7 минут, ENG

How to Give Your Team the Right Amount of Autonomy
Время чтения ~5 минут, ENG

Writing Product Requirements – Part 1
Время чтения ~5 минут, ENG

🤖 Если на какую-то статью захочется summary -> welcome в @pmdump_bot

#naked_links @pm_dump

Analytics for Startups
Время просмотра 20:58, YC Startup School

👋 Хэй! Я вернулся! Пока меня не было, случился репост в большой канал. Отличный канал, будь как этот канал. Репост в каждый дом 😁

Наверстываю упущенное в YC Startup School, поэтому ближайшие несколько постов будут про лекции оттуда.

🔹 Зачем вообще может быть нужна аналитика?
⁃ Проверить product market fit
⁃ Сфокусировать команду на нужном результате
⁃ Растить компанию на основе данных

🔹 О чем говорят в лекции:
⁃ Воронки
⁃ Сбор данных
⁃ Топ-3 метрик + P/M fit методология (!)
⁃ Лучшие инструменты для аналитики

🤔 Интересная мысль:
Если у вас есть чат с участниками закрытой беты и вы постоянно тянете ответы из юзеров через бесконечные вопросы, то что-то не так. Если вас заваливают комментариями о багах и вопросами, то это хороший знак для P/M fit.

🎁 Вместо бонуса:
1. Рекомендованные инструменты в картинке
2. Больше по теме в разделе "Аналитика": @pm_menu

#analytics @pm_dump

🎁 Вместо бонуса к посту Analytics for Startups

Больше по теме в разделе "Аналитика": @pm_menu

#analytics @pm_dump

Nine Business Models and the Metrics Investors Want
Время просмотра 34:10, YC Startup School

Короткое видео о том какие есть основные бизнес-модели и какие главные метрики для них. Для кругозора можно посмотреть полностью, но я бы нашел кусок про бм вашего продукта и посмотрел только её 🙃

9️⃣ вертикалей бизнес-моделей:
⁃ Энтерпрайз
⁃ SaaS
⁃ User-based
⁃ Подписанная модель
⁃ Маркетплейс
⁃ Е-коммерс
⁃ Рекламная модель
⁃ Hardware

📈 Метрики для этих бизнес-моделей:
⁃ Сумма контрактов (booking)
⁃ Количество потребителей
⁃ Выручка
⁃ MRR
⁃ ARR
⁃ Gross MRR Churn
⁃ Paid CAC
⁃ MRR CMGR
⁃ Gross User Churn
⁃ Остальные метрики по ссылке в заголовке

👀 Где какие метрики использовать и какие основные ошибки - смотрите в видео. А разбор 30 разных бизнес-моделей в моем предыдущем посте. Но это для самых крепких 💪

#analytics @pm_dump

How to Launch (Again and Again)
Время просмотра 26:04, YC Startup School

👉 Цель лекции - изменить ваше представление о ЗАПУСКЕ продукта. Самое важное, что нужно понять «запуск - это НЕ событие, которое случается раз в жизни». Запускаться можно постоянно и это отдельный скилл.

Виды запусков:
⁃ Тихий запуск
⁃ Запуск по друзьям и семье
⁃ Запуск по незнакомым людям
⁃ Запуск через онлайн коммьюнити (есть бонус 😉)
⁃ Запуск через запрос на доступ
⁃ Запуск через соц.сети или блоггеров
⁃ Предзаказы
⁃ Запуск нового продукта или фичи
⁃ Запуск через СМИ

Почему нужно «запускаться» постоянно?
⁃ Вы можете делать A/B вашего предложения
⁃ Видеть как пользователи реагируют на ваш продукт
⁃ Запускаться на разные аудитории, чтобы убедиться в корректности ЦА

🎁 Бонус-трек:
- Список бесплатных площадок для коммьюнити лонча by Андрей Осипенко

#product @pm_dump

Готово исследование от No Flame No Game и Miro 🔥🔥🔥

Забегайте на канал @proproduct и читайте 👀

🦹‍♂️ Пятничные ссылки

В прошлый раз неплохо зашел сборник ссылок без саммари, поэтому иногда буду такое сюда закидывать. Назовём это "Пятничные ссылки". Поехали!

⭐ Customer feedback strategy: How to collect, analyze and take action
Чтения на 11 минут, ENG

Do You Speak B2B Marketing?
Чтения на 4 минуты, ENG

Helping users “get it:” The churn-stopping power of Product Education
Чтения на 5 минут, ENG

How user analytics helped us reduce mobile app churn: a case study
Чтения на 6 минут, ENG

⭐ Don’t Let Metrics Undermine Your Business
Чтения на 14 минут, ENG

🤖 Если на какую-то статью захочется summary -> пишите в @pmdump_bot

🎁 Мини-бонус: www.linkedin.com/salary новый ресурс, который не анализировался в посте про зарплаты продактов

#naked_links @pm_dump

🌎 Во славу удаленке!

Мероприятие от ребят из Miro посвященное удаленной работе кроссфункциональных команд.

Если работаете с удаленной командой - посетите удаленную конференцию с крутыми спикерами. Я вот не работаю удаленно, но все равно зарегистрировался 🙃

#naked_links @pm_dump

Startup Finance Pitfalls and How to Avoid Them
Время просмотра 22:38 (+ 6 мин Q&A), ENG

Лекция от CFO YC про типичные ошибки компаний с деньгами и финансами. По крайней мере у меня в инфо поле мало встречается подобного рода информации, хотя она важна. Поэтому скипаю лекцию «Growth for Startups» и поехали!

Подводный камень на ранних стадиях: люди не знают на какие цифры смотреть.
Просто смотрите на баланс банковского счета, приходящие деньги и уходящие деньги. Много кто не делает даже этого, но от этих цифр выводятся другие важные финансовые показатели, на которые нужно смотреть каждую неделю.
🔹 Burn = Money out - Money in
🔹 Runway = Bank balance / Avg Burn. Это насколько месяцев вам хватит денег, чтобы существовать. Не игнорируйте эту цифру, чтобы чувствовать себя чуть лучше в моменте.
🔹 Growth rate = (Money in M2 - Money in M1) / Money in M1.
🔹 Default alive = Yes or No? Можно использовать growth.tlb.org

Подводные камни на остальных стадиях
🔹 Переносить ответственность на бухгалтера, например. Все в компании ответственны за цифры и почти все должны их знать.
🔹 Слишком быстро масштабируются (!). Каждый найм сотрудника - это инвестиция. Как там ROI этой инвестиции?
🔹 Не считают выручку на сотрудника. Лучшие компании делают больше с меньшими ресурсами.
🔹 Масштабируются до нахождения product market fit.
🔹 Сжигают слишком много денег перед инвестициями. Лучше считать, что вы больше никогда не поднимите инвестиций и жить в этой парадигме.

🎁 Вместо summary: картинка к посту

@pm_dump