“Пример как выглядит когортный анализ”
Две итерации по улучшению % прохождения туториала помогло сравнять CAC и LTV.

На CAC влияла команда по привлечению трафика

#product_dump @pm_dump

Как выбрать правильные метрики для продукта ч.1 (HEART)

🔷 В Google Ventures для оценки UX используют следующие фреймворки:
- HEART для качества user experience
- Цели-Сигналы-Метрики для целей продукта или проекта (ч.2)

🔷 Помните про data-informed design — это когда “рулит” все еще дизайнер, а не данные (=data-driven).

Сначала стратегия и цели, затем метрики. Сначала гипотеза и цели, затем эксперимент. 

🔷 В данной статье принимаются следующие тезисы:
- Всё ДО использования продукта - это сфера продуктового маркетинга. Это про эмоции, бренд и историю
- ВО ВРЕМЯ использования продукта - это сам продукт. Это про ценность, пользу
- Гипотеза внутри продукта - это проект (~фича)

🔷 H - Happiness
Это отношение user’а к продукту, которое часто замеряется через опросы. Но в продуктах концепт “счастья” часто бесполезен, лучше заменить его на пользовательскую ценность. Про донесение ценности при первом визите в посте про онбординг.

❗️ Как определить ценность? Идите от обратного: спросите себя — если мы представим идеального пользователя, который получает максимальную пользу от продукта, что он делает? И получите ответ.

🔷 E - Engagement
Это метрика успешности проекта. Ответ на вопрос “продолжают ли пользователи получать ценность?”

🔷 A - Adoption
Это метрика на стыке маркетинга и продукта, т.к. говорит о количестве новых пользователей/регистраций и т.д.

🔷 R - retention (большой пост про retention)
Это одна из важнейших продуктовых метрик❗️ По опыту автора именно retention + engagement определяли успех продукта или фичи.

🔷 T - Task success
Это метрики в части продукта, где работа идёт на выполнения конкретной пользовательской задачи (поиск или загрузка). Лучше относить эти метрики к части “здоровья продукта” и считать их техническими, нежеле продуктовыми (автор).

🔷 Примеры:
Happiness - удовлетворение, воспринимаемая легкость использования и NPS
Engagement - частота, интенсивность и глубина взаимодействия за период
Adoption - количество аккаунтов, созданных за последние 7 дней, или процент пользователей Gmail, которые используют лейблы
Retention - процент пользователей, возвращающихся в продукт в момент времени
Task Success - оперативность (пример — время на выполнение задания), эффективность (процент выполненных заданий) и процент ошибок

🔷 Необязательно создавать метрики во всех из этих категорий — вы можете выбрать только те, которые наиболее важны для вашего проекта. Фреймворк HEART может помочь вам решить, какая из категорий вам нужна.

🎁 Бонус трек (aka. “Чистим закладки”):
- Stack Share - Стэк ПО топовых компаний и сравнение инструментов
- Догадливый интерфейс - Готовые приёмы, инструменты и наборы данных для автозаполнения данных о пользователе
- Кто такой продакт менеджер? Чем он отличается от проджекта и продакт оунера? (презентация + пост с картой компетенций)

#product_dump @pm_dump

Как выбрать правильные метрики для продукта ч.2 (Цели-Сигналы-Метрики)

🔷 Сейчас поговорим как прийти от категорий HEART к конкретным метрикам.

🔷 Цели
Сначала определяем цели, а метрики уже должны говорить о прогрессе по достижению этих целей (вспоминаем data-informed design).
Если определить цели трудно, обращаемся к категориям HEART.

🔷 Сигналы
Привязываем цели к более низкоуровневым сигналам. Они должны говорить об успехе или провале цели.
- Пример: провал в Task Success может быть поисковый запрос без единого клика на результат.
- Требования: сигналы протестированы, легко/возможно измерять, сигналы чувствительны к изменениям.

🔷 Метрики
Уточняем сигналы и превращаем в метрики. Всех кандидатов на метрики анализируем и отбираем самые “говорящие и полезные”.
- Пример: сигнал (как долго юзеры смотрят видео на YT) -> метрика (ср. кол-во минут на просмотр видео у ср. пользователя в день).

🔷 Summary
Весь процесс Ц-С-М должен привести к приоритезации метрик. Не засоряйте дашборд лишним, помните про цели продукта.

🎁 Бонус трек:
- Cute Isometric Objects For Your Design
- Appfollow Benchmark - срез рынка моб. приложений по конверсии из показа/просмотра в установку

#product_dump @pm_dump

Product Owner Meetup от Binary District

🔷Презентации -> тут

Почему важно думать про счастье внутреннего клиента?

// Алексей Авдей, директор сайта sberbank.ru

Retentioneering: как сделать пользователя счастливым

// Байрам Аннаков, CEO & Founder App in the Air

Как монетизировать продукт, но не растерять пользователей

// Денис Кутергин, Founder YouDo

В деньгах счастье

// Денис Пушкин, Head of Product Marketing, Skyeng

#naked_links @pm_dump

Velocity: A dashboard UI kit with a robust design system

powered by Invision App

🔷 Velocity - это UI kit и полноценная адаптивная дизайн-система, из которой можно собрать свой собственный дизайн для приложения или проекта.

🔘 300+ UI элементов
🔘 70+ компонент
🔘 30 экранов

Исходники доступны для Photoshop, Sketch и Studio.
Скачать с Google Drive или с сайта Invision.

#naked_links #нереклама @pm_dump

Что у вас будут спрашивать при собеседовании на позицию продакт менеджера?

Леонид Чёрный, Rambler&Co

(23:06)

1️⃣ Базовый уровень навыков продакта
2️⃣ Средний уровень навыков
3️⃣ Управленческий уровень навыков

🔷 Вне зависимости от навыков с вами будут говорить о:
1. Способности решать проблемы. А какая проблема? Какие основные метрики продукта? ЦА?
2. Аналитики и работа с данными
3. Лидерство и работа с командой
4. Умение расставлять приоритеты

🎁 Summary: чаще всего soft skills преобладают над hard skills

#product_dump @pm_dump

🎁 Бонус трек к предыдущему посту - книга "Hired"

"Product of the day" на ProductHunt

🔷 Hired is a collection of stories of Product transitions to show you how it’s done in 5 chapters:
- Transitioning to Product Management
- Get Hired at Your Dream Company
- General Tips & Advice
- Interview Advice
- Your First Few Days as a PM

🔷 Поделись мнением о книге со мной и поделись книгой с коллегой ✌️

#product_dump #naked_links @pm_dump

🔘 Как не надо анализировать A/B тесты. Проблема подглядывания.
Давайте познакомимся, пройдите опрос: bit.ly/pm_poll

🔷 Проблема подглядывания - это желание действовать на основе результатов A/B тестирования до его окончания

🔷 Суть проблемы:
Мы видим, что результаты теста в определенный момент стали значимы, и заканчиваем эксперимент, а значимость на самом деле может скакать (речь про тестируемую группу и контрольную)

🔷 Даже если мы периодически смотрим на результаты и действуем не сразу, то p-value увеличивается.
❗️Математический аппарат для проверки результатов тестов был придуман до появления интернета. При регулярной проверке результатов тестирования этот мат.аппарат перестает работать (p-value становится намного больше). Но есть решение в конце поста.

🔷 Как подглядывания влияют на p-value:
- 2 подглядывания с готовностью принять решение о завершении теста увеличивают p-value в 2 раза
- 5 подглядываний в 3.2 раза
- 10 000 подглядываний более чем в 12 раз (что крайность)

🔷 Продуктовый подход к A/B и подглядыванию:
- Фиксируем выборку
- Наблюдаем за результатами, но не принимаем решение
- Продолжаем наблюдать и если разница фиксируется, то, скорее всего, влияние есть (не 1-2 дня)
- Если разница становится неразличимой, то выводы делать нельзя до конца теста

🔷 Важно при A/B:
- Действовать только после окончания теста и интерпретации результатов. Это в целом не очень практично, можно использовать продуктовый подход выше
- Измерять статистическую значимость результатов (напр. частотный подход в теории вероятности из статьи)
- Размер выборки для эксперимента должен быть обязательно определен заранее
- Если p-value оказался выше доверительного интервала, то “добирать” выборку нельзя. Только запустить тест заново.

🎁 Бонус трек:

Отправь пост другу, ему будет полезно, а мне приятно ;) 

- В статье ссылки на разницу частотного подхода (в статье) и байесовского (Optimizely, Google Experiment)
- Калькулятор для расчёта стат.значимости
- Бесплатное ревью резюме (eng)
- Бесплатная консультация по карьере (рус). Назовите кодовое слово "Консультация в подарок"
- И просто игра "Симулятор стартапа" (тренируем юнит-экономику)

#product_dump @pm_dump

🔘 Ухудшающие A/B тесты – самый недооцененный инструмент менеджера продукта

~Время на чтение статьи: 6-8 минут

🔷 Ухудшающие эксперименты — это один из способов снизить уровень неопределенности с помощью предварительной оценки потенциала влияния составляющей продукта (напр. через ухудшение составляющей) на метрики.

🔷 Зачастую ухудшающие A/B тесты - это дешево!

🔷 Аргумент против ухудшающих тестов - они портят опыт пользователей и увеличивают churn. На самом деле работа любого продакта снижать неопределенность и принимать верные решения при ограниченных ресурсах, а такие тесты говорят о влиянии составляющей продукта на метрики и позволяют значимо увеличить вероятность улучшить продукт в будущем, не потратив лишние ресурсы.
➕ часто ухудшающие тесты не оказывают никакого влияния на продукт.

🔷 Ухудшающими тестами вы "портите" жизнь малому количеству пользователей на (❗️) короткое время, но улучшаете для всех + новых пользователей.

🔷 Важно помнить, что у любой методологии есть свои границы применимости.

🔷 Summary (и снова):
Например, нужно проверить, что какое-то дорогостоящее улучшение вырастит метрики. На самом деле вы устанавливаете связь изменения и метрик. Если связь есть, то ухудшение уронит метрики, а улучшение вырастит. Только ухудшение дешевле.

🎁 Бонус трек:
- Результаты теста по замедлению сайта Financial Times
- Программа акселерации и трудоустройства продактов. Платите только с будущей зарплаты.

🔈🔉🔊 Расскажите о канале друзьям и коллегам 🔊🔉🔈
Спасибо, что читаете. Надеюсь, вам здесь нравится🙃

#product_dump @pm_dump

Спроси маму. Как общаться с клиентами и подтвердить правоту своей бизнес-идеи, если все кругом врут

Статья ~7 минут чтения, книга ~2-3 вечера.

🔷 Customer development - поговорить с клиентами до того, как что-либо создавать. Ниже две главные мысли книги и правила CustDev'а
❗️Неправильно проведенный CustDev ведёт к множеству ложноположительных сигналов

1️⃣ Говорите с клиентами или пользователями об их жизни
Хорошие темы: бизнес процессы, pains, how solve now, what already tried, what budget was spent on it
Плохие темы: ваша идея, другие возможные решения

2️⃣ Спрашивайте о конкретных вещах, которые происходили в прошлом, а не о взглядах и мнениях на перспективу (или эмоциях)
Хорошие вопросы: Как пытались с этим справиться? Какие покупали приложения? Кто выделял на это бюджет? Какой был бюджет?
Плохой вопрос: А сколько вы бы заплатили за …?

🔷 Правила и советы по книге:
- Избегайте формализма
- Вас будут стараться похвалить за внимание ко мнению - избегайте этого
- Просите показать процесс и наблюдайте
- Просите представить вас “следующим” потенциальным клиентам или пользователям
- Отслеживайте противоречивую информацию и копайте глубже. Используй 5W (“Why?”)
- Задавайте вопросы, которые могут разрушить вашу картину будущего бизнеса
- Общайтесь с людьми, пока слышите что-то новое (это вам не выборка!)
- Всегда обсуждайте полученную информацию с коллегами, фиксируйте письменно. Не становитесь бутылочным горлышком
- Очевидно, но готовьтесь ко встречам (опросник, темы)
- Формат 2-3 человек - один общается, второй конспектирует. Делайте правильный конспект (вкл. эмоции людей)
- Скорость. Потратьте 2 недели, но концентрированно.

🎁 Бонус трек:
- Сама книга на Amazon за $ и Bookmate
- Для пиратов следующий пост 😉
- Продуктовые исследования. Иван Замесин (видео, 01:22:34)
- Всё о CustDev. Чтение ~57 минут, но будет отдельный пост

🔈🔉🔊 Расскажите о канале друзьям и коллегам 🔊🔉🔈
Спасибо, что читаете. Надеюсь, вам здесь нравится🙃

#product_dump @pm_dump

Роб Фитцпатрик “Спроси маму”

Epub, full 

Продолжение поста о главных тезисах книги “Спроси маму”

🔊 С каждым репостом плачет маленький лицензионный издатель 🔊

#product_dump @pm_dump

Unit экономика. Ликбез и очень-очень много ссылок

Чтение ~5-7 минут, если не записывать

🔷 Unit экономика - это отчет о прибылях и убытках в расчете на натуральную единицу измерения. Это может быть выполненный заказ, проданная услуга или товар.

🔷 Когорта - это группа пользователей объединенных по календарному (рекомендуется) или иным признакам. Пост про когортный анализ.

🔘 Средний C1 (конверсия в 1ю покупку) - 1%;
🔘 COGS = Cost of Good Sold or Commission;
В COGS не входят Fix Cost (постоянные издержки) - аренда офиса, бухучет раз в квартал, зп невовлеченных сотрудников;
🔘 Fix Costs - вообще не участвуют в расчете юнит-экономики. Выполняет сравнительную функцию;
🔘 1stCOGS (%) - затраты на первую покупку (не повторяются дальше). Рекламные акции, подарки при первой покупке.

🔷 Summary:
Каждый расчёт unit-экономики должен учитывать все нюансы именно ВАШЕГО бизнеса. Я, например, для B2B продукта Fix Costs включал в COGS, UA и C1 вообще убрал etc.

🎁 Бонус трек:
- Круто и важно: “Гайд: как разобраться в юнит-экономике за 1 день”. Красинский, Ханин, Шаблоны, Книги и вот это всё.
- Лекция (видео, 1:19:20). Илья Красинский, Школа менеджеров Яндекса
- Формула ARPPU для разных бизнес-моделей - раз, два
- Влад Прищепов - Алгоритм расчёта Unit экономики
- Калькулятор unit экономики ueCalc.
Демо этого сервиса в excel в следующем посте. Пользуйтесь на здоровье 😉
- Мой пост про LTV и CAC
- Сайт с шаблонами моделей для юнит экономики по сферам бизнеса

🔈🔉🔊 Расскажите о канале друзьям и коллегам 🔊🔉🔈
Спасибо, что читаете. Надеюсь, вам здесь нравится🙃

#product_dump @pm_dump

“Демо euCalc в формате excel”. Продолжение ликбеза по юнит экономике.

❗️Файл хорош для пробы пера и тренировки, но сам сервис дает гораздо шире функционал.
uecalc.com

🔊🔉🔈

#product_dump @pm_dump

Конкурс продуктовых аналитиков от Joom

Олег Якубенков, Joom, ex-Facebook

Архив с заданием и топ-3 решениями. Для всех, кто интересуется аналитикой в продуктах (надеюсь для всех)

🔊🔉🔈

#naked_links @pm_dump

🔷 Product Management Search Engine

От продактов Google, Facebook, ведущих стартапов

1000+ статей по менеджменту продуктов (worldwide)
Никаких видео, книг и рекламы
Только статьи👌Страница обновляется

🔊 Поделись постом с друзьям и коллегам 🔊

#naked_links @pm_dump

🔷 Яндекс.Взгляд
Сервис для исследования мнений

Может быть полезным инструментом для валидации гипотез.
Кто-то успел попробовать? Поделитесь мнением со мной: @pmdump_bot

❓Справка по Яндекс.Взгляд

🔊 Подписывайся на канал, делись постом 🔊

#naked_links @pm_dump

🔷 0x1.tv - ещё один источник знаний для вас

Не смотри на дизайн, это крутой проект)

🔷 Проект, который собирает доклады с различных IT-конференций. Все видео представлены в удобном категоризированном каталоге. Есть раздел с докладами по теме "Управление продуктами"

🔊 Подписывайся на канал, делись постом 🔊

#naked_links @pm_dump

Can't unsee - выбери корректный дизайн

Игра

🔷 Продакт менеджерам важно разбираться в дизайне, в том числе подмечать косяки в получаемых макетах

🔷 Can't unsee — игра, где надо выбрать из двух элементов дизайна правильный.
И весело и полезно, между прочим.

🔗 Credits: подсмотрено на канале "Технологии, медиа и общество"

#naked_links @pm_dump

🔷 Как измерить product/market fit с помощью метрик

Время на чтение ~6-8 минут

🔷 Product / Market fit - это успешность / востребованность продукта рынком

🔷 Автор предлагает смотреть на P/M fit через месячный retention (можно зависеть от категории продукта).
Нужно построить график retention и понять выравнивается ли он со временем.
Если продукт может превратить часть новых пользователей в регулярную аудиторию, то, значит, часть рынка находит продукт полезным и готова его регулярно использовать для решения своей задачи.

🔷 Также приводятся ряд других способов замера p/m fit, но они скорее субъективны

🔷 Summary: такой способ очень прозрачный и, главное, однозначный. Способ позволяет понять, что рынок конечен и рост продукта должен обеспечиваться чем-то еще, кроме привлечения новых пользователей.

🎁 Бонус трек:
- How Superhuman Built an Engine to Find Product/Market Fit
- (оффтоп) Turn any Google sheet into an API instantly, for free with Sheety

🔊 Подписывайся на канал, делись постом 🔊

#product_dump @pm_dump

Минутка радости благодаря Product Sense 🥳

Неограниченное количество людей смогут стать слушателями.
Подробности на сайте: productsense.io/mindset

Планирую писать тезисы и главные мысли с лекций и воркшопов в канал.
Ваши вопросы и пожелания пишите в бота: @pmdump_bot

#ProductMindset @pm_dump

🔷 Старт недели №1 - Product MindSet

1️⃣ Первая встреча была про глубинные интервью и их анализ от ребят из UX лаборатории Сбербанка и ЦИАНа

Звёзды субботнего вечера:
- Алина Ермакова, UX лаборатория Сбербанка
- Дарья Хлопова, Senior Reseacher ЦИАНа

"Интервью. Как провести глубинное исследование и выявить инсайты"
Ермакова Алина

“Мы провели 15 интервью, что дальше?”
Хлопова Даша

🎁 Эти две прекрасные презентации можно запросить через бота: @pmdump_bot

Summary по классике будет раскрыто в двух следующих постах

#ProductMindset #productsense @pm_dump