И еще раз за сегодня, привет!

Работа с аналитикой в больших компаниях редко ограничивается только Google Analytics 4 или Mixpanel. Часто присутствует собственная самописная аналитика с дашбордами в какой-нибудь Business Intelligence системе.

На бесплатном вебинаре мы рассмотрим современные системы, которые есть на рынке. Разберем их плюсы, минусы и паттерны использования.

О чем поговорим:
- Чего не хватает в системах сквозной аналитики
- Когда нужно заводить собственное аналитическое хранилище, а когда достаточно Mixpanel/GA4/etc
- Как принимать решение: покупать готовый продукт или пилить свой
- Что делает продакт, а что аналитик
- Как продакту применять SQL на практике

Спикеры:
К. Грабарь (Product Owner Data Platform @ Flo)
А. Менде (Senior PM ML @ Booking)
М. Козин (стартапер, founder в Art-space ATOP)

Этот вебинар мы пытаемся провести уже месяца три, но всё время что-то мешает: то болезни, то потопы, то ретроградный меркурий с таро-приоритизацией. Скрестим пальцы!

Когда пройдет встреча? 20 апреля в 19:00 (GMT+3).
Сколько времени это займет? ~60 минут.
Записаться на вебинар можно в телеграм-боте по этой ссылке.

Привет, это Константин.
Друзья, весна в самом разгаре, а у нас по настоящему горячие новости. Наши симуляторы "SQL для продакта" и "Базовая аналитика для продакта" активно развиваются. Совсем недавно мы добавили в них по одному большому уроку: "Базовые метрики" и "Анализ эффективности онбординга: JOIN таблиц и подзапросы".

Объем и ценность симуляторов растет, очень скоро поднимем цену. Для подписчиков этого канала еще есть шанс успеть приобрести эти курсы по старой цене. Цена будет зафиксирована до конца недели. Хочешь прокачать навыки работы с метриками и данными? Запрыгивай скорее!🙂

До конца квартала мы планируем добавить еще два урока: "Деревья метрик" и "Написание SQL запросов вместе с ChatGPT". Тем, у кого симуляторы уже куплены, эти уроки достанутся абсолютно бесплатно.

Покупай симуляторы по старой цене:
"SQL для продакта"
"Базовая аналитика для продакта"

Привет! Владимир на связи. Копаться в аналитике - это очень круто, потому что нет ничего приятнее, чем родить гипотезу (“Они отменяют такси, потому что не влезает сноуборд!”), залезть в базу данных, и за 1 минуту сделать что-то типа:

SELECT COUNT(*)
FROM cancellation_reasons
WHERE
(reason LIKE '%snowboard%' OR reason LIKE '%ski%')
AND date > “01-04-2023”

Подождать минуту и увидеть заветное:

>> 8020

чтобы понять, что аж 8 тысяч пользователей за последний месяц проклинали сервис вызова такси за то, что им не дали сразу указать, что нужна вместительная машина. Дальше можно улыбнуться улыбкой “И кто здесь гений?”, поправить худи, чтобы не видно было красно-синие цвета суперменского костюма и подумать, как помочь бедным сноубордистам (и лыжникам!) спасительной фичей.

Но! Если вместо этого вы увидели то, что на картинке ☝️, то рекомендую сделать глубокий вдох, помолиться и идти (бежать) искать главного программиста, потому что вы только что вместо чтения поменяли 300к записей в продакшн базе. Пишите в комментах если вы, будучи продактом, попадали в похожие ситуации).

Data PM Костя из нашей команды только что улучшил и расширил симулятор “SQL для продакта” - на время “обкатки” действует личный саппорт от Кости. Завтра поднимем цену.

Привет! Это Владимир.
Недавно меня спросили про зарплаты продактов, и я по традиции отправил на Glassdoor - что гадать, если там все расписано по должностям, странам, опыту работы. При этом, пока я искал ссылку, то заметил, что зарплаты Tech PM на 15% выше обычных PM, например, вот для US:

https://www.glassdoor.com/Salaries/us-tech-product-manager-salary-SRCH_IL.0,2_IN1_KO3,23.htm
https://www.glassdoor.com/Salaries/us-product-manager-salary-SRCH_IL.0,2_IN1_KO3,18.htm

Моя гипотеза в том, что более специализированных специалистов (как и во всех отраслях) попросту меньше, и предложение еще не догнало спрос.

Поскольку мир (пока) стремительно сложнеет и обрастает сервисами с API, то может еще не скоро догонит? Или все-таки гибкие продакты уже сориентировались и подкачали новый скилл? А может вообще ChatGPT заменит нужду что-то знать за пределами чат-интерфейса и мы все будем строить продукты, просто описывая их?

Кто сегодня на конференции — приходите пообщаться лично.

Мой доклад в 15:30 в секции Product Growth. Буду рассказывать о том, как ПМ-ить ML продукты.

Привет, с вами Владимир. Сегодня выходной, а значит время для несерьезного серьезного поста.

Если менеджер вас спросил про годовые цели, то скорее всего он вам нежно намекает, что их пора бы уже определить. У нас в Booking это обязательно, и для формата используется что-то типа OKR: цель, план действий, как будем измерять успех.

Хорошие менеджеры чекают прогресс по целям с сотрудниками каждый квартал. А супер сотрудники делают это сами.

Цель целей простая — заставить человека придумать амбициозную картину будущего, договориться о ней, и помочь ему дойти до конца, не теряясь во всяких подворотнях операционки. Цели, кстати, полезно определять и для личной жизни — она тоже в какой-то мере проект, просто с другими метриками.

Привет! Это Андрей.
Каждый раз когда приложение, которым я активно пользуюсь, выкатывает новую фичу, мой деформированный мозг автоматически задает вопрос: какую метрику она должна вырастить?

Телеграм сделал возможность делиться папками (коллекциями?) каналов. Что ж, давайте протестируем ее с пользой. Ниже ссылка на список каналов по продакт менеджменту, которые я могу рекомендовать (с большинством авторов я знаком лично):

→ https://t.me/addlist/YvmnHCHUp700Nzky

Когда вы добавите папку себе в телеграм, она станет вашей и вы сможете ее редактировать – добавлять новые каналы, или отписаться от тех, которые вам не интересны.

Возможно, лучшее, что я сделал для повышение своей продуктивности в этом году – это разделил в телеграме важные личные коммуникации и подписки так, чтобы они вообще никогда не смешивались. Если интересно про настройки телеграма – спрашивайте в коментах, сделаю отдельный пост.

И делитесь вашими личными лайфхаками про то как использовать телеграм эффективнее.

​​Посмотреть выступления в программе Epic Growth можно вот по этой ссылке.

Всем привет! На связи Андрей. У меня сейчас очень важный эксперимент показывает положительные результаты и я полон приятного предвкушения.

Это хороший момент, чтобы проговорить одну тему связанную с A/B тестированием. Часто говорят, что у A/B тестов есть проблема подглядывания (peeking problem). Но мне кажется, что этот термин категорически неверный.

Продакт менеджер может (и должен!) смотреть на результаты своего эксперимента в течение всего его жизненного цикла. Я делаю это, как минимум каждый день, в рамках утренней рутины. И считаю, что это нормально.

На что я смотрю:

→ Опережающие сигналы. Да, целевая метрика эксперимента еще скорее всего не набрала статистической значимости, но вспомогательные метрики, как правило, гораздо чувствительнее, и могут на более ранних этапах показать, что что-то идет не так.

→ Красные флаги. Если я увижу изменение метрики (с высокой значимостью), на которую моя гипотеза вообще влиять не должна, то я на стендапе попрошу команду разобраться, что происходит.

→ Проактивно коммуницирую со стейкхолдерами, если вижу что эксперимент идет к успеху и влияет на важных для них метрики, чтобы потом, когда придет время раскатывать эксперимент, все уже были в курсе.

→ Прогноз результата. Эксперимент длится в среднем две недели, а мне нужно планировать работу команды немного с опережением. Я не принимаю решение на неполных данных, но я делаю прогноз результата, и исходя из этого набираю следующий спринт, пока эксперимент еще идет. В худшем случае придется немного переиграть планы, но у нас же agile, чёрт возьми.

Единственное, чего делать категорически нельзя – это принимать окончательное решение на неполных данных (если вы не используете специальный метод sequential A/B testing). А смотреть на результаты и строить прогнозы – очень полезно. Потому что продакт – отвечает не только за анализ данных и принятие решений, но и за эффективное планирование работы команды.

Если вы активно работаете с экспериментами, напишите, пожалуйста, в комментах: используете ли вы прогноз результата при планировании работы или считаете, что это неправильно.

Привет всем!
Надо признать, что тестирование новой фичи телеграма прошло достаточно успешно: многие добавили себе “папку продуктовых каналов”. К нам присоединилось много новых подписчиков. Добро пожаловать!

Но мозг продакта, конечно, не может просто радоваться. А какой будет ретеншн у этой когорты? Будет ли у нее такая же средняя активность, как и у органических подписчиков? Все-таки количество подписок – это vanity metric. Настоящая целевая метрика канала – это охваты и активность.

Тем не менее это хороший повод рассказать вновь присоединившимся о том, кто мы и зачем ведем канал.

Кто мы?

Практикующие продакты международных компаний:
→ Владимир Калмыков (Group Product Manager @ Booking.соm)
→ Андрей Менде (Sr. Product Manager Machine Learning @ Booking.соm)
→ Александр Поваров (Head of Payments @ Wolt),
→ Константин Грабарь (Product Owner Data Platform @ Flo)

О чем мы пишем и говорим?

Несколько раз в неделю делимся своими мыслями и наблюдениями о буднях продакт менеджера в крупной компании. Решаем задачи, обсуждаем найм, разбираем продукты, следим за трендами.

Время от времени мы проводим бесплатные вебинары, когда хочется рассказать о какой-то большой новой теме. Если же приходит срочный актуальный вопрос, то мы устраиваем “стихийный созвон” нашего коммьюнити и помогаем коллеге с его задачей. Причем, как правило, помогают не только авторы канала, но и другие подписчики с более глубокой экспертизой в теме. Следите за анонсами в канале, тут будет временная ссылка на zoom.

Развиваем образовательный стартап

Авторы канала преподавали во многих онлайн-школах. А потом поняли, что для эффективного обучения продактам не хватает практики, и запустили свой образовательный стартап ProductDo. В отличие от крупных образовательных проектов, мы делаем основной упор на решение задач, а не на лекции и слайды.

Существенная часть обучения представляет собой симуляторы. И это не просто модное слово для привлечения внимания. Наши студенты решают огромное количество реальных кейсов, общаются с виртуальными коллегами и заказчиками, работают с датасетами в MixPanel и Superset, пишут SQL запросы, и принимают решения на основе данных. Читайте отзывы и приходите учиться.

Теперь ваша очередь 😉

Фуф, о себе, вроде, все рассказали. Нам будет приятно, если вы также расскажете немного о себе в комментах: над каким продуктом вы работаете, какие у вас сейчас карьерные цели? Зашла ли вам концепция “папочки каналов”?

Привет, друзья! С вами Владимир. Сегодня я расскажу вам про вопрос с собеседования, который может немного ввести в ступор, если вы к нему не готовились.

Звучит он так:
– Можете вспомнить ситуацию из своего опыта, когда вы совершили (продуктовую) ошибку? Как вы с ней справились и какие выводы для себя сделали?

Этот вопрос часто задают тем кандидатам, которые рассказывают о себе только положительные вещи, вместо того, чтобы балансировать: вот тут мы налажали, а вот тут – сделали классно.

Если кандидат не может рассказать хороший кейс о том, как что-то пошло не так, то это может быть сигналом о том, что у него нет качественного продуктового опыта. Потому что в реальной работе продакты ошибаются очень часто, это следствие работы с гипотезами.

Кто не совершает ошибок:

1. Те кто работают над деливери проектами, где нет неопределенности. Скоуп уже точно известен, кто-то опытный уже всё продумал, осталось только сделать операционную работу. Тут ошибиться сложно, но это опыт проджекта, а не продакта, такой человек вам не подходит (если вы нанимаете продакта).
2. Продукт слишком простой: например разработка внутренней системы по прямым запросам заказчиков. Не ошибаются там, где всё и так очевидно. Это кандидат без сильного релевантного опыта.
3. У кандидата не развита рефлексия, он просто уверен в своей непогрешимости. Это, наверное, самый опасный вариант. Иногда настойчивость – полезное качество, но плохо работающая обратная связь с высокой вероятностью приведет к тому, что команда этого продакта уедет вообще не туда.
4. Кандидат считает, что рассказывать о серьезных ошибках стыдно, лучше их замалчивать. Это означает, что он скорее всего будет плохо влиять на культуру компании и рисовать красивые картинки, имеющие мало общего с реальностью.

Если же кандидат активно работал над сложными продуктами, то в ответ на этот вопрос он будет понимающе улыбаться и отвечать:

- Да, была каша... вот тут гипотеза не сработала потому что неправильно исследование проводили, а вот здесь – сделали неправильный вывод из аналитики. Такие кейсы демонстрируют сильный релевантный опыт и способность рефлексировать и учиться.

Дальше обычно обсуждают какие действия были предприняты, когда ошибка была обнаружена, и тут важно показать что кандидат грамотно выходил из сложных ситуаций, делал выводы, не опускал руки, не говорил: "Пусть директор разбирается".

Когда будете готовить свои кейсы для интервью (обязательно используйте фреймворк STAR) – не забывайте отрепетировать и несколько негативных, нет никакого смысла рассказывать только про успехи.

Удачи на собеседованиях!

(Этот пост в формате мини-подкаста в комментариях 👇🏻)

​​Привет! Это Владимир. Мем мемом, а директора (по крайней мере у нас) - это продуктовые монстры. Благодаря их опыту (обычно 10+ лет) их вопросы отрезают всю шелуху и бьют в точку:
- Зачем вот это?
- А как ты это собрался делать?
- Вот еще я вижу связанный кейс
... и т.д.

Сам я постоянно "пользуюсь мозгом" моего директора, но делать это надо с осторожностью. Дело в том, что в отличие от вас, ведущих продукт/проект, и вашего Group Product Manager, ведущего портфолио связанных продуктов/проектов – директор ведет несколько порфтолио 🤯. В общем, директор – очень занятый персонаж, и он постоянно прыгает между верхними этажами (долгосрочное видение, бюджет, люди, парнтерства) и всякой конкретикой (у Васи тормозит проект, у Жени вопрос про фичу). И что она (или он) больше всего ненавидит, так это тратить время впустую.

Поэтому: внимание, совет: приходите к директору с четким посылом, например:
- "Я набросал PRD по новому проекту, уже засинкался с тех лидом - можешь прочитать и откомментить, что мы еще упустили?"
- "Я готовлю презу для директора из соседнего департамента. Не вчитываясь в детали, можешь посмотреть на общую диаграмму и дать свою оценку, насколько она понятна внешнему Senior-стейкхолдеру"?
- "Мне нужно 30 мин обсудить проблему с проектом. Прочитай вот это перед встречей (3 страницы) и будем вместе заполнять вот эту табличку."

Как видите, во всех примерах директору приходит четкий запрос, что от него нужно и вы в ответ получите пару очень хороших идей или конструктивной критики. Обычно в течении минимального времени!

А вот что не работает (те же примеры, только "испорченные"):
- "Я пытаюсь написать PRD по новому проекту, пока ничего не складывается, можешь почитать?"
- "Я готовлю презу для директора из соседнего департамента, вот 30 слайдов"
- "У меня проблема с проектом, давай встретимся на 30 мин (пришел без структуры и 30 минут пытался сформулировать мысли)"

В общем, используйте светлый мозг вашего директора по делу. Это, кстати, часть большой темы "managing up", расскажем больше про нее потом.

А пока - хороших выходных 🏝🚗⛱

Ребята, привет, на связи Владимир.
Мы задумали серию бесплатных вебинаров про карьерный рост продакта: от первых шагов (“Как перейти в продакты”), до первого повышения (“Как стать Sr и чего для этого делать не надо”) и, наконец - “Коварная развилка после Senior-ства: Principal или Manager?”. Соберем экспертов из международных компаний с разными мнениями и лампово посидим.

Начнем с первого - “Как перейти в продакты?” (дату объявим скоро).

Почему тема важная? Из каждого утюга сегодня слышно, что достаточно просто “сформулировать намерение” и всё сразу случится, но на деле все немного сложнее. По сути нужен скачок из individual contributor (маркетолога, проджекта, программиста, аналитика или пока просто “неспециалиста”) в того, кому полностью (!) доверяют (!) вести продукт - и его маркетинг, и проекты, и разработку и анализ. Сам я переходил из программиста, поэтому боль и степень неопределенности понимаю.

Чтобы получилось интереснее, мы хотим позвать ребят с разными бэкграундами и обсудить с ними:
- Почему решились на переход
- Какие навыки им помогли в новом старте
- Каких знаний сейчас им не хватает и что они активно качают
- И конечно поотвечаем на вопросы из зала

Если вы относительно недавно перешли в продакты (или давно, но все отчетливо помните) и хотите поделиться этим с нашим дружным коммьюнити, то напишите мне в личку @vladimir_kalmykov и расскажите свою историю в паре предложений. После созвона определим, какая история была самая полезная и победителю дадим доступ к любому из наших 8 симуляторов - дальше расти в роли.

Ставьте огонь 🔥, если вам было бы интересно послушать и чувака в темных очках 😎, если вы такие “тема норм, новички пусть слушают, а я уже Sr”.

Привет! Это Андрей. Спасибо за ответы на опрос про количество встреч в неделю. Я убедился, что встреч у меня, действительно, больше, чем в среднем у PM’ов. Треть продактов оценивают, что у них 20-30% времени уходит на встречи, а у меня ближе к 40%

Недавно я делился, что в рамках роста на следующую ступеньку карьеры, я начал вести одновременно две команды, что привело к небольшому кризису личной эффективности.

Вдохновившись советами, которые мне надавали в комментариях, я попытался оптимизировать свои задачи и ритуалы, в которые я лично вовлечен.

Одной из самых больших статей расхода времени оказались встречи. Я их условно поделил на несколько категорий:

→ ритуалы с командой (стендапы, планирование, ретро)
→ 1-на-1 с ключевыми людьми внутри команды
→ статусы внутри департамента (руководители и соседние команды)
→ регулярные синки со стейкходлерами комнады (горизонтальные связи)
→ on demand встречи с другими командами

В целом встречи занимали у меня от четверти до половины рабочего времени в неделю, что, как мне кажется, очень много.

Сначала я постарался сократить количество встреч. Все ритуалы внутри команды я проредил и сократил по времени, команда была только счастлива. Самой большой победой было то, что некоторые ритуалы я нарезал по ролям: например, планирование/груминг вместо 1 часа со всей командой стало 30 минут с разработчиками + 30 минут с Data Scientist, и в результате эти встречи по факту часто заканчиваются раньше.

Синки со стейкхолдерами оставил только те, которые прямо насыщены событиями. Встречи по запросу просто стараюсь принимать избирательно и решить вопрос по почте или в слэке, если получается.

Чтобы повысить эффективность оставшихся встреч, я попробовал выработать у себя привычки, которые подсмотрел у эффективных коллег или на вебинарах:

→ В рамках ежедневной утренней рутины просканировать все встречи дня и подготовиться к ним. На этом этапе я некоторые из них предлагаю отменить, если вижу, что нет содержательной повестки.
→ Когда планируешь встречу – сразу резервировать время на обработку результатов. Это может быть (45 + 15) или (20 + 10) минут. От каждой встречи должен оставаться краткий пересказ + action points, которые надо сделать сразу после встречи.
→ Не планировать больше 2 часов встреч подряд, резервировать перерывы.
→ Планировать встречи “кластерами”. Пусть лучше один день будет преимущественно из встреч, а другой сильно более свободный, чем все дни похожи на зебру (подсмотрено у Владимира).
→ Вечером разбираю новые приглашения и сразу предлагаю альтернативное время, чтобы соблюдать предыдущий пункт.

Расскажите какие еще полезные привычки или принципы вы применяете для повышения эффективности встреч?

А в следующий раз поговорим про фокус-таймы.