Метрики
There are levels:
1. Джун: знает метрики! Может без запинки перечислить MAU, WAU, DAU, CAC, LTV, NPS…
2. Мидл: знает все метрики! Начинает с пиратского восклицания и заканчивает разговором про Полярную звезду.
3. Синьор: на самом деле знает, сколько CR притаилось в его «воронке». Может нарисовать корректное «дерево», соблюдая правила арифметики. Различает OMTM от NSM. Может объяснить, почему NPS — плохая метрика. Всеми силами топит за когорты. Имеет ещё пару тузов в рукаве, но использует их только в подходящей ситуации.
4. Head of / директор: начинает видеть лес за деревьями, но иногда забывает про отдельные экземпляры. Компенсирует тем, что отделяет зёрна от плевел: метрики тщеславия от всех остальных; метрики опыта от метрик продукта и бизнес-показаталей. Выбирает, когда быть data-driven, а когда уже data-informed.
5. C-level: видит только лес, и сразу опознаёт старину Гудхарта в нём. Всеми силами гонит его прочь, если, конечно, от этого не зависит его годовая премия.
Х. Человек с хорошим образованием, на любом уровне:
— помнит о недостатках относительных метрик и знает, как их компенсировать;
— может объяснить, чем отличаются leading-индикаторы от lagging, а input-метрики от output, и, главное, когда одни переходят в другие;
— понимает, что одинаково важно выбрать правильную метрику и аккуратно её измерить (и что одно без другого не имеет смысла);
— занимает правильную сторону в споре frequentists vs. Bayesians;
— каждый раз думает, что и для чего имеет смысл измерять, а что — нет.
---
Этот пост добавлен в навигацию по каналу — если вы здесь недавно, всячески рекомендую, там есть что почитать на майских.
There are levels:
1. Джун: знает метрики! Может без запинки перечислить MAU, WAU, DAU, CAC, LTV, NPS…
2. Мидл: знает все метрики! Начинает с пиратского восклицания и заканчивает разговором про Полярную звезду.
3. Синьор: на самом деле знает, сколько CR притаилось в его «воронке». Может нарисовать корректное «дерево», соблюдая правила арифметики. Различает OMTM от NSM. Может объяснить, почему NPS — плохая метрика. Всеми силами топит за когорты. Имеет ещё пару тузов в рукаве, но использует их только в подходящей ситуации.
4. Head of / директор: начинает видеть лес за деревьями, но иногда забывает про отдельные экземпляры. Компенсирует тем, что отделяет зёрна от плевел: метрики тщеславия от всех остальных; метрики опыта от метрик продукта и бизнес-показаталей. Выбирает, когда быть data-driven, а когда уже data-informed.
5. C-level: видит только лес, и сразу опознаёт старину Гудхарта в нём. Всеми силами гонит его прочь, если, конечно, от этого не зависит его годовая премия.
Х. Человек с хорошим образованием, на любом уровне:
— помнит о недостатках относительных метрик и знает, как их компенсировать;
— может объяснить, чем отличаются leading-индикаторы от lagging, а input-метрики от output, и, главное, когда одни переходят в другие;
— понимает, что одинаково важно выбрать правильную метрику и аккуратно её измерить (и что одно без другого не имеет смысла);
— занимает правильную сторону в споре frequentists vs. Bayesians;
— каждый раз думает, что и для чего имеет смысл измерять, а что — нет.
---
Этот пост добавлен в навигацию по каналу — если вы здесь недавно, всячески рекомендую, там есть что почитать на майских.
🔥11👍5
Метрики на собеседованиях
Честно говоря, я сегодня хотел написать совсем другой пост — вот этот.
Сначала напомню моё отношение к «метрикам в резюме» — это булшит.
Реальность работы продакта намного сложнее и печальнее, чем «повысил С1 на 2 п.п., что выразилось в +$50K MRR в течение 6 месяцев». Ещё раз, прописью — это булшит. Тут неправда почти всё, хотя можно легко показать, что «всё так и было!» (см. комментарии к посту)
Тогда какой смысл обсуждать метрики на собеседовании? Точно нет смысла просить: «Опишите, как бы вы измеряли вот эту фичу?».
Всё, что вы услышите в ответ, будет либо банально (и тогда не принесёт вам ценной информации о кандидате), либо не совпадёт с вашими ожиданиями («забыл ещё вот это») — и тогда станет просто поводом для вас отсеять кандидата.
Имеет смысл обсуждать метрики с кандидатом только в двух случаях:
— вы готовы услышать что-то новое (и кандидат заведомо соответствующего уровня);
— вы хотите понять, как человек думает, протестировать буквально «строгость», «точность» мышления.
Во всех остальных случаях — смотрите предыдущий пост про уровни. Мидл вам скажет одно, синьор — другое, но это не то, о чём нужно спрашивать и что выслушивать. Но! Если вы действительно хотите понять как соискатель мыслит...
---
Продакт обязан учиться. Постоянно, непрестанно, без устали и продыху. Буквально, как завещал… В общем, вы поняли. Это очевидно.
Чуть менее очевидно, что продакт обязан:
— понимать границы собственных и чужих знаний;
— уметь определять и согласовывать определения терминов;
— отделять предположения (assumptions) от фактов и мнений;
— различать конкретное от абстрактного, объективное от субъективного;
— оценивать качество аргументов, предъявлять сильные аргументы;
— строить сложные умозаключения, не допускать логических ошибок;
— удерживать многоэтажные смысловые конструкции и не скакать хаотично между их этажами;
— выходить «в» и возвращаться «из» рефлексивной позиции.
Иными словами, продакт должен понимать и применять на практике основы эпистемологии, герменевтики, логики и системного мышления (а также уметь строить и оперировать онтологиями).
Как всё это проверить за 10 минут, которые у вас для этого есть на собеседовании?
Выделите 20 минут и задайте два вопроса:
— «Что такое „эргодичность“ и для чего нам это понятие, когда мы говорим о метриках?»;
— «Как и для чего различать input- и output-метрики?».
Если кандидат не знает ответов, попросите потратить 5 минут на гугл/разговор с LLM и обсудите результат.
За 20 минут обсуждения этих двух вопросов вы поймёте про кандидата гораздо больше важных вещей, чем за 40 минут обсуждения тонкостей любой воронки.
---
Все числовые показатели в этом посте – буквально «фигуры речи» ;-)
---
Этот пост тоже добавлен в навигацию по каналу — в раздел «Чек-лист CPO».
Честно говоря, я сегодня хотел написать совсем другой пост — вот этот.
Сначала напомню моё отношение к «метрикам в резюме» — это булшит.
Реальность работы продакта намного сложнее и печальнее, чем «повысил С1 на 2 п.п., что выразилось в +$50K MRR в течение 6 месяцев». Ещё раз, прописью — это булшит. Тут неправда почти всё, хотя можно легко показать, что «всё так и было!» (см. комментарии к посту)
Тогда какой смысл обсуждать метрики на собеседовании? Точно нет смысла просить: «Опишите, как бы вы измеряли вот эту фичу?».
Всё, что вы услышите в ответ, будет либо банально (и тогда не принесёт вам ценной информации о кандидате), либо не совпадёт с вашими ожиданиями («забыл ещё вот это») — и тогда станет просто поводом для вас отсеять кандидата.
Имеет смысл обсуждать метрики с кандидатом только в двух случаях:
— вы готовы услышать что-то новое (и кандидат заведомо соответствующего уровня);
— вы хотите понять, как человек думает, протестировать буквально «строгость», «точность» мышления.
Во всех остальных случаях — смотрите предыдущий пост про уровни. Мидл вам скажет одно, синьор — другое, но это не то, о чём нужно спрашивать и что выслушивать. Но! Если вы действительно хотите понять как соискатель мыслит...
---
Продакт обязан учиться. Постоянно, непрестанно, без устали и продыху. Буквально, как завещал… В общем, вы поняли. Это очевидно.
Чуть менее очевидно, что продакт обязан:
— понимать границы собственных и чужих знаний;
— уметь определять и согласовывать определения терминов;
— отделять предположения (assumptions) от фактов и мнений;
— различать конкретное от абстрактного, объективное от субъективного;
— оценивать качество аргументов, предъявлять сильные аргументы;
— строить сложные умозаключения, не допускать логических ошибок;
— удерживать многоэтажные смысловые конструкции и не скакать хаотично между их этажами;
— выходить «в» и возвращаться «из» рефлексивной позиции.
Иными словами, продакт должен понимать и применять на практике основы эпистемологии, герменевтики, логики и системного мышления (а также уметь строить и оперировать онтологиями).
Как всё это проверить за 10 минут, которые у вас для этого есть на собеседовании?
Выделите 20 минут и задайте два вопроса:
— «Что такое „эргодичность“ и для чего нам это понятие, когда мы говорим о метриках?»;
— «Как и для чего различать input- и output-метрики?».
Если кандидат не знает ответов, попросите потратить 5 минут на гугл/разговор с LLM и обсудите результат.
За 20 минут обсуждения этих двух вопросов вы поймёте про кандидата гораздо больше важных вещей, чем за 40 минут обсуждения тонкостей любой воронки.
---
Все числовые показатели в этом посте – буквально «фигуры речи» ;-)
---
Этот пост тоже добавлен в навигацию по каналу — в раздел «Чек-лист CPO».
👍11🤔4🔥3❤2🌚1
Рокет-сайенс и знания
Выношу эти аргументы из комментариев (спасибо Самвелу за участие и продолжение дискуссии!).
Мои нападки на плохо посчитанные метрики и запущенные на коленке сплит-тесты исходят из следующих предпосылок:
— плохо описанная и обсчитанная реальность создаёт иллюзию знания и подкрепляет последующие действия «объективными данными»;
— плохо поставленный эксперимент даёт ложную уверенность в том, что мы что-то узнали, и подкрепляет последующие действия «проверенными результатами»;
— и то, и другое зачастую работает на подтверждение собственных исходных представлений, то есть только усиливает неизбежные когнитивные искажения.
---
Хорошо поставленный эксперимент (сплит-тест) претендует на производство объективного знания с помощью системы с большим количеством сложно связанных и влияющих друг на другая частей.
Поэтому буквально является рокет-сайенсом.
Если вас не учили в университете методологии науки, если вы не изучали статистику, не практиковались в статистических методах исследований, не разбирались в тонкостях системы, запускающей тест, не можете уверенно ответить на контрольный список вопросов — с очень высокой вероятностью результаты вашего теста будут либо банальны, либо неверны. Если добавить к этому стоимость запуска и анализа результатов тестов, то вопрос об их эффективности заиграет новыми красками.
Хорошо посчитанные метрики требуют точного понимания, что мы измеряем, как мы это делаем, что остаётся неизмеренным, какие причинно-следственные связи мы объективно установили, а где можем зафиксировать только корреляцию.
Даже финансовой отчётностью можно умело манипулировать, и даже такую банальную вещь, как DAU, относительно сложно достаточно точно посчитать (если вы не понимаете ограничений вашего способа подсчёта).
Правильное измерение чего угодно — отдельная дисциплина; при этом сколько раз в продуктовых курсах или статьях вы слышали упоминание «метрологии»?
---
Менеджмент продуктов — это практика использования знаний о поведении людей.
При этом парадокс нашей профессиональной области в том, что в большинстве ситуаций от нас не требуются знания, претендующие на «научность», «объективность» и даже более-менее высокую точность.
Знание — это модель, обладающая предсказательной силой. В комментариях к ещё одному посту другой читатель (Егор, привет!) принёс ссылку на статью, в которой доказывается математическая бессмысленность эффекта Даннинга-Крюгера. Становится ли от этого исходная модель хуже? Нет. Потому что она продолжает производить сбывающиеся предсказания: «люди с квалификацией ниже среднего будут переоценивать свои результаты», —мы же регулярно видим это вокруг (и иногда поступаем так же сами!).
---
Плохие метрики и эксперименты не дают настоящих знаний, подменяя их иллюзиями и укрепляя уже имеющиеся. В условиях растущего рынка и востребованного продукта это не слишком мешает расти. При этом деятельность, производящая плохие знания, отнимает у нас время от деятельности, которая могла бы произвести хорошие.
Когда ситуация благоприятна, а риски минимальны и ставки не высоки – короткие циклы обратной связи от реальности (aka «слабоумие и отвага») работают лучше чем «мы потратили 1 млн чтобы экспериментально проверить, что банальная идея улучшает целевую метрику на 0,5% и приносит +20К в месяц».
Эвристики, лучшие практики, lean & agille, быстрые итерации, непрерывная доставка изменений – работают. Карго-культ «тестируем всё» – приносит меньше пользы, чем принято считать и репортить.
---
Пожалуйста, продолжайте измерять, но будьте внимательны к тому, что, как и насколько точно.
Пожалуйста, продолжайте экспериментировать, но применяйте хорошую методологию, точные инструменты и понимайте их границы. И ищите другие способы производства знаний, если не уверены в этом.
Пожалуйста, думайте о стоимости знаний и выбирайте способы получения знаний, которые принесут вам больше пользы на единицу времязатрат.
Выношу эти аргументы из комментариев (спасибо Самвелу за участие и продолжение дискуссии!).
Мои нападки на плохо посчитанные метрики и запущенные на коленке сплит-тесты исходят из следующих предпосылок:
— плохо описанная и обсчитанная реальность создаёт иллюзию знания и подкрепляет последующие действия «объективными данными»;
— плохо поставленный эксперимент даёт ложную уверенность в том, что мы что-то узнали, и подкрепляет последующие действия «проверенными результатами»;
— и то, и другое зачастую работает на подтверждение собственных исходных представлений, то есть только усиливает неизбежные когнитивные искажения.
---
Хорошо поставленный эксперимент (сплит-тест) претендует на производство объективного знания с помощью системы с большим количеством сложно связанных и влияющих друг на другая частей.
Поэтому буквально является рокет-сайенсом.
Если вас не учили в университете методологии науки, если вы не изучали статистику, не практиковались в статистических методах исследований, не разбирались в тонкостях системы, запускающей тест, не можете уверенно ответить на контрольный список вопросов — с очень высокой вероятностью результаты вашего теста будут либо банальны, либо неверны. Если добавить к этому стоимость запуска и анализа результатов тестов, то вопрос об их эффективности заиграет новыми красками.
Хорошо посчитанные метрики требуют точного понимания, что мы измеряем, как мы это делаем, что остаётся неизмеренным, какие причинно-следственные связи мы объективно установили, а где можем зафиксировать только корреляцию.
Даже финансовой отчётностью можно умело манипулировать, и даже такую банальную вещь, как DAU, относительно сложно достаточно точно посчитать (если вы не понимаете ограничений вашего способа подсчёта).
Правильное измерение чего угодно — отдельная дисциплина; при этом сколько раз в продуктовых курсах или статьях вы слышали упоминание «метрологии»?
---
Менеджмент продуктов — это практика использования знаний о поведении людей.
При этом парадокс нашей профессиональной области в том, что в большинстве ситуаций от нас не требуются знания, претендующие на «научность», «объективность» и даже более-менее высокую точность.
Знание — это модель, обладающая предсказательной силой. В комментариях к ещё одному посту другой читатель (Егор, привет!) принёс ссылку на статью, в которой доказывается математическая бессмысленность эффекта Даннинга-Крюгера. Становится ли от этого исходная модель хуже? Нет. Потому что она продолжает производить сбывающиеся предсказания: «люди с квалификацией ниже среднего будут переоценивать свои результаты», —мы же регулярно видим это вокруг (и иногда поступаем так же сами!).
---
Плохие метрики и эксперименты не дают настоящих знаний, подменяя их иллюзиями и укрепляя уже имеющиеся. В условиях растущего рынка и востребованного продукта это не слишком мешает расти. При этом деятельность, производящая плохие знания, отнимает у нас время от деятельности, которая могла бы произвести хорошие.
Когда ситуация благоприятна, а риски минимальны и ставки не высоки – короткие циклы обратной связи от реальности (aka «слабоумие и отвага») работают лучше чем «мы потратили 1 млн чтобы экспериментально проверить, что банальная идея улучшает целевую метрику на 0,5% и приносит +20К в месяц».
Эвристики, лучшие практики, lean & agille, быстрые итерации, непрерывная доставка изменений – работают. Карго-культ «тестируем всё» – приносит меньше пользы, чем принято считать и репортить.
---
Пожалуйста, продолжайте измерять, но будьте внимательны к тому, что, как и насколько точно.
Пожалуйста, продолжайте экспериментировать, но применяйте хорошую методологию, точные инструменты и понимайте их границы. И ищите другие способы производства знаний, если не уверены в этом.
Пожалуйста, думайте о стоимости знаний и выбирайте способы получения знаний, которые принесут вам больше пользы на единицу времязатрат.
👍14❤2🔥2💯1
Байки из склепа
Ок, в комментариях к постам про метрики и эксперименты уже дважды сказали, мол, «гладко было на бумаге, да забыли про овраги», и где, мол, практика, реальный опыт, истории из жизни, факапы…?
Во-первых: «Нет ничего практичнее хорошей теории» — если мы не понимаем смысл наших действий, если у нас нет хороших теоретических оснований, то получается… как получается.
Во-вторых, «их есть у меня», но, честно, это не так интересно и поучительно.
1) При онбординге в MindMeister я довольно быстро увидел, что цифры аудитории, которые мы репортили бизнесу (и которые тот использовал, чтобы разговаривать с инвесторами), расходятся в разных системах.
Amplitude показывал одну месячную, недельную и дневную аудиторию, Metabase — другую. И расхождение было на заметные проценты.
Так я научился не доверять event-based аналитике. (См. PDF про проблемы подсчёта DAU в предыдущем посте.)
Решили ли мы эту проблему? Нет. Просто научились избирательно и уместно пользоваться источниками. Готов ли я кровью подписаться, что Metabase показывала нам настоящие цифры по всем метрикам? Нет.
2. Например, неточности всплыли когда мы пытались проследить судьбу подписчиков, которые сидели на плане с ежемесячной оплатой, который «был доступен в продукте только 6 месяцев в 2020 году».
Когда я пришёл, консенсус бизнеса был в том, что «ежемесячная подписка — плохая идея», потому что «кастомеры быстро чернились».
В этом безусловно было зерно правды. Но главный косяк был в том, что в одну и ту же когорту попадали подпичики с мобильной платформы (где ежемесячный план остается, кажется до сих пор) и те самые счастливцы, попавшие когда-то в искомые 6 месяцев в вебе.
И я так не смог докопаться как получилось, что мы репортили черн по всем ежемсячным кастомерам одной цифрой.
При этом ретеншн и активность в продукте у пользователей с разных платформ были разными, но обе когорты вели себя в продукте лучше, чем те, кто покупал годовые подписки.
Итого, косяк с индикатором черна мы вскрыли, но повлиять уже ни на что не смогли — к тому времени ARR стал ключевой метрикой всей компании и моему продукту пришлось с этим считаться.
Знаете как при этом вычислялся ARR для пользователей на ежемсячных планах? Можете догадаться, но я не буду вслух это произносить.
3. В ходе того же онбординга я узнал, что у нас идёт эксперимент... идёт уже 4 месяца. Очень важный вопрос на кону! Много денег потрачено на то, чтобы сделать необходимые изменения, которые мы и тестируем!
Угадаете, что было дальше?
Через 6 месяцев(!) эксперимент пришлось прекратить и принимать решение, исходя из стратегических соображений, здравого смысла и лучших практик. Сплит-тест так и не дал статистически значимых результатов.
Конечно, посчитав нужные параметры «на берегу», его не стоило и начинать, но sunk cost fallacy не дал мне прибить его, как только я это осознал.
Тестировалась, вы не поверите, сама кор-модель монетизации: нужен ли жёсткий лимит в 3 карты или можно давать создавать сколько угодно карт, но оставлять доступными для редактирования только 3.
4. Результат более простого A/B-теста – изменений главной CTA на сайте был признан успешным — ровно до тех пор, пока не выяснилось, что одни и те же пользователи могли видеть любой из вариантов кнопки. Ну… бывает…
Второй тест с правильными настройками не дал статистически достоверных результатов. Alas!
Зато в третьем выиграл вариант, который команда исходно считала лучшим.
Единственным утешением для меня было, что запускала эти тесты команда перформанс-маркетинга.
–––
Можно ли все эти проблемы списать на квалификацию исполнителей? Можно!
Но, с другой стороны, продакт, запускавший тест модели монетизации ещё до моего прихода, ушёл на повышение в другую компанию, команду дата-инженеров за 1,5 года обновили два раза, аналитики сменились по кругу, а меня провожал на волю третий на моей памяти директор по перформанс-маркетингу...
И причинами всех этих кадровых изменений были отнюдь не косяки в метриках и/или методологии.
–––
↓
Ок, в комментариях к постам про метрики и эксперименты уже дважды сказали, мол, «гладко было на бумаге, да забыли про овраги», и где, мол, практика, реальный опыт, истории из жизни, факапы…?
Во-первых: «Нет ничего практичнее хорошей теории» — если мы не понимаем смысл наших действий, если у нас нет хороших теоретических оснований, то получается… как получается.
Во-вторых, «их есть у меня», но, честно, это не так интересно и поучительно.
1) При онбординге в MindMeister я довольно быстро увидел, что цифры аудитории, которые мы репортили бизнесу (и которые тот использовал, чтобы разговаривать с инвесторами), расходятся в разных системах.
Amplitude показывал одну месячную, недельную и дневную аудиторию, Metabase — другую. И расхождение было на заметные проценты.
Так я научился не доверять event-based аналитике. (См. PDF про проблемы подсчёта DAU в предыдущем посте.)
Решили ли мы эту проблему? Нет. Просто научились избирательно и уместно пользоваться источниками. Готов ли я кровью подписаться, что Metabase показывала нам настоящие цифры по всем метрикам? Нет.
2. Например, неточности всплыли когда мы пытались проследить судьбу подписчиков, которые сидели на плане с ежемесячной оплатой, который «был доступен в продукте только 6 месяцев в 2020 году».
Когда я пришёл, консенсус бизнеса был в том, что «ежемесячная подписка — плохая идея», потому что «кастомеры быстро чернились».
В этом безусловно было зерно правды. Но главный косяк был в том, что в одну и ту же когорту попадали подпичики с мобильной платформы (где ежемесячный план остается, кажется до сих пор) и те самые счастливцы, попавшие когда-то в искомые 6 месяцев в вебе.
И я так не смог докопаться как получилось, что мы репортили черн по всем ежемсячным кастомерам одной цифрой.
При этом ретеншн и активность в продукте у пользователей с разных платформ были разными, но обе когорты вели себя в продукте лучше, чем те, кто покупал годовые подписки.
Итого, косяк с индикатором черна мы вскрыли, но повлиять уже ни на что не смогли — к тому времени ARR стал ключевой метрикой всей компании и моему продукту пришлось с этим считаться.
Знаете как при этом вычислялся ARR для пользователей на ежемсячных планах? Можете догадаться, но я не буду вслух это произносить.
3. В ходе того же онбординга я узнал, что у нас идёт эксперимент... идёт уже 4 месяца. Очень важный вопрос на кону! Много денег потрачено на то, чтобы сделать необходимые изменения, которые мы и тестируем!
Угадаете, что было дальше?
Через 6 месяцев(!) эксперимент пришлось прекратить и принимать решение, исходя из стратегических соображений, здравого смысла и лучших практик. Сплит-тест так и не дал статистически значимых результатов.
Конечно, посчитав нужные параметры «на берегу», его не стоило и начинать, но sunk cost fallacy не дал мне прибить его, как только я это осознал.
Тестировалась, вы не поверите, сама кор-модель монетизации: нужен ли жёсткий лимит в 3 карты или можно давать создавать сколько угодно карт, но оставлять доступными для редактирования только 3.
4. Результат более простого A/B-теста – изменений главной CTA на сайте был признан успешным — ровно до тех пор, пока не выяснилось, что одни и те же пользователи могли видеть любой из вариантов кнопки. Ну… бывает…
Второй тест с правильными настройками не дал статистически достоверных результатов. Alas!
Зато в третьем выиграл вариант, который команда исходно считала лучшим.
Единственным утешением для меня было, что запускала эти тесты команда перформанс-маркетинга.
–––
Можно ли все эти проблемы списать на квалификацию исполнителей? Можно!
Но, с другой стороны, продакт, запускавший тест модели монетизации ещё до моего прихода, ушёл на повышение в другую компанию, команду дата-инженеров за 1,5 года обновили два раза, аналитики сменились по кругу, а меня провожал на волю третий на моей памяти директор по перформанс-маркетингу...
И причинами всех этих кадровых изменений были отнюдь не косяки в метриках и/или методологии.
–––
↓
👍8❤2⚡1
↑
–––
Поможет ли вам этот «опыт»? Я сильно сомневаюсь.
Когда нет хорошей теоретической базы или желания во всём разобраться и/или возможности «всё как следует посчитать», то можно, конечно, что-то «запомнить», но шанс применить чужой опыт в соответствующей собственной ситуации — минимальный. А ведь ещё есть устоявшиеся нормы, ожидания, давление среды, инерция текущей практики, в конце концов. И нет мотивации против всего этого идти.
Ведь не понятен потенциальный выхлоп: нафига копать аж до самых основ, когда и так всё понятно и всё работает, правда?
Поэтому я рассчитываю только на два механизма:
— мы хотим быть лучше окружающих, и кто-то, прочитав о проблемах измерения DAU, пойдёт проверять, попал ли его продукт в эту ловушку, найдёт проблемы и получит за это свою долю поощрения;
— мы ищем новые способы, когда старые перестают работать — а с этим, на достаточно развитом рынке, рано или поздно столкнутся все. И в этот момент привычка разбираться с основами, терминами, методологией кому-то, опять же, поможет добиться более стабильных, повторяемых, полезных результатов.
–––
Если вам, вдруг, станет интересно, какие known unknowns и особенно unknown unknowns есть в ваших сетапах экспериментов и репортинга — раскажите контекст и задайте соответствующие вопросы достаточно сообразительной LLM — результ вас может удивить.
Рекомендую.
–––
Поможет ли вам этот «опыт»? Я сильно сомневаюсь.
Когда нет хорошей теоретической базы или желания во всём разобраться и/или возможности «всё как следует посчитать», то можно, конечно, что-то «запомнить», но шанс применить чужой опыт в соответствующей собственной ситуации — минимальный. А ведь ещё есть устоявшиеся нормы, ожидания, давление среды, инерция текущей практики, в конце концов. И нет мотивации против всего этого идти.
Ведь не понятен потенциальный выхлоп: нафига копать аж до самых основ, когда и так всё понятно и всё работает, правда?
Поэтому я рассчитываю только на два механизма:
— мы хотим быть лучше окружающих, и кто-то, прочитав о проблемах измерения DAU, пойдёт проверять, попал ли его продукт в эту ловушку, найдёт проблемы и получит за это свою долю поощрения;
— мы ищем новые способы, когда старые перестают работать — а с этим, на достаточно развитом рынке, рано или поздно столкнутся все. И в этот момент привычка разбираться с основами, терминами, методологией кому-то, опять же, поможет добиться более стабильных, повторяемых, полезных результатов.
–––
Если вам, вдруг, станет интересно, какие known unknowns и особенно unknown unknowns есть в ваших сетапах экспериментов и репортинга — раскажите контекст и задайте соответствующие вопросы достаточно сообразительной LLM — результ вас может удивить.
Рекомендую.
👍10
PeopleSense
Мне трудно представить, что вы еще не слышали, что 19-20 мая команда Юры Агеева открывает второй трек своих конференций и начинает развивать историю про социальную компетентность [продактов] как отдельный формат.
Заголовок на сайте говорит, что это будет "полезно для тех, кто управляет командами, проектами или собственным бизнесом", но я бы поставил акценты чуть иначе.
* Системность и системное мышление
* Современное лидерство и управление людьми
* Коммуникации и культура в команде
* Личная эффективность
* Передача знаний
– эти пять треков охватывают фундаментальные области компетенций, которые определяют насколько любой менеджер может быть продуктивным лично и с окружающими его людьми.
Надеюсь, что у меня когда-нибудь будет возможность выступить с достаточо подрывным докладом в каждой из них )
А пока, не упускайте возможность послушать Галю, Илью, Максима, Рустема, Алексея, Дмитрия и других ключевых спикеров.
Digital Pass выглядит очень хорошей инвестицией.
---
https://peoplesense.ru
Мне трудно представить, что вы еще не слышали, что 19-20 мая команда Юры Агеева открывает второй трек своих конференций и начинает развивать историю про социальную компетентность [продактов] как отдельный формат.
Заголовок на сайте говорит, что это будет "полезно для тех, кто управляет командами, проектами или собственным бизнесом", но я бы поставил акценты чуть иначе.
* Системность и системное мышление
* Современное лидерство и управление людьми
* Коммуникации и культура в команде
* Личная эффективность
* Передача знаний
– эти пять треков охватывают фундаментальные области компетенций, которые определяют насколько любой менеджер может быть продуктивным лично и с окружающими его людьми.
Надеюсь, что у меня когда-нибудь будет возможность выступить с достаточо подрывным докладом в каждой из них )
А пока, не упускайте возможность послушать Галю, Илью, Максима, Рустема, Алексея, Дмитрия и других ключевых спикеров.
Digital Pass выглядит очень хорошей инвестицией.
---
https://peoplesense.ru
peoplesense.ru
PeopleSense'26 — конференция об управлении командами, процессами и собой
4–5 июня 2026, Москва
1❤3👍2🔥1
Foundational Mental Models & Skills
Да, раз уж зашла речь о социальной компетентности (и потому что мне очень приятным образом об этом напомнили — спасибо!), — вынесу из навигации по каналу одну из самых важных моих работ so far — цикл лекций о фундаментальных ментальных моделях и навыках.
Исходное название этих одиннадцати «рассказов», как я их тогда старательно называл, довольно пафосное — Soft Skills Academy, — но только потому, что это была дань корпоративному неймингу. До этого у нас уже была Selectel Network Academy (про настоящие компьютерные сети, а не о том, о чём вы сейчас подумали;).
Вводную лекцию, на которую первый и последний раз собрался полный конференц-зал, можете смело пропускать. Или, наоборот, посмотреть только её: несмотря на то, что весь цикл занял больше года (и к его концу я уже успел уйти из компании), — она даёт довольно хорошее общее представление о моих ментальных моделях.
Самые полезные из остальных рассказов выделены на странице разными иконками. В любом случае, прежде чем слушать мой бубнёж, можно сначала посмотреть тезисы к каждому — и решить, интересно ли оно вам вообще.
Если у вас возникнут вопросы, замечания или любые предложения — буду рад ответить на них в комментариях.
Если захотите провести что-то подобное в любом формате и объёме в вашей компании — пишите в личку, у меня очень гуманный ценник )))
Да, раз уж зашла речь о социальной компетентности (и потому что мне очень приятным образом об этом напомнили — спасибо!), — вынесу из навигации по каналу одну из самых важных моих работ so far — цикл лекций о фундаментальных ментальных моделях и навыках.
Исходное название этих одиннадцати «рассказов», как я их тогда старательно называл, довольно пафосное — Soft Skills Academy, — но только потому, что это была дань корпоративному неймингу. До этого у нас уже была Selectel Network Academy (про настоящие компьютерные сети, а не о том, о чём вы сейчас подумали;).
Вводную лекцию, на которую первый и последний раз собрался полный конференц-зал, можете смело пропускать. Или, наоборот, посмотреть только её: несмотря на то, что весь цикл занял больше года (и к его концу я уже успел уйти из компании), — она даёт довольно хорошее общее представление о моих ментальных моделях.
Самые полезные из остальных рассказов выделены на странице разными иконками. В любом случае, прежде чем слушать мой бубнёж, можно сначала посмотреть тезисы к каждому — и решить, интересно ли оно вам вообще.
Если у вас возникнут вопросы, замечания или любые предложения — буду рад ответить на них в комментариях.
Если захотите провести что-то подобное в любом формате и объёме в вашей компании — пишите в личку, у меня очень гуманный ценник )))
sortedout on Notion
Foundational Mental Models & Skills | Notion
Блок 1. Мозг и обучение, личная система знаний
❤🔥7👍5🔥3❤1✍1🤩1
Лучший канал для продактов, которые стремятся стать чуть более рациональными и consistently less wrong.
🤝3
Forwarded from Байесятина
👋 Для тех, кто тут впервые:
Меня зовут Роман Ачисов, вы на канале Байесятина (отсылка к теореме Байеса), и мы здесь пытаемся меньше ошибаться. Не мыслить идеально, не быть всегда правым, не побеждать в спорах, а чуть реже идти на север, когда хотим на юг.
📌 Канал стоит на четырёх темах — как табуретка на четырёх ножках (снимешь одну — сидеть можно, но устойчивость ниже):
🧠 Психология
Наш мозг — не идеальный вычислитель истины, а швейцарский нож для выживания и победы в спорах. Он любит делать выводы настолько же быстро, насколько неточно. Но решение «просто думать больше» не исправляет ситуацию. Когнитивные искажения и эмоции вшиты в конструкцию. Отключить их нельзя (разве что отключив мозг целиком). Но можно учитывать и делать поправку. Особенно если вести нас будет любопытство, а не желание доказать правоту. Ну и конечно, если признание ошибки не стоит слишком дорого. Но даже переборов своё желание быть правым, нам всё ещё нужны инструменты обнаружения ошибок…
📐 Математика
Математика на первый взгляд кажется сухой и далёкой от реальности. Забавно, но чудесные совпадения особенно часто происходят в реальности именно там, где нет понимания теории вероятности. Что ещё прекрасно развеивает чудеса? Статистика! Но проблема в том, что она, словно кривое зеркало слишком легко отражает именно то, что мы хотим видеть. Отсюда и «волшебные методы», и «секретные стратегии». А вот авторитет логики — мало кто ставит под сомнение. Она словно древний мудрец, на которого все ссылаются в спорах, но которого почти никто не читал. Мы обожаем кидаться друг в друга обвинениями в логических ошибках, правда большинство «логических ошибок» — не логические и не ошибки. И раз уж мы затронули тему споров, теория игр подсказывает, как координироваться, особенно преследуя разные цели…
🗣 Коммуникация и координация
С людьми, которые с нами согласны, мы прекрасно общаемся. Часто под общением понимается строительство соломенных чучел врагов с последующим глумлением над ними и сожжением.
А вот с несогласными начинается настоящая борьба: кто кому должен доказывать, кто должен родиться в споре, и как победить в дебатах любой ценой? Это если до общения вообще доходит. Ведь «с ними бесполезно говорить». Что не всегда ошибочно. Но мы гораздо чаще решаем, что спор не стоит внимания, чем это следовало бы. За всем этим мы часто упускаем реальные барьеры, которые мешают услышать друг друга. Умение обмениваться доказательствами очень важно, если мы хотим улучшить своё понимание реальности. Кстати о реальности…
🔬 Эпистемология
Но как нам вообще понять, почему мы верим в то, что верим? Что должно заставлять нас менять мнение? Добро пожаловать в эпистемологию — ту самую философскую часть, которую обычно вырезают из научпопа, потому что "всем очевидно, что такое истина и как её доказать". Для начала я хочу оговориться, что подходы к этому вопросу есть довольно разные и я предлагаю лишь одну из альтернатив, безусловно имеющую свои недостатки и ограничения. Байесовский подход к рациональности предлагает удивительно трезвую штуку: перестать делить знания на «верные» и «ложные», и заменить их степенями уверенности. Мы отказываемся от утопичной идеи «идеального 100% доказательства», вместо этого сравнивая «вес доказательств». Новые данные не повод сразу менять мнение, а повод изменить свою уверенность в соответствии с «весом» данных. Источники данных тоже не делятся на «правильные» и «ложные», а имеют что-то вроде регулярно обновляемого рейтинга. Такой подход позволяет убегая от Сциллы наивного позитивизма не попасть на Харибду радикального скептицизма, где «все мнения равны» и «у каждого своя правда». Он использует узкий прагматический пролив между ними.
📌 Хотите заглянуть глубже в кроличью нору?
— [Приветственный комикс]
— [Полный список статей]
— [YouTube канал]
— [Коллекция научпоп-видео]
— [Рекомендуемая литература]
🤝 Обратная связь: сюда
Меня зовут Роман Ачисов, вы на канале Байесятина (отсылка к теореме Байеса), и мы здесь пытаемся меньше ошибаться. Не мыслить идеально, не быть всегда правым, не побеждать в спорах, а чуть реже идти на север, когда хотим на юг.
📌 Канал стоит на четырёх темах — как табуретка на четырёх ножках (снимешь одну — сидеть можно, но устойчивость ниже):
🧠 Психология
Наш мозг — не идеальный вычислитель истины, а швейцарский нож для выживания и победы в спорах. Он любит делать выводы настолько же быстро, насколько неточно. Но решение «просто думать больше» не исправляет ситуацию. Когнитивные искажения и эмоции вшиты в конструкцию. Отключить их нельзя (разве что отключив мозг целиком). Но можно учитывать и делать поправку. Особенно если вести нас будет любопытство, а не желание доказать правоту. Ну и конечно, если признание ошибки не стоит слишком дорого. Но даже переборов своё желание быть правым, нам всё ещё нужны инструменты обнаружения ошибок…
📐 Математика
Математика на первый взгляд кажется сухой и далёкой от реальности. Забавно, но чудесные совпадения особенно часто происходят в реальности именно там, где нет понимания теории вероятности. Что ещё прекрасно развеивает чудеса? Статистика! Но проблема в том, что она, словно кривое зеркало слишком легко отражает именно то, что мы хотим видеть. Отсюда и «волшебные методы», и «секретные стратегии». А вот авторитет логики — мало кто ставит под сомнение. Она словно древний мудрец, на которого все ссылаются в спорах, но которого почти никто не читал. Мы обожаем кидаться друг в друга обвинениями в логических ошибках, правда большинство «логических ошибок» — не логические и не ошибки. И раз уж мы затронули тему споров, теория игр подсказывает, как координироваться, особенно преследуя разные цели…
🗣 Коммуникация и координация
С людьми, которые с нами согласны, мы прекрасно общаемся. Часто под общением понимается строительство соломенных чучел врагов с последующим глумлением над ними и сожжением.
А вот с несогласными начинается настоящая борьба: кто кому должен доказывать, кто должен родиться в споре, и как победить в дебатах любой ценой? Это если до общения вообще доходит. Ведь «с ними бесполезно говорить». Что не всегда ошибочно. Но мы гораздо чаще решаем, что спор не стоит внимания, чем это следовало бы. За всем этим мы часто упускаем реальные барьеры, которые мешают услышать друг друга. Умение обмениваться доказательствами очень важно, если мы хотим улучшить своё понимание реальности. Кстати о реальности…
🔬 Эпистемология
Но как нам вообще понять, почему мы верим в то, что верим? Что должно заставлять нас менять мнение? Добро пожаловать в эпистемологию — ту самую философскую часть, которую обычно вырезают из научпопа, потому что "всем очевидно, что такое истина и как её доказать". Для начала я хочу оговориться, что подходы к этому вопросу есть довольно разные и я предлагаю лишь одну из альтернатив, безусловно имеющую свои недостатки и ограничения. Байесовский подход к рациональности предлагает удивительно трезвую штуку: перестать делить знания на «верные» и «ложные», и заменить их степенями уверенности. Мы отказываемся от утопичной идеи «идеального 100% доказательства», вместо этого сравнивая «вес доказательств». Новые данные не повод сразу менять мнение, а повод изменить свою уверенность в соответствии с «весом» данных. Источники данных тоже не делятся на «правильные» и «ложные», а имеют что-то вроде регулярно обновляемого рейтинга. Такой подход позволяет убегая от Сциллы наивного позитивизма не попасть на Харибду радикального скептицизма, где «все мнения равны» и «у каждого своя правда». Он использует узкий прагматический пролив между ними.
📌 Хотите заглянуть глубже в кроличью нору?
— [Приветственный комикс]
— [Полный список статей]
— [YouTube канал]
— [Коллекция научпоп-видео]
— [Рекомендуемая литература]
🤝 Обратная связь: сюда
👍7
“AI PM” rant
Дурацкий новомодный нейминг «AI PM», да ещё и противопоставленный «обычным продактам», — отличный повод не только поупражняться в остроумии, но и поднять тему специализации продактов, карьерных траекторий (и, конечно же, найма).
Во-первых, называть человека «AI PM» в 2025 году — всё равно что называть ту же роль «интернет-продактом» в 2005. Или в 2010. Или в 2015 — выбирайте возраст и согласно фактам вашей биографии (как первый раз подключились по диалапу, выделенке, вай-фаю или уже по 4G?).
Во-вторых, когда говорят об этой редкой породе людей, которые уже работают над созданием AI-продуктов… а по сути — внедряют LLM в свои процессы и фичи… Это всё равно что называть меня «финтех-продактом».
Ок, сейчас я руковожу финтехом, до этого менеджерил b2c-продукт для майндмэппинга (с мобильным приложением, ага), а перед этим вообще был директором в облачном провайдере. Ну и кто я после этого — «облачно-мобильным-финтех-продакт»? Так я ещё и копилота внедрял в MindMeister — там под капотом ещё GPT-3.5 был, и мы его даже не стали выкатывать на пользователей. Можно теперь добавить приставку AI к моему самоопределению?
А если N лет назад я рисовал автомобильный портал — это делает меня «автомобильным» или «классифайд»-дизайнером?
А если M лет назад я пошёл учиться на социального работника (и параллельно на юриста) — это как-то и на что-то влияет сейчас?
Почему никому не приходит в голову (я надеюсь) отказывать в трудоустройстве ML-инженером человеку, который закончил условный биофак, уже там наработал экспертизу в нейросетях, а потом еще руку на практике набил? А продактов без экономического или маркетологического образования вы много видели? Я примерно 8,5 из 10.
Почему нормально ожидать, что человек не будет всю жизнь работать по полученной в универе специальности — но на вакансии продактов обязательно требуют отраслевой опыт?
А когда AI проникнет уже во все сферы нашей жизни (сколько там, два года осталось?), мы перестанем различать эту «белую кость» от всех остальных? С «финтехом» когда такой же переход произойдёт? С «эдтехом» это уже, кажется, произошло?
Короче:
— Доменная экспертиза нарабатывается за вполне понятное время. Те, кто умеют учиться и не потеряли огонёк в глазах, догонят и перегонят скучающих специалистов со стажем в любой области (и можно быстро промоделировать, как быстро — и на основе этой модели принимать решение о найме). Тем более что LLM за последний год стали отличным подспорьем.
— AI — это такой же инструмент, как калькулятор, ворд, гугл и далее по списку.
Если вы делаете AI-продукт… попробуйте подумать о том, что через два года других просто не останется. Потому что как сейчас все пользуются интернетом — так и через очень непродолжительное время большинство цифровых продуктов будет сделано с помощью и будет эксплуатировать возможности тех самых двух букв.
Пользу надо приносить, а не «ИИ внедрять», уж извините за резкость.
---
А помните еще были такие «промпт-инженеры»? )
Дурацкий новомодный нейминг «AI PM», да ещё и противопоставленный «обычным продактам», — отличный повод не только поупражняться в остроумии, но и поднять тему специализации продактов, карьерных траекторий (и, конечно же, найма).
Во-первых, называть человека «AI PM» в 2025 году — всё равно что называть ту же роль «интернет-продактом» в 2005. Или в 2010. Или в 2015 — выбирайте возраст и согласно фактам вашей биографии (как первый раз подключились по диалапу, выделенке, вай-фаю или уже по 4G?).
Во-вторых, когда говорят об этой редкой породе людей, которые уже работают над созданием AI-продуктов… а по сути — внедряют LLM в свои процессы и фичи… Это всё равно что называть меня «финтех-продактом».
Ок, сейчас я руковожу финтехом, до этого менеджерил b2c-продукт для майндмэппинга (с мобильным приложением, ага), а перед этим вообще был директором в облачном провайдере. Ну и кто я после этого — «облачно-мобильным-финтех-продакт»? Так я ещё и копилота внедрял в MindMeister — там под капотом ещё GPT-3.5 был, и мы его даже не стали выкатывать на пользователей. Можно теперь добавить приставку AI к моему самоопределению?
А если N лет назад я рисовал автомобильный портал — это делает меня «автомобильным» или «классифайд»-дизайнером?
А если M лет назад я пошёл учиться на социального работника (и параллельно на юриста) — это как-то и на что-то влияет сейчас?
Почему никому не приходит в голову (я надеюсь) отказывать в трудоустройстве ML-инженером человеку, который закончил условный биофак, уже там наработал экспертизу в нейросетях, а потом еще руку на практике набил? А продактов без экономического или маркетологического образования вы много видели? Я примерно 8,5 из 10.
Почему нормально ожидать, что человек не будет всю жизнь работать по полученной в универе специальности — но на вакансии продактов обязательно требуют отраслевой опыт?
А когда AI проникнет уже во все сферы нашей жизни (сколько там, два года осталось?), мы перестанем различать эту «белую кость» от всех остальных? С «финтехом» когда такой же переход произойдёт? С «эдтехом» это уже, кажется, произошло?
Короче:
— Доменная экспертиза нарабатывается за вполне понятное время. Те, кто умеют учиться и не потеряли огонёк в глазах, догонят и перегонят скучающих специалистов со стажем в любой области (и можно быстро промоделировать, как быстро — и на основе этой модели принимать решение о найме). Тем более что LLM за последний год стали отличным подспорьем.
— AI — это такой же инструмент, как калькулятор, ворд, гугл и далее по списку.
Если вы делаете AI-продукт… попробуйте подумать о том, что через два года других просто не останется. Потому что как сейчас все пользуются интернетом — так и через очень непродолжительное время большинство цифровых продуктов будет сделано с помощью и будет эксплуатировать возможности тех самых двух букв.
Пользу надо приносить, а не «ИИ внедрять», уж извините за резкость.
---
А помните еще были такие «промпт-инженеры»? )
👍9❤3🤔2🥱1
Преодолевать понятийные расстояния
Успешная коммуникация — чудо. Буквально — нарушение естественного порядка вещей.
Менеджер продукта вынужден регулярно преодолевать «понятийные расстояния», чтобы хоть как-то увеличить шансы на то, что искомое понимание случится.
Метафоры, сторителлинг, элеватор-питчи и прочие презентации и PRD — всё это просто упаковка и инструменты решения одной и той же задачи: понять друг друга.
Согласование понятий, описание процессов, решение конфликтов, проведение ретроспектив — даже перформанс-ревью — всё это попытки преодолеть разницу в представлениях двух и более людей о том, что должно произойти.
Мы всё очень плохо себе представляем глубину всеобщего недопонимания, ширину каньонов, которые нужно преодолеть, чтобы успешная коммуникация случилась.
И, наоборот, когда мы недовольны поведением или отношением других людей — скорее всего, это результат того, что необходимая дистанция не была пройдена, представления не были сближены и согласованы, ожидания так и остались кардинально разными.
Остаётся только набраться терпения — и раз за разом, повторяя одно и то же, пережёвывая по пять раз, погружая в нужный контекст и передавая соответствующие термины каждому новому собеседнику, — изо всех сил преодолевать эти чёртовы понятийные расстояния.
Коммуникация — невозможна.
Если она по-настоящему случилась — это отличный повод поблагодарить за это всех участников процесса. В следующий раз, когда (и если) вам представится такая счастливая возможность — не забудьте это сделать.
Спасибо!*
–––
Этот пост добавлен в раздел «Привычки рационального продакта» в оглавлении канала.
–––
See also:
Eliezer Yudkowsky: Expecting Short Inferential Distances (РУ)
Луман Н. Невероятность коммуникации (What is Communication?)
Успешная коммуникация — чудо. Буквально — нарушение естественного порядка вещей.
Менеджер продукта вынужден регулярно преодолевать «понятийные расстояния», чтобы хоть как-то увеличить шансы на то, что искомое понимание случится.
Метафоры, сторителлинг, элеватор-питчи и прочие презентации и PRD — всё это просто упаковка и инструменты решения одной и той же задачи: понять друг друга.
Согласование понятий, описание процессов, решение конфликтов, проведение ретроспектив — даже перформанс-ревью — всё это попытки преодолеть разницу в представлениях двух и более людей о том, что должно произойти.
Мы всё очень плохо себе представляем глубину всеобщего недопонимания, ширину каньонов, которые нужно преодолеть, чтобы успешная коммуникация случилась.
И, наоборот, когда мы недовольны поведением или отношением других людей — скорее всего, это результат того, что необходимая дистанция не была пройдена, представления не были сближены и согласованы, ожидания так и остались кардинально разными.
Остаётся только набраться терпения — и раз за разом, повторяя одно и то же, пережёвывая по пять раз, погружая в нужный контекст и передавая соответствующие термины каждому новому собеседнику, — изо всех сил преодолевать эти чёртовы понятийные расстояния.
Коммуникация — невозможна.
Если она по-настоящему случилась — это отличный повод поблагодарить за это всех участников процесса. В следующий раз, когда (и если) вам представится такая счастливая возможность — не забудьте это сделать.
Спасибо!*
–––
Этот пост добавлен в раздел «Привычки рационального продакта» в оглавлении канала.
–––
See also:
Eliezer Yudkowsky: Expecting Short Inferential Distances (РУ)
Луман Н. Невероятность коммуникации (What is Communication?)
❤6👍3👏2🤓2
«Я календарь пересмотрю...»
Лучшее, что вы можете сделать для повышения своей продуктивности, — сделать ревью календаря.
Таймблокинг уже не обсуждается — это база. Следующий шаг: ретроспективная аллокация реально потраченного времени (вместо плана — в календаре — факт).
После этого нужно регулярно пересматривать свой календарь и приводить зарезервированные таймслоты в соответствие с актуальными приоритетами.
Если у вас есть сотрудники — совместное ревью их календаря отличная активность для очередного 1:1. Заодно научите таймблокингу и доставлять результат своей работы в срок.
И не ждите сентября для этого )
Лучшее, что вы можете сделать для повышения своей продуктивности, — сделать ревью календаря.
Таймблокинг уже не обсуждается — это база. Следующий шаг: ретроспективная аллокация реально потраченного времени (вместо плана — в календаре — факт).
После этого нужно регулярно пересматривать свой календарь и приводить зарезервированные таймслоты в соответствие с актуальными приоритетами.
Если у вас есть сотрудники — совместное ревью их календаря отличная активность для очередного 1:1. Заодно научите таймблокингу и доставлять результат своей работы в срок.
И не ждите сентября для этого )
👍8🔥1💯1
Приглашение. Папка «Рабочие»
Этот канал дорос до приглашений в чужие папки — это необычно.
Я считаю, что русскоязычный продуктовый Телеграм, как и любая относительно зрелая платформа, сильно перекошен.
Те, кто пришёл и начал раньше, — набрали раннюю аудиторию, достигли потолка и не имеют стимулов развиваться. От большинства больших каналов я в прошлом году просто отписался.
Те, кто стремительно растит аудиторию, делают это понятными способами, которые несут мало настоящей пользы читателям (зато хорошо эксплуатируют приёмы вовлечения аудитории). Читать такие каналы особого смысла тоже нет (разве что хотите что-то «почувствовать»).
Все остальные — плетутся в хвосте, растут очень медленно, и платформа этому никак не помогает (мой канал в этой категории).
Поэтому я поддерживаю любые попытки «начинающих» авторов делать взаимный пиар и регулярно подсвечиваю у себя каналы со скромной аудиторией и хорошим контентом.
И ещё я регулярно смотрю на приходящих подписчиков, сам подписываюсь на их каналы и стараюсь поддерживать диалог там, где это уместно и интересно (или отписываюсь после трёх страйков).
Поэтому предлагаю вам сделать то же самое. В «официальном» анонсе и названии автор папки делает акцент на практичности контента — выбирайте каналы, которые вам такими покажутся хотя бы по тематике, и проверяйте на себе.
https://t.me/addlist/RS3bdabdZb5lMWYy
Этот канал дорос до приглашений в чужие папки — это необычно.
Я считаю, что русскоязычный продуктовый Телеграм, как и любая относительно зрелая платформа, сильно перекошен.
Те, кто пришёл и начал раньше, — набрали раннюю аудиторию, достигли потолка и не имеют стимулов развиваться. От большинства больших каналов я в прошлом году просто отписался.
Те, кто стремительно растит аудиторию, делают это понятными способами, которые несут мало настоящей пользы читателям (зато хорошо эксплуатируют приёмы вовлечения аудитории). Читать такие каналы особого смысла тоже нет (разве что хотите что-то «почувствовать»).
Все остальные — плетутся в хвосте, растут очень медленно, и платформа этому никак не помогает (мой канал в этой категории).
Поэтому я поддерживаю любые попытки «начинающих» авторов делать взаимный пиар и регулярно подсвечиваю у себя каналы со скромной аудиторией и хорошим контентом.
И ещё я регулярно смотрю на приходящих подписчиков, сам подписываюсь на их каналы и стараюсь поддерживать диалог там, где это уместно и интересно (или отписываюсь после трёх страйков).
Поэтому предлагаю вам сделать то же самое. В «официальном» анонсе и названии автор папки делает акцент на практичности контента — выбирайте каналы, которые вам такими покажутся хотя бы по тематике, и проверяйте на себе.
https://t.me/addlist/RS3bdabdZb5lMWYy
❤6👌3👍1
Календарный эксгибиционизм или таймблокинг на практике
В комментариях к посту про ревью календаря, таймблокинг и приоритеты попросили поделиться примером. Ок, давайте попробуем.
Исходный пост я написал по итогам собственного ревью — на картинках к этому можно лицезреть, как выглядит мой типичный двухнедельный спринт до того, как в нём блокируется время для конкретных задач.
Ничего подрывного здесь, очевидно, нет, но давайте пройдёмся по таймлайну.
⸻
9:00–11:50 — каждое утро начинается с разбора входящих и ответа на них. Это не единственное время, когда я отвечаю на сообщения в Slack и почту, но всё, что не требует немедленной реакции, обрабатывается по утрам (zero inbox и выполнение всех закладок в Slack — цель этого блока).
В рутины входят дейлики с двумя командами, в продукт-трио которых я вхожу.
В последнее время мы завели с ребятами привычку заканчивать дейлики чекапом ключевых дашбордов. Периодически даже что-то на них интересное обнаруживаем.
На нарезку задач по итогам дейликов и разбор оставшихся входящих уходит время до обеденного перерыва.
12:00–12:50 — почти несдвигаемый перерыв на ланч.
13:00–14:50 — здесь начинаются регулярные встречи с моими же командами или коллегами по трио.
16:00–17:50 — встречи с коллегами из других команд и департаментов, общие встречи компании. Так поздно, потому что в это времяпросыпается мафия начинают работать наши коллеги с американского континента.
14:00–17:50 — оставшееся незанятым от встреч время блокируется для сфокусированной работы. По средам — заранее, автоматически; в остальные дни — по пятницам, когда я отчитываюсь о прошедшей и планирую следующую неделю.
Трачу эти блоки на то, чтобы посмотреть записи звонков или прийти на встречу с европейскими клиентами; проверить сессии на ключевых страницах; глубже покопаться в данных; поработать над требованиями; подумать одному или с чьей-то помощью над грядущими инициативами, в общем на все что обозначется термиом individual contribution work.
На скриншотах эти слоты пока только частично заполнены, потому что они из календаря 23-й и 24-й недели (следующего спринта). 22-я, следующая неделя, уже забита полностью.
В типичной неделе таких слотов — всего на 10–12 часов.
Осознание этого факта — первый шаг к тому, чтобы правильно расставить приоритеты, заранее спланировать, когда и что будешь делать, и, по сути, выставить самому же себе дедлайны.
Если на следующей неделе мне нужно выдать первый черновик PRD, то на работу над ним у меня будет буквально считанное количество часов. Поэтому необходимые исследования, брейншторминги или обсуждения нужно заранее запланировать и провести.
И если я не успею сделать эту работу в отведённое время — дедлайн отодвинется ещё на неделю. А так как мы стараемся придерживаться принципов ФФФ, то это не вариант.
Вот и весь секрет мотивации и продуктивности. Сделал в отведённое время — значит, сделал. Не сделал — значит, уже точно не сделал.
Поэтому:
з) защищаешь своё время и
б) берёшь и делаешь.
⸻
Собственно, на этом всё, время вышло.
Цветовую дифференциацию встреч и событий очень рекомендую — Google Календарь умеет собирать по ней time insights, а мозгу становится проще определить, что, когда и почему это важно.
Настройку speedy meetings и дефолтную длительность встреч в 25 минут включаю первым делом, когда начинаю онбординг в очередном календаре.
⸻
Вопросы? Комментарии? Предложения? :)
В комментариях к посту про ревью календаря, таймблокинг и приоритеты попросили поделиться примером. Ок, давайте попробуем.
Исходный пост я написал по итогам собственного ревью — на картинках к этому можно лицезреть, как выглядит мой типичный двухнедельный спринт до того, как в нём блокируется время для конкретных задач.
Ничего подрывного здесь, очевидно, нет, но давайте пройдёмся по таймлайну.
⸻
9:00–11:50 — каждое утро начинается с разбора входящих и ответа на них. Это не единственное время, когда я отвечаю на сообщения в Slack и почту, но всё, что не требует немедленной реакции, обрабатывается по утрам (zero inbox и выполнение всех закладок в Slack — цель этого блока).
В рутины входят дейлики с двумя командами, в продукт-трио которых я вхожу.
В последнее время мы завели с ребятами привычку заканчивать дейлики чекапом ключевых дашбордов. Периодически даже что-то на них интересное обнаруживаем.
На нарезку задач по итогам дейликов и разбор оставшихся входящих уходит время до обеденного перерыва.
12:00–12:50 — почти несдвигаемый перерыв на ланч.
13:00–14:50 — здесь начинаются регулярные встречи с моими же командами или коллегами по трио.
16:00–17:50 — встречи с коллегами из других команд и департаментов, общие встречи компании. Так поздно, потому что в это время
14:00–17:50 — оставшееся незанятым от встреч время блокируется для сфокусированной работы. По средам — заранее, автоматически; в остальные дни — по пятницам, когда я отчитываюсь о прошедшей и планирую следующую неделю.
Трачу эти блоки на то, чтобы посмотреть записи звонков или прийти на встречу с европейскими клиентами; проверить сессии на ключевых страницах; глубже покопаться в данных; поработать над требованиями; подумать одному или с чьей-то помощью над грядущими инициативами, в общем на все что обозначется термиом individual contribution work.
На скриншотах эти слоты пока только частично заполнены, потому что они из календаря 23-й и 24-й недели (следующего спринта). 22-я, следующая неделя, уже забита полностью.
В типичной неделе таких слотов — всего на 10–12 часов.
Осознание этого факта — первый шаг к тому, чтобы правильно расставить приоритеты, заранее спланировать, когда и что будешь делать, и, по сути, выставить самому же себе дедлайны.
Если на следующей неделе мне нужно выдать первый черновик PRD, то на работу над ним у меня будет буквально считанное количество часов. Поэтому необходимые исследования, брейншторминги или обсуждения нужно заранее запланировать и провести.
И если я не успею сделать эту работу в отведённое время — дедлайн отодвинется ещё на неделю. А так как мы стараемся придерживаться принципов ФФФ, то это не вариант.
Вот и весь секрет мотивации и продуктивности. Сделал в отведённое время — значит, сделал. Не сделал — значит, уже точно не сделал.
Поэтому:
з) защищаешь своё время и
б) берёшь и делаешь.
⸻
Собственно, на этом всё, время вышло.
Цветовую дифференциацию встреч и событий очень рекомендую — Google Календарь умеет собирать по ней time insights, а мозгу становится проще определить, что, когда и почему это важно.
Настройку speedy meetings и дефолтную длительность встреч в 25 минут включаю первым делом, когда начинаю онбординг в очередном календаре.
⸻
Вопросы? Комментарии? Предложения? :)
👍5❤2👏2🥴1💯1
Оунершип или метрики?!
Резюме бесполезны
Давние читатели канала помнят, как я отношусь к метрикам в резюме — я считаю их бесполезной, а зачастую и просто вводящей в заблуждение информацией.
Поэтому особенно иронично, что на прошлой неделе мне пришёл вот такой фидбек от потенциального работодателя:
(скриншот бережно сохранен в архиве редакции).
И знаете, я согласен: по резюме может показаться что угодно! Что кто-то «больше по метрикам» (что бы это ни значило), а кто-то больше про «владение функционалом», а кто-то другой — «про процессы», не говоря уже о тех, кто «за стратегию».
Внимание, вопрос: если по резюме можно увидеть буквально что угодно — в чём вообще его смысл?
Стандартные ответы, чтобы оценить:
– общий опыт кандидата
– знания в определённой доменной области
– нацеленность на результат / на процессы
– масштаб уже решённых задач
…
И всё это не имеет почти никакого значения.
Во-первых, вслед за Комиссией по ценным бумагам, повторю: «[…] past performance does not guarantee future results».
Во-вторых, всё, что написано в резюме — это просто слабые свидетельства (в пользу приведённого выше списка или чего-то еще, типа навыка готовить резюме для проверки ATS), которыми можно пренебречь.
Потому что, в-третьих, вам нужны сильные свидетельства, которые будут предикторами будущих успехов человека в конкретной роли в конкретных обстоятельствах.
И для того чтобы их получить, сначала нужно выделить три-пять ключевых факторов будущего успеха вашего сотрудника.
А потом придумать такое тестовое задание (которое вы выдадите кандидатам, прошедшим вайбчек), которое будет проверять именно их.
Внимание, вопросы № 2 и 3: Вы можете сходу назвать факторы вашего успеха в текущей должности? А они есть в вашем резюме?
---
Этот пост добавлен в раздел «Чек-лист CPO» навигации по каналу. Там есть еще несколько неортодоксальных реплик, рекомендую.
Резюме бесполезны
Давние читатели канала помнят, как я отношусь к метрикам в резюме — я считаю их бесполезной, а зачастую и просто вводящей в заблуждение информацией.
Поэтому особенно иронично, что на прошлой неделе мне пришёл вот такой фидбек от потенциального работодателя:
К сожалению, были выбраны другие кандидаты для дальнейших этапов. По резюме руководителю показалось, что вы больше по метрикам, а не владению функционалом.
(скриншот бережно сохранен в архиве редакции).
И знаете, я согласен: по резюме может показаться что угодно! Что кто-то «больше по метрикам» (что бы это ни значило), а кто-то больше про «владение функционалом», а кто-то другой — «про процессы», не говоря уже о тех, кто «за стратегию».
Внимание, вопрос: если по резюме можно увидеть буквально что угодно — в чём вообще его смысл?
Стандартные ответы, чтобы оценить:
– общий опыт кандидата
– знания в определённой доменной области
– нацеленность на результат / на процессы
– масштаб уже решённых задач
…
И всё это не имеет почти никакого значения.
Во-первых, вслед за Комиссией по ценным бумагам, повторю: «[…] past performance does not guarantee future results».
Во-вторых, всё, что написано в резюме — это просто слабые свидетельства (в пользу приведённого выше списка или чего-то еще, типа навыка готовить резюме для проверки ATS), которыми можно пренебречь.
Потому что, в-третьих, вам нужны сильные свидетельства, которые будут предикторами будущих успехов человека в конкретной роли в конкретных обстоятельствах.
И для того чтобы их получить, сначала нужно выделить три-пять ключевых факторов будущего успеха вашего сотрудника.
А потом придумать такое тестовое задание (которое вы выдадите кандидатам, прошедшим вайбчек), которое будет проверять именно их.
Внимание, вопросы № 2 и 3: Вы можете сходу назвать факторы вашего успеха в текущей должности? А они есть в вашем резюме?
---
Этот пост добавлен в раздел «Чек-лист CPO» навигации по каналу. Там есть еще несколько неортодоксальных реплик, рекомендую.
Telegram
Быть продактом! (быть, а не казаться)
Самая большая глупость в найме — нанимать за прошлые достижения и по итогам интервью
К сожалению, это же самая распространенная практика.
Ключевой аргумент за "отбор по резюме" в том, что "нам нужен подтвержденный опыт решения релевантных задач". Ключевой…
К сожалению, это же самая распространенная практика.
Ключевой аргумент за "отбор по резюме" в том, что "нам нужен подтвержденный опыт решения релевантных задач". Ключевой…
🔥8👏1
Эпоха гиперперсонализированного софта
Есть мнение, что она не то что не за горами — она уже наступила. ХЗ, я пока массовых примеров не наблюдаю, даже несмотря на то, что состою в чате «некодеров».
Для тех, кто не слышал о самой концепции — идея проста: вместо того чтобы пользоваться неудобным мобильным приложением, SaaS или даже играть в скучную игру, развитие LLM-assisted development должно открыть нам дорогу к созданию продуктов, которые «заточены» под запрос конкретного человека.
По сути, это продолжение той же линии, что когда-то начал Notion: платформы, продукты, инструменты будут не просто давать нам возможности для персональных воркфлоу, а сразу подстраиваться под нас. Сразу, как только поймут, чего мы хотим и что нам нужно ) Вплоть до реализации конкретных фич для конкретных клиентов, ага...
Посмотрим, сколько времени на этой уйдет китов, но мелкие энтузиасты уже вовсю вайб- или мета-кодят себе личные приложения, сервисы и даже целые игры.
⸻
Вчера ровно в 19:00 я понял, что устал ничего не понимать в билетах для испанского экзамена на автоправа, и что без того, чтобы подтянуть специфическую лексику, буквально далеко не уеду.
Ок, давайте «заточим пилу». К полуночи (с перерывом на ужин) MVP нужного мне «приложения» уже было готово, а сейчас им не только удобно пользоваться — на него даже приятно смотреть! (Дизайн-язык честно украден, угадайте у кого).
При этом за фасадом простейших флеш-карточек уже есть система управления, в которую можно закинуть фразу на испанском, распарсить, добавить переводы на двух языках (в том числе автоматически) и создать пулл-реквест, чтобы обновить исходный словарь.
Магия! Гиперперсонализация! Продукт, который точно решает мою специфичную задачу! И, возможно, хоть и не точно, будет полезен другим таким же бедолагам (проверяю это прямо сейчас).
Красота в том что востребованность рынком исходно и не важна. Важно только, что нужного мне набора анки-подобных карточек в природе не было (или я не нашел), а теперь есть. И у меня над ним полный контроль.
Если вы ещё не пробовали, то так же быстро у вас не получится — но когда получится, результат будет того стоить. И, что самое удивительное, процесс, если к нему правильно подойти, вам, скорее всего, понравится. В следующий раз напишу об этом подробнее.
–––
А пока:
— живой пример возможного будущего: https://dgtvocab.app
— стартовая точка для ваших проектов: https://vibecoding.cc
Есть мнение, что она не то что не за горами — она уже наступила. ХЗ, я пока массовых примеров не наблюдаю, даже несмотря на то, что состою в чате «некодеров».
Для тех, кто не слышал о самой концепции — идея проста: вместо того чтобы пользоваться неудобным мобильным приложением, SaaS или даже играть в скучную игру, развитие LLM-assisted development должно открыть нам дорогу к созданию продуктов, которые «заточены» под запрос конкретного человека.
По сути, это продолжение той же линии, что когда-то начал Notion: платформы, продукты, инструменты будут не просто давать нам возможности для персональных воркфлоу, а сразу подстраиваться под нас. Сразу, как только поймут, чего мы хотим и что нам нужно ) Вплоть до реализации конкретных фич для конкретных клиентов, ага...
Посмотрим, сколько времени на этой уйдет китов, но мелкие энтузиасты уже вовсю вайб- или мета-кодят себе личные приложения, сервисы и даже целые игры.
⸻
Вчера ровно в 19:00 я понял, что устал ничего не понимать в билетах для испанского экзамена на автоправа, и что без того, чтобы подтянуть специфическую лексику, буквально далеко не уеду.
Ок, давайте «заточим пилу». К полуночи (с перерывом на ужин) MVP нужного мне «приложения» уже было готово, а сейчас им не только удобно пользоваться — на него даже приятно смотреть! (Дизайн-язык честно украден, угадайте у кого).
При этом за фасадом простейших флеш-карточек уже есть система управления, в которую можно закинуть фразу на испанском, распарсить, добавить переводы на двух языках (в том числе автоматически) и создать пулл-реквест, чтобы обновить исходный словарь.
Магия! Гиперперсонализация! Продукт, который точно решает мою специфичную задачу! И, возможно, хоть и не точно, будет полезен другим таким же бедолагам (проверяю это прямо сейчас).
Красота в том что востребованность рынком исходно и не важна. Важно только, что нужного мне набора анки-подобных карточек в природе не было (или я не нашел), а теперь есть. И у меня над ним полный контроль.
Если вы ещё не пробовали, то так же быстро у вас не получится — но когда получится, результат будет того стоить. И, что самое удивительное, процесс, если к нему правильно подойти, вам, скорее всего, понравится. В следующий раз напишу об этом подробнее.
–––
А пока:
— живой пример возможного будущего: https://dgtvocab.app
— стартовая точка для ваших проектов: https://vibecoding.cc
vibecoding.cc
Vibe Coding
Created with Vibe Coding
🔥13👍2
«А тучи — как люди…»
В GitHub Copilot’е, за $10/месяц, SOTA-модель Claude Sonnet 4, работая как почти самостоятельный агент, продуктивна где-то 2,5–3 часа в день.
Пишет код, сама его тестирует, документирует результаты (только иногда просит нажать кнопку, чтобы что-нибудь запустить в терминале). Перепроверяет всё по три раза. Зачастую делает даже больше чем просили...
А потом говорит: «Лимит на сегодня исчерпан...Я устал, я мухожук»
При этом в «команде» есть ещё:
— две SOTA-модели (Gemini 2.5 PRO и GPT-4.1), но с меньшими лимитами.
— крепкий мидл (Claude 3.7), который в режиме послушного, но безынициативного исполнителя отрабатывает по 5–6 часов.
— и пара «джунов» (Sonnet 3.5, GPT-4o) — могут работать хоть 24/7, но результат такой, что за ними уже нужен глаз да глаз.
Вам это ничего не напоминает? )
В GitHub Copilot’е, за $10/месяц, SOTA-модель Claude Sonnet 4, работая как почти самостоятельный агент, продуктивна где-то 2,5–3 часа в день.
Пишет код, сама его тестирует, документирует результаты (только иногда просит нажать кнопку, чтобы что-нибудь запустить в терминале). Перепроверяет всё по три раза. Зачастую делает даже больше чем просили...
А потом говорит: «Лимит на сегодня исчерпан...
При этом в «команде» есть ещё:
— две SOTA-модели (Gemini 2.5 PRO и GPT-4.1), но с меньшими лимитами.
— крепкий мидл (Claude 3.7), который в режиме послушного, но безынициативного исполнителя отрабатывает по 5–6 часов.
— и пара «джунов» (Sonnet 3.5, GPT-4o) — могут работать хоть 24/7, но результат такой, что за ними уже нужен глаз да глаз.
Вам это ничего не напоминает? )
😁20
Вот такие посты заслуживают моментальной подписки!
Подпишитесь и читайте Дарью )
Подпишитесь и читайте Дарью )
❤2
Forwarded from Daria Ovchinnikova | Pro Product & Management
Как давно вы в последний раз проверяли актуальность своих знаний?
Ну, например, перечень метрик, которые вы считаете рабочими в той или иной ситуации, а также подходов к их расчету и интерпретации.
Я тут недавно сделала ревизию (спасибо Юлии и Илье за вдохновение), и меня ждали несколько любопытных апгрейдов. Поделюсь с вами — вдруг кому-то тоже пригодится.
1️⃣ От “средних” к контексту и поведению
Было:
Retention D30, ARPU, ARPPU, Session Duration, общая CVR, LTV, DAU/MAU
Стало:
CLTV (по платящим) вместо ARPPU, ARPU — больше не инструмент принятия решений, для остальных стал критичен другой подход — через призму:
🔘 сегментации и путей пользователя
🔘 распределений (перцентили, гистограммы)
🔘 когорт
🔘 декомпозиции драйверов
🔘 временных рядов
👉 Смысл:
Большинство продуктовых метрик — неэргодичны. Их нельзя усреднять без потери смысла: то, как «в среднем» ведёт себя группа, почти ничего не говорит о реальных траекториях конкретных пользователей (не скажу, что эта мысль нова, но в последнее время аналитикам таки удалось продвинуть ее в массы). Поэтому дробить, раскладывать, наблюдать во времени теперь must have для большинства метрик.
2️⃣ Удержание: долгосрочное и в деньгах
Было:
Churn rate, Retention D30
Стало:
GRR, NRR, MRR, Retention D90/180
👉 Смысл:
Удержание на 30 день больше не маркер устойчивого вовлечения в продукт. Нам нужно понять, приносит ли клиент деньги в долгую (от 3х месяцев). Деньги → основной язык продукта, время хайпа и доступных инвестиционных денег закончилось (по крайней мере в этом периоде).
Churn также не отражает деньги — вместо него считают GRR и NRR.
3️⃣ Unit-экономика 2.0
Было:
LTV / CAC, где LTV — средняя выручка за всё время, а CAC — только траты на привлечение
Стало:
CLTV / CLTC
CLTV — фактическая или прогнозная чистая прибыль с одного клиента (доход минус все переменные расходы).
CLTC = CAC + поддержка + удержание + инфраструктура
👉 Смысл:
Продукты стали сложнее, порой удерживать клиентов не менее дорого, чем привлекать.
Важно считать не просто “во сколько обошлось привлечение”, а “во сколько обходится пожизненное содержание клиента”.
Что касается CLTV, то это изменение связано с неэргодичностью ARPU, который использовался в прежней формуле. Прогноз CLTV в новой парадигме делается не по средним, а через моделирование поведения сегментов/когорт клиентов во времени.
4️⃣ Лояльность — это действия, а не слова
Было:
NPS, CSAT, CES
Стало:
Остались, но переосмыслены. Их дополняют открытые вопросы, поведенческие паттерны, качественные интервью.
👉 Смысл:
NPS хорош не как показатель, а как способ начать диалог с пользователем.
Важно не то, что он поставил 3 — а то, что он написал в поле “что бы вы улучшили”.
Метрика — триггер, не ответ.
5️⃣ Vanity-мeтрики уходят (теперь уже точно)
Было:
Количество установок, DAU/MAU, лайки, просмотры, сессии
Стало:
Метрики возврата инвестиций: прибыль с пользователя, CLTV, NRR, ROI от функций и каналов
👉 Смысл:
Мы больше не в фазе быстрого роста и дешевых денег. Инвесторы и компании требуют value.
Если метрика не отвечает на вопрос “приносит ли это деньги и рост?” — значит, это шоу, а не бизнес.
📌 Что это значит для продакта?
‼️ Если вы все еще не знакомы с понятием эргодичности, срочно познакомьтесь! Питерс, Гелл-Манн и Талеб вам в помощь 😌
‼️ Для продвинутой аналитики нужны продвинутые инструменты. Не владеете? Вы знаете какой следующий курс пройти 🙃
‼️ Продуктовая аналитика всё ближе к финансовой: нужно считать не сроки запуска фич и количество клиентов со средней конверсией, а около денежные показатели. Да, это тоже нужно знать 😊
‼️ Больше внимания работе с базой, меньше — хайпу и созданию видимости успешного успеха.
Pro Product
#Компетенции
#Метрики
#Тренды
Ну, например, перечень метрик, которые вы считаете рабочими в той или иной ситуации, а также подходов к их расчету и интерпретации.
Я тут недавно сделала ревизию (спасибо Юлии и Илье за вдохновение), и меня ждали несколько любопытных апгрейдов. Поделюсь с вами — вдруг кому-то тоже пригодится.
1️⃣ От “средних” к контексту и поведению
Было:
Retention D30, ARPU, ARPPU, Session Duration, общая CVR, LTV, DAU/MAU
Стало:
CLTV (по платящим) вместо ARPPU, ARPU — больше не инструмент принятия решений, для остальных стал критичен другой подход — через призму:
👉 Смысл:
Большинство продуктовых метрик — неэргодичны. Их нельзя усреднять без потери смысла: то, как «в среднем» ведёт себя группа, почти ничего не говорит о реальных траекториях конкретных пользователей (не скажу, что эта мысль нова, но в последнее время аналитикам таки удалось продвинуть ее в массы). Поэтому дробить, раскладывать, наблюдать во времени теперь must have для большинства метрик.
2️⃣ Удержание: долгосрочное и в деньгах
Было:
Churn rate, Retention D30
Стало:
GRR, NRR, MRR, Retention D90/180
👉 Смысл:
Удержание на 30 день больше не маркер устойчивого вовлечения в продукт. Нам нужно понять, приносит ли клиент деньги в долгую (от 3х месяцев). Деньги → основной язык продукта, время хайпа и доступных инвестиционных денег закончилось (по крайней мере в этом периоде).
Churn также не отражает деньги — вместо него считают GRR и NRR.
3️⃣ Unit-экономика 2.0
Было:
LTV / CAC, где LTV — средняя выручка за всё время, а CAC — только траты на привлечение
Стало:
CLTV / CLTC
CLTV — фактическая или прогнозная чистая прибыль с одного клиента (доход минус все переменные расходы).
CLTC = CAC + поддержка + удержание + инфраструктура
👉 Смысл:
Продукты стали сложнее, порой удерживать клиентов не менее дорого, чем привлекать.
Важно считать не просто “во сколько обошлось привлечение”, а “во сколько обходится пожизненное содержание клиента”.
Что касается CLTV, то это изменение связано с неэргодичностью ARPU, который использовался в прежней формуле. Прогноз CLTV в новой парадигме делается не по средним, а через моделирование поведения сегментов/когорт клиентов во времени.
4️⃣ Лояльность — это действия, а не слова
Было:
NPS, CSAT, CES
Стало:
Остались, но переосмыслены. Их дополняют открытые вопросы, поведенческие паттерны, качественные интервью.
👉 Смысл:
NPS хорош не как показатель, а как способ начать диалог с пользователем.
Важно не то, что он поставил 3 — а то, что он написал в поле “что бы вы улучшили”.
Метрика — триггер, не ответ.
5️⃣ Vanity-мeтрики уходят (теперь уже точно)
Было:
Количество установок, DAU/MAU, лайки, просмотры, сессии
Стало:
Метрики возврата инвестиций: прибыль с пользователя, CLTV, NRR, ROI от функций и каналов
👉 Смысл:
Мы больше не в фазе быстрого роста и дешевых денег. Инвесторы и компании требуют value.
Если метрика не отвечает на вопрос “приносит ли это деньги и рост?” — значит, это шоу, а не бизнес.
📌 Что это значит для продакта?
💡 Если вы давно не актуализировали свой аналитический инструментарий — возможно, пора.
А потом бегом смотреть свои дэшборды и последние принятые решения на предмет булшита 👀
Pro Product
#Компетенции
#Метрики
#Тренды
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7❤3
Google Jules, OpenAI Codex, Claude Code – агентский подход к метакодингу.
На текущий момент все крупнейшие игроки выпустили специализированные инструменты — но уже не для программирования, а для решения бизнес-задач с помощью внесения изменений в код.
Это буквально та смена парадигмы, которую я давеча называл «метакодингом», а теперь можно и этот неологизм отбросить за ненадобностью.
У вас есть задача, вы её формулируете, LLM её решает, проверяет и деплоит (последнее можете сделать сами) — и весь интерфейс инструмента построен именно вокруг этого.
Пока всем трём инструментам не хватает широкого контекста, но его, как уже я писал, уже можно просто хранить прямо в кодовой базе проекта — в специальной папке или файле.
Сегодня Codex сначала подсказал мне ошибку, которая висела на сайте https://10heuristics.info больше 10 лет, потом ее поправил, в процессе сломал другую часть, но после моей подсказки понял уже свою ошибку и, в итоге, все-все починил.
Завтра (ну или через год, какая разница?) Jules сможет понимать и безошибочно выполнять любые задачи, которые я смогу достаточно хорошо сформулировать, чтобы доработать геймификацию на https://snow.tobeproduct.ru.
А Claude Code, похоже, уже используют в Anthropic в боевом режиме — чтобы развивать сами LLM.
Значит, в 2027 году мы с вами, коллеги-продакты, будем конкурировать с программистами, тестировщиками, дизайнерами, маркетологами и сейзлами за единственную оставшуюся роль того, кто лучше всех объяснит универсальному инструменту, какую бизнес-задачу и для какого клиента мы хотим решить.
И единственное преимущество, которое у нас останется перед всеми перечисленными коллегами...
На текущий момент все крупнейшие игроки выпустили специализированные инструменты — но уже не для программирования, а для решения бизнес-задач с помощью внесения изменений в код.
Это буквально та смена парадигмы, которую я давеча называл «метакодингом», а теперь можно и этот неологизм отбросить за ненадобностью.
У вас есть задача, вы её формулируете, LLM её решает, проверяет и деплоит (последнее можете сделать сами) — и весь интерфейс инструмента построен именно вокруг этого.
Пока всем трём инструментам не хватает широкого контекста, но его, как уже я писал, уже можно просто хранить прямо в кодовой базе проекта — в специальной папке или файле.
Сегодня Codex сначала подсказал мне ошибку, которая висела на сайте https://10heuristics.info больше 10 лет, потом ее поправил, в процессе сломал другую часть, но после моей подсказки понял уже свою ошибку и, в итоге, все-все починил.
Завтра (ну или через год, какая разница?) Jules сможет понимать и безошибочно выполнять любые задачи, которые я смогу достаточно хорошо сформулировать, чтобы доработать геймификацию на https://snow.tobeproduct.ru.
А Claude Code
Значит, в 2027 году мы с вами, коллеги-продакты, будем конкурировать с программистами, тестировщиками, дизайнерами, маркетологами и сейзлами за единственную оставшуюся роль того, кто лучше всех объяснит универсальному инструменту, какую бизнес-задачу и для какого клиента мы хотим решить.
И единственное преимущество, которое у нас останется перед всеми перечисленными коллегами...
Telegram
Быть продактом: быть, а не казаться!
Метакодинг
Вайбкодинг быстро приобрел незаслуженно плохую репутацию.
Отчасти потому, что критично настроенные комментаторы представляют другой лагерь. Отчасти потому, что наивные вайбкодеры, конечно же, собирают все очевидные грабли, и выступают отличной…
Вайбкодинг быстро приобрел незаслуженно плохую репутацию.
Отчасти потому, что критично настроенные комментаторы представляют другой лагерь. Отчасти потому, что наивные вайбкодеры, конечно же, собирают все очевидные грабли, и выступают отличной…
❤8🔥1