Разбавлю ленту еще несколькими фотками из Китая.
Страна огромная и очень многогранная.
Хочется возвращаться раз за разом.
Поделитесь впечатлениями в комментах, если тоже там были👇
Страна огромная и очень многогранная.
Хочется возвращаться раз за разом.
Поделитесь впечатлениями в комментах, если тоже там были👇
Метрики 101. Часть 3: Стриминг и подписки (Netflix, Spotify, Яндекс Плюс)
В прошлом посте мы разбирали «экономику внимания», где главная цель - заставить пользователя смотреть контент как можно дольше ради показа рекламы.
Сегодня мы переходим к принципиально другой бизнес-модели экономике подписок.
В этой модели пользователь платит не временем, а реальными деньгами из своего кармана.
И если в YouTube важна каждая минута просмотра здесь и сейчас, то для Netflix или Яндекс Плюса главное - чтобы пользователь продлил подписку на следующий месяц.
Давайте разберем, как устроена иерархия метрик в подписочных сервисах.
🌟 Level 0: North Star Metric
Для классического подписочного сервиса главная метрика - Number of Retained Paying Subscribers (Количество удерживаемых платящих подписчиков).
Выручка в подписках - это прямое следствие базы лояльных клиентов. Если база растет и люди не уходят, выручка гарантирована.
Если фокусироваться на краткосрочном доходе (например, резко поднять цены), можно спровоцировать массовый отток и убить бизнес-модель.
📈 Level 1: Драйверы роста
Математика подписочного бизнеса довольно простая. Общая база подписчиков следующего месяца зависит от трех слагаемых:
Отсюда логично вытекают три главных драйвера L1 уровня:
™️ New Paid Sign-ups (Привлечение): Сколько новых пользователей купили подписку или перешли на нее после бесплатного триала.
™️ Churn Rate (Отток) / Retention (Удержание): Какая доля пользователей отменяет подписку каждый месяц.
Для подписок отток - это главный враг. Если у вас высокая «течь» в подписке, маркетинг будет работать на износ, просто заполняя дыру.
™️ ARPU (Средний доход с пользователя): Сколько денег приносит один подписчик.
На этот показатель влияют семейные тарифы, корпоративные подписки и региональные цены.
🛠 Level 2: Операционные метрики
На этом уровне продуктовые команды ищут конкретные рычаги влияния на удержание и привлечение.
Для Привлечения и Конверсии:
- Trial Activation Rate: Доля тех, кто не просто оформил бесплатный пробный период, а совершил целевое действие (посмотрел первый фильм или добавил 5 треков) в первые 48 часов.
- Trial-to-Paid Conversion: Процент пользователей, у которых списались деньги за первый полноценный месяц после триала.
Для Удержания (Retention):
- Engagement Thresholds (Пороги вовлеченности): Доля подписчиков, которые пользуются сервисом выше определенного лимита.
Например, если юзер смотрит контент меньше 5 часов в месяц, вероятность его оттока снижается на 90%. Эту метрику принимают за порог вовлеченности и стараются ее растить.
- Объем личной библиотеки: Количество лайков, созданных плейлистов или закладок. Чем больше персонального контента накопил юзер внутри сервиса, тем сильнее он «прирастает» к продукту и ниже вероятность оттока.
🤨 Контр-метрики
Представьте, вам задали вопрос на собесе:
Для защиты от таких «темных паттернов» используют контр-метрики (Guardrail metrics):
- Customer Support Contact Rate: Количество негативных обращений в поддержку
- Involuntary Churn (Технический отток): Доля пользователей, у которых подписка отменилась из-за ошибки списания карты (срок действия, нехватка средств).
Если вы усложните интерфейс, этот показатель вырастет, так как люди не смогут вовремя обновить данные.
LTV / CAC Ratio: Соотношение пожизненной ценности клиента к стоимости его привлечения. Базовое здоровье бизнеса: LTV должен быть минимум в 3 раза выше CAC.
👌 Лайфхак для собеса
На собеседовании обязательно подсветите разницу между моно-сервисами и экосистемными подписками. Их механика удержания кардинально отличается.
В Монопродуктах (Netflix, Spotify): Удержание держится исключительно на глубине контента в одном приложении.
В Экосистемах (Яндекс Плюс, Amazon Prime): Удержание строится на широте сервисов.
Это важно учитывать при работе с удержанием.
В прошлом посте мы разбирали «экономику внимания», где главная цель - заставить пользователя смотреть контент как можно дольше ради показа рекламы.
Сегодня мы переходим к принципиально другой бизнес-модели экономике подписок.
В этой модели пользователь платит не временем, а реальными деньгами из своего кармана.
И если в YouTube важна каждая минута просмотра здесь и сейчас, то для Netflix или Яндекс Плюса главное - чтобы пользователь продлил подписку на следующий месяц.
Давайте разберем, как устроена иерархия метрик в подписочных сервисах.
🌟 Level 0: North Star Metric
Для классического подписочного сервиса главная метрика - Number of Retained Paying Subscribers (Количество удерживаемых платящих подписчиков).
Почему не просто выручка?
Выручка в подписках - это прямое следствие базы лояльных клиентов. Если база растет и люди не уходят, выручка гарантирована.
Если фокусироваться на краткосрочном доходе (например, резко поднять цены), можно спровоцировать массовый отток и убить бизнес-модель.
📈 Level 1: Драйверы роста
Математика подписочного бизнеса довольно простая. Общая база подписчиков следующего месяца зависит от трех слагаемых:
База подписчиков = Старые подписчики + Новые - Ушедшие (Churn)Отсюда логично вытекают три главных драйвера L1 уровня:
Для подписок отток - это главный враг. Если у вас высокая «течь» в подписке, маркетинг будет работать на износ, просто заполняя дыру.
На этот показатель влияют семейные тарифы, корпоративные подписки и региональные цены.
🛠 Level 2: Операционные метрики
На этом уровне продуктовые команды ищут конкретные рычаги влияния на удержание и привлечение.
Для Привлечения и Конверсии:
- Trial Activation Rate: Доля тех, кто не просто оформил бесплатный пробный период, а совершил целевое действие (посмотрел первый фильм или добавил 5 треков) в первые 48 часов.
- Trial-to-Paid Conversion: Процент пользователей, у которых списались деньги за первый полноценный месяц после триала.
Для Удержания (Retention):
- Engagement Thresholds (Пороги вовлеченности): Доля подписчиков, которые пользуются сервисом выше определенного лимита.
Например, если юзер смотрит контент меньше 5 часов в месяц, вероятность его оттока снижается на 90%. Эту метрику принимают за порог вовлеченности и стараются ее растить.
- Объем личной библиотеки: Количество лайков, созданных плейлистов или закладок. Чем больше персонального контента накопил юзер внутри сервиса, тем сильнее он «прирастает» к продукту и ниже вероятность оттока.
Представьте, вам задали вопрос на собесе:
«Мы можем легко снизить отток (Churn), если уберем кнопку "Отменить подписку" или спрячем её глубоко в настройки. Стоит ли так делать?»
Для защиты от таких «темных паттернов» используют контр-метрики (Guardrail metrics):
- Customer Support Contact Rate: Количество негативных обращений в поддержку
- Involuntary Churn (Технический отток): Доля пользователей, у которых подписка отменилась из-за ошибки списания карты (срок действия, нехватка средств).
Если вы усложните интерфейс, этот показатель вырастет, так как люди не смогут вовремя обновить данные.
LTV / CAC Ratio: Соотношение пожизненной ценности клиента к стоимости его привлечения. Базовое здоровье бизнеса: LTV должен быть минимум в 3 раза выше CAC.
На собеседовании обязательно подсветите разницу между моно-сервисами и экосистемными подписками. Их механика удержания кардинально отличается.
В Монопродуктах (Netflix, Spotify): Удержание держится исключительно на глубине контента в одном приложении.
В Экосистемах (Яндекс Плюс, Amazon Prime): Удержание строится на широте сервисов.
Это важно учитывать при работе с удержанием.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7
Метрики 101. Часть 4: Маркетплейсы
Продолжаем серию постов по иерархиям метрик в разных индустриях.
Сегодня мы разберем Маркетплейсы.
Главная особенность маркетплейсов заключается в том, что его бизнес-модель представляет собой двухстороннюю платформу: с одной стороны покупатели (Demand) 🛒 , с другой - продавцы (Supply) 📦.
Бизнесу необходимо балансировать между ними: держать количество продавцов и покупателей таким, чтобы покупателям всегда было что купить, а продавцам - что продать.
Давайте разберем, как может выглядеть дерево метрик для этого сценария.
>> Level0️⃣ : North Star Metric
Главный показатель любого маркетплейса - GMV (Gross Merchandise Value). Это общий оборот или суммарная стоимость всех проданных товаров.
Маркептлейс зарабатывает на комиссиях и продаже услуг, поэтому
если растет GMV, то растет и прибыль (при положительной юнит-экономике естественно).
>> Level1️⃣ : Драйверы роста
Чтобы разложить GMV на верхнеуровневые рычаги, нужно учесть обе стороны платформы и точку их пересечения. Это можно описать метриками:
➖ Demand (Спрос): Количество активных покупателей и частота их покупок.
➖ Supply (Предложение): Количество активных продавцов и глубина ассортимента (количество SKU — уникальных товарных позиций).
➖ Liquidity / Match Rate (Ликвидность): Процент продавцов или товаров, которые совершили хотя бы одну продажу за месяц. Это показатель того, насколько эффективно платформа сводит покупателя с продавцом.
>> Level2️⃣ : Операционные метрики
На операционном уровне также важно смотреть с точки зрения баланса.
На стороне покупателей (Demand):
➖ Конверсионная воронка: Переход из Поиска в просмотр карточки (PDP), оттуда в Корзину и в Оплату.
➖ AOV (Средний чек): Сколько товаров и на какую сумму юзер выкупает за один раз.
На стороне продавцов (Supply):
➖ Merchant Onboarding CR: Насколько легко новому продавцу пройти регистрацию и выставить первый товар.
➖ Out-of-Stock (OOS) Rate: Доля времени, когда популярный товар отсутствует на складе. Если товара нет, GMV падает.
На стороне ликвидности и логистики:
➖ Click-to-Delivery Time (ETA): Скорость доставки. Чем она быстрее, тем выше конверсия в заказ.
Доля выкупа (Pickup Rate): Какая часть доехавших до ПВЗ товаров реально забирается (критично для категории одежды). Про долю выкупа я разбирал кейс
➖ Контр-метрики (Guardrails)
Как и везде, важно не забывать про контр-метрики:
➖ Take Rate (Эффективная комиссия): Какую долю от GMV маркетплейс оставляет себе в виде чистого дохода. Если GMV растет, а Take Rate падает ниже себестоимости логистики — мы работаем в убыток.
➖ Order Cancellation & Return Rate: Доля отмен и возвратов. Если продавцы шлют брак или путают размеры, GMV в момент заказа будет красивым, но последующие возвраты уничтожат экономику.
➖ Seller Churn Rate: Отток продавцов. Если селены перестанут зарабатывать, они уйдут к конкурентам, ассортимент рухнет, а за ним и весь маркетплейс.
Как работать с этими метриками?
💡 Ответ простой: Всегда ищите «Бутылочное горлышко»
Например, если стоит задача вырастить GMV маркетплейса, не пытайтесь растить всё сразу. Определите, где проблема: на стороне спроса (покупателей) или предложения (селлеров)?
Если у нас дефицит продавцов - нужно пилить фичи для селлеров: автозагрузку товаров, внутреннюю аналитику, снижать барьеры входа.
Если дефицит покупателей - фокусироваться на скидках, рекомендациях, геймификации и UX.
Продолжаем серию постов по иерархиям метрик в разных индустриях.
Сегодня мы разберем Маркетплейсы.
Главная особенность маркетплейсов заключается в том, что его бизнес-модель представляет собой двухстороннюю платформу: с одной стороны покупатели (Demand) 🛒 , с другой - продавцы (Supply) 📦.
Бизнесу необходимо балансировать между ними: держать количество продавцов и покупателей таким, чтобы покупателям всегда было что купить, а продавцам - что продать.
Давайте разберем, как может выглядеть дерево метрик для этого сценария.
>> Level
Главный показатель любого маркетплейса - GMV (Gross Merchandise Value). Это общий оборот или суммарная стоимость всех проданных товаров.
Маркептлейс зарабатывает на комиссиях и продаже услуг, поэтому
если растет GMV, то растет и прибыль (при положительной юнит-экономике естественно).
>> Level
Чтобы разложить GMV на верхнеуровневые рычаги, нужно учесть обе стороны платформы и точку их пересечения. Это можно описать метриками:
>> Level
На операционном уровне также важно смотреть с точки зрения баланса.
На стороне покупателей (Demand):
На стороне продавцов (Supply):
На стороне ликвидности и логистики:
Доля выкупа (Pickup Rate): Какая часть доехавших до ПВЗ товаров реально забирается (критично для категории одежды). Про долю выкупа я разбирал кейс
Как и везде, важно не забывать про контр-метрики:
Как работать с этими метриками?
💡 Ответ простой: Всегда ищите «Бутылочное горлышко»
Например, если стоит задача вырастить GMV маркетплейса, не пытайтесь растить всё сразу. Определите, где проблема: на стороне спроса (покупателей) или предложения (селлеров)?
Если у нас дефицит продавцов - нужно пилить фичи для селлеров: автозагрузку товаров, внутреннюю аналитику, снижать барьеры входа.
Если дефицит покупателей - фокусироваться на скидках, рекомендациях, геймификации и UX.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3
Мифы работы аналитиком данных
Наткнулся на тред в соседнем канале: человек, будучи лидом системной аналитики думает над переходом в продуктовую аналитику на джун/мидл позицию.
Я задумался: профессию аналитика данных очень романтизируют. Это формирует неверные ожидания.
В этом посте попытаюсь показать то, как в реальности устроена работа аналитика данных, чтобы вам не пришлось разбивать розовые очки.
Миф 1. Аналитик занимается интересными задачами
В реальности большую часть времени занимают чистка данных, починка дашбордов и ответы на вопросы вида «а почему цифра в отчёте не сходится с цифрой в таблице».
Красивые инсайты и ML-модели - это малая часть работы, о которых пишут в резюме. Но часто они приносят 80% результата😏
Миф 2. Аналитик принимает решения
Нет. Аналитик готовит данные для тех, кто принимает решения.
Ты можешь сделать идеальный анализ, который уйдёт в стол, потому что продакт уже всё решил интуитивно.
Нужно быть готовым отстаивать свою позицию или принимать эти условия.
Миф 3. Нужно уметь писать сложный код🤯
SQL закрывает 80% задач в большинстве компаний.
Python нужен, но чаще для автоматизации рутины (Парсинг данных, работа с API и тд), а не для построения нейросетей.
Если тебе говорят обратное на собесе - уточни, что конкретно ты будешь делать в первые три месяца на работе.
Но это не значит, что другие инструменты не нужны.
Миф 4. Данные всегда есть и они корректны
Данных либо нет, либо они кривые, либо никто не знает, что именно логируется и зачем.🙁
Значительная часть работы аналитика - разобраться в том, можно ли вообще доверять тому, что лежит в базе.
Как говорится:
Миф 5. Правильный инструмент решает всё:
Многие могут думать:
Нет. Инструмент - это 10% успеха.
Остальные 90% - это правильные процессы, корректная архитектура данных и люди, которые хотят и умеют смотреть на метрики.
Можно иметь лучший дашборд в мире, но если его никто не смотрит - это просто красивая трата денег.
Миф 6. В аналитике меньше корпоративной политики
™️ ™️ ™️ ™️ ™️
Неправда.
Данные - это мощный инструмент, и люди могу использовать их политически: подбирают метрики, чтобы доказать свою точку зрения, спорят о том, как считать KPI, требуют пересчётов, если результат не нравится.
Аналитик часто оказывается в центре конфликтов. Нужно быть дипломатичным и не очень эмоциональным.
И чем выше твой грейд, тем чаще ты в этом участвуешь.
А как у вас?
Напишите в комментариях, в каком из пунктов вы узнали себя.
Если что-то упустил - тоже пишите🍕
Наткнулся на тред в соседнем канале: человек, будучи лидом системной аналитики думает над переходом в продуктовую аналитику на джун/мидл позицию.
Я задумался: профессию аналитика данных очень романтизируют. Это формирует неверные ожидания.
В этом посте попытаюсь показать то, как в реальности устроена работа аналитика данных, чтобы вам не пришлось разбивать розовые очки.
Миф 1. Аналитик занимается интересными задачами
В реальности большую часть времени занимают чистка данных, починка дашбордов и ответы на вопросы вида «а почему цифра в отчёте не сходится с цифрой в таблице».
Красивые инсайты и ML-модели - это малая часть работы, о которых пишут в резюме. Но часто они приносят 80% результата
Миф 2. Аналитик принимает решения
Нет. Аналитик готовит данные для тех, кто принимает решения.
Ты можешь сделать идеальный анализ, который уйдёт в стол, потому что продакт уже всё решил интуитивно.
Нужно быть готовым отстаивать свою позицию или принимать эти условия.
Миф 3. Нужно уметь писать сложный код
SQL закрывает 80% задач в большинстве компаний.
Python нужен, но чаще для автоматизации рутины (Парсинг данных, работа с API и тд), а не для построения нейросетей.
Если тебе говорят обратное на собесе - уточни, что конкретно ты будешь делать в первые три месяца на работе.
Но это не значит, что другие инструменты не нужны.
Миф 4. Данные всегда есть и они корректны
Данных либо нет, либо они кривые, либо никто не знает, что именно логируется и зачем.
Значительная часть работы аналитика - разобраться в том, можно ли вообще доверять тому, что лежит в базе.
Как говорится:
7 раз отмерь - один раз отрежь
Миф 5. Правильный инструмент решает всё:
Многие могут думать:
вот если бы у нас был Tableau/Looker/Amplitude, всё было бы по-другому
Нет. Инструмент - это 10% успеха.
Остальные 90% - это правильные процессы, корректная архитектура данных и люди, которые хотят и умеют смотреть на метрики.
Можно иметь лучший дашборд в мире, но если его никто не смотрит - это просто красивая трата денег.
Миф 6. В аналитике меньше корпоративной политики
Неправда.
Данные - это мощный инструмент, и люди могу использовать их политически: подбирают метрики, чтобы доказать свою точку зрения, спорят о том, как считать KPI, требуют пересчётов, если результат не нравится.
Аналитик часто оказывается в центре конфликтов. Нужно быть дипломатичным и не очень эмоциональным.
И чем выше твой грейд, тем чаще ты в этом участвуешь.
А как у вас?
Напишите в комментариях, в каком из пунктов вы узнали себя.
Если что-то упустил - тоже пишите
Please open Telegram to view this post
VIEW IN TELEGRAM
Метрики 101. Часть 5: Такси и доставка (Uber, Яндекс Go, Самокат)
В прошлом посте мы разбирали маркетплейсы, где логистика может занимать дни. Сегодня мы будем анализировать On-Demand услуги (такси, доставка).
Главное отличие здесь - фактор реального времени.
Если на маркетплейсе товар везут со склада, то в такси или экспресс-доставке алгоритм обязан найти вам исполнителя за секунды и в радиусе пары километров.
Баланс спроса и предложения меняется каждую минуту: пошел ливень - спрос улетел в космос🚀. Кончился - и вот уже цены возвращаются к прежним уровням.
Как этим управлять?
Давайте ответим на этот вопрос с помощью иерархии метрик.
🌟 Level 0: North Star Metric
Для сервисов такси и доставки главная метрика - Number of Completed Rides/Orders (Количество успешных поездок/заказов).
И это логично: чем больше выполненных заказов, тем ценнее платформа для клиентов. Невозможно оказывать полезный клиенту сервис и при этом иметь малое количество выполненных заказов.
📈 Level 1: Драйверы роста
Количество поездок раскладывается на две стороны маркетплейса и метрику их баланса:
Demand (Спрос):
Здесь MAU - количество активных пассажиров, а Trips per User - частота использования сервиса.
Supply (Предложение):
Supply Hours - суммарное время водителей на линии.
Эта метрика показывает количество водителей и их доступное время работы.
Fulfillment Rate (Доля выполненных поездок):
Процент запросов, которые завершились успешной поездкой. Эта показывает, насколько эффективно платформа сводит пассажиров с водителями. Мы не сможем достичь высокого количества успешных поездок, если не будем следить и за этой метрикой.
🛠 Level 2: Operational Metrics
- ETA (Estimated Time of Arrival): Ожидаемое время прибытия курьера или машины. ETA сильно влияет на конверсию в заказ, поэтому за ней важно следить.
- Surge Multiplier (Коэффициент повышенного спроса): главная причина высоких цен на такси. Он временно сбивает избыточный спрос со стороны пассажиров и привлекает водителей в «горячую» зону повышенным заработком.
- Cancellation Rate (Доля отмен): Разделяется на отмены со стороны пользователя (передумал, долго ждать) и со стороны водителя (не поехал на невыгодный заказ).
- Utilization Rate (Утилизация): Процент времени, которое водитель проводит непосредственно везя пассажира, а не катаясь «холостым» в поисках заказа.
🛡 Контр-метрики (Guardrails)
Конечно же не стоит забывать и про контр-метрики:
- Surge Bounce Rate: Доля пользователей, которые открыли приложение, увидели космический ценник из-за коэффициента и сразу закрыли его.
- Driver Churn Rate (Отток водителей): Если алгоритмы заставляют водителей делать долгие «холостые» подачи за копейки, они уйдут в другие агрегаторы.
- Safety / Accident Rate: Метрики безопасности. Если экспресс-доставка заставляет курьеров доставлять заказы за 15 минут любой ценой, вырастет число аварий и штрафов, что уничтожит репутацию бренда.
💡 Важно помнить: райдтех - это гиперлокальный маркетплейс. Нам не важно, что в среднем по городу баланс спроса и предложения идеален.
Если в 18:00 у конкретного бизнес-центра стоит 500 пассажиров и нет ни одной машины, у нас локальный коллапс.
Поэтому ключевые метрики мы обязаны мониторить в разрезе микрозон (например, через гексагоны) и коротких временных слотов.
В прошлом посте мы разбирали маркетплейсы, где логистика может занимать дни. Сегодня мы будем анализировать On-Demand услуги (такси, доставка).
Главное отличие здесь - фактор реального времени.
Если на маркетплейсе товар везут со склада, то в такси или экспресс-доставке алгоритм обязан найти вам исполнителя за секунды и в радиусе пары километров.
Баланс спроса и предложения меняется каждую минуту: пошел ливень - спрос улетел в космос🚀. Кончился - и вот уже цены возвращаются к прежним уровням.
Как этим управлять?
Давайте ответим на этот вопрос с помощью иерархии метрик.
🌟 Level 0: North Star Metric
Для сервисов такси и доставки главная метрика - Number of Completed Rides/Orders (Количество успешных поездок/заказов).
И это логично: чем больше выполненных заказов, тем ценнее платформа для клиентов. Невозможно оказывать полезный клиенту сервис и при этом иметь малое количество выполненных заказов.
📈 Level 1: Драйверы роста
Количество поездок раскладывается на две стороны маркетплейса и метрику их баланса:
Demand (Спрос):
Trips = MAU × Trips per UserЗдесь MAU - количество активных пассажиров, а Trips per User - частота использования сервиса.
Supply (Предложение):
Supply Hours = Active Drivers × Hours per DriverSupply Hours - суммарное время водителей на линии.
Эта метрика показывает количество водителей и их доступное время работы.
Fulfillment Rate (Доля выполненных поездок):
Процент запросов, которые завершились успешной поездкой. Эта показывает, насколько эффективно платформа сводит пассажиров с водителями. Мы не сможем достичь высокого количества успешных поездок, если не будем следить и за этой метрикой.
🛠 Level 2: Operational Metrics
- ETA (Estimated Time of Arrival): Ожидаемое время прибытия курьера или машины. ETA сильно влияет на конверсию в заказ, поэтому за ней важно следить.
- Surge Multiplier (Коэффициент повышенного спроса): главная причина высоких цен на такси. Он временно сбивает избыточный спрос со стороны пассажиров и привлекает водителей в «горячую» зону повышенным заработком.
- Cancellation Rate (Доля отмен): Разделяется на отмены со стороны пользователя (передумал, долго ждать) и со стороны водителя (не поехал на невыгодный заказ).
- Utilization Rate (Утилизация): Процент времени, которое водитель проводит непосредственно везя пассажира, а не катаясь «холостым» в поисках заказа.
🛡 Контр-метрики (Guardrails)
Конечно же не стоит забывать и про контр-метрики:
- Surge Bounce Rate: Доля пользователей, которые открыли приложение, увидели космический ценник из-за коэффициента и сразу закрыли его.
- Driver Churn Rate (Отток водителей): Если алгоритмы заставляют водителей делать долгие «холостые» подачи за копейки, они уйдут в другие агрегаторы.
- Safety / Accident Rate: Метрики безопасности. Если экспресс-доставка заставляет курьеров доставлять заказы за 15 минут любой ценой, вырастет число аварий и штрафов, что уничтожит репутацию бренда.
Если в 18:00 у конкретного бизнес-центра стоит 500 пассажиров и нет ни одной машины, у нас локальный коллапс.
Поэтому ключевые метрики мы обязаны мониторить в разрезе микрозон (например, через гексагоны) и коротких временных слотов.
Please open Telegram to view this post
VIEW IN TELEGRAM
Трагедия в 4х актах
> В курсоре стали быстро кончаться лимиты
> Купил подписку на Клод за 210 долларов, чтобы решить эту проблему
> Подключил гугл док к клоду через коннектор
> После 4х сообщений лимиты кончились..
> В курсоре стали быстро кончаться лимиты
> Купил подписку на Клод за 210 долларов, чтобы решить эту проблему
> Подключил гугл док к клоду через коннектор
> После 4х сообщений лимиты кончились..
🍕Что такое каннибализация?
Представьте ситуацию: ваши продуктовые маркетологи добавили в меню новую пиццу - анчоусы с ананасами (простите за мой вкус) с целью бустануть выручку в компании.
Проходит месяц после запуска, вы с командой открываете дашборд - и видите восходящий график заказов, продажи новинки уверенно растут. Вроде бы успех и пора праздновать.😏
Но потом смотрите на общую выручку пиццерии и замечаете, что она почти не изменилась.
Куда же делись деньги за эти 10 000 пицц?
А никуда. Часть клиентов просто взяла новинку вместо тех пицц, которые покупала раньше.
Это и есть каннибализация - когда новый продукт растёт за счёт ваших же старых продаж, а не за счёт нового спроса или клиентов конкурентов. Деньги перекладываются из одного кармана в другой, а в сумме бизнес не растёт.
Где встречается каннибализация?👀
А много где:
- Новая позиция в меню отъедает заказы у старых блюд вместо того, чтобы приводить новых гостей.
- Скидочная акция дарит людям скидку, которые купили бы и по полной цене.
- Дешёвая версия товара перетягивает спрос с более дорогой и маржинальной (продажи в штуках растут, а прибыль падает).
- Новую точку открыли слишком близко к старой - и вместо новых клиентов она забирает часть гостей у соседнего ресторана.
Когда это нормально?🤔
Каннибализация - не всегда зло.
Иногда на неё идут осознанно: например, запускают акцию, которая отъедает часть продаж по полной цене, но взамен растит частоту заказов или приводит новых клиентов.
Вопрос не в том, чтобы каннибализацию исключить, а в том, чтобы знать её масштаб и сознательно на него соглашаться.
А чтобы знать масштаб, его нужно измерить.
Как посчитать каннибализацию через A/B 🧪
-> Шаг 1: Делим аудиторию
Одной половине пользователей показываем меню с новинкой, другой - старое меню без неё.
Вторая группа (контроль) нужна, чтобы поймать всё, что влияет на выручку помимо новинки: сезон, погоду, параллельные акции.
Без неё вы потом не докажете, что старые пиццы просели именно из-за новинки, а не из-за того, что закончился предновогодний пик.
-> Шаг 2: Выбираем метрику для оценки
Хочется взять продажи новой пиццы и сказать: вот сколько денег она принесла. Но эта цифра показывает только саму новинку и молчит о том, что стало с остальным меню.
Считать нужно суммарную выручку на пользователя - по всему меню целиком. Только она покажет, прибавилось денег или они просто перетекли внутри ассортимента.
-> Шаг 3: Считаем реальный прирост
Допустим, в тесте новая пицца принесла 100 рублей с пользователя. Но суммарная выручка в тесте оказалась выше контроля только на 60 рублей.
Эти 60 рублей и есть реальный, инкрементальный прирост - деньги, которых без новинки в кассе бы не появилось.
-> Шаг 4: Вычисляем каннибализацию
Дальше простая арифметика. Каннибализация - это разница между продажами новинки и реальным приростом.
В нашем кейсе:
Каннибализация = 100 (продажи пиццы с анчоусами) - 60 (инкремент продаж в тесте относительно контроля) = 40 рублей
Перепроверить себя можно с другой стороны: посмотрите, насколько в тесте просели продажи старых пицц по сравнению с контролем.
Они упадут ровно на те же 40 рублей - деньги не пропали, они переехали в новинку.
💡 Главное: радоваться нужно не продажам новинки, а тому, что выросла суммарная выручка. Если новинка собрала 10 000 заказов, но в сумме денег не прибавилось - вы просто переложили их из кармана в карман.
А вы сталкивались с каннибализацией в своих продуктах? Поделитесь в комментах 👇
Представьте ситуацию: ваши продуктовые маркетологи добавили в меню новую пиццу - анчоусы с ананасами (простите за мой вкус) с целью бустануть выручку в компании.
Проходит месяц после запуска, вы с командой открываете дашборд - и видите восходящий график заказов, продажи новинки уверенно растут. Вроде бы успех и пора праздновать.
Но потом смотрите на общую выручку пиццерии и замечаете, что она почти не изменилась.
Куда же делись деньги за эти 10 000 пицц?
А никуда. Часть клиентов просто взяла новинку вместо тех пицц, которые покупала раньше.
Это и есть каннибализация - когда новый продукт растёт за счёт ваших же старых продаж, а не за счёт нового спроса или клиентов конкурентов. Деньги перекладываются из одного кармана в другой, а в сумме бизнес не растёт.
Где встречается каннибализация?
А много где:
- Новая позиция в меню отъедает заказы у старых блюд вместо того, чтобы приводить новых гостей.
- Скидочная акция дарит людям скидку, которые купили бы и по полной цене.
- Дешёвая версия товара перетягивает спрос с более дорогой и маржинальной (продажи в штуках растут, а прибыль падает).
- Новую точку открыли слишком близко к старой - и вместо новых клиентов она забирает часть гостей у соседнего ресторана.
Когда это нормально?
Каннибализация - не всегда зло.
Иногда на неё идут осознанно: например, запускают акцию, которая отъедает часть продаж по полной цене, но взамен растит частоту заказов или приводит новых клиентов.
Вопрос не в том, чтобы каннибализацию исключить, а в том, чтобы знать её масштаб и сознательно на него соглашаться.
А чтобы знать масштаб, его нужно измерить.
Как посчитать каннибализацию через A/B 🧪
-> Шаг 1: Делим аудиторию
Одной половине пользователей показываем меню с новинкой, другой - старое меню без неё.
Вторая группа (контроль) нужна, чтобы поймать всё, что влияет на выручку помимо новинки: сезон, погоду, параллельные акции.
Без неё вы потом не докажете, что старые пиццы просели именно из-за новинки, а не из-за того, что закончился предновогодний пик.
-> Шаг 2: Выбираем метрику для оценки
Хочется взять продажи новой пиццы и сказать: вот сколько денег она принесла. Но эта цифра показывает только саму новинку и молчит о том, что стало с остальным меню.
Считать нужно суммарную выручку на пользователя - по всему меню целиком. Только она покажет, прибавилось денег или они просто перетекли внутри ассортимента.
-> Шаг 3: Считаем реальный прирост
Допустим, в тесте новая пицца принесла 100 рублей с пользователя. Но суммарная выручка в тесте оказалась выше контроля только на 60 рублей.
Эти 60 рублей и есть реальный, инкрементальный прирост - деньги, которых без новинки в кассе бы не появилось.
-> Шаг 4: Вычисляем каннибализацию
Дальше простая арифметика. Каннибализация - это разница между продажами новинки и реальным приростом.
Каннибализация = Продажи новинки − Инкрементальный прирост общей выручкиВ нашем кейсе:
Каннибализация = 100 (продажи пиццы с анчоусами) - 60 (инкремент продаж в тесте относительно контроля) = 40 рублей
Перепроверить себя можно с другой стороны: посмотрите, насколько в тесте просели продажи старых пицц по сравнению с контролем.
Они упадут ровно на те же 40 рублей - деньги не пропали, они переехали в новинку.
💡 Главное: радоваться нужно не продажам новинки, а тому, что выросла суммарная выручка. Если новинка собрала 10 000 заказов, но в сумме денег не прибавилось - вы просто переложили их из кармана в карман.
А вы сталкивались с каннибализацией в своих продуктах? Поделитесь в комментах 👇
Please open Telegram to view this post
VIEW IN TELEGRAM
Кто хотел пособирать ИИ-агентов руками?
Google и Kaggle проведут бесплатный 5-дневный интенсив по агентам и вайбкодингу.
Дадут:
• практику по созданию ИИ-агентов, от прототипов до продакшена;
• работу с памятью, контекстом, инструментами и API;
• практические кейсы и задания для отработки навыков;
• разборы и материалы от Google.
Для кого:
Всех, кто хочет разобраться в ИИ-инструментах на практике. Базовое знание Python, ИИ и Google AI Studio желательно.
Формат:
• онлайн, 5 дней
• задания, кодлабы, подкасты и ежедневные AMA (Ask Me Anything) сессии с экспертами Google
• можно проходить в удобное время (будет запись), примерно 1-2 часа в день.
Как получить:
Зарегистрироваться на Kaggle
Старт 15 июня.
Google и Kaggle проведут бесплатный 5-дневный интенсив по агентам и вайбкодингу.
Дадут:
• практику по созданию ИИ-агентов, от прототипов до продакшена;
• работу с памятью, контекстом, инструментами и API;
• практические кейсы и задания для отработки навыков;
• разборы и материалы от Google.
Для кого:
Всех, кто хочет разобраться в ИИ-инструментах на практике. Базовое знание Python, ИИ и Google AI Studio желательно.
Формат:
• онлайн, 5 дней
• задания, кодлабы, подкасты и ежедневные AMA (Ask Me Anything) сессии с экспертами Google
• можно проходить в удобное время (будет запись), примерно 1-2 часа в день.
Как получить:
Зарегистрироваться на Kaggle
Старт 15 июня.
🔥4🙏1
Как создать себе второй мозг?🧠
Что если я вам скажу, что сейчас можно создать себе второй мозг?
Систему, которая хранит всю информацию о вас, помнит контекст и помогает с ними работать одинаково эффективно со всеми вашими сферами жизни областями жизни. Неважно, создаете ли вы контент, анализируете показатели здоровья, разбираетесь с собственными мыслями или изучаете новые навыки.
Второй мозг сможет стать вашим персональным помощником в любой задаче.
Как это работает?
Я думаю многие так или иначе ведут заметки: в сохраненках тг, на телефоне, Notion, Evernote и других сервисах. Часть этой информации теряется, забывается и устаревает.
Формально второй мозг - это структурированная система заметок + набор ии-агентов и скилов, которые имеют контекст и закрывают ваши задачи.
Однако основная задача второго мозга не только накапливать информацию и структурировать ее, но и превратить в своего рода "операционную систему агентов" в которой один агент-оркестратор видит весь контекст и управляет другими саб-агентами.
Например, один может выступать в качестве карьерного коуча и опираться на твои заметки, другой быть экспертом в аналитике и помогать изучать новые темы, третий профессиональным редактором - для вычитки и редактирования постов (все посты я пишу сам, но редактирую все-таки с помощью ии), четвертый - аналитиком контента, пятый - ревьюером идей, шестой - персональным нутрициологом и тд.
Сейчас это все можно сделать и с помощью классических ии. Ключевое отличие здесь в том, что в данном случае все управляется через одно окно. Ты пишешь/ говоришь агенту свою задачу и он ее реализует.
При этом эта система развивается вместе с вами: вы добавляете заметки, открываете для себя новое направление и система развивается вместе с вами.
Эдакий Джарвис из Железного человека, которому можно задавать любые вопросы из своей жизни и он сможет дать ответ на все, что угодно.
Что по стеку?⚙
Все банально - в моем случае это связка:
Obsidian - это система управления заметками, которая умеет индексировать их превращать их в структурированный граф связей.
Таким образом мысли не затеряются.
Сервис хранения заметок - Заметки должны где-то хранится: в облаке, локально и тд. Поэтому надо включить такой сервис и подключить по MCP. Какой у меня - я не скажу)
Claude - основной инструмент для управления хранилищем, но можно использовать и любой другой.
На основе их моделей я делаю разные скиллы для своих задач.
При этом с целью сохранения токенов в скилы выбираю разные модели: Haiku для выгрузок/ загрузок, Opus для редактирования и брейнштормов, Sonnet - для оркестрации и управления агентами. Пока токенов хватает, но и задач у меня немного.
Skills + MCP - любые скиллы и конвекторы для решения ваших задач. Можно подключать все, что угодно: хоть озвучивание ответов ии-агентов голосом, хоть видео-редакторы или генераторы презентаций.
Как этим пользоваться💻
Я могу либо написать в чат, либо добавить заметку в папку входящие. Агент-оркестратор сам определит задачу и либо сложит заметку куда надо и проиндексирует, либо вызовет агент, который будет решать мою задачу.
Но мне, с моей любовью к раскладыванию всего по полочкам это только в радость.
Не все работает идеально: например, у меня есть желание делать ролики для своих музыкальных треков. Делать ролики я не умею и не хочу учиться, но продвигаться как-то надо. Поэтому я сделал агента, который должен писать сценарии для рилсов в Инстаграмм, но пока получается херня.
Но я думаю, что со временем я соберу подходящие промпты и референсы, чтобы получать тот результат который мне нужен.
Так, например, уже получилось сделать хорошего ии-агента для рефлексии, который помогает выявить паттерны в поведении и структурирует мысли.
Делали ли вы что-то подобное? Поделитесь в комментариях👇
Что если я вам скажу, что сейчас можно создать себе второй мозг?
Систему, которая хранит всю информацию о вас, помнит контекст и помогает с ними работать одинаково эффективно со всеми вашими сферами жизни областями жизни. Неважно, создаете ли вы контент, анализируете показатели здоровья, разбираетесь с собственными мыслями или изучаете новые навыки.
Второй мозг сможет стать вашим персональным помощником в любой задаче.
Как это работает?
Я думаю многие так или иначе ведут заметки: в сохраненках тг, на телефоне, Notion, Evernote и других сервисах. Часть этой информации теряется, забывается и устаревает.
Формально второй мозг - это структурированная система заметок + набор ии-агентов и скилов, которые имеют контекст и закрывают ваши задачи.
Однако основная задача второго мозга не только накапливать информацию и структурировать ее, но и превратить в своего рода "операционную систему агентов" в которой один агент-оркестратор видит весь контекст и управляет другими саб-агентами.
Например, один может выступать в качестве карьерного коуча и опираться на твои заметки, другой быть экспертом в аналитике и помогать изучать новые темы, третий профессиональным редактором - для вычитки и редактирования постов (все посты я пишу сам, но редактирую все-таки с помощью ии), четвертый - аналитиком контента, пятый - ревьюером идей, шестой - персональным нутрициологом и тд.
Сейчас это все можно сделать и с помощью классических ии. Ключевое отличие здесь в том, что в данном случае все управляется через одно окно. Ты пишешь/ говоришь агенту свою задачу и он ее реализует.
При этом эта система развивается вместе с вами: вы добавляете заметки, открываете для себя новое направление и система развивается вместе с вами.
Эдакий Джарвис из Железного человека, которому можно задавать любые вопросы из своей жизни и он сможет дать ответ на все, что угодно.
Что по стеку?⚙
Все банально - в моем случае это связка:
Obsidian + сервис хранения заметок + Claude + Skills + MCP.Obsidian - это система управления заметками, которая умеет индексировать их превращать их в структурированный граф связей.
Таким образом мысли не затеряются.
Сервис хранения заметок - Заметки должны где-то хранится: в облаке, локально и тд. Поэтому надо включить такой сервис и подключить по MCP. Какой у меня - я не скажу)
Claude - основной инструмент для управления хранилищем, но можно использовать и любой другой.
На основе их моделей я делаю разные скиллы для своих задач.
При этом с целью сохранения токенов в скилы выбираю разные модели: Haiku для выгрузок/ загрузок, Opus для редактирования и брейнштормов, Sonnet - для оркестрации и управления агентами. Пока токенов хватает, но и задач у меня немного.
Skills + MCP - любые скиллы и конвекторы для решения ваших задач. Можно подключать все, что угодно: хоть озвучивание ответов ии-агентов голосом, хоть видео-редакторы или генераторы презентаций.
Как этим пользоваться
Я могу либо написать в чат, либо добавить заметку в папку входящие. Агент-оркестратор сам определит задачу и либо сложит заметку куда надо и проиндексирует, либо вызовет агент, который будет решать мою задачу.
Важно отметить, что эта штука не настраивается по кнопке и надо закладывать время на то, чтобы все структурировать и настроить.
Но мне, с моей любовью к раскладыванию всего по полочкам это только в радость.
Не все работает идеально: например, у меня есть желание делать ролики для своих музыкальных треков. Делать ролики я не умею и не хочу учиться, но продвигаться как-то надо. Поэтому я сделал агента, который должен писать сценарии для рилсов в Инстаграмм, но пока получается херня.
Но я думаю, что со временем я соберу подходящие промпты и референсы, чтобы получать тот результат который мне нужен.
Так, например, уже получилось сделать хорошего ии-агента для рефлексии, который помогает выявить паттерны в поведении и структурирует мысли.
Делали ли вы что-то подобное? Поделитесь в комментариях👇
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6
Я не люблю А/В-тесты 🤷
На днях увидел очередную рекламу курса по А/В-тестам и поймал себя на мысли: почему это стало едва ли не самой хайповой темой в аналитике?
На каждом собесе обязательно спросят про А/В. Грейд аналитика часто меряют тем, насколько глубоко он шарит в стат.методах: мощность, поправки на множественные сравнения, бутстрап, CUPED.
Со стороны кажется, будто умение грамотно раскатить эксперимент - это высшая ступень твоего развития как профессионала.
Но это не так.
Сразу оговорюсь, что дело не в самих А/В.
Смущает меня именно то, сколько места им отвели в профессии.
А/В - это просто один из инструментов в наборе аналитика. Такой же, как когортный анализ, регрессии, юнит-экономика или causal inference методы, про которые я писал отдельно. Никакой не священный грааль. Обычная отвёртка из ящика с инструментами 🛠
Причём отвёртка с важной оговоркой: сам по себе А/В-тест не приносит компании ни рубля.
Он не повышает прибыль, он помогает принять решение. Это инструмент фасилитации: снизить неопределённость и понять, катить фичу дальше или откатывать. Ценность создаёт само изменение в продукте, а тест лишь измеряет, сработало оно или нет.
А теперь смотрите, что происходит. Вокруг этого измерительного инструмента строят всю роль.
Человек, который с максимальной точностью посчитает, что новая кнопка дала +0.3% к конверсии.
Звучит, как по мне, обидно.
Я уже писал, что разница между джуном и сеньором - это переход от «калькулятора» к «партнёру». Так вот культ А/В загоняет аналитика обратно в калькулятор, только теперь с красивым стат.аппаратом.
Я считаю, аналитик должен стремиться быть партнёром бизнесу и приносить деньги, а не вылизывать точность оценки эффекта до третьего знака после запятой.
Тут нужна честная оговорка. В очень зрелых компаниях, где трафик гигантский, инкремент в 0.1% может стоить десятков миллионов долларов.
Там борьба за этот знак после запятой полностью оправдана, и сильная экспертиза в экспериментах действительно критична. Вопрос, скорее, в том, что интереснее лично мне.
А мне неинтересно копаться в микрооптимизациях и ловить +0.1%. Интереснее искать решения, которые дают эффект хотя бы +5%. Их не найти, гоняя сотый А/В на цвет кнопки. Они находятся, когда ты понимаешь бизнес, а не только формулу Стьюдента.
Уважайте А/В как инструмент. Но перестаньте видеть в нём вершину профессии.
Это не значит, что я не буду спрашивать А/В на собесах. Сори, без них всё-таки сейчас никуда.
А как у вас - А/В это сердце вашей работы или один из инструментов в ящике?
Ставьте❤️🔥 , если солидарны со мной и 💔 , если нет
На днях увидел очередную рекламу курса по А/В-тестам и поймал себя на мысли: почему это стало едва ли не самой хайповой темой в аналитике?
На каждом собесе обязательно спросят про А/В. Грейд аналитика часто меряют тем, насколько глубоко он шарит в стат.методах: мощность, поправки на множественные сравнения, бутстрап, CUPED.
Со стороны кажется, будто умение грамотно раскатить эксперимент - это высшая ступень твоего развития как профессионала.
Сразу оговорюсь, что дело не в самих А/В.
Смущает меня именно то, сколько места им отвели в профессии.
А/В - это просто один из инструментов в наборе аналитика. Такой же, как когортный анализ, регрессии, юнит-экономика или causal inference методы, про которые я писал отдельно. Никакой не священный грааль. Обычная отвёртка из ящика с инструментами 🛠
Причём отвёртка с важной оговоркой: сам по себе А/В-тест не приносит компании ни рубля.
Он не повышает прибыль, он помогает принять решение. Это инструмент фасилитации: снизить неопределённость и понять, катить фичу дальше или откатывать. Ценность создаёт само изменение в продукте, а тест лишь измеряет, сработало оно или нет.
А теперь смотрите, что происходит. Вокруг этого измерительного инструмента строят всю роль.
Аналитик = калькулятор А/В-тестов. Человек, который с максимальной точностью посчитает, что новая кнопка дала +0.3% к конверсии.
Звучит, как по мне, обидно.
Я уже писал, что разница между джуном и сеньором - это переход от «калькулятора» к «партнёру». Так вот культ А/В загоняет аналитика обратно в калькулятор, только теперь с красивым стат.аппаратом.
Я считаю, аналитик должен стремиться быть партнёром бизнесу и приносить деньги, а не вылизывать точность оценки эффекта до третьего знака после запятой.
Тут нужна честная оговорка. В очень зрелых компаниях, где трафик гигантский, инкремент в 0.1% может стоить десятков миллионов долларов.
Там борьба за этот знак после запятой полностью оправдана, и сильная экспертиза в экспериментах действительно критична. Вопрос, скорее, в том, что интереснее лично мне.
А мне неинтересно копаться в микрооптимизациях и ловить +0.1%. Интереснее искать решения, которые дают эффект хотя бы +5%. Их не найти, гоняя сотый А/В на цвет кнопки. Они находятся, когда ты понимаешь бизнес, а не только формулу Стьюдента.
Уважайте А/В как инструмент. Но перестаньте видеть в нём вершину профессии.
А как у вас - А/В это сердце вашей работы или один из инструментов в ящике?
Ставьте
Please open Telegram to view this post
VIEW IN TELEGRAM
Как потрогать статистику руками?
Когда я учил статистику, у меня была одна проблема: формулы я запоминал, а картинку в голове собрать не мог.
Вот есть, например, формула дисперсии.
Я мог посчитать её на бумаге, мог написать на собесе. Но что она представляет на самом деле я понять не могу. Как говорят - "не чувствовал на пальцах"
Или центральная предельная теорема. Сформулировать ее можно просто заучив, но осознать, почему она играет ключевую роль в проверке гипотез, гораздо сложнее.
Почему так?
Статистика - это про случайность и распределения. А у распределения нет одного значения. Это процесс: ты тянешь выборку, потом ещё одну, потом ещё, и смотришь, как ведёт себя результат. Формула фиксирует одно состояние. Интуиция рождается, когда состояний много и видно, что между ними происходит.
К чему я веду?
Я собрал сайт, где статистику можно потрогать руками - data-slice.ru
Это не лекции и не учебник.
Каждый разбор интерактивный: ты сам двигаешь ползунки и смотришь, как меняется картинка.
Растягиваешь разброс данных и видишь, как растёт стандартное отклонение.
Гоняешь сто выборок и ловишь те самые промахи доверительного интервала. Меняешь размер выборки и смотришь, как интервал сужается.
Сейчас там больше 50 разборов по двум направлениям: статистика (от мер разброса и распределений до A/B тестов, бутстрапа и регрессии) и метрики (иерархии, North Star, операционные метрики продукта).
Все абсолютно бесплатно - без регистрации и смс😏
Честно про статус 🛠
Это мой вайбкодерский пет-проект.
Я делаю его один, и он не закончен.
Но как говорят - Ship it fast, get feedback fast.
Поэтому я и выпускаю его сейчас)
Часть тем ещё сырая, поэтому я точно что-то буду переписывать или менять местами, обновлять дизайн и добавлять контент.
Это не замена нормальному курсу или учебнику, формальные доказательства всё равно лучше изучать в профильных материалах. Сайт про другое: про интуицию, которую учебник не даёт, потому что её нельзя напечатать на бумаге.
Если когда-то застревал на том, что такое дисперсия или почему доверительный интервал не то, чем кажется, зайди и покрути сам.
Начать можно с самого простого, а потом постепенно переходить к более сложным концепциям
Буду рад фидбеку в комментах к этому посту🍕
Когда я учил статистику, у меня была одна проблема: формулы я запоминал, а картинку в голове собрать не мог.
Вот есть, например, формула дисперсии.
Я мог посчитать её на бумаге, мог написать на собесе. Но что она представляет на самом деле я понять не могу. Как говорят - "не чувствовал на пальцах"
Или центральная предельная теорема. Сформулировать ее можно просто заучив, но осознать, почему она играет ключевую роль в проверке гипотез, гораздо сложнее.
Почему так?
Статистика - это про случайность и распределения. А у распределения нет одного значения. Это процесс: ты тянешь выборку, потом ещё одну, потом ещё, и смотришь, как ведёт себя результат. Формула фиксирует одно состояние. Интуиция рождается, когда состояний много и видно, что между ними происходит.
К чему я веду?
Я собрал сайт, где статистику можно потрогать руками - data-slice.ru
Это не лекции и не учебник.
Каждый разбор интерактивный: ты сам двигаешь ползунки и смотришь, как меняется картинка.
Растягиваешь разброс данных и видишь, как растёт стандартное отклонение.
Гоняешь сто выборок и ловишь те самые промахи доверительного интервала. Меняешь размер выборки и смотришь, как интервал сужается.
Сейчас там больше 50 разборов по двум направлениям: статистика (от мер разброса и распределений до A/B тестов, бутстрапа и регрессии) и метрики (иерархии, North Star, операционные метрики продукта).
Все абсолютно бесплатно - без регистрации и смс
Честно про статус 🛠
Это мой вайбкодерский пет-проект.
Я делаю его один, и он не закончен.
Но как говорят - Ship it fast, get feedback fast.
Поэтому я и выпускаю его сейчас)
Часть тем ещё сырая, поэтому я точно что-то буду переписывать или менять местами, обновлять дизайн и добавлять контент.
Это не замена нормальному курсу или учебнику, формальные доказательства всё равно лучше изучать в профильных материалах. Сайт про другое: про интуицию, которую учебник не даёт, потому что её нельзя напечатать на бумаге.
Если когда-то застревал на том, что такое дисперсия или почему доверительный интервал не то, чем кажется, зайди и покрути сам.
Начать можно с самого простого, а потом постепенно переходить к более сложным концепциям
Буду рад фидбеку в комментах к этому посту
Please open Telegram to view this post
VIEW IN TELEGRAM
«Кусочек пиццы»
Среднее, медиана и мода — «Кусочек пиццы»
Представьте: у Вас есть пиццерия «Мама Джонс», и в ней работают семь сотрудников — повара, кассир, курьеры. Пора публиковать вакансию, и хочется указать «типич…
1🔥19
Кусочек пиццы | Аналитика данных pinned «Как потрогать статистику руками? Когда я учил статистику, у меня была одна проблема: формулы я запоминал, а картинку в голове собрать не мог. Вот есть, например, формула дисперсии. Я мог посчитать её на бумаге, мог написать на собесе. Но что она представляет…»
Потестировал новую модель Claude Fable на выходных для своего пет-проекта.
Для тех, кто в танке: Anthropic вернули Fable в открытый доступ. До 7 июля модель можно покрутить бесплатно (по крайне мере в рамках подписки Pro).
Я решил, не терять время и потестировать ее на своем сайте.
Что сделал:
1) Сделал ревью UI/ UX на сайте, используя Claude Design и taste-skill и внес некоторые правки
2) Сделал ревью контента и интерактивных графиков, чтобы сделать уроки понятнее
3) Добавил английскую версию сайта
4) Добавил Яндекс. Метрику (Теперь я могу следить за вами😈)
Что заметил:
1) Магии не случилось и Fable не прокачал мой сайт на 100500%. Ни в части контента, ни в части дизайна.
Общего промта в формате: "Вот тебе ссылки на статьи на Хабр и Medium. Сделай ревью контента на основании этих статей" не достаточно.
Промпта "Вот тебе ссылки на сайты-рефернс. Сделай аудит UI/UX и сформируй план доработок" тоже не достаточно.
Все также надо вручную выверять каждый урок и каждый объект и писать отдельные комменты с правками.
2) Он быстро жрал токены - лимиты закончились раньше, чем успел внедрить все изменения.
Поэтому в модуле по иерархии метрик все еще есть проблемы с растягиванием контента по ширине.
3) Это не про Fable в частности, но хочется похвастаться - моя идея со вторым мозгом (писал об этом здесь) помогла и в работе с сайтом.
Агент, работающий над сайтом учитывал не только контекст проекта, но и контекст постов, моей аудитории и пр. материалов по тг-каналу, что дало некоторый синергитический эффект в виде адаптации ton-of-voice на сайте. При этом сам я его это сделать не просил - агент сам нашел и отметил какие-то связи и подсветил идеи.
Резюме:
Я не сказал бы, что модель Fable - это next-gen прорыв, который решает все задачи по щелчку пальцев и понимает с полуслова.
Возможно это я такой криворукий и не умею нормально с ним работать, но возможно и нет🙁
Пока я считаю, что любая ии-шка это все-таки не кнопка "Сделать красиво", а очень мощный инструмент, который раскрывает свою силу только в умелых руках. (Собственно поэтому и практикуюсь)
А какой у вас опыт с Fable?
Поделитесь комментариями
Для тех, кто в танке: Anthropic вернули Fable в открытый доступ. До 7 июля модель можно покрутить бесплатно (по крайне мере в рамках подписки Pro).
Я решил, не терять время и потестировать ее на своем сайте.
Что сделал:
1) Сделал ревью UI/ UX на сайте, используя Claude Design и taste-skill и внес некоторые правки
2) Сделал ревью контента и интерактивных графиков, чтобы сделать уроки понятнее
3) Добавил английскую версию сайта
4) Добавил Яндекс. Метрику (Теперь я могу следить за вами😈)
Что заметил:
1) Магии не случилось и Fable не прокачал мой сайт на 100500%. Ни в части контента, ни в части дизайна.
Общего промта в формате: "Вот тебе ссылки на статьи на Хабр и Medium. Сделай ревью контента на основании этих статей" не достаточно.
Промпта "Вот тебе ссылки на сайты-рефернс. Сделай аудит UI/UX и сформируй план доработок" тоже не достаточно.
Все также надо вручную выверять каждый урок и каждый объект и писать отдельные комменты с правками.
2) Он быстро жрал токены - лимиты закончились раньше, чем успел внедрить все изменения.
Поэтому в модуле по иерархии метрик все еще есть проблемы с растягиванием контента по ширине.
3) Это не про Fable в частности, но хочется похвастаться - моя идея со вторым мозгом (писал об этом здесь) помогла и в работе с сайтом.
Агент, работающий над сайтом учитывал не только контекст проекта, но и контекст постов, моей аудитории и пр. материалов по тг-каналу, что дало некоторый синергитический эффект в виде адаптации ton-of-voice на сайте. При этом сам я его это сделать не просил - агент сам нашел и отметил какие-то связи и подсветил идеи.
Резюме:
Я не сказал бы, что модель Fable - это next-gen прорыв, который решает все задачи по щелчку пальцев и понимает с полуслова.
Возможно это я такой криворукий и не умею нормально с ним работать, но возможно и нет
Пока я считаю, что любая ии-шка это все-таки не кнопка "Сделать красиво", а очень мощный инструмент, который раскрывает свою силу только в умелых руках. (Собственно поэтому и практикуюсь)
А какой у вас опыт с Fable?
Поделитесь комментариями
Please open Telegram to view this post
VIEW IN TELEGRAM
Anthropic выпустила новую библиотеку подсказок для Claude Code прямо в документации
Пока что там 52 подсказки, сгруппированные по типам с объяснениями, почему и как это работает.
Забираем здесь.
Пока что там 52 подсказки, сгруппированные по типам с объяснениями, почему и как это работает.
Забираем здесь.
🔥6
Реальность 2026 года: ИИ не уменьшает нагрузку, а увеличивает количество дел, которыми мне приходится заниматься одновременно.
Компаниям нравится эта математика. Один человек с ИИ-агентами теперь делает то, что раньше делали двое или трое.
Зарплаты меньше - производительность та же, а то больше.
Чистая победа для бизнеса(особенно если не считать затраты на токены)
В то же время, если смотреть на это глазами исполнителя, открывается совсем другая картина - кратный рост когнитивной нагрузки.
Все видят рост производительности с использованием агентов, пытаются придумать «тот-самый промпт» или оптимизируют контекст, но почему-то никто не учитывает, сколько контекста может обрабатывать сам человек.
Например, сейчас обычный день для меня - это 5+ параллельных потоков.
Один агент проводит исследования, второй копается в данных, третий готовит что-то для заказчиков, четвертый делает пет-проект, а вы переключаетесь между ними, принимая решения по каждому из них.
Несколько лет назад мы работали над чем-то одним за раз и мозг соответствовал этому темпу работы.
Теперь мы принимаем решения и переключаем контекст в несколько раз чаще, чем обычно.
Это и есть реальный механизм, лежащий в основе надвигающейся волны эмоционального выгорания.
Теперь свою «батарейку» можно разрядить и без долгих часов на работе и бесконечных встреч.🪫
К тому же, культура труда поощряет отключаться от сигналов собственного тела и «перфомить-перфомить-перфомить».
Поэтому мы не замечаем усталости, пока не получим клинический диагноз или упадем без сил.
Вывода не будет, так как я не знаю, что с этим делать.
Но если вы сталкивались с чем-то подобным и нашли для себя решение - напишите в комментах. Будет интересно обменяться опытом
Компаниям нравится эта математика. Один человек с ИИ-агентами теперь делает то, что раньше делали двое или трое.
Зарплаты меньше - производительность та же, а то больше.
Чистая победа для бизнеса
В то же время, если смотреть на это глазами исполнителя, открывается совсем другая картина - кратный рост когнитивной нагрузки.
Все видят рост производительности с использованием агентов, пытаются придумать «тот-самый промпт» или оптимизируют контекст, но почему-то никто не учитывает, сколько контекста может обрабатывать сам человек.
Например, сейчас обычный день для меня - это 5+ параллельных потоков.
Один агент проводит исследования, второй копается в данных, третий готовит что-то для заказчиков, четвертый делает пет-проект, а вы переключаетесь между ними, принимая решения по каждому из них.
Несколько лет назад мы работали над чем-то одним за раз и мозг соответствовал этому темпу работы.
Теперь мы принимаем решения и переключаем контекст в несколько раз чаще, чем обычно.
Лично по себе я заметил, что постоянное переключение между задачами высысасывает из меня больше всего энергии.
Это и есть реальный механизм, лежащий в основе надвигающейся волны эмоционального выгорания.
Теперь свою «батарейку» можно разрядить и без долгих часов на работе и бесконечных встреч.
К тому же, культура труда поощряет отключаться от сигналов собственного тела и «перфомить-перфомить-перфомить».
Поэтому мы не замечаем усталости, пока не получим клинический диагноз или упадем без сил.
Вывода не будет, так как я не знаю, что с этим делать.
Но если вы сталкивались с чем-то подобным и нашли для себя решение - напишите в комментах. Будет интересно обменяться опытом
Please open Telegram to view this post
VIEW IN TELEGRAM
Что такое сетевой эффект?
Классический A/B стоит на простом допущении: контроль и тест не влияют друг на друга.
Поведение юзера из группы B определяется только тем, что ему показали, и никак не отражается на юзерах из группы A. Это называется SUTVA, Stable Unit Treatment Value Assumption.
Именно поэтому эффект фичи можно посчитать как обычную разницу средних между группами.
Проблема в том, что иногда это допущение не выполняется.
Представим тест реферальной программы. Или группового заказа. Или чата. Или ленты, где люди видят активность друг друга.
Юзер из группы в тестовой группе рассказывает о фиче другу, который находится в контрольной группе и контроль тоже подвергается воздействию.
Теперь контроль загрязнён тем самым эффектом, который хотелось измерить только в тесте.
Группы перетекают друг в друга, и разница между ними схлопывается.
Это и есть сетевой эффект (он же network interference).
Что при этом происходит на практике.
1. Эффект недооценивается.
Если тест протекает в контроль, контроль подрастает вместе с тестом, и разница между группами оказывается меньше реальной, что сказывается на значении инкремента метрики.
2. Эффект переоценивается.
Обратная история: фича создаёт ценность только при высокой плотности участников.
Хороший пример - платный буст для продавцов на маркетплейсе.
Буст поднимает карточку продавца выше в выдаче. Но общее число покупателей и заказов от этого не растёт: спрос фиксированный, буст лишь перераспределяет его.
Если буст в тесте только у пяти процентов продавцов, эти счастливчики забирают заказы у всех остальных и показывают отличный прирост продаж.
Метрика радует, фича катится на всех.
И тут выясняется, что когда буст есть у каждого, вверх не поднимается никто - все вернулись на свои места, спрос делится примерно как раньше, а прирост, который был в тесте, испарился.
В тесте измерялось преимущество над теми, у кого буста нет, а после раскатки таких просто не осталось.
Как с этим работать.
Для начала стоит честно ответить на вопрос, есть ли вообще в продукте канал, по которому юзеры влияют друг на друга?
Примеры каналов: приглашения, общий контент, общий инвентарь, общая очередь, конкуренция за один ресурс.
Если каналов нет, можно выдохнуть и использовать классический A/B.
Если нет - читаем дальше.
Дальше имеет смысл поменять единицу рандомизации.
Вместо отдельных юзеров в группы A и B распределяются целые кластеры - группы людей, которые связаны между собой.
Тогда друзья, коллеги, соседи по городу попадают в одну и ту же группу, и влияние перетоков между ними снижается.
Вариантов, что считать кластером, несколько.
Гео-эксперименты.
Рандомизируются города или регионы целиком: весь один город в тесте, весь другой в контроле.
Перетекание между географиями минимально.
Сложность в том, что резко падает число независимых единиц (было сто тысяч юзеров, стало сорок городов), доверительные интервалы разъезжаются, и нужен либо длинный тест, либо аккуратный подбор похожих пар городов с матчингом.
Кластеризация по графу.
Строится граф связей и режется на слабосвязанные сообщества (community detection), которые уже рандомизируются.
Внутри группы связей много, между группами мало, значит, и утечка мала.
Это дороже и требует данных о связях, но для социальных фич подход самый честный.
Switchback
Также часто гоняют switchback: один и тот же пользователь переключается между A и B по временным окнам и затем оценивается эффект между этими окнами.
Главная мысль вот в чём.
Сетевой эффект не экзотика для соцсетей.
Он живёт везде, где действие одного юзера меняет опыт другого: реферальные программы, лояльность с приглашением друга, групповые заказы, любые двусторонние рынки, даже банальная нагрузка на инфраструктуру.
Так что прежде чем доверять результату теста, стоит задать себе один вопрос: может ли юзер из одной группы повлиять на юзера из другой?
Если да, тест что-то измеряет, но не то, что кажется.
Классический A/B стоит на простом допущении: контроль и тест не влияют друг на друга.
Поведение юзера из группы B определяется только тем, что ему показали, и никак не отражается на юзерах из группы A. Это называется SUTVA, Stable Unit Treatment Value Assumption.
Именно поэтому эффект фичи можно посчитать как обычную разницу средних между группами.
Проблема в том, что иногда это допущение не выполняется.
Представим тест реферальной программы. Или группового заказа. Или чата. Или ленты, где люди видят активность друг друга.
Юзер из группы в тестовой группе рассказывает о фиче другу, который находится в контрольной группе и контроль тоже подвергается воздействию.
Теперь контроль загрязнён тем самым эффектом, который хотелось измерить только в тесте.
Группы перетекают друг в друга, и разница между ними схлопывается.
Это и есть сетевой эффект (он же network interference).
Что при этом происходит на практике.
1. Эффект недооценивается.
Если тест протекает в контроль, контроль подрастает вместе с тестом, и разница между группами оказывается меньше реальной, что сказывается на значении инкремента метрики.
2. Эффект переоценивается.
Обратная история: фича создаёт ценность только при высокой плотности участников.
Хороший пример - платный буст для продавцов на маркетплейсе.
Буст поднимает карточку продавца выше в выдаче. Но общее число покупателей и заказов от этого не растёт: спрос фиксированный, буст лишь перераспределяет его.
Если буст в тесте только у пяти процентов продавцов, эти счастливчики забирают заказы у всех остальных и показывают отличный прирост продаж.
Метрика радует, фича катится на всех.
И тут выясняется, что когда буст есть у каждого, вверх не поднимается никто - все вернулись на свои места, спрос делится примерно как раньше, а прирост, который был в тесте, испарился.
В тесте измерялось преимущество над теми, у кого буста нет, а после раскатки таких просто не осталось.
Как с этим работать.
Для начала стоит честно ответить на вопрос, есть ли вообще в продукте канал, по которому юзеры влияют друг на друга?
Примеры каналов: приглашения, общий контент, общий инвентарь, общая очередь, конкуренция за один ресурс.
Если каналов нет, можно выдохнуть и использовать классический A/B.
Если нет - читаем дальше.
Дальше имеет смысл поменять единицу рандомизации.
Вместо отдельных юзеров в группы A и B распределяются целые кластеры - группы людей, которые связаны между собой.
Тогда друзья, коллеги, соседи по городу попадают в одну и ту же группу, и влияние перетоков между ними снижается.
Вариантов, что считать кластером, несколько.
Гео-эксперименты.
Рандомизируются города или регионы целиком: весь один город в тесте, весь другой в контроле.
Перетекание между географиями минимально.
Сложность в том, что резко падает число независимых единиц (было сто тысяч юзеров, стало сорок городов), доверительные интервалы разъезжаются, и нужен либо длинный тест, либо аккуратный подбор похожих пар городов с матчингом.
Кластеризация по графу.
Строится граф связей и режется на слабосвязанные сообщества (community detection), которые уже рандомизируются.
Внутри группы связей много, между группами мало, значит, и утечка мала.
Это дороже и требует данных о связях, но для социальных фич подход самый честный.
Switchback
Также часто гоняют switchback: один и тот же пользователь переключается между A и B по временным окнам и затем оценивается эффект между этими окнами.
Главная мысль вот в чём.
Сетевой эффект не экзотика для соцсетей.
Он живёт везде, где действие одного юзера меняет опыт другого: реферальные программы, лояльность с приглашением друга, групповые заказы, любые двусторонние рынки, даже банальная нагрузка на инфраструктуру.
Так что прежде чем доверять результату теста, стоит задать себе один вопрос: может ли юзер из одной группы повлиять на юзера из другой?
Если да, тест что-то измеряет, но не то, что кажется.
Наткнулся на интересное выступление Константина Крестникова (CTO GigaChain) на Data Fest.
Он рассказал про этапы развития агентов, Harness и loop-циклы.
Если вы когда-либо хотели узнать про что-то из перечисленного, го смотреть:
https://www.youtube.com/watch?v=aBcW01Qbuws
Он рассказал про этапы развития агентов, Harness и loop-циклы.
Если вы когда-либо хотели узнать про что-то из перечисленного, го смотреть:
https://www.youtube.com/watch?v=aBcW01Qbuws
🙏2