Как статистика навсегда изменила Бейсбол


Вернувшись с вьетнамской войны и подрабатывая охранником в ночные смены, Билл Джеймс начал увлеченно писать статьи и книги о своей любимой игре — бейсболе.

В отличие от многих других авторов, Билл пытался отвечать на разные практичные вопросы, используя статистику. Например, из-за каких «защитников» команда отдает больше всего очков? Какой вклад в победу команды внес каждый отдельный игрок?

Это привело к созданию целого направления — sabermetrics, в рамках которого Билл Джеймс придумал множество метрик и подходов, которые позволяли оценивать игроков и команды, основываясь на данных.

Многие эксперты и менеджеры начали положительно высказываться о работах Джеймса, но все это оставалось занимательной теорией, пока руководство клуба Окленд Атлетикс во главе с Уильямом Бином не сделали полную ставку на аналитические подходы sabermetrics.

Ключевым моментом в их стратегии стал способ находить и выкупать игроков, которые по показателям делали хорошие результаты, а рынок их при этом недооценивал.

Так клуб к началу 2000-ых стал одним из самых эффективных с точки зрения использования ограниченного бюджета на закупку игроков. Например, в сезоне 2006 года по затратам на зарплаты игроков клуб находился на 24 (из 30) месте, но при этом занимал 5-ое место в рейтинге по очкам.

Видя такие успехи у малобюджетной команды, другие клубы тоже начали активнее использовать подходы из sabermetrics, чтобы больше ориентироваться на цифры и факты при принятии решений.

А один из крупнейших клубов, Бостон Ред Сокс, в 2003 году нанял к себе в команду Билла Джеймса, которого на сегодняшний день можно назвать пионером в применении статистики и аналитических подходов в бейсболе. В 2006 журнал Time внес Билла в список топ 100 самых влиятельных людей мира.

По мотивам этой истории написана книга «Moneyball» и снят фильм «Человек, который изменил все» с участием Брэда Питта.

Вся теория по А/Б-экспериментам

В мае прошлого года я проходил интенсив по теории и практике А/Б тестирования от EXPF. Недавно я решил пересмотреть все лекции и скрипты с курса и параллельно конспектировал основные моменты, чтобы потом можно было легко повторить нужную тему и не пересматривать 2-х часовые видезаписи.

Из этих конспектов я собрал один Collab-ноутбук, в котором записал выжимку из всего ~16-ти часового лекционного материала. Содержание конспекта:

1) Об экспериментах и основы статистики

2) Статистические критерии и гипотезы

3) Способы выбора объема выборки для А/Б. Мощность эксперимента

4) Бутстрап: повторные выборки и децильные оценки А/Б тестов

5) Ускорение A/B и ratio-метрики

6) Монте-Карло, направленность и поиск прокси метрик, автоматизация расчетов A/B, про ratio-метрики

7) Оффлайн эксперименты

Перед написанием поста я получил добро на выкладку этих материалов у ведущих курса. По самому интенсиву от expf могу сказать, что настоятельно его рекомендую (и это не платная интеграция, я еще не такой популярный 😂). В интенсиве разбираются все основные темы как в 7-ми пунтках выше: лекция, скрипты с кодом, домашние задания, общий чат для вопросов. Даже спустя полгода после окончания курса Искандер (сооснователь expf.ru) ответил на все мои вопросы, которые у меня возникли после пересмотра лекций!

Сcылка на конспект:
https://colab.research.google.com/drive/1_CY_8DJRLm70gl9RjTz1vmPoLMwCeT0u?usp=sharing

💰Как 41 оттенок синего принес Google 200 млн $

На курсах по аналитике часто приводят популярный эксперимент, который проводили в Google в 2009 году. После запуска показа рекламы на сайте электронной почты Gmail сотрудники компании обнаружили, что цвет рекламных ссылок в Gmail отличается от цвета рекламных ссылок в поисковике Google. В почте ссылки отображались синим цветом с небольшим оттенком фиолетового, а в поисковике – тоже синим, но уже с оттенком зеленого.

Такая ситуация вызвала споры – а какой цвет лучше оставить? При каком оттенке синего пользователи больше кликают на рекламные ссылки? В итоге Мариса Майер (на тот момент топ-менеджер Google, которая стала знаменитой благодаря этому случаю) приняла решение протестировать 41 вариант синего цвета с разными оттенками.

На курсах и в статьях любят этот кейс потому, что это наглядный пример множественного тестирования и если не делать никакие поправки на ошибку 1-го рода, то:
- тестируя 2 варианта цветов мы «с вероятностью» 5% можем найти отличия там, где их на самом деле не будет
- тестируя 41 вариант эта «вероятность» возрастает уже до 88% (по формуле «1-(1-a)^m», где a – уровень значимости альфа, m – кол-во гипотез)

По словам представителей Google они смогли найти лучший вариант — синий с оттенками фиолетового. По их оценке, это увеличило выручку компании на 200 миллионов $ в год.

Как вы думаете, действительно ли такое маленькое изменение могло увеличить конверсию кликов по рекламе и принести столько денег компании?
Нажмите реакцию 👍 — если да и 👎 — если считаете, что нет.

🧐 Главный вопрос маркетинговой аналитики

- какой канал привлечения приносит компании больше денег?

Мне эта тема стала особенно интересна, так как раньше я активно работал с таргетинговой рекламой в VK, Facebook и Instagram, когда запускал интернет-магазины в школьные и университетские годы.

Помню даже, как запустил свой первый А/Б - рекламу своего канала VK с двумя разными картинками. В одной было 10 переходов / 30 просмотров, в другой 8/30, и я уверенно вливал оставшиеся 100 рублей бюджета в первый вариант, считая себя хорошим аналитиком 😁 Но сейчас не об этом

По моим наблюдениям в маркетинговой аналитике есть большой и непростой блок, которому уделяют много внимания – модель атрибуции. Давайте вместе разбираться, что это такое:

Допустим, у вас есть сайт, где вы продаете цветы с доставкой на дом.
Клиент переходит на него через Google-рекламу. Через неделю он снова заходит на сайт, уже переходя по рекламе в Instagram. А через несколько часов заходит на сайт напрямую и покупает цветы.

Благодаря какому каналу мы заработали деньги? Органика (прямой заход), контекстная реклама в Google или реклама в рилсах Instagram?

На эти вопросы отвечает модель атрибуции – это логика, по которой мы определяем, благодаря какому каналу мы получили ту или иную покупку.
Вот несколько популярных моделей атрибуций:

1) Модель «Первое взаимодействие»
По этой модели фиксируется первый канал, благодаря которому пользователь впервые перешел на сайт / приложение. В примере выше мы будем считать, что клиент совершил покупку благодаря Google-рекламе.

2) Модель «Последнее взаимодействие»
Аналогично модели выше, только наоборот. В том же примере мы уже будем считать, что покупку совершили через канал «органики» - перед покупкой пользователь напрямую сам перешел на сайт.

3) «Линейная» модель
Модель, которая равномерно учитывает вклад всех каналов, через которые пользователь взаимодействовал с нашим продуктом. Есть более сложные вариации, когда учитываются только «недавние» взаимодействия перед покупкой или каждому каналу присваивается еще свой вес.

«Правильной» модели атрибуции не существует, нужно отталкиваться от каждого конкретного кейса. Во время написании статьи наткнулся на интересный файл с разборами нескольких компаний и используемых в них моделей атрибуций.

Давайте наберем 40🔥, если нравятся такие темы. Буду продолжать писать про особенности аналитики в разных областях.

☠️ Мои ошибки в работе аналитиком

Считаю важным делиться не только успехами, но и неудачным опытом, который тоже может оказаться полезным для кого-то.

Вот несколько ошибок, которые я допускал за последнее время:

Задачи в стол
Далеко не все задачи, которые просят сделать аналитика (да и наверное любого специалиста), не окажутся пустой тратой времени. За последний год у меня не всегда получалось фильтровать «ненужные» задачи по разным причинам: иногда было неудобно отказывать, а иногда задание преподносили как «срочно/важно/нужно было вчера!!» и это замыливало глаза

Перфекционизм
Попытка сделать все идеально и красиво может очень сильно замедлять работу. У меня бывало так:
⁃ упарывался в качество данных, разбираясь с каждым пропуском, выбросом, кол-вом строк и т.д. Хотя в 99% случаев этих некачественных данных было так мало, что на них можно было не обращать внимания
⁃ старался все емко и красиво описать на Confluence, в то время как в первую очередь стоило набросать цифры и графики на excel и обсудить их на звонке за 10 минут

Закапывание в исследовании
Ранее я писал про свой краткий шаблон для проведения исследований, но это не значит, что я всегда ему строго следую :) Несколько раз при выполнении большого исследования я закапывался в каких-то вопросах, а потом одергивал себя - «какая вообще цель всего этого исследования? Этой задачи?». После ответа на эти вопросы все ненужные детали отлетали и дальнейший план действий становился яснее

🤓 Соревнование по A/B тестам!

Мои кореша из Самоката подготовили крутое соревнование по аналитике — нужно задизайнить эксперимент по выявлению фродеров - недобросовестных продавцов маркетплейса.

Авторы 20 лучших решений получат бесплатные билеты на конференцию Aha’24 от матемаркетинга.

Детали турнира: тут
Когда: 7-19 мая
Формат: online

Задание создано по мотивам актуальной проблемы, с которой ребята сейчас активно работают 🦾

Решаем проблемы как консультанты McKinsey

Каждый аналитик хотя бы раз отвечал на вопрос:
“Мы заметили, что на дашборде упала метрика X. Почему такое могло произойти?”

Или при дизайне эксперимента спрашивал себя:
“За какими метриками следить в эксперименте Y?”

Или даже сталкивался с открытыми вопросами, на которых нет простого ответа:
“Как снизить затраты на процесс Z?”

Все эти 3 вопроса объединяет то, что нам нужно учесть много аспектов. Если отвечать них просто перечисляя все гипотезы, которые приходят в голову, можно упустить важные моменты. Вернемся к примеру:

⁃ Мы заметили, что на дашборде упала конверсия в заказ. Почему такое могло произойти?
Как я отвечал на этот вопрос полтора года назад на собеседовании во ВкусВилл:
“У нас могла произойти проблема с обновлением данных. Мог не обновиться дашборд. Еще это может быть сезонность. Мы можем посмотреть за прошедшее время в аналогичные периоды, падала ли метрика так же. Другой вариант - это какие-то проблемы с приложением …”

Ответ в целом получился неплохой и я прошел дальше и даже получил оффер, но в нем почти нет никакой СТРУКТУРЫ, из-за чего я пропустил несколько моментов. Как бы я отвечал на этот вопрос сейчас я показываю на картинке к этому посту. Идеальный ли это ответ? Учитывает ли он все варианты? Нет, но в нем есть четкая структура, по которой легко проходится и добавлять нужные ветки и углубления при необходимости.

Такие диаграммы называются “Деревом решений” (decision trees). Когда аналитики выбирают ключевые метрики для какого-то продукта / процесса, то они следуют примерно такой же структуре, называя это “деревом метрик” или “иерархией метрик”.

Как строить такие деревья и где их можно применять - очень большая тема, которую подробно разбирает в своем блоге Бруно Ногуэро, в прошлом консультант McKinsey. Подробнее вы можете ознакомиться в его блоге

Инструкция выше состоит примерно из 100+ страниц, для вас я сделал короткую выжимку из 15 страниц по ссылке

2 важных парадокса в статистике

Существует много статистических парадоксов: Монти-Холл, Берксон, “дни рождения” и так далее.

В этом посте я постарался выделить те парадоксы, которые могут оказаться полезными в работе при анализе данных:

⁃ Парадокс Симпсона
Может ли быть такое, что средний чек клиентов растет, а на самом деле он падает? Да, и дело не в особенностях среднего чека, метрика может быть любой. Парадокс происходит из-за дизбаланса между группами.

Допустим, в прошлом месяце у 10 “богатых” клиентов средний чек был 100 рублей, а у 50 клиентов “среднего класса” - 40 рублей.
Тогда средний чек прошлого месяца = (10 * 100 + 50 * 40) / (10 + 50) = 50 рублей.

В текущем месяце средний чек 30 “богатых” клиентов - 80 рублей, а 30 клиентов “среднего класса” - 30 рублей. Тогда средний чек текущего месяца = (30 * 80 + 30 * 30) / (30 + 30) = 55 рублей.

Средний чек увеличился на 5 рублей по сравнению с предыдущим месяцем, но на самом деле он уменьшился, если мы посмотрим на сегменты:
⁃ у “богатых” уменьшился на 20 рублей
⁃ у “среднего класса” уменьшился на 10 рублей.

Увеличение среднего чека объясняется изменением пропорций между группами - в прошлом месяце было 10 “богатых” и 50 “средних”, в этом 30 “богатых” и 30 “средних” клиентов.


- «Из корреляции не следует каузация»
Формально это нельзя назвать парадоксом, но если посмотреть на картинку к посту, то мы увидим странную взаимосвязь: чем больше фильмов выпускает Disney, тем больше разводов в Великобритании!

Очевидно, фильмы Disney тут ни при чем. Перебирая много показателей есть шанс найти коррелируемую пару как на картинке ниже, но чтобы утверждать их взаимосвязь нужно глубоко разбираться в предметной области, а еще лучше провести эксперимент, где одну метрику мы изменяем и следим, изменится ли пропорционально ее пара.

Не ограничивай себя карьерой

Меня вдохновляют люди с интересной карьерой, которые поработали в крупных и международных компаниях. Которые из экспертов вырастали в лидов команд, руководителей департамента (-ов), а после достигали заветного C-уровня (CDO, CFO, COO или даже CEO).

Но еще больше меня вдохновляют люди, которые смогли выйти из карьерных рамок:
⁃ ведут свои обучающие курсы
⁃ продают услуги компаниям напрямую как консалтинговые фирмы
⁃ строят свои компании

Еще до начала карьеры я перепробовал кучу «темок» в попытке построить свой проект, начиная с мини-производства смеси для электронных сигарет и заканчивая перепродажей плюшевых игрушек.

После я сконцентрировался на карьере, оставив следующие попытки на когда-то «потом».

Но недавно я понял, что карьера может стать отличным толчком для развития своего проекта. И необязательно ждать, когда ты станешь большим менеджером:
⁃ мобильный разработчик может создать свое приложение с минимальными вложениями
⁃ тестировщик может запустить свой курс и обучать тех, кто хочет вкатиться в профессию без устаревшей информации как в университетах
⁃ аналитик может анализировать данные компаний напрямую от лица собственной фирмы, как это делают KPMG, PWC, Deloitte и другие

Кстати, последний пункт - это то, что я хочу сделать до конца года. Если интересно, дайте знать реакциями или комментариями, расскажу отдельным постом подробнее.

Я не призываю всех бежать открывать свой бизнес - это утопия. Но не ограничивайте себя тем, что вы можете развиваться как профессионал только в рамках корпоративной карьеры.

Статья на Хабре и увольнение

В прошлую пятницу произошло сразу 2 новости:
- вышла моя первая статья на Хабре
- я отработал последний день в Самокате

Если вам интересно узнать про оффлайн-эксперименты и операционные метрики — вот ссылка на статью.

В комментариях на Хабре можете задать любые вопросы, с удовольствием на них отвечу.

Одновременно с этим закончился мой последний рабочий день в Самокате.

Я благодарен своим коллегам и компании за эти 1.5 года бесценного опыта, которые помогли мне сильно вырасти как профессионалу.

Ну а сейчас я позволю себе побыть безработным до конца этой недели.
Stay tuned 🙂

💪 Проактивный аналитик = лучший аналитик

Сначала ты делаешь простые выгрузки.

Потом часть выгрузок перерастает в целые дашборды.

Кроме выгрузок к тебе начинают приходить с открытыми вопросами: «стало ли лучше?» или «как сделать лучше?»

Первый А/Б-эксперимент. Вот она вершина аналитики.

Ты начинаешь сам искать проблемы или точки роста.


Далеко не всегда ваши руководители, продакт менеджеры или тим лиды, знают, какими задачами вам лучше всего заниматься. И не обязаны знать.

Если аналитик хочет расти дальше, ему не достаточно просто делать то, что его просят. Ему нужно самому искать наиболее перспективные проекты, ведь он полноценный член команды, который глубоко погружен во внутренние процессы.

Эту проактивность я как раз и показываю на 1-й картинке, когда продуктовый аналитик помимо своих прямых задач начинает больше общаться со стейкхолдерами, продактами смежных направлений или руководителями выше. И участвует в их проектах. Так аналитик начинает еще больше влиять на процессы в компании.

Сегодня я выступал с темой «Кто такой продуктовый аналитик?» по приглашению в одной компании. По ссылке вы можете посмотреть все материалы и слайды.

При подготовке к докладу я нашел блог от Яндекса, в котором аналитики делятся своими исследования. Мне понравились их красивые визуальные решения и емкие статьи.