Про иерархию метрик и фреймворки

Заметил забавный парадокс: почти на каждом собеседовании меня спрашивали о построении иерархии метрик, знании фреймворков HEART или AARRR и пр. Вопрос логичный – он позволяет оценить структурность мышления аналитика.

Но есть интересное наблюдение.

Когда я сам задаю вопрос потенциальным коллегам о наличии иерархии метрик, в 80% случаев получаю один из двух ответов:
- "Мы как раз работаем над созданием иерархии, будет здорово, если ты поможешь! 😉"
- "Да, она у нас есть... но требует актуализации" (читай: устарела и почти не используется)

🤔 Почему так происходит?

Я думаю, детальная иерархия метрик по-настоящему эффективна только в определенных условиях – для зрелых продуктов с устоявшейся бизнес-моделью.

Возьмем поисковые сервисы, маркетплейсы или банковские приложения – они годами оттачивают свои бизнес-процессы в рамках стабильной модели. Им жизненно важно видеть тончайшие взаимосвязи между метриками, чтобы находить новые точки роста на насыщенном рынке.

Пример: для e-commerce важно понимать, как ARPU связан с частотой покупок, средним чеком и retention, как эти метрики влияют на unit-экономику и LTV пользователей.

Что касается стартапов: многие компании находятся в процессе поиска своего product-market fit. Они экспериментируют, меняют ключевые механики и подходы каждые несколько месяцев.

Соответственно в таких условиях сложно поддерживать актуальную иерархию метрик, т.к. она устаревает быстрее, чем ее обновляют. В их случае важнее отслеживать ключевые north star метрики и вовремя их корректировать, не тратя ресурсы на поддержание всей пирамиды

В общем, вроде всем она нужна, да не все пользуются. Так что я бы не переживал, если вдруг на собесе скажете, что забыли какой-либо фреймворк. Да и не одним фреймворком единым иерархии строятся.

Уровни доказательной силы: почему А/В-тесты — это далеко не всё

Наверняка каждый аналитик слышал о могуществе A/B-тестов при проверке гипотез.

Однако иногда мне кажется, что в сообществе царит убеждение, будто только A/B-тест может дать «настоящий» ответ. Словно все остальных методов не существует. Но это не совсем так.

Существует концепция уровней доказательной силы – эдакая лестница, по которой можно подняться от самых простых наблюдений до максимально строгих научных выводов. И, поверьте, не всегда нужно сразу прыгать на верхнюю ступень.

Давайте посмотрим, как это выглядит:

1. Личное мнение (HIPPO): Самый базовый уровень. Это когда "босс сказал", "мне кажется", "интуиция подсказывает". Конечно, опыт и интуиция важны, но опираться на него как единственное доказательство – весьма рискованно.

2. Описательная статистика.
Это наша повседневная работа – EDA, изучение воронок, сравнение метрик "до" и "после" изменений, анализ дашбордов.

Отличный способ понять, что происходит, выявить тренды и аномалии. Но обычно его не хватает, чтобы выявить корневые причины проблем.

3. Качественные исследования.
Экспертные опросы, интервью, фокус-группы. Здесь мы уже пытаемся понять мотивы, боли, причины поведения.

Качественные методы дают глубину и помогают сформировать новые гипотезы, которые потом можно проверить количественно.

4. Контрфактический анализ.

Вот это уже интереснее! В эту область знания входит использование методов вроде Diff-in-Diff, Control, CausalImpact и пр. Мы пытаемся построить «искусственную» контрольную группу, чтобы оценить эффект, когда классический эксперимент провести невозможно. Очень круто для оценки масштабных изменений, например, федеральных или региональных акций.

5. Квази-эксперименты.
Здесь мы уже ближе к экспериментам, но без полной рандомизации. Diff-in-Diff, Regression Discontinuity, Matching, Controlled regression. Мы используем данные о фактическом воздействии на пользователей и пытаемся максимально приблизить наши условия к эксперименту.

6. Статистические эксперименты (A/B-тесты)
A/B-тесты, ЦПТ, Байесовские методы, бутстрап. Это наш золотой стандарт для проверки гипотез, когда мы можем рандомизировать пользователей или объекты и создать чистую контрольную группу. Здесь мы с наибольшей уверенностью можем говорить о причинно-следственной связи.

7. Научные эксперименты:
Это уже территория чистой науки – эксперименты в биологии, физике, точных науках, где контроль над условиями максимален. В бизнесе мы редко можем себе такое позволить.

8. Мета-анализ проведенных экспериментов.
Самая вершина. Регулярные обзоры и агрегация результатов множества исследований. Это позволяет получить наиболее устойчивые и обобщенные выводы по определенной теме.

Почему важно знать эту концепцию? Потому что не всегда есть возможность, ресурсы или время для проведения A/B-теста.

Иногда достаточно описательной статистики или качественного исследования, чтобы принять решение или понять, куда двигаться дальше. А иногда, наоборот, нужно что-то посильнее, чем просто "посмотрел на дашборд".

Понимание этой иерархии помогает выбрать правильный метод для конкретной задачи и не переживать, если у вас нет возможности запустить большой A/B-тест.

Главное – понимать ограничения каждого уровня и грамотно их использовать.

А как вы подходите к выбору методов проверки гипотез? Делитесь опытом! 👇

Как оценивать эксперименты, если нет контрольной группы?🔬

Как вы помните, сейчас я работаю аналитиком данных в сети пиццерий. И как можете догадаться, это преимущественно оффлайн-бизнес. Соответственно классические методы A/B тестирования здесь не работают, потому что мы не можем "просто разделить пользователей 50/50" .

Клиенты приходят в физические точки, выбор ограничен географией, а изменения часто касаются всей сети сразу.

Поэтому в офлайне постоянно возникают ситуации, где классический A/B тест невозможен:
- Запустили новое меню везде сразу
- Тестируем новый интерьер - нельзя показать "две версии" одному клиенту
- Акции привязаны к районам
- Мало посетителей для статзначимости в отдельных точках

Что делать? На помощь приходят разные методы причинно-следственного вывода - они помогают найти наиболее близкую к тесту контрольную группу в данных.

Методов на самом деле огромное количество, поэтому я выделил самые популярные:

Propensity Score Matching (PSM)🎯
Суть: Находим клиентов, похожих на участников акции, но не попавших в неё.
Пример: Акция "счастливые часы" 15-17:00. Строим модель: кто приходит в это время (близость офисов, демография района). Потом каждому клиенту из акции находим "близнеца" из обычного времени и сравниваем чеки.

Inverse Probability Weighting (IPW)⚖️
Суть: Даём разные веса наблюдениям - редким случаям больший вес, частым меньший.
Пример: Опрос о качестве, где участвуют в основном постоянные клиенты. Чтобы получить честный результат, даём ответам новичков больший вес. Или акция только в будни. Знаем, что вероятность прийти в будни зависит от района. Взвешиваем клиентов из спальных районов сильнее.

Doubly Robust🛡️
Суть: Строим две модели - для предсказания вероятности участия в тесте (propensity score) и для предсказания результата (outcome model). Метод работает корректно, даже если одна из моделей неточная.
Пример: Оцениваем эффект от новых терминалов самообслуживания. Первая модель предсказывает, кто их использует (возраст, время визита). Вторая - размер заказа (история клиента, состав компании). Если правильно построили хотя бы одну - получим честную оценку эффекта.

Difference-in-Differences (Diff-in-Diff)📈
Суть: Анализируем временные ряды двух групп - сравниваем, как изменились тренды после вмешательства.
Формула: Эффект = (После - До) в тесте МИНУС (После - До) в контроле.
Пример: Запустили бесплатную доставку в центральных районах в марте, в спальных районах оставили платную. Анализируем ежедневные продажи доставки за 3 месяца до и 3 месяца после. Эффект = изменение тренда в центре - изменение тренда в спальных районах.
Важно: До вмешательства тренды в обеих группах должны быть параллельными (parallel trends assumption).

Causal Impact🔮
Суть: Создаём "синтетический контроль" - прогнозируем, что было бы без эксперимента.
Как работает: По данным до теста строим модель, которая предсказывает метрики тестовой точки через другие пиццерии. Применяем к периоду теста и сравниваем факт с прогнозом.
Пример: Тестируем формат "только навынос" в одной точке. Используем продажи похожих точек, погоду, события района для прогноза "а что было бы как обычно".

Что выбрать?
PSM/IPW/Doubly Robust - когда различия связаны с клиентами (кто попал под акцию).
Diff-in-Diff - когда тестируете по географии и есть контрольная группа.
Causal Impact - когда тестируете в отдельных точках.

Главное: В отличие от рандомизированных экспериментов, эти методы опираются на предположения. Всегда честно описывайте ограничения.
Но это в любом случае лучше, чем "смотрим динамику и гадаем" 🍕

Что почитать если хотите углубиться в тему:
📖 Causal Inference: The Mixtape - Scott Cunningham
📖 Python Causality Handbook - Matheus Facure
📖 The Book of Why - Judea Pearl

Кто ещё работает с офлайн-экспериментами? Поделитесь опытом 👇

Как я использую ИИ в аналитике данных

Начал использовать ИИ в аналитике достаточно давно и поначалу результат был так себе: описываешь задачу - получаешь какую-то фигню на выходе. Забил на время, но иногда возвращался из-за интереса. Со временем понял, что с ИИ тоже нужно уметь работать и как-то вкатился. Сейчас использую довольно часто.

Расскажу, что получается, а что не очень

С кодом зашло неплохо

Claude AI для программирования использую чаще всего. ChatGPT тоже норм, но Claude почему-то стабильнее.

Недавно нужно было написать функцию для retention. Обычно час-два бы ковырялся с pandas, а тут написал: "Сделай функцию для retention по когортам из DataFrame с user_id, date, action" - получил готовый код за минуту.

Код в SQL/ pandas/ spark переводит хорошо, ошибки в скриптах находит быстро. Вот только бизнес-логику не понимает. Это важно учитывать при работе с кодом.

NotebookLM - лучший друг студента

NotebookLM от Google случайно попробовал месяца два назад. Можешь загрузить целую книгу и задавать по ней вопросы.

Сейчас читаю "Causal Inference in Python: Applying Causal Inference in the Tech Industry". Книгу читаю полностью, но NotebookLM помогает читать быстрее — он сразу погружается в контекст концепции, которую пытаюсь разобрать, и объясняет в нужном формате.

Например, спрашиваю: "Объясни мне формулу Doubly Robust по шагам” - и получаю именно тот ответ, который нужен для понимания и затем далее двигаюсь по книге.

Думаете это все? Он еще и подкасты генерирует на основании загруженных документов!🤯

Работа с метриками - тут посложнее

ChatGPT и Gemini пробую для работы с метриками. Хорошо структурируют идеи, но часто предлагают какую-то учебниковую ерунду.

Недавно работал над иерархией метрик для анализа маркетинговых акций. Он базовую иерархию, которая плохо подходила для решения задачи, однако в процессе общения с ним мне пришла идея посмотреть на задачу со стороны customer journey, что привело к созданию наиболее подходящей структуры метрик.

Получается своеобразная “вторая голова” об которую можно подумать.

Perplexity для парсинга

Perplexity оказался полезным для поиска данных о конкурентах.

Нужно было узнать цены конкурентов на меню в одной из стран Европы. Обычно надо тратить несколько часов на изучение сайтов или сборку парсера. А тут спросил — и он собрал информацию с разных источников, приложив ссылки. Правда, иногда попадаются неактуальные данные (поэтому я обычно дабл-чекаю результаты), но даже в таком формате это значительно экономит время.

Дизайн тестов тоже пробую

С простыми A/B тестами получается неплохо. Описываешь гипотезу и контекст — получаешь план с метриками, методом рандомизации и расчетом выборки. PROFIT

А вот сложные эксперименты - это проблема. Пытался спроектировать тест с несколькими переменными - ИИ предложил стандартную схему, но не учел особенности нашего трафика. Сам потом полдня дорабатывал дизайн.

А вот непосредственно анализ данных пока не делегирую

Для качественного анализа ИИ нужно очень много контекста - особенности бизнеса, цели исследования, нюансы данных. По времени объяснение всего этого получается сравнимо с самим процессом анализа.

Думаю, это изменится, когда в компаниях появятся внутренние ИИ-агенты, которые уже знают данные компании и понимают контекст. Но это будет нескоро - напишу свои мысли на эту тему в отдельном посте.

Главная проблема - врет

ИИ может очень убедительно придумывать факты. Особенно когда просишь что-то специфическое. Поэтому важно следить за теми результатами, которые он выдает. Даже указание на ошибки влоб иногда не помогает. Есть некоторые промпты, которые снижают случайность ответов, но не сказал бы, что они решают проблему на 100%.


Сейчас начал формировать подобие библиотеки промптов для разных задач. Возможно когда-нибудь поделюсь.

А какой у вас опыт работы с ИИ?

Как самостоятельно определять метрики, необходимые для оценки эффективности бизнеса

Работа аналитика напрямую связана с метриками продукта или бизнеса: их разработкой, мониторингом и исследованием. Но как выбирать "правильные" метрики и как с ними работать?

Ответ на этот вопрос строится на 3х аспектах: понимание целей бизнеса, аналитическое мышление, продуктовое мышление и насмотренность.

1. Понимание целей бизнеса
Этот аспект стоит первым - потому что именно от того, насколько хорошо вы понимаете текущий запрос бизнеса, зависит качество результата вашей работы, как аналитика.

Совет тут один: четко формулируйте с заказчиками цель до начала решения задачи и удостоверьтесь в том, что вы видите ее одинаково. Ну и не бойтесь задавать глупые вопросы, если вдруг что-то непонятно. Лучше это сделать заранее, чем потратить множество сил на решение не той задачи.

2. Аналитическое мышление
В этот аспект я закладываю 2 характеристики: то, под каким углом вы смотрите на проблему и то, как вы ее декомпозируете.

Под углом взгляда на проблему я подразумеваю тот подход, который вы используете при анализе проблемы. На одну и ту же задачу можно посмотреть, как со стороны пути клиента (CJM), как с финансовой стороны (P&L), так и со стороны продукта в целом. Поэтому важно понимать базовые фреймворки и уметь их адаптировать под себя.

Примеры фреймворков:
1. Пиратские метрики
- https://vc.ru/life/116967-samyy-polnyy-gayd-po-freymvorku-aarrr-s-keysami-prodakt-menedzherov-megadiska-i-storebox
- https://tilda.education/articles-aarrr-metrics
- https://userpilot.com/blog/aarra-vs-rarra/
2. HEART
- https://clevertap.com/blog/google-heart-framework/
- https://vc.ru/marketing/121986-instrukciya-po-freymvorku-heart-na-primere-komandy-megafon-biznes
3. CJM
- https://practicum.yandex.ru/blog/customer-journey-map/
- https://habr.com/ru/articles/709772/
4. P&L
- https://vc.ru/id18440/721393-prodakt-otvechayushii-za-pl-golubaya-mechta-ili-realnost
- https://www.youtube.com/watch?v=By4wAxH8D5w

Что касается декомпозиции, то базовый принцип - это MECE (Mutually Exclusive, Collectively Exhaustive). Его главная идея заключается в том, что каждая часть анализа должна быть чётко определена, не пересекаться с другими и охватывать всю проблемную область.

Расшифровка аббревиатуры:
1. Взаимоисключающие (Mutually Exclusive) — категории должны быть сформированы таким образом, чтобы между ними не было логических пересечений.
2. Cовместно исчерпывающие (Collectively Exhaustive) — все аспекты проблемы должны быть охвачены, чтобы обеспечить полное понимание.

Детальнее с принципом можно ознакомиться на хабре

3. Продуктовое мышление и насмотренность
По моему мнению, это самый комплексный и сложный в освоении аспект из всех перечисленных выше.

Он показывает, насколько хорошо вы погружены в доменную область бизнеса или продукта и как ловко вы в ней ориентируетесь. Чем лучше вы понимаете бизнес-модель вашей компании - тем проще вам будет работать с метриками. Формирует насмотренность опыт, однако получать его можно разными способами:

1. Работать в разных компаниях. Чем в большем количестве компаний вы поработали, тем выше ваша насмотренность и, соответственно, тем более тонко можете работать с метриками.

2. Изучать профессионалов. Сейчас очень много информации про различные бизнесы: конференции, лекции, разборы, подкасты, интервью и пр.

Примеры, к которым я обращаюсь:
- лекции школы менеджеров Яндекса
- записи с матемаркетинга
- лекции product-map

3. Кейсы. Стоит взять в привычку рассматривать каждый продукт/бизнес, с которым вы сталкиваетесь как потребитель как отдельный "кейс" и пытаться разобрать его бизнес-модель. Например, пользуясь приложением доставки еды, представьте себя ее владельцем. Попытайтесь определить цель бизнеса, его основную метрику и разложить ее до метрик, на которые вы можете оказать влияние.

В любом случае, эти постулаты не высечены в камне - не стесняйтесь их комбинировать и адаптировать под себя, если это помогает достичь ваших целей

Почему хороших хардов недостаточно для роста в карьере?

Иногда слышу от знакомых тимлидов похожие истории: "Нанял мидла с хорошими техническими скиллами, а он до сих пор работает как джуниор ".

В такой ситуации проблема редко связана с недостатком знаний. Разница заключается в том, как аналитик воспринимает свои задачи - как исполнитель инструкций или как участник, влияющий на результат компании.

Junior → "Калькулятор"

На старте карьеры от тебя действительно мало что ждут кроме технического исполнения.
"Посчитай retention по когортам", "Сделай разбивку конверсии по источникам" - стандартный набор задач.

Но даже на этом этапе можно работать по-разному. Когда получаешь задачу проанализировать падение активности пользователей, можно просто показать графики и сказать "активность упала на 15%". А можно попытаться понять причины: посмотреть на корреляцию с маркетинговыми активностями, изменениями в продукте, внешними факторами.

Во втором случае аналитик находит не только факт проблемы, но и её источник. Задача из разряда "посчитать и показать" превращается в "найти и решить проблему". Такие примеры проактивности всегда заметны и очень высоко ценятся.

Middle → "Консультант"

На уровне мидла уже можно и нужно предлагать свои решения. Критически важно начать связывать свою работу с бизнес-целями и откидывать задачи, которые с ними не коррелируют.

Например, при анализе эффективности каналов привлечения стандартный подход - показать CPA и ROAS по каналам. Но аналитик с пониманием бизнеса предложит посмотреть на lifetime value пользователей из разных источников.

Часто оказывается, что канал с самым высоким CPA приносит пользователей с LTV в разы выше остальных. Такой подход может кардинально поменять маркетинговую стратегию - перераспределить значительную часть бюджета в пользу более качественного источника.

Именно на этом этапе аналитик понимает: чем больше думаешь о бизнес-импакте своего анализа, тем интереснее становятся задачи и тем больше тебя ценят как специалиста. На senior+ позициях именно такие кейсы с измеримым влиянием на бизнес становятся решающими на собеседованиях или перфоманс-ревью.

Senior → "Партнер"

Как уже было сказано выше, на этом уровне от аналитика уже ждут прямого влияния на бизнес-метрики. Здесь анализ - это не цель, а инструмент для принятия стратегических решений.

Типичная ситуация: продукт сталкивается с проблемой - растет количество пользователей, но выручка на пользователя падает. Руководство планирует запустить новые платные фичи.

Аналитик-калькулятор просто проанализирует поведение пользователей и покажет воронки. Аналитик-партнер предложит другую гипотезу: проблема может быть в изменившемся миксе пользователей. Глубокий анализ показывает, что приток большого количества пользователей из нового гео с низкой покупательной способностью размывает общие метрики.

Решение оказывается простым - сегментировать метрики по регионам и скорректировать стратегию монетизации под каждый сегмент. Выручка на пользователя в старых регионах продолжает расти, а для новых разрабатывается отдельная модель.

На заре карьеры один из руководителей сказал мне, что хороший аналитик окупает затраты компании на себя в несколько раз. С тех пор я оцениваю все задачи и проекты через призму "моя работа → выручка компании". И замечаю, что именно этот фактор играет ключевую роль на ревью и собеседованиях .

Если хотите погрузиться чуть глубже и понять требования к кандидатам на каждом из грейдов, советую ознакомиться с:
— Плейбуком по грейдам аналитиков в Авито
— Гайдом GoPractice по уровням аналитиков в Яндексе

Материалы написаны достаточно давно, но не теряют своей актуальности и сейчас

Не очень относится к аналитике, но в друг кому-то будет полезно.

OpenAI выкатил бесплатный оптимизатор промптов для LLM: https://platform.openai.com/chat/edit?models=gpt-5&optimize=true

Прикольно то, что кроме готового промпта также дается подробное объяснение произведенных изменений: что именно поменяли и почему

Чувствую, необходимость в библиотеках промптов, которые некоторые старательно ведут (и даже продают), может скоро пропасть.

Многозадачность — это ложь

Многозадачность, как способность вести много дел одновременно, считается признаком высокого профессионализма. В любой компании ценят людей, которые успевают вести несколько проектов, менторить, драйвить изменения, и успевать развиваться самим. Но как они это делают?

Долгое время я искренне верил в миф, что настоящий профессионал должен легко жонглировать десятком задач в моменте. Открыл 15 вкладок, запустил три анализа, параллельно отвечаешь в чатах и участвуешь в созвонах. Вот она - настоящая продуктивность.

При этом каждый раз, когда я пытался практиковать такой подход, к вечеру (а иногда и к середине дня) накатывала усталость, гудела голова и даже наступало чувство апатии, когда ничего не хочется делать, кроме как лежать и смотреть в потолок. При этом под конец дня количество выполненных задач не увеличивалось. Увеличивалось только количество начатых. Знакомо?

Почему так происходит?

Проблема не в том, что мы делаем что-то не так или недостаточно эффективны. Основная причина в том, что настоящая многозадачность — это иллюзия.

Мы физиологически не можем направлять фокус на несколько задач одновременно. Когда мы думаем, что выполняем несколько задач, наш мозг на самом деле быстро переключается между ними. И каждое переключение стоит нам дорого.

Исследования показывают, что при переключении внимания мы "теряем" от 10 секунд до нескольких минут на восстановление контекста. Для аналитической работы на это тратится еще больше времени.

Ученые из Стэндфорда, обнаружили парадокс: люди, считающие себя мастерами в этом деле, показали худшие результаты в тестах на концентрацию по сравнению с теми, кто избегает многозадачности.

Что же делать?

Настоящий путь к многозадачности (возможности делать больше за меньший промежуток времени) - это глубокий фокус. Так что ответ прост - надо решать в моменте только одну конкретную задачу и не пытаться распыляться в надежде все успеть.

Если переходить к практическим рекомендациям, то я практикую следующее:

Планирование
У меня есть план на неделю и план на день. Каждый день в неделе у меня разделен на промежутки по 60 - 120 мин под конкретные задачи. Это может быть все, что угодно: работа, быт, спорт, хобби. Логика всегда одна: утром - самые сложные задачи/ обучение, когда мозг свежий. После обеда - коммуникации и рутина. Вечером - разгрузка мозга (хобби, спорт)

Давать мозгу скучать
Скроллинг, игры, видео не дают мозгу отдохнуть и поддерживают мозговую активность на высоком уровне. Мозг привык получать информацию и постоянно быть активным, поэтому стоит принудительно его разгружать: практиковать медитации, созерцание, прогулки. Попробуйте, например, посидеть в тишине в течение 5 минут. Можете заметить, что это не так уж и просто.

Цифровой детокс
Во время глубокой работы закрываю все лишнее. Один браузер, одна вкладка, одна задача. Телеграмм в режиме "не беспокоить”, беззвучный режим на телефоне.

Ритуал входа в рабочее состояние
Перед сложной аналитической работой создаю особую атмосферу: наушники с фокус-музыкой, чашка кофе, чистый стол. Мозг быстро привыкает к этим сигналам и настраивается на концентрацию. (на самом деле такое состояние называется поток. Оно подробно описано в книге Михайя Чиксентмихайи "Поток: Психология оптимального переживания”. Советую почитать)

Батчинг коммуникаций
Основная идея отвечать на сообщения в специально отведенное время — утром, в обед и вечером. Скажу честно - у меня получается не всегда. Но я точно сношу встречи, которые мне ставят день-в-день.

Отказывать
Если ты понимаешь, что в моменте не можешь переключиться на новую задачу и тебе требуется время на погружение, то лучше отказаться от влетевшего запроса или отложить его в бэклог, если он действительно важен. (очень часто задачи влетающие таким образом, не так уж и важны)

Будьте уверены, многозадачность — не навык, а когнитивная ловушка. В аналитике, где одна ошибка может стоить компании серьезных денег, цена рассеянного внимания слишком высока.

Попробуйте неделю работать в режиме глубокой концентрации. Вы быстро заметите, как стали успевать гораздо больше.

Джуны не нужны?

Периодически в Linkedin натыкаюсь на мнения, что вкатываться в ИТ сейчас бессмысленно - джунов никто не берет. Особенно после появления ChatGPT и различных ИИ-инструментов. Не берусь говорить про весь рынок в целом, но добавлю свои 5 копеек про рынок аналитики данных.

Согласно исследованию Я.Практикума за 2024г: джунов без опыта ищут меньше всего - всего 8.2% от общего числа вакансий. Большинство компаний предпочитают junior+ (54%) с опытом 1-3 года и middle (34.5%). Что интересно, вакансий на Senior-позиции всего 3.3%.

Кроме того, и в Додо, и в Яндексе мы не нанимали джунов.
Почему так?

Во-первых, это не выгодно. Джуниора нужно интенсивно обучать и менторить, тем самым забирая от 30-50% времени сеньоров. Все это время компания несет серьезные расходы с нулевой отдачей.

Во-вторых, качество работы. Джуниор не понимает бизнес-контекст и может потратить неделю на анализ чего угодно, только не того, что нужно. “Дали задачу посчитать конверсию воронки - получили презентацию на 10-20 слайдов с графиками не по теме" - достаточно типичная ситуация.

Однако самое болезненное - это то, что происходит дальше. Через год-полтора, когда джуниор наконец набирается опыта, он видит рынок и уходит за большими деньгами в другую компанию. Получается, что компания вложила ресурсы в обучение конкурентам.

Появление ИИ только ухудшило ситуацию. Раньше джуниор мог заниматься простыми задачами: строить базовые дашборды, делать срезы данных, считать простую статистику. Теперь многое из этого умеют делать LLM или специализированные инструменты. Планка входа поднялась - от джуниора сразу ждут более сложной работы.

Так что же - джуны и правда не нужны?

Ответ неоднозначный. В текущем формате - да, они стали экономически невыгодными для большинства компаний. Однако не стоит вешать руки.

Спрос на аналитику данных продолжает расти. Объем мирового рынка инструментов Big Data достиг $348,21 млрд с ростом на 13,2%. Каждая новая компания, выходящая в цифру, каждый интернет-магазин, каждый стартап - все они рано или поздно приходят к необходимости анализировать данные. Растет количество данных, растет ценность персонализации, растут требования к качеству аналитики.

Откуда возьмутся middle и senior специалисты, чтобы поддерживать все это, если никто не растит джунов? Люди не рождаются с готовыми навыками работы в Tableau и знанием SQL.

Получается парадокс: все хотят готовых мидлов, конкурируют за них, поднимают зарплаты. Но мидлов не становится больше - их просто перетасовывают между компаниями.

Джуны никуда не пропадут, но к ним точно вырастут требования. Если раньше можно было устроиться джуном, зная только Excel и базовый SQL, то теперь нужно:
- Понимать основы машинного обучения (потому что ИИ не заменит, а дополнит аналитика)
- Уметь работать с современными инструментами BI
- Понимать основы программирования на Python
- Иметь портфолио реальных проектов и хакатонов, а не только сертификаты курсов

По сути, новые джуны должны быть на уровне вчерашних junior+. Это болезненный, но естественный процесс - рынок адаптируется к новым реалиям.

Тем, кто все-таки хочет войти в профессию, стоит честно оценить свои возможности. Теперь нужна более серьезная подготовка и больше времени на самообразование. Я бы лично закладывал около года на освоение всех инструментов и формирование пет-проектов.

Но возможности все еще есть - просто планка стала выше.

Что такое разница-разниц и как она помогает с оценкой акций?

Ранее я писал про способы оценки экспериментов при отсутствии контрольной групппы.
Теперь вот решил написать серию постов с более развернутым разбором каждого из методов.
Этот пост будет первым и будет он про метод разницы-разниц (Difference-in-Difference).

Представьте, что ваши коллеги провели акцию в Москве и просят вас оценить ее влияние на выручку. Акция проводилась на весь город и выделить контрольную группу никто не удосужился.

Что делать?

В целом вы можете развернуть заказчика и отправить на все 4 стороны (и даже будете правы), но можете и попытаться ему помочь.

Как?
Как раз с помощью метода выше.

Обычно у нас всегда есть данные по тестовой группе: по динамике целевой метрики до и после воздействия. В нашем случае, это подневная динамика выручки до и после акции.

Кроме того, у нас могут быть данные и по другим городам. Например, данные по выручке в Санкт-Петербурге до/ после акции.

Этих данных в целом достаточно для данного метода.

В чем его суть?
Логика метода включает всего четыре составляющие:

1. Тестовая группа до воздействия - исходный уровень показателя в группе, которая будет подвержена вмешательству. (Выручка в Москве до акции)

2. Тестовая группа после воздействия - уровень показателя в той же группе после вмешательства. (Выручка в Москве после акции)

3. Контрольная группа до воздействия - исходный уровень в группе, которая не подвергается вмешательству. (Выручка в Санкт-Петербурге до акции)

4. Контрольная группа после воздействия - уровень в контрольной группе в тот же период времени. (Выручка в Санкт-Петербурге после акции)

Эффект вмешательства рассчитывается по формуле:

DiD = (После - До)₍эксперимент₎ - (После - До)₍контроль₎

Если представить формулу визуально, то DID - это разница между синий линией (фактический результат тестовой группы) и оранжевой пунктирной линией (контр-фактический результат тестовой группы). Контр-фактический результат - это предполагаемое поведение метрики в тестовой группе в случае отсутствия воздействия.

Метод кажется очень простым, однако он применим не всегда.
Для корректного применения метода необходимо соблюдать некоторые условия:

1. Параллельные тренды.
Без вмешательства целевые метрики в тесте и контроле должны иметь параллельные тренды. Эту предпосылку невозможно проверить напрямую, но можно оценить, изучив предшествующие периоды.

2. Отсутствие композиционных изменений.
Состав групп не должен существенно изменяться в период наблюдения.

3. Отсутствие других воздействий
Если в период акции тестовая группа была подвергнута и другим воздействиям, например, праздники, сезонность, параллельные акции, то DiD не сможет отделить эффект конкретной акции от остальных факторов, и выдаст смещенную оценку.

По сути, влияние других факторов - это центральная проблема причинно-следственного анализа. DiD помогает с некоторыми типами конфаундеров (постоянные различия между группами, общие временные тренды), но бессилен против временно-изменяющихся факторов, которые по-разному влияют на группы.

С этим тоже можно работать, например, используя метод DiD с контролем за ковариатами (Conditional DiD) или метод Синтетического контроля (про них я напишу в отдельных постах), но иногда хватает и стандартного DiD.

В любом случае, этот метод, как и все прочие методы оценки гипотез имеет свои плюсы и минусы и не является панацеей. Используйте каждый инструмент, учитывая его сильные и слабые стороны, и будет вам счастье😉