Надо ли проверять данные на нормальность для теста Стьюдента?

По мотивам недавнего вебинара в соавторстве с Леной Рыбиной написала небольшую статью на нашу любимую тему - проверки распределения на нормальность для t-теста.

Ключевые моменты:

— Поговорили про историю проблемы и разобрали, почему сложившаяся блок-схема выбора статистического теста не совсем оптимальна (но вслепую действовать как на приложенной картинке тоже не стоит, лучше читайте статью 🤓);

— Обсудили, почему тест Манна-Уитни не является непараметрической заменой теста Стьюдента;

— Поговорили про преобразования (Бокс-Кокс) и их применимость и ограничения.


Спасибо всем, кто помогал в редактировании и вычитывании, без этого статья не была бы написана!

Пишите в комментариях, а проверяют ли у вас выборки на нормальность (или еще не начали или уже перестали)?

#полезное #stats #stats_fun

Про преобразования данных

В прошлый раз коротко затронула вопрос преобразований, которые делают, чтобы «привести данные к нормальности». Давайте разберём это чуть подробнее.

Дисклеймер: сама идея «приводить выборку к нормальному распределению» не всегда обоснованна. Нас обычно интересует не распределение самих наблюдений, а распределение выборочных средних, которое при достаточно больших выборках гарантируется центральной предельной теоремой (тут тоже есть нюансы, более подробно в статье).

Основная проблема любых преобразований - потеря интерпретируемости преобразуемой величины.

Тем не менее бывают ситуации, где преобразования действительно уместны. Один из распространенных примеров — логарифмирование (частный случай Бокс–Кокс-преобразования).
Стоит отметить, что логарифмирование применимо только к положительным значениям, при нулях или отрицательных значениях обычно делают сдвиг на константу, про это нужно не забывать при интерпретации преобразованных данных.

🌱В биологических данных логарифмирование применяется регулярно к определенным типам данных. Например, в количественной ПЦР (qPCR) измеряют, сколько раз ДНК удваивается на каждом цикле амплификации. Получается экспоненциальный рост: с каждой итерацией количество продукта увеличивается в 2 раза. Чтобы было удобнее работать с такими данными, их переводят в логарифмическую шкалу, тогда экспоненциальный рост превращается в линейный. Это упрощает интерпретацию и уменьшает дисперсию. Кроме того, логарифмирование переводит отношения в разности, что облегчает сравнение образцов и расчёт изменений экспрессии.

🧬В bulk RNA-seq логарифмирование тоже используется, но обычно для логарифма fold change — чтобы сделать данные более удобными для интерпретации и визуализации: например, если экспрессия гена в тестовой группе снизилась в два раза, log₂-fold-change будет равен -1 (а не 0.5). Такой формат проще интерпретировать и визуализировать, особенно при работе с тысячами генов. Что касается исходных данных (каунтов), для них характерно увеличение дисперсии вместе с увеличением средних значений (overdispersion), поэтому вместо логарифмирования обычно применяют модели на основе отрицательного биномиального распределения, которые это учитывают.

То есть в науке часто используют более сложные преобразования, чем логарифмирование.

📊В продуктовой аналитике такие приёмы встречаются реже, но не исключены. Во-первых, логарифм среднего чека сам по себе интерпретируется иначе: он отражает относительные изменения, а не абсолютные рубли — это удобно для анализа эластичностей. Во-вторых, в A/B-тестах обычно большие выборки и нормальность распределения выборочных средних обеспечивает ЦПТ, поэтому ключевыми становятся дизайн эксперимента, корректное логгирование событие, проверка на SRM и тп, а не нормализация данных.

Однако иногда логарифмирование в аналитике оправдано — например, если метрика имеет сильно вытянутый правый хвост (ARPU, время сессии). Логарифм сжимает экстремальные значения и уменьшает влияние редких больших наблюдений на среднее и дисперсию; после лог-преобразования оценки и остатки модели нередко становятся более устойчивыми.

Но лично мне не доводилось применять такое на практике, расскажите, кто использовал, есть ли в этом смысл вообще?

#analytics

Матемаркетинг-2025 — главная конференция осени по продуктовой аналитике

20–21 ноября в Москве пройдёт Матемаркетинг’25 - топовая конфа по продуктовой и маркетинговой аналитике. Я лично большой фанат конференции — каждый раз заряжаюсь идеями и возвращаюсь с новыми контактами и вдохновением 🔥 (а еще мерчом 😏).
В этот раз я тоже планирую приехать, присоединяйтесь!

Что на конференции самое полезное?

🔘Крутые доклады для разной аудитории, от джунов до синьоров, для A/B тестеров, маркетинговых аналитиков, ML-щиков и не только;
🔘Нетворкинг и общение, особенно актуально тем, кто постоянно на удаленке (как например я);
🔘Рефералки для тех, кто ищет работу или сотрудников;
🔘Разнообразные стендовые активности, где можно неформально пообщаться с коллегами, порешать интересные аналитические задачки и обсудить тренды в индустрии

Программа

По промокоду SFS10 будет скидка 10%

Подробная информация о конференции на сайте

Типичное собеседование на продуктового аналитика

Открываю новую рубрику про собеседования 🔥
Как раз сейчас осень, а значит активная пора найма.
Сегодня разберем общую структуру собеседований на продуктового аналитика и самые типичные задачи.

Для большинства собесов характерны примерно такие секции:

🟡 Лайвкодинг на SQL и опционально Python.
SQL обычно спрашивают уровня джойнов и группировок, также очень часто встречаются задачи на оконки, диалект значения не имеет.
На тему питона обычно покрутить табличку в пандасе. На этой секции нередко можно гуглить или переспрашивать, как пишется конкретная функция, но это зависит от собеседующего. Запускать код как правило нет возможности, так что надо представлять, что будет после выполнения той или иной операции.
Здесь в основном проверяется просто способность писать код, слишком сложных задачек скорее не будет, так как надо уложиться в полчаса-час.

🟡 Секция по продуктовому мышлению и A/B тестированию.
Для меня самая интересная секция, но и самая сложная. Здесь будут вопросы про метрики, дизайн A/B тестов, что такое MDE, p-value, поправки на множественное тестирование и тп.
Могут спросить, как выбрать целевую метрику, как объяснить заказчику статистически незначимый результат 😬, что делать, если падают ключевые метрики.
В основном проверяется структурность мышления, способность коммуницировать с заказчиком, а на уровне middle и выше желательно уметь работать в условиях с нечетким ТЗ.

🟡 Секция по теории вероятностей.
Отдельная секция бывает не всегда, но если будет, то обычно там вопросы про монетки и кубики, формулу полной вероятности и Байеса.

🟡Кроме этого, на собеседовании в ❤️ могут быть задачи на алгоритмы уровня easy/middle с литкода.
Здесь пожалуй воздержусь от оценочных суждений о необходимости этой секции на собеседовании аналитика 🤓 (но вы сами и так знаете)

Типичные задачи на каждую секцию:

SQL:
🔘Найти пользователей, которые начали оформление заказа, но не оплатили его;
🔘Вывести топ-3 категорий по выручке;
🔘Посчитать 7-дневный retention по событиям.

Продукт:
🔘Конверсия выросла, а выручка упала — почему?
🔘Почему одни и те же метрики различаются на разных дашбордах?
🔘Как оценить влияние нового дизайна карточки товара?

Теорвер:
🔘Если вероятность успеха 0.3, какова вероятность получить хотя бы один успех за 3 попытки?

Алгоритмы:
🔘Найти дубликаты в массиве

Опытные любители ходить на собеседования, дополняйте в комментариях 👇

#собес_PA #analytics

R или Python в аналитике?

Наконец-то решила написать про эту холиварную тему 😏
Будет максимально объективно, так как работала с R не только в науке, но и в продакшне в 🖤.

Плюсы 🖥:
🟡Статистика из коробки – большинство статистических тестов, в том числе сложных, доступно без установки дополнительных пакетов.
🟡Очень удобный и юзер-френдли синтаксис в tidyverse, а в data.table – высокая скорость и оптимизация по памяти.
🟡Лучшая визуализация: ggplot2 за счет подхода грамматики графики позволяет делать сколь угодно сложные и кастомные графики.
🟡Векторизация позволяет писать без циклов, повышая читаемость и снижая количество ошибок.
🟡С помощью пайпов и NSE (not standard evaluation) работа с табличками становится очень удобной и читаемой (ниже закинула пример кода для сравнения).

Плюсы 👩‍💻:

🟡Большинство аналитиков, по крайней мере в РФ, пишут на питоне.
🟡Девопсы обычно умеют разворачивать питон приложения.
🟡Экосистема для машинного обучения сильнее: scikit-learn, pytorch, keras.
🟡airflow для оркестрации изначально рассчитано под питон, писать даги в airflow на R теоретически можно, но это будет странно.

Минусы 🖥:

🟡Чтобы получить плюсы от производительности, нужно писать в data.table стиле, которому мало где учат. На онлайн-курсах аналитиков данных в принципе не изучают R, большинство R-щиков из академической среды.
🟡Разворачивать приложения и оркестрацию для продакшна можно, но нужно уметь это готовить. Например, у нас в 🖤 весь бизнес-мониторинг работал на связке ClickHouse + R + data.table, оркестрация ETL-пайплайнов через AWX Ansible. Но я больше нигде не видела подобную инфру, поэтому предполагаю, что с нуля настроить инфраструктуру проще на связке питон + airflow. Пользуясь случаем, передаю приветы команде BMS в X5 Tech ❤️
🟡Если уходить в машинное обучение, то в R все же слабее пакеты.
🟡Визуализация это круто, но дашборды все равно делают отдельными инструментами: Tableau, Superset, DataLens и так далее.

Минусы 👩‍💻

🟡В pandas низкая производительность и неудобный синтаксис по сравнению с tidyverse/data.table.
🟡 Визуализация менее лаконична: matplotlib даже для простых графиков требует простыню кода, а seaborn менее кастомизируем. Но здесь для фанатов R можно использовать plotnine, портированный ggplot2 (но он все равно будет с урезанным функционалом).

✍️ Сравнение кода на R и Python

Типичная задача продуктового аналитика: рассчитать ARPPU по двум группам A/B теста (в комментарии закину воспроизводимый пример, а еще пример расчета t-теста на обоих языках).

df_arppu <- df %>%
  summarise(user_total = sum(revenue), .by = c(ab_group, user_id)) %>%   # суммируем платежи пользователя
  summarise(
    paying_users = sum(user_total > 0),
    total_revenue = sum(user_total),
    ARPPU = ifelse(paying_users > 0, total_revenue / paying_users, NA_real_),
    .by = ab_group
  )

df_arppu = (
    df
    .groupby(['ab_group', 'user_id'], as_index=False)
    .agg(user_total=('revenue', 'sum'))   # суммируем платежи пользователя
    .groupby('ab_group', as_index=False)
    .agg(
        paying_users=('user_total', lambda x: (x > 0).sum()),
        total_revenue=('user_total', 'sum')
    )
    .assign(
        ARPPU=lambda d: np.where(d['paying_users'] > 0,
                                 d['total_revenue'] / d['paying_users'],
                                 np.nan)
    )
)

Ну как, какой вариант кажется более понятным и лаконичным? Пишите в комментариях 👇

Сейчас я в основном пишу на питоне, это удобнее в командной работе, коллеги могут переиспользовать и ревьюить ноутбуки, а еще ETL-процессы в airflow.
Но использую R для некоторых задач A/B тестирования или продуктовых исследований.

В продуктовой аналитике нет особого преимущества одного языка над другим, так как ML обычно не используется, а тяжелые логи можно агрегировать на стороне SQL, поэтому в лимит по памяти пандаса тоже не упираюсь. Мне конечно самой было бы приятнее писать на R, но что поделать, рыночек порешал 😬

В принципе, писать можно на чем угодно, главное, выполнять задачи вовремя и качественно)

#analytics #R #python

Розыгрыш билетов на Матемаркетинг

Выше писала анонс про самую топовую конфу для аналитиков, а здесь анонсирую розыгрыш трех онлайн-билетов на Матемаркетинг'25.

Напомню основное: конференция будет 20–21 ноября в Москве, по промокоду SFS10 будет скидка 10%, я сама приеду, так что будет отличная возможность пообщаться вживую ❤️

Розыгрыш будет в трех номинациях:

🟡Ваш любимый мем на тему аналитики, статистики и работы с данными
🟡Что вас больше всего вдохновляет в своей профессии?
🟡Самое сложное в аналитике, с чем довелось столкнуться (начиная от проблем с данными и заканчивая общением с заказчиками, но далеко не ограничиваясь этим).

Победителя в каждой категории буду выбирать генератором случайных чисел 🎲
Участвовать можно в одной категории
Результаты будут объявлены 5 ноября в 19.00 МСК

Да, самое лучшее это ходить на конференции по возможности офлайн, но онлайн зато можно больше сконцентрироваться на докладах, а не на разорении стендов с мерчом 😎

Жду ваших комментариев 👇!

#analytics

Продуктовые метрики: ультимативный гайд как не запутаться

Я уже писала выше, что самое сложное в продуктовой аналитике - это метрики. Настало время раскрыть эту мысль чуть подробнее.
Здесь будем обсуждать только классические продуктовые метрики, кастомные оставим за скобками для следующего раза.

Если просто вбить в поиск “продуктовые метрики”, можно утонуть в списках и статьях. Проблема не только в количестве самих метрик (их правда много), но и в том, как их классифицировать. Перечислять метрики бессмысленно, но и с классификациями тоже не всё просто: их много, и каждая решает свою задачу. В итоге у нас не только сотни метрик, но и десятки разных способов их группировать.

Давайте попробуем распутать эти классификации и посмотрим, какие из них наиболее последовательные и логичные.
Помогут нам в этом старые добрые правила логического деления, прям из курса философии, напомню их кратко:
🟡Деление должно быть по одному основанию.
🟡Деление должно быть полным (охватывать все элементы).
🟡Члены деления должны исключать друг друга.
🟡Деление должно быть последовательным, без перескоков между уровнями.

Основные существующие классификации:

🟡Классификация от GoPractice:
- метрики роста
- метрики продукта
- метрики эффективности решения задачи пользователя
- метрики добавочной ценности
Последние два вида метрик дополнили сравнительно недавно.
🟡Популярные фреймворки для работы с метриками:
- AAARRR (Awareness – Acquisition – Activation – Retention – Referral – Revenue), пиратские метрики – отражают этапы пользовательской воронки;
- HEART (Happiness – Engagement – Adoption – Retention – Task success);
- Дерево метрик - способ организации иерархии метрик в конкретном продукте.
🟡В A/B тестировании метрики могут быть
- целевые
- прокси
- заградительные
- информационные

Но не все эти классификации соответствуют правилам деления, описанным выше.

Например, классификация метрик в A/B тестировании отлично работает для своей задачи, но не охватывает многообразие метрик в целом (=деление не полное).
AAARRR и HEART удобны для анализа воронки пользователей, но нарушают правило деления по одному основанию и перескакивают между уровнями. Дерево метрик классно подходит для анализа продукта, но не отвечает на вопрос, какие метрики бывают в принципе, то есть чтобы построить дерево метрик, надо быть уже достаточно погруженным в контекст.

Деление GoPractice кажется довольно удачным, так как позволяет структурировать метрики по смыслу (правда, затрудняюсь сказать, какое там основание деления, но это работает).
Финансовые метрики, которые часто выделяют в отдельную категорию, в этой классификации относятся
🟡к метрикам роста (все абсолютные значения, такие как GMV, EBITDA)
🟡к метрикам продукта (все "средние" значения: ARPU, ARPPU, средние чеки, LTV и тд).

Единственное, в классификацию GoPractice не входят маркетинговые метрики, но поскольку есть почти все остальные, это наиболее полная и непротиворечивая классификация.
Возможно, стоит ее дополнить отдельно маркетинговыми метриками, например, СPC (Cost per click), CAC (Customer acquisition cost) и другими.


Классификация GoPractice довольно неплохая для старта в метриках, хоть она не полностью удовлетворяет правилам логического деления. Тем не менее, из того что нашла я, это ближе всего к осмысленной систематизации, которая помогает разобраться во всем многообразии метрик.

А какие источники по метрикам вы считаете самыми полезными/непротиворечивыми/всеобъемлющими? Дополняйте в комментариях 👇

#analytics #metrics

🎉 Пятничный нетворкинг!

Предлагаю немного познакомиться – расскажите про себя, телеграм-каналы, пет-проекты или что-то ещё, чем хотите поделиться

Пишите в комментариях:

🟡 Из какой вы области, чем занимаетесь
🟡 Кидайте ссылки на свои телеграм-каналы/блоги + короткое описание, о чём они

Тематика полностью свободная: аналитика, статистика, дизайн, лайфстайл, научпоп — всё приветствуется

И маленькая просьба к авторам каналов:
пожалуйста, не только оставляйте свой канал, но и загляните к другим.
Уверена, среди всего многообразия найдётся что-то необычное и интересное именно вам ✨

Поехали! Делитесь 👇

Перед тем как напишу про ММ, рассказала как не надо проводить A/B тесты.
https://t.me/bashnya_education/721

Тут должен быть мотивационный спич, напишу коротко, что в результате подобных историй, мы сделали обновленный процесс A/B тестирования, где вероятность таких ситуаций сведена к минимуму. В общем не ломайте A/B тесты, проверяйте заранее все на корректность)

Ну а что касается улучшения процессов A/B, про это думаю написать отдельно, хотя и кажется, что таких материалов уже достаточно. Пишите, если интересно почитать про опыт улучшения процессов в отдельно взятом Литресе 👇

#analytics #AB_tests