🛩 Это я (аэрофоб) сижу в Абу-Даби после одного четырехчасового перелета, жду следующий пятичасовой и слушаю подкаст с Виктором Кантором и Эмели Драль про карьеру в DS. Мои перелеты обычно проходят через страдания прослушивания чего-то и залипания в очень простые игры, чтобы отвлечь свой мозг от тревожных мыслей о нахождении на огромной высоте в небе.

В общем, это была длинная подводка к тому, что подкасты я очень люблю и хочу рассказать о нескольких, которые я периодически слушаю в самых разных ситуациях, будь то полет или прогулка вдоль моря.

Podlodka - подкаст про жизнь в it, от разработки, карьеры до здоровья, эмиграции и осознанности. Много интересных выпусков, кажется каждый может найти что-то для себя. Для примера - вот выпуск про осознанность, а вот про культурную интеграцию экспатов.

Это считается - единственный известный мне подкаст про аналитику (расскажите в комментах, если знаете другие), ребята из Тинькофф обсуждают близкие мне около-аналитические и жизненные темы. Вот про то, что уставшая лошадь плохо закрывает спринты.

Собес - пожалуй лучший подкаст от Киры Кузьменко про поиск работы. Если ищете сейчас, то слушайте подряд все выпуски и будет вам успех.

🙄И еще парочку подкастов для души:

Bushwaker - самые крутые трансляции по истории. Мне очень зашло про темные века и про историю Руси, лекций там на десятки часов, это правда интересно, рекомендую.

Основа - научпоп подкаст, начиная с астрофизики (рекомендую выпуски с Семихатовым, Поповым и Сурдиным) до Римской империи и динозавров.

У холмов есть подкаст - любимый тру-крайм подкаст с периодическим лаем и звуками лапок Марва на фоне.

📈📉 Разбираемся с diff-in-diff: как провести A/B без A/B, откуда взять p-value и при чем тут линейная регрессия

Не всегда есть возможность провести A/B тест (маркетинговые кампании, уже все раскатили и надо проверить эффект, и т.д.). В таком случае на помощь может прийти Difference-in-Differences (DiD).

Суть метода достаточно проста и хорошо иллюстрируется картинкой. Вместо того, чтобы просто сравнить значение до и после начала эксперимента (так мы не делаем из-за сезонности, внешних воздействий и т.д.) в тестовой группе, мы подбираем контрольную группу, максимально похожую по динамике на тестовую до начала эксперимента, и считаем разницу:

Оценка DiD = (Метрика в тесте после начала эксперимента − Метрика в тесте до начала эксперимента) − ( Метрика в контроле после начала эксперимента − Метрика в контроле до начала эксперимента)

Основное предположение для этого метода - параллельность трендов теста и контроля. То есть без влияния изменений в тесте, динамика в группах осталась бы одинаковой. Самый простой способ это проверить и в целом подобрать контроль - построить динамику на исторических данных и сравнить визуально (aka на глаз). Так же проверить это можно, используя плацебо тесты - применяя DiD на данных до эксперимента и считая p-value (значимости не должно быть). Получаются своего рода АА-тесты.

Окей, с сутью вроде бы разобрались, теперь вопрос - а откуда взять p-value, если мы считаем просто разность разностей и это одно число?

Ответ в линейной регрессии. И построить ее можно, только если у нас есть юниты (пользователи, магазины, города, что-то еще) и, соотвественно, у них есть значения метрик и какая-то дисперсия.

DiD представляем вот в таком виде (для каждого юнита):

Y = B0 + B1 * IsTreatment + B2 * IsPost + B3 * IsTreatment * IsPost + e

- Y: значение метрики
- B0: значение метрики контроля до эксперимента
- IsTreatment: было ли воздействие (0 или 1)
- IsPost: до или после начала эксперимента (0 или 1)
- IsTreatment * IsPost: идентификатор, отвечающий за оценку DiD
- B3: искомый нами эффект
- e: ошибка

Обучив линейную регрессию (например из statsmodels), мы узнаем p-value для B3, оно и будет отвечать за влияние изменений в тесте (IsTreatment * IsPost) на значение метрики и будет нашим искомым.

Это становится чуть более понятно, если посмотреть на данные и код, поэтому для более подробного изучения советую ознакомться вот с этим:

- Статья на medium от Coursera
- Глава из учебника про Causal Inference
- Обзорная статья на medium

И еще несколько полезных статей про метод:

- Статья от Spotify про то, как бороться с автокорреляция при использовании DiD
- Как использовать diff-in-diff для пропорций

Улучшением этого подхода будет Synthetic Control, но про него уже в следующих сериях.

📱 Несколько простых техник, чтобы улучшить качество ответов ChatGPT

Считаю ChatGPT отличным помощником в некоторых задачах (в разумных пределах). Я пока еще остаюсь продуктовым аналитиком и на prompt engineer переучиваться не собираюсь, но немного изучил тему с написанием промптов, чтобы максимально эффективно использовать модель в работе. Делюсь основными техниками, которые должны в этом помочь:

- Писать на английском. Тут просто – было больше данных для обучение, лучше результат.
- Четко и понятно формулировать задачу и в каком формате нужен ответ.
- Давать как можно больше контекста. Потратьте чуть больше времени и опишите задачу, что вы хотите и дайте дополнительную информацию.
- Задавать роль. Если вам нужно реализовать ML модель, начните промпт словами – ты опытный ML engineer в сфере… И по аналогии для вашей задачи.
- Давать примеры, если возможно.
- Просить решение по шагам или привести ход рассуждений.

💡 Несколько трюков, которые могут помочь:

- Немного давить на эмоции нейросети (еще немного и начнем заботиться о том, а мечтают ли андроиды об электроовцах). Например, попросите нейросеть сделать как можно лучше, так как от этого зависит ваша карьера. Еще можно попробовать трюк - пообещать 1000 долларов за лучший ответ.
- Использовать LLM чтобы составить лучший промпт.
- Попросить модель проверить свой ответ на адекватность и исправить ошибки, если они в нем есть (тут не надо переусердствовать, а то модель может начать галлюцинировать).

📚 И вот вам подборка ресурсов, если хотите погрузиться подробнее:

- Гайд от OpenAI
- Огромнейшая подборка ресурсов от OpenAI
- Хороший гайд от X5

⁉️ Аналитику не обязательно уметь писать хороший поддерживаемый код.

Или все таки обязательно? И насколько вообще хорошо должен программировать на питоне продуктовый / дата аналитик?

В целом, мне кажется, ответ достаточно прост – настолько, насколько нужно для решения рабочих задач. А вот они могут быть самыми разными от компании к компании.

Понятно, что в идеальном мире лучше уметь программировать на уровне как минимум джуна разработчика, со всеми вытекающими навыками – написания поддерживаемого оптимально кода, уметь в ООП, написание тестов и так далее. Но наш мир не идеален, и кажется для начинающего аналитика это точно не первый приоритет для роста, а вот чем дальше по грейду, тем больше могут требовать уже такое.

Но лично я отталкивался бы от того, в какой компании вы работаете и какие задачи решаете, и более важно – какие вам интересны. Аналитик – это очень широкое понятие, и где-то аналитики пишут почти только на SQL, а где-то это аналитики-разработчики (или analytics-engineers), которым эти навыки как раз необходимы.

В общем, для себя я определенно вижу в этом точку роста, так как мне интересно иногда делать какие-то работающие проекты и я понимаю необходимость дополнительных знаний из разработки для того, чтобы они работали хорошо. При этом вы вполне себе успешно можете быть отличным продуктовым аналитиком, используя питон как инструмент для исследований, и приносить ценность своими инсайтами (и тут вполне будет актуальна фраза, что аналитики должны писать код, который работает один раз).

Поделитесь в комментариях, как вы думаете, должен ли аналитик быть немного разработчиком и какие именно скиллы нужны? И будет круто, если посоветуете курсы, книги, чтобы прокачать их.

Чтобы начать, вот отличный курс от MIT про базу, которую вы могли упустить.

💡 Советую крутой и неочевидный способ узнавать что-то новое про эксперименты и A/B-тесты

Возможно от обилия курсов, блогов, экспертов, научных статей и учебников вам стало скучно (ну или вы все это поглотили), тогда вот вам еще один ресурс. Лучше всего учиться чему-то у тех людей, которые профессионально в теме разбираются. В экспериментах – это те, кто делают платформы для работы с ними.

Помимо того, что ребята из таких компаний пишут статьи, блоги и выступают с докладами, но что еще более классное - часто у них есть документации их продуктов. А в них часто достаточно подробно описаны конкретные подходы для анализа экспериментов и даже математические формулы, которые вы можете уже реализовать у себя. В общем считаю, что это топ и советую вот эти три платформы и несколько материалов на почитать:

🔵 Statsig

- Как рассчитать размер выборки при использовании CUPED
- Продвинутые техники проведения экспериментов


🔵 Eppo

- Доки, где описаны подходы, которые они используют
- Байесовский vs частотный подход


🔵 Optimizely

- Идеи для оптимизации конверсии
- Почему стоит использовать последовательное тестирование

💡 Как получить практику в A/B тестах и разобраться в том, как они действительно работают?

Вы начинающий аналитик, который выучил все статистические критерии и теперь вам не терпится их применить. Или уже хорошо разобрались в A/B и просто хотите потрогать какой-то новый метод и сравнить со стандартными.

Мой ответ на то, как это сделать - найти данные и научиться моделировать. Рассказываю по порядку.

📊 Про данные.

🔵 Самый простой способ - сгенерировать искусственные данные. Идете к ChatGPT, просите дать вам код для нужного вам распределения (например Бернулли для конверсий или нормальное/экспоненциальное для денежных непрерывных метрик и так далее). Можете задавать разные параметры в распределениях теста и контроля и применять стат. тесты.

Но гораздо интереснее анализировать настоящие данные. Начинающему аналитику будет дополнительно полезно, так как из такого анализа можно сделать неплохой pet проект и показать свои знания на практике.

🔵 Такие данные можно найти в курсах по АБ тестам, которые читают ребята, занимающиеся этим непосредственно на работе. Они часто дают практические задания на обезличенных и похожих на реальные данные. Например, можно найти вот в этом курсе в разделе ДЗ.

🔵 Следующий источник с данными - kaggle. Вбиваете в поиске A/B testing и наслаждаетесь датасетами на все случаи вашей экспериментальной жизни. Вот пример. Плюсом является куча ноутбуков, покопавшись в которых можно найти много отличных гайдов.

🔵 Понимаю, возможно этого мало. Тогда предлагаю вашему вниманию датасет с 32478 экспериментами от Upworthy. Выглядит прикольно, кажется можно покопаться и посчитать интересные метрики вроде доли успешных экспериментов за несколько лет. Ну и сами тесты тоже проанализировать.

🔵 Еще два интересных датасета для uplift моделирования, но в целом их тоже можно использовать для практики АБ. Плюс там доступны фичи, поэтому можно поиграться с CUPED или CUPAC и посравнивать их между собой:

- Датасет от X5
- Датасет от Criteo


🤔 Теперь про симуляции (ака моделирование)

При выборе стат. теста и метода анализа в целом, нам важно, чтобы он был самым мощным и допускал наименьшее количество ошибок первого рода. А вот чтобы сравнить разные критерии между собой, вам стоит научиться моделированию на реальных или искусственных данных (а они уже у вас есть из пунктов выше). Вот хорошая статья, где рассказано как это делать.

Мне нравится моделирование тем, что на нему очень четко понимаешь, как работают концепции из статистики - будь то заветное p-value равное 0.05 или мощность в 80%. Ну и потом с помощью этих же приемов можно тестировать более сложные методы - такие как последовательное тестирование ( где нужно моделировать не просто итоговое распределение, а именно процесс всего теста ) или подбирать гиперпараметры casual impact или CUPAC.

🙂 10 минут чтобы задеплоить ваш data science проект

Хочу рассказать про streamlit - фреймворк, который за несколько простых строчек кода позволяет реализовать веб приложение. Считаю, что это один из лучших инструментов для ваших pet проектов и хакатонов, когда важна скорость и простота решения. Естественно, это также может быть любой сложности питоновский код, ML модель, дашборд с аналитикой и так далее. Для вдохновения - галлерея с тем, что streamlit умеет делать.

Еще один плюс - что можно совершенно бесплатно за пару минут развернуть ваше приложение на их облаке. Для примера - мое приложение, через которое можно задизайнить АБ тест и посчитать размер выборки для непрерывных поюзерных метрик, конверсий и ratio метрик. Код можно посмотреть вот тут.

Мне искренне нравится streamlit за простоту, функциональность и оч классный результат. Неоднократно использовал его для проектов как в универе, так и на хакатонах, и всегда выглядит достойно (особенно если у вас нет фронта в команде и некому пилить красивый сайт).

Использовали ли вы streamlit? Может знаете какие-то похожие крутые и полезные инструменты? Делитесь в комментариях!