⁉️ Аналитику не обязательно уметь писать хороший поддерживаемый код.

Или все таки обязательно? И насколько вообще хорошо должен программировать на питоне продуктовый / дата аналитик?

В целом, мне кажется, ответ достаточно прост – настолько, насколько нужно для решения рабочих задач. А вот они могут быть самыми разными от компании к компании.

Понятно, что в идеальном мире лучше уметь программировать на уровне как минимум джуна разработчика, со всеми вытекающими навыками – написания поддерживаемого оптимально кода, уметь в ООП, написание тестов и так далее. Но наш мир не идеален, и кажется для начинающего аналитика это точно не первый приоритет для роста, а вот чем дальше по грейду, тем больше могут требовать уже такое.

Но лично я отталкивался бы от того, в какой компании вы работаете и какие задачи решаете, и более важно – какие вам интересны. Аналитик – это очень широкое понятие, и где-то аналитики пишут почти только на SQL, а где-то это аналитики-разработчики (или analytics-engineers), которым эти навыки как раз необходимы.

В общем, для себя я определенно вижу в этом точку роста, так как мне интересно иногда делать какие-то работающие проекты и я понимаю необходимость дополнительных знаний из разработки для того, чтобы они работали хорошо. При этом вы вполне себе успешно можете быть отличным продуктовым аналитиком, используя питон как инструмент для исследований, и приносить ценность своими инсайтами (и тут вполне будет актуальна фраза, что аналитики должны писать код, который работает один раз).

Поделитесь в комментариях, как вы думаете, должен ли аналитик быть немного разработчиком и какие именно скиллы нужны? И будет круто, если посоветуете курсы, книги, чтобы прокачать их.

Чтобы начать, вот отличный курс от MIT про базу, которую вы могли упустить.

💡 Советую крутой и неочевидный способ узнавать что-то новое про эксперименты и A/B-тесты

Возможно от обилия курсов, блогов, экспертов, научных статей и учебников вам стало скучно (ну или вы все это поглотили), тогда вот вам еще один ресурс. Лучше всего учиться чему-то у тех людей, которые профессионально в теме разбираются. В экспериментах – это те, кто делают платформы для работы с ними.

Помимо того, что ребята из таких компаний пишут статьи, блоги и выступают с докладами, но что еще более классное - часто у них есть документации их продуктов. А в них часто достаточно подробно описаны конкретные подходы для анализа экспериментов и даже математические формулы, которые вы можете уже реализовать у себя. В общем считаю, что это топ и советую вот эти три платформы и несколько материалов на почитать:

🔵 Statsig

- Как рассчитать размер выборки при использовании CUPED
- Продвинутые техники проведения экспериментов


🔵 Eppo

- Доки, где описаны подходы, которые они используют
- Байесовский vs частотный подход


🔵 Optimizely

- Идеи для оптимизации конверсии
- Почему стоит использовать последовательное тестирование

💡 Как получить практику в A/B тестах и разобраться в том, как они действительно работают?

Вы начинающий аналитик, который выучил все статистические критерии и теперь вам не терпится их применить. Или уже хорошо разобрались в A/B и просто хотите потрогать какой-то новый метод и сравнить со стандартными.

Мой ответ на то, как это сделать - найти данные и научиться моделировать. Рассказываю по порядку.

📊 Про данные.

🔵 Самый простой способ - сгенерировать искусственные данные. Идете к ChatGPT, просите дать вам код для нужного вам распределения (например Бернулли для конверсий или нормальное/экспоненциальное для денежных непрерывных метрик и так далее). Можете задавать разные параметры в распределениях теста и контроля и применять стат. тесты.

Но гораздо интереснее анализировать настоящие данные. Начинающему аналитику будет дополнительно полезно, так как из такого анализа можно сделать неплохой pet проект и показать свои знания на практике.

🔵 Такие данные можно найти в курсах по АБ тестам, которые читают ребята, занимающиеся этим непосредственно на работе. Они часто дают практические задания на обезличенных и похожих на реальные данные. Например, можно найти вот в этом курсе в разделе ДЗ.

🔵 Следующий источник с данными - kaggle. Вбиваете в поиске A/B testing и наслаждаетесь датасетами на все случаи вашей экспериментальной жизни. Вот пример. Плюсом является куча ноутбуков, покопавшись в которых можно найти много отличных гайдов.

🔵 Понимаю, возможно этого мало. Тогда предлагаю вашему вниманию датасет с 32478 экспериментами от Upworthy. Выглядит прикольно, кажется можно покопаться и посчитать интересные метрики вроде доли успешных экспериментов за несколько лет. Ну и сами тесты тоже проанализировать.

🔵 Еще два интересных датасета для uplift моделирования, но в целом их тоже можно использовать для практики АБ. Плюс там доступны фичи, поэтому можно поиграться с CUPED или CUPAC и посравнивать их между собой:

- Датасет от X5
- Датасет от Criteo


🤔 Теперь про симуляции (ака моделирование)

При выборе стат. теста и метода анализа в целом, нам важно, чтобы он был самым мощным и допускал наименьшее количество ошибок первого рода. А вот чтобы сравнить разные критерии между собой, вам стоит научиться моделированию на реальных или искусственных данных (а они уже у вас есть из пунктов выше). Вот хорошая статья, где рассказано как это делать.

Мне нравится моделирование тем, что на нему очень четко понимаешь, как работают концепции из статистики - будь то заветное p-value равное 0.05 или мощность в 80%. Ну и потом с помощью этих же приемов можно тестировать более сложные методы - такие как последовательное тестирование ( где нужно моделировать не просто итоговое распределение, а именно процесс всего теста ) или подбирать гиперпараметры casual impact или CUPAC.

🙂 10 минут чтобы задеплоить ваш data science проект

Хочу рассказать про streamlit - фреймворк, который за несколько простых строчек кода позволяет реализовать веб приложение. Считаю, что это один из лучших инструментов для ваших pet проектов и хакатонов, когда важна скорость и простота решения. Естественно, это также может быть любой сложности питоновский код, ML модель, дашборд с аналитикой и так далее. Для вдохновения - галлерея с тем, что streamlit умеет делать.

Еще один плюс - что можно совершенно бесплатно за пару минут развернуть ваше приложение на их облаке. Для примера - мое приложение, через которое можно задизайнить АБ тест и посчитать размер выборки для непрерывных поюзерных метрик, конверсий и ratio метрик. Код можно посмотреть вот тут.

Мне искренне нравится streamlit за простоту, функциональность и оч классный результат. Неоднократно использовал его для проектов как в универе, так и на хакатонах, и всегда выглядит достойно (особенно если у вас нет фронта в команде и некому пилить красивый сайт).

Использовали ли вы streamlit? Может знаете какие-то похожие крутые и полезные инструменты? Делитесь в комментариях!