Подборка материалов и статей по А/Б-тестам, которая будет полезна как начинающим, так и продолжающим аналитикам / data сатанистам / продактам / всем заинтересованным.

Я не встречал ни одного бесплатного ресурса, который покрывал бы более-менее все аспекты А/Б-тестов, но читал много блогов, статей, курсов и хочу поделиться самыми полезными на мой взгляд.

Подборку организовал так, чтобы человек, только приступающий к изучению А/Б-тестирования, мог бы двигаться от начала к концу статьи (и просветлению) и постепенно изучать необходимые для уверенного понимания процесса А/Б-тестирования топики. И при этом, любой заинтересованной мог бы выбрать статью из определенной темы и изучить что-то новое или освежить старое, но забытое.

Все аспекты не покроешь в одном месте, поэтому пишите в комментариях ваши любимые материалы по этим и другим темам, и делитесь с коллегами)

📖 База

- Бесплатный курс по А/Б-тестам от Яндекс-практикума, рекомендую для понимания базы (или освежить знания) - ссылка на курс
- Достаточно известная (и очень полезная) книжка про весь процесс А/Б-тестирования: Trustworthy Online Controlled Experiments, Ron Kohavi , Diane Tang, Ya Xu (также есть на перевод на русский - Доверительное А/Б-тестирование)

📊 Статистика и стат. критерии

- Что такое z-score и p-value: статья на хабр
- Классная статья от ребят из ВК про стат. тесты и их мощность: статья на medium
- Бутстрап: статья на хабр
- Большая подборка материалов по статистике от expf: статья на medium

🧪 Дизайн тестов

- Статьи от expf: Раз, Два
- Размер выборки для А/Б теста с ratio-метрикой: статья на medium

#ab_testing #подборка

🚀 Ускорения тестов и чуть более продвинутые темы

От X5:

- Стартификация
- Ratio-метрики
- CUPED

От Авито: Раз, Два, Три

Еще немного про CUPED и CUPAC: ссылка на medium

Последовательное тестирование:

- Статьи от Spotify: Раз, Два, Три
- Про подглядывание и mSPRT: ссылка
- Пример реализации mSPRT для бинарной метрики: ссылка

⛵ Платформы для экспериментов

Авито: ссылка на хабр
Uber: Раз, Два
Ozon: статья на хабр

🌍 Разное полезное про АБ в целом

- Классная статья про А/Б от Ozon: статья на хабр
- Проверка корректности стат. критериев с помощью моделирования на python: статья на хабр
- Аналоги А/Б, когда А/Б невозможно: статья на medium
- Вопросы на собеседованиях: ссылка
- Большая подборка материалов от топовых зарубежных компаний: ссылка на github

#ab_testing #подборка

Как бы я искал работу прямо сейчас?

Полгода назад я искал работу (успешно), и думаю, что у меня получилось сформировать для себя стратегию, которая хорошо работает.

В трех постах максимально коротко и по делу расскажу, как бы я действовал, какие ресурсы использовал и как бы готовился.

Disclaimer: я предполагаю, что у вас нет выгорания, срочной необходимости найти работу (иначе нечего будет кушац) и тп. Рекомендации будут максимально полезны около-аналитическим специалистам. Но написанное в данном посте будет актуально всем.

Чтож (похрустел пальцами), начнем.

🚦Перед тем как начинать откликаться на вакансии

Звучит банально, но поймите, чего вы хотите. Сформируйте для себя критерии того, где вы готовы работать. Это стабильность в большом финтехе или больше денег (но и нагрузки и горящей пятой точки) в стартапе? Или может вы чувствуете, что вас тянет в сторону travel-tech (это про меня) или ed-tech. Это правда важно, ценности компании должны совпадать с вашими, а если сфера вам интересна, то и вставать на работу в понедельник будет сильно проще. Подумайте, на какие компромиссы вы готовы пойти (например ради большой зарплаты или релокации) и сформируйте список ред-флагов. Ответьте для себя на вопросы:

- В какой сфере я хочу работать
- В какой компании
- К чему я хочу прийти в своей карьере в ближайшие несколько лет
- Какие ресурсы на поиск я готов выделить и какие у меня сроки

А теперь я ненадолго стану амбассадором и ее агентства NewHR с их подкастом СОБЕС и вебинарами на YouTube. СОБЕС я прослушал весь, и его можно использовать как бесплатное (и очень крутое) руководство по всему циклу поиска работы от карьерной стратегии, до прохождения собеседований. А для меня это еще было эмоциональной поддержкой и мотивацией. В трансляциях прожарки резюме, обзоры рынка и общие видео на тему поиска работы. В общем, Kire огромное спасибо, и сильнейшая рекомендация подписаться на них во всех возможных местах (до начала поиска работы). Ну и ко всем дальнейшим пунктам их материалы тоже актуальны.

🔍 Анализ рынка

Кажется сейчас рынок в России становится опять кандидатским, правда только для сеньоров (джунам сочувствие и лучи поддержки), а зарубежный как всегда высококонкурентный и работодательский.

Оцените востребованность и кол-во открытых вакансий, сколько готовы платить и какие условия предлагают.

Я использую:

- Glassdor
- LinkedIn
- Телеграм канал с вакансиями: https://t.me/foranalysts
- Телеграм бот getmatch: @g_jobbot

✍️ Резюме

Ох, как много про это уже сказано, но повторю тезисно:

- На одну страницу, в pdf. Я использую вот этот шаблон, там очень удобно можно его редактировать в Latex.
- В вашем резюме должны быть ваши достижения, а не обязанности. Используйте формулу XYZ: Accomplished [X] as measured by [Y], by doing [Z].
- Статья от agilefluent на хабр о том, как составить резюме: ссылка
- Телеграм канал, где много советов по составлению резюме и можно попросить его прожарить: https://t.me/resume_review

#career

Продолжаю рассказывать про свою стратегию поиска работы

Поиск работы, часть два. Без лишних предисловий, приступим к самой мякотке поиска работы (слово подцеплено из моего любимого тру-крайм подкаста).

LinkedIn

Последнюю работу я нашел с помощью LinkedIn, поэтому считаю его одним из самых важных ресурсов для поиска. 

Не буду много говорить про оформление профиля, тут просто направлю к Ивану Доронину и его отличным закрепленным постам в LinkedIn, начать можно вот с этого - ссылка.

Напомню, что как и в резюме, вам необходимо показать свои достижения (формула XYZ) как в описании к каждому рабочему месту, так и в секции About. Секция About достаточно важна, я пишу там несколько предложений про себя в целом, свои достижения и навыки/стек.

При добавлении к людям в connections я придерживаюсь следующей стратегии: целевая аудитория - ваши потенциальные Hiring Managers. То есть если я подаюсь на вакансию Product Analyst, то стараюсь добавляться в контакты к Analytics Team Lead, Analytics Manager, Head of Analytics и так далее, аналогично по другим специальностям. Так же добавляюсь к своим коллегами и рекрутерам/HR. Так, если вы сообщите, что начинаете искать работу, у вас гораздо больше шансов выйти на потенциально заинтересованного в вас человека.

В очередной раз посоветую подкаст СОБЕС от Киры Кузьменко (это в последний раз, но это не точно), например вот этот выпуск.  
И вот этот выпуск от Анны Наумовой тоже супер полезный.

Как откликаться на вакансии

Кажется сегодня бездумные отклики на тысячи вакансий приводят только к выгоранию. Нам же нужен (успешный) успех, поэтому вспомните про то, чего вы хотите от работы, найдите несколько десятков идеальных вакансий и откликайтесь на них.

⁃ Старайтесь модифицировать резюме конкретно под их требования.
⁃ Ищите рефералы (хеллоу LinkedIn), Hiring manager или рекрутера и пишите им напрямую. Пишите вежливо, коротко, подсветив свои достижения и почему Вы - лучший мэтч. Так шанс на дальнейшие этапы будет существенно выше.
⁃ А ещё полезно в эксельке фиксировать все компании и этапы интервью.

#career

Про самопрезентацию и behavioral интервью

В любой большой компании у вас будет behavioral интервью, и если вы не соответствуете ценностям компании и не продемонстрируете необходимых софт скиллов, то вы можете хоть три раза закончить Гарвард, вас вероятно не возьмут. На все вопросы нужно отвечать по методике STAR:

- Ситуация (situation): что случилось, какая была задача или проблема
- Задача (task): что нужно было сделать
- Действие (action): что вы сделали, показываете свой вклад, демонстрируете какой-то свой софт скилл, умение грамотно взаимодействовать с коллегами, решать проблемы и проявлять себя и т.д.
Результат (result): что в итоге получилось и как разрешилась ситуация

Иногда рекомендуют добавлять ещё один пункт Reflection - что вы вынесли из ситуации и чему научились.

Для более подробного изучения рекомендую вот эти статьи:

Статья на Хабр
Гайд от LinkedIn

А вот список самых популярных вопросов от LinkedIn. Вспомните про свой опыт, и попробуйте тезисно расписать свои ответы на вопросы, использую методику STAR. Так, во-первых, вы будете к ним готовы, а во-вторых, будете меньше волноваться на собеседовании. Особенно это актуально для тех, кто собеседуется в иностранные компании - стоит потренироваться в слух отвечать на эти вопросы, да и там к ним относятся более серьезно, это определенно добавит вам уверенности на этапе собеседования.

#career

Забавное наблюдение из статистики моего первого поста про поиск работы на LinkedIn.

Он набрал около 50к просмотров, кажется достаточная выборка, чтобы провести небольшое исследование рынка. На скрине - топ профессий людей, которые его увидели.

Причем это явно не моя основная аудитория (у меня в основном аналитики в контактах), так что тут явно поработали рекомендательные алгоритмы LinkedIn. При условии, что они хорошо работают (а я думаю, что хорошо) и рекомендуют ищущим работу людям посты именно про это, можем понять кто именно больше всего заинтересован в поиске - инженеры, qa, фронты, продакты и проджекты.

Выводы я бы сделал такие:
- возможно распределение таково, просто потому что это распределение профессий в целом и Software Engineer, QA, Frontend - банально самые распространенные в it (что в целом логично)
- либо это действительно профессии, которые наиболее заинтересованы в поиске прямо сейчас и их больше всего на рынке
- такое распределение случайно сложилось из-за особенностей рекомендаций LinkedIn и моих контактов

Было бы интересно знать статистику рынка по профессиям и демографиям в риал тайм. Наверное в LinkedIn аналитиком работать достаточно прикольно - они то как раз могут видеть эту общую картину. Я думаю в действительности некоторый микс из моих выводов, на это повлияли и рекомендации, и кол-во людей каждого Job Title, которые в свою очередь рождают спрос/предложение. Так что не удивительно, если профессии, где больше всего людей, и ищут работу в больших количествах.

Как аналитику подготовиться к техническому собеседованию?

Это третья и заключительная часть про поиск работы. В предыдущих двух (раз, два) рассказал про то, что нужно сделать до начала поиска, резюме, LinkedIn и отклики на вакансии.

Чтож, вы написали отличное резюме, откликнулись на вакансию мечты, прошли HR-скрининг и теперь вас ждут на технической части (или нескольких). Ниже материалы, которые использовал для подготовки я. 

📝 Несколько общих полезных ресурсов

- Статья от Авито с матрицей компетенций
- Статья от Яндекса про найм аналитиков. Там же можно найти много материалов для подготовки к алгоритмам. 
- StrataScratch. На мой взгляд один из лучших ресурсов для нарешивания задач по всем темам от топовых зарубежных компаний.
- Подборка тестовых заданий от Pavel Bukhtik. 

🔢 Теорвер и статистика

- Cheat sheets от StrataScratch: раз, два
- Курс, чтобы подтянуть знания от khanacademy
- Практика на StrataScratch

💻 SQL

Для изучения (и повторения):
- Классный курс от @KarpovCourses
- Хороший интерактивный курс с практикой

Для практики: 
- Задачи по SQL на leetcode
- Задачи по SQL на StrataScratch

🐍 Python 

При подготовке я бы сделал упор на нарешивание задач:

- GitHub с примерами
- Практика на StrataScratch

🎯 А/Б-тесты

Про А/Б-тесты рассказывал в двух предыдущих постах (раз, два), там найдете все необходимые ресурсы для подготовки.
Общий совет: разберитесь во всем пайплайне проведения теста - от гипотезы и дизайна до подведения итогов. Повторите про проверку гипотез, уровень значимости, мощность, p-value и стат. тесты. Вспомните про проблему подглядывания, как рассчитывать размер выборки и потом переходите к более продвинутым темам.

#career

Продуктовые кейсы

Называться это может по-разному, например Product Sense, Metric/Business Case, либо без какого-то определенного названия, а просто одна из аналитических секций (такие есть, например, в Яндекс и Авито).

Здесь вам предложат продуктовую задачу, это может быть какая-то аномалия в данных (упала метрика и надо погенерить из-за чего), предложат гипотезу и попросят поразмышлять о том, стоит ли ее катить, или попросят придумать метрику. Часто на этой секции также проверяют знание статистики, А/Б-тестов, метрик продукта и оценивают насколько вы вообще умеете в продуктовое мышление и problem solving.

Так как же проходить такие секции?
- Во-первых, выучить техническую составляющую - статистику, A/B-тесты и метрики.
- Во-вторых, развивайте насмотренность - наблюдайте как с такими задачами справляются продукты в вашем продукте, читайте блоги, смотрите разборы на YouTube, посмотрите на примеры таких заданий в сборнике тестовых в посте выше.
- В-третьих, составьте для себя фреймворк, по которому будете отвечать на вопросы такого типа и практикуйтесь.

Мой фреймворк примерно такой:
1. Определить проблему. На этом этапе важно задать как можно больше уточняющих вопросов, чтобы быть максимально в контексте задачи. Не надо сразу бросаться в генерацию рандомных гипотез.
2. В чем финальная цель? На этом этапе необходимо понять чего мы хотим достичь и как это измерить. То есть, надо определиться с целевой метрикой успеха, вспомогательными метриками и guardrail метриками, которые мы не должны уронить.
3. Теперь, в зависимости от задачи, начинается либо процесс генерации гипотез, либо ваш рассказ о том, как проводить A/B-тест (либо что-то вместо него, когда он не возможен).
4. В итоге, необходимо прийти к конечному ответу, будь то ответ на то, почему что-то случилось с метрикой, или запускать новую фичу или нет. Не забываем связать это с предыдущими пунктами. Тут также можно пообсуждать альтернативные варианты, последствия вашего принятого решения, влияние на другие метрики и так далее.

Чтобы более подробно во все это погрузиться, советую посмотреть вот эти видео на YouTube:
- Раз
- Два (пример из меты)
- Три (пример из lyft)
- Четыре (пример из linkedin)

Пример таких вопросов на StrataScratch

Последний, возможно очевидный, но важный совет: перед собесом обязательно изучите продукт и отрасль компании, в которую вы собеседуетесь. С большой долей вероятности, кейс из именно такой сферы вам могут предложить на собесе. То есть, если вы идете собеседоваться в Яндекс Поиск, то подумайте о том, какой метрикой можно оценить качество поиска, если это Uber - поймите как работает продукт со стороны пользователя и водителя и так далее. Это может сильно помочь в прохождении секции и выделить вас на фоне других кандидатов.

#career

💪 Нужен ли ML аналитикам?

Перед тем как стать продуктовым аналитиком, я собирался стать дата-сайентистом и усиленно изучал машинное обучение. Потом вдруг оказалось, что код в ноутбуках особо не нужен, а нужны сложные работающие и поддерживаемые сервисы. А для этого нужны уже ML-инженеры. Но потом оказалось, что на самом деле компаниям нужны не супер крутые нейронки или бустинги, а получать прибыль и иметь для этого инструменты. И машинное обучение - лишь один из них.

Поэтому если вы сейчас аналитик, то я бы предложил относиться к ML как к классному и полезному в некоторых задачах инструменту. Это определенно не то, что стоит начать изучать сразу после базового питона и sql. Если посмотреть на развитие аналитики в разных компаниях, то к использованию ML приходят далеко не в самом начале. Главное в начале - иметь надежное хранилище данных, настроенную отчетность, платформу для А/Б-тестов и аналитиков, которые стабильно будут приносить продукту инсайты, которые помогут ему расти.

Тем не менее, в какой-то момент карьеры и зрелости компании можно задуматься о том, что ML все-таки полезно иметь в своем арсенале. Прогнознные модели финансовых показателей, сегментации, предсказание оттока, да даже продвинутые эксперименты (CUPAC и вот это все) и Casual Impact - это то, что определенно приносит пользу бизнесу. А для реализации не всегда нужен именно ML-инженер, вероятно Data Engineer вместе с аналитиком может настроить хорошие базовые пайплайны и поддержку моделей.

В некоторых компаниях в вакансиях продуктовых аналитиков уже сейчас в требования входит знание ML (но в основном это скорее желательно, а не обязательно). Мне лично нравится потенциальная эволюция продуктовых аналитиков в то, что в Meta называют Product Data Scientist - аналитик со знаниями ML и хорошо разбирающийся в экспериментах.

Так что кажется пока что ML все еще не необходимость, но полезный скилл, который выделит вас на фоне коллег и откроет вам больше возможностей. Ну и как же круто - вы можете немного побыть волшебником и попредсказывать будущее ✨

Чтобы начать, я бы посоветовал курсы на kaggle - там можно быстро понять основы и попробовать ML на практике. Вот курс с введением в ML.
А для чуть более глубокого понимания есть недавно переработанная специализация от Andrew Ng на Coursera, ставшая уже классикой.

А что вы думаете о необходимости знания ML аналитикам? Делитесь в комментариях!

#ml