🏔️ Вы можете сказать, что в Грузию надо приезжать ради вина и хачапури. Я с вами конечно соглашусь, но добавлю в этот список горы.
Вообще, даже небольшие хайки, когда можно на несколько часов отключиться от реальности среди леса или гор, считаю лучшим отдыхом и просто очень люблю.
Вот так выглядит небольшой трекинг от Гомис Мта до озера Чинчао. Озеро выглядело как небольшая проталина в снегу и его почти не было видно, зато посмотрели на облака, понюхали рододендроны и насладились (выстрадали) двумя часами подъема на вершину. Было красиво. Над облаками тоже здорово постоять, как будто летишь на самолете, только стоишь на нормальной твердой земле.
Вообще, даже небольшие хайки, когда можно на несколько часов отключиться от реальности среди леса или гор, считаю лучшим отдыхом и просто очень люблю.
Вот так выглядит небольшой трекинг от Гомис Мта до озера Чинчао. Озеро выглядело как небольшая проталина в снегу и его почти не было видно, зато посмотрели на облака, понюхали рододендроны и насладились (выстрадали) двумя часами подъема на вершину. Было красиво. Над облаками тоже здорово постоять, как будто летишь на самолете, только стоишь на нормальной твердой земле.
❤18👍2
🚀 Все что вам нужно знать про методы ускорения A/B-тестов
Почему это вообще важно? Больше экспериментов означает больше проверенных (потенциально успешных) гипотез, которые улучшают продукт и приносят деньги. Иногда же, когда выборки маленькие, это просто вопрос того, а сможем ли мы достоверно задетектить хоть какой-то адекватный эффект.
Из формулы для размера выборки можно понять, что почти единственная переменная, на которую мы можем влиять, - это дисперсия данных. Грубо говоря, большая дисперсия - это много шума, за которым маленький сигнал (размер эффекта) невозможно заметить. Поэтому большинство методов как раз будет направлено на уменьшение дисперсии.
Я привел большинство известных мне методов и материалы, которые помогут хорошо в этом разобраться. Делитесь с коллегами!
🔬 Фильтрация выбросов
Начнем с самого простого, но важного. Выбросы могут искажать распределение (и ломать t-test) и увеличивать дисперсию. Чтобы корректно их убрать - посчитайте ДО эксперимента какой-то квантиль, например 99-й, и после эксперимента отфильтруйте его.
Подробнее читайте в статье от Авито: Статья на Хабр
🖇️ Стратификация / Пост-стратификация
Если сэмплировать данные случайно, а потом побить их на группы (например по типу устройства), то дисперсия будет состоять из дисперсии внутригрупповой и дисперсии между группами. Так вот стратификация как раз помогает убрать дисперсию между группами и тем самым уменьшить
итоговую. Подробнее читаем в отличной статье от X5.
🛫 CUPED
Всеми любимый CUPED по-факту является линейной регрессией над ковариатой. Часто за нее берут значение пользовательской метрики перед экспериментом, но в целом она может быть любой, главное - не нее не должен влиять эксперимент. За счет того, что мы объясняем часть дисперсии данными до эксперимента, это позволяет выделить именно эффект от изменений и его дисперсия, как правило, меньше.
К сожалению, он не всегда эффективен, например, когда у вас большинство покупок происходит один раз или просто редко (например про покупке авиабилета или машины), данных до эксперимента зачастую просто нет.
А если у вас ratio-метрика, то сначала ее надо линеаризовать, после чего можно спокойно применять CUPED.
- Статья от Netflix
- Статья от X5
- Доклад от Валеры Бабушкина
📈 VWE
Еще один интересный метод по сокращению дисперсии от Facebook, основанный на перевзвешивании, учитывая предэкспериментальные данные. По их исследованиям, вместе с CUPED дает почти 50% сокращение дисперсии.
- Статья от Facebook
- Обзор метода от expf
Почему это вообще важно? Больше экспериментов означает больше проверенных (потенциально успешных) гипотез, которые улучшают продукт и приносят деньги. Иногда же, когда выборки маленькие, это просто вопрос того, а сможем ли мы достоверно задетектить хоть какой-то адекватный эффект.
Из формулы для размера выборки можно понять, что почти единственная переменная, на которую мы можем влиять, - это дисперсия данных. Грубо говоря, большая дисперсия - это много шума, за которым маленький сигнал (размер эффекта) невозможно заметить. Поэтому большинство методов как раз будет направлено на уменьшение дисперсии.
Я привел большинство известных мне методов и материалы, которые помогут хорошо в этом разобраться. Делитесь с коллегами!
🔬 Фильтрация выбросов
Начнем с самого простого, но важного. Выбросы могут искажать распределение (и ломать t-test) и увеличивать дисперсию. Чтобы корректно их убрать - посчитайте ДО эксперимента какой-то квантиль, например 99-й, и после эксперимента отфильтруйте его.
Подробнее читайте в статье от Авито: Статья на Хабр
🖇️ Стратификация / Пост-стратификация
Если сэмплировать данные случайно, а потом побить их на группы (например по типу устройства), то дисперсия будет состоять из дисперсии внутригрупповой и дисперсии между группами. Так вот стратификация как раз помогает убрать дисперсию между группами и тем самым уменьшить
итоговую. Подробнее читаем в отличной статье от X5.
🛫 CUPED
Всеми любимый CUPED по-факту является линейной регрессией над ковариатой. Часто за нее берут значение пользовательской метрики перед экспериментом, но в целом она может быть любой, главное - не нее не должен влиять эксперимент. За счет того, что мы объясняем часть дисперсии данными до эксперимента, это позволяет выделить именно эффект от изменений и его дисперсия, как правило, меньше.
К сожалению, он не всегда эффективен, например, когда у вас большинство покупок происходит один раз или просто редко (например про покупке авиабилета или машины), данных до эксперимента зачастую просто нет.
А если у вас ratio-метрика, то сначала ее надо линеаризовать, после чего можно спокойно применять CUPED.
- Статья от Netflix
- Статья от X5
- Доклад от Валеры Бабушкина
📈 VWE
Еще один интересный метод по сокращению дисперсии от Facebook, основанный на перевзвешивании, учитывая предэкспериментальные данные. По их исследованиям, вместе с CUPED дает почти 50% сокращение дисперсии.
- Статья от Facebook
- Обзор метода от expf
❤8
💪 Использование ML
Вспомним, что CUPED - это линейная регрессия, так что нам мешает использовать продвинутый ML на большем количестве фичей? Ничего, так и надо делать.
Существует несколько вариаций применения машинного обучения, которые глобально похожи - по предэкспериментальным (или просто независимым) данным предсказывается значение метрики в эксперименте. Но в отличие от CUPED эти походы могут находить нелинейные зависимости и сильнее сокращать дисперсию.
Вот статьи, в которых можно про это почитать и посмотреть на код.
Cupac / Doubly robust
Обзор от Glovo
Код - GitHub (единственное, там косяк в вычислении CUPED, надо поправить ковариацию)
Статья от Авито на Хабр.
MLRATE
Статья на arxiv.
Две статьи на medium про ускорение экспериментов, со сравнением нескольких методов ускорения: раз, два.
Код из статей.
Вспомним, что CUPED - это линейная регрессия, так что нам мешает использовать продвинутый ML на большем количестве фичей? Ничего, так и надо делать.
Существует несколько вариаций применения машинного обучения, которые глобально похожи - по предэкспериментальным (или просто независимым) данным предсказывается значение метрики в эксперименте. Но в отличие от CUPED эти походы могут находить нелинейные зависимости и сильнее сокращать дисперсию.
Вот статьи, в которых можно про это почитать и посмотреть на код.
Cupac / Doubly robust
Обзор от Glovo
Код - GitHub (единственное, там косяк в вычислении CUPED, надо поправить ковариацию)
Статья от Авито на Хабр.
MLRATE
Статья на arxiv.
Две статьи на medium про ускорение экспериментов, со сравнением нескольких методов ускорения: раз, два.
Код из статей.
❤7🔥1
💡 Что продакту нужно знать про A/B-тесты?
A/B-тесты - это далеко не только про статистику, методы их ускорения и т.п. Большую роль играют процессы и культура экспериментов в компании. А культура зависит от людей, принимающих решения и ответственных за развитие продукта. Поэтому для выстраивания вот этой вашей дата-дривен культуры важно чтобы у всех ваших коллег, так или иначе связанных с экспериментами, был достаточный уровень погружения.
На карточках привел пункты, которые я, как аналитик, считаю важными для понимания у всех, кто работает над A/B-тестами.
А вот по этим материалам можно за короткое время получить хорошую базу:
- Доклад от Яндекса
- Бесплатный курс от udacity
- Небольшой курс в виде набора статей от dinamycyield
- Короткий и годный обзор, полено для поднимания стат. тестов
- Статья на Хабр
Для чуть большего погружения:
- Бесплатный курс по А/Б-тестам от Яндекс-практикума
- Достаточно известная (и очень полезная) книжка про весь процесс А/Б-тестирования: Trustworthy Online Controlled Experiments, Ron Kohavi , Diane Tang, Ya Xu (также есть на перевод на русский - Доверительное А/Б-тестирование)
Когда ты погружаешься в тему, кажется, что все уже всё знают, ведь так много курсов, статей и разборов всех возможных ошибок. Но подозреваю, что на самом деле всё не так радужно и культуру экспериментов еще развивать и развивать. Поэтому делитесь этим постом с коллегами, давайте вместе двигать эксперименты в счастливое будущее 🚀
A/B-тесты - это далеко не только про статистику, методы их ускорения и т.п. Большую роль играют процессы и культура экспериментов в компании. А культура зависит от людей, принимающих решения и ответственных за развитие продукта. Поэтому для выстраивания вот этой вашей дата-дривен культуры важно чтобы у всех ваших коллег, так или иначе связанных с экспериментами, был достаточный уровень погружения.
На карточках привел пункты, которые я, как аналитик, считаю важными для понимания у всех, кто работает над A/B-тестами.
А вот по этим материалам можно за короткое время получить хорошую базу:
- Доклад от Яндекса
- Бесплатный курс от udacity
- Небольшой курс в виде набора статей от dinamycyield
- Короткий и годный обзор, полено для поднимания стат. тестов
- Статья на Хабр
Для чуть большего погружения:
- Бесплатный курс по А/Б-тестам от Яндекс-практикума
- Достаточно известная (и очень полезная) книжка про весь процесс А/Б-тестирования: Trustworthy Online Controlled Experiments, Ron Kohavi , Diane Tang, Ya Xu (также есть на перевод на русский - Доверительное А/Б-тестирование)
Когда ты погружаешься в тему, кажется, что все уже всё знают, ведь так много курсов, статей и разборов всех возможных ошибок. Но подозреваю, что на самом деле всё не так радужно и культуру экспериментов еще развивать и развивать. Поэтому делитесь этим постом с коллегами, давайте вместе двигать эксперименты в счастливое будущее 🚀
❤13👍1
💡Основная задача продуктового аналитика - это не проводить эксперименты, считать метрики, строить отчетность и т.д., а помогать развивать бизнес и искать точки роста на данных. Всё, перечисленное ранее, - лишь инструменты, которые в этом помогают.
А как искать точки роста, рассказываю в карточках.
Какие методы для поиска точек роста вы используете у себя и какие показывают себя наиболее эффективно? Делитесь в комментариях!
А как искать точки роста, рассказываю в карточках.
Какие методы для поиска точек роста вы используете у себя и какие показывают себя наиболее эффективно? Делитесь в комментариях!
❤17🔥1