💪 Использование ML
Вспомним, что CUPED - это линейная регрессия, так что нам мешает использовать продвинутый ML на большем количестве фичей? Ничего, так и надо делать.
Существует несколько вариаций применения машинного обучения, которые глобально похожи - по предэкспериментальным (или просто независимым) данным предсказывается значение метрики в эксперименте. Но в отличие от CUPED эти походы могут находить нелинейные зависимости и сильнее сокращать дисперсию.
Вот статьи, в которых можно про это почитать и посмотреть на код.
Cupac / Doubly robust
Обзор от Glovo
Код - GitHub (единственное, там косяк в вычислении CUPED, надо поправить ковариацию)
Статья от Авито на Хабр.
MLRATE
Статья на arxiv.
Две статьи на medium про ускорение экспериментов, со сравнением нескольких методов ускорения: раз, два.
Код из статей.
Вспомним, что CUPED - это линейная регрессия, так что нам мешает использовать продвинутый ML на большем количестве фичей? Ничего, так и надо делать.
Существует несколько вариаций применения машинного обучения, которые глобально похожи - по предэкспериментальным (или просто независимым) данным предсказывается значение метрики в эксперименте. Но в отличие от CUPED эти походы могут находить нелинейные зависимости и сильнее сокращать дисперсию.
Вот статьи, в которых можно про это почитать и посмотреть на код.
Cupac / Doubly robust
Обзор от Glovo
Код - GitHub (единственное, там косяк в вычислении CUPED, надо поправить ковариацию)
Статья от Авито на Хабр.
MLRATE
Статья на arxiv.
Две статьи на medium про ускорение экспериментов, со сравнением нескольких методов ускорения: раз, два.
Код из статей.
❤7🔥1
💡 Что продакту нужно знать про A/B-тесты?
A/B-тесты - это далеко не только про статистику, методы их ускорения и т.п. Большую роль играют процессы и культура экспериментов в компании. А культура зависит от людей, принимающих решения и ответственных за развитие продукта. Поэтому для выстраивания вот этой вашей дата-дривен культуры важно чтобы у всех ваших коллег, так или иначе связанных с экспериментами, был достаточный уровень погружения.
На карточках привел пункты, которые я, как аналитик, считаю важными для понимания у всех, кто работает над A/B-тестами.
А вот по этим материалам можно за короткое время получить хорошую базу:
- Доклад от Яндекса
- Бесплатный курс от udacity
- Небольшой курс в виде набора статей от dinamycyield
- Короткий и годный обзор, полено для поднимания стат. тестов
- Статья на Хабр
Для чуть большего погружения:
- Бесплатный курс по А/Б-тестам от Яндекс-практикума
- Достаточно известная (и очень полезная) книжка про весь процесс А/Б-тестирования: Trustworthy Online Controlled Experiments, Ron Kohavi , Diane Tang, Ya Xu (также есть на перевод на русский - Доверительное А/Б-тестирование)
Когда ты погружаешься в тему, кажется, что все уже всё знают, ведь так много курсов, статей и разборов всех возможных ошибок. Но подозреваю, что на самом деле всё не так радужно и культуру экспериментов еще развивать и развивать. Поэтому делитесь этим постом с коллегами, давайте вместе двигать эксперименты в счастливое будущее 🚀
A/B-тесты - это далеко не только про статистику, методы их ускорения и т.п. Большую роль играют процессы и культура экспериментов в компании. А культура зависит от людей, принимающих решения и ответственных за развитие продукта. Поэтому для выстраивания вот этой вашей дата-дривен культуры важно чтобы у всех ваших коллег, так или иначе связанных с экспериментами, был достаточный уровень погружения.
На карточках привел пункты, которые я, как аналитик, считаю важными для понимания у всех, кто работает над A/B-тестами.
А вот по этим материалам можно за короткое время получить хорошую базу:
- Доклад от Яндекса
- Бесплатный курс от udacity
- Небольшой курс в виде набора статей от dinamycyield
- Короткий и годный обзор, полено для поднимания стат. тестов
- Статья на Хабр
Для чуть большего погружения:
- Бесплатный курс по А/Б-тестам от Яндекс-практикума
- Достаточно известная (и очень полезная) книжка про весь процесс А/Б-тестирования: Trustworthy Online Controlled Experiments, Ron Kohavi , Diane Tang, Ya Xu (также есть на перевод на русский - Доверительное А/Б-тестирование)
Когда ты погружаешься в тему, кажется, что все уже всё знают, ведь так много курсов, статей и разборов всех возможных ошибок. Но подозреваю, что на самом деле всё не так радужно и культуру экспериментов еще развивать и развивать. Поэтому делитесь этим постом с коллегами, давайте вместе двигать эксперименты в счастливое будущее 🚀
❤13👍1
💡Основная задача продуктового аналитика - это не проводить эксперименты, считать метрики, строить отчетность и т.д., а помогать развивать бизнес и искать точки роста на данных. Всё, перечисленное ранее, - лишь инструменты, которые в этом помогают.
А как искать точки роста, рассказываю в карточках.
Какие методы для поиска точек роста вы используете у себя и какие показывают себя наиболее эффективно? Делитесь в комментариях!
А как искать точки роста, рассказываю в карточках.
Какие методы для поиска точек роста вы используете у себя и какие показывают себя наиболее эффективно? Делитесь в комментариях!
❤17🔥1
🔵 Сила маркетинга или самый синий город в Марокко.
В нескольких предыдущих постах рассказывал про Танжер, сегодня - про одно из самых инстаграмных мест в нескольких часах езды от него. Это небольшой город - Шефшауэн или, как его называют, синий город.
Моя основная претензия - уровень его синести. Мое экспертное мнение говорит, что синий он процентов на 30, а известность получил за свет нескольких действительно красивых синих улиц и фото его общего плана под правильным светом. Жена со мной при этом не согласна и считает его достаточно синим для своего названия (все равно считаю, что могли бы и побольше домов в синий покрасить).
А вообще, город уютный, действительно атмосферный и стоит того, чтобы потратить на него один день. Он достаточно маленький, при этом там очень много узких арабских улочек. Можно просто несколько часов бродить по ним, рассматривая двери с мозаиками, фонари, естественно, котов и забредая в лавки с местными крафтовыми изделиями.
Что меня еще приятно поразило - это горы вокруг него. Если не знать, что это север Африки, то спокойно можно сказать, что это где-нибудь в Бока-Которском заливе в Черногории. Природа как всегда удивительна.
Рассудите, пожалуйста, нас с женой)
🌚- недостаточно синий
🔥- вполне себе синий
В нескольких предыдущих постах рассказывал про Танжер, сегодня - про одно из самых инстаграмных мест в нескольких часах езды от него. Это небольшой город - Шефшауэн или, как его называют, синий город.
Моя основная претензия - уровень его синести. Мое экспертное мнение говорит, что синий он процентов на 30, а известность получил за свет нескольких действительно красивых синих улиц и фото его общего плана под правильным светом. Жена со мной при этом не согласна и считает его достаточно синим для своего названия (все равно считаю, что могли бы и побольше домов в синий покрасить).
А вообще, город уютный, действительно атмосферный и стоит того, чтобы потратить на него один день. Он достаточно маленький, при этом там очень много узких арабских улочек. Можно просто несколько часов бродить по ним, рассматривая двери с мозаиками, фонари, естественно, котов и забредая в лавки с местными крафтовыми изделиями.
Что меня еще приятно поразило - это горы вокруг него. Если не знать, что это север Африки, то спокойно можно сказать, что это где-нибудь в Бока-Которском заливе в Черногории. Природа как всегда удивительна.
Рассудите, пожалуйста, нас с женой)
🌚- недостаточно синий
🔥- вполне себе синий
🔥25🌚4🦄4