Forwarded from Автостопом по аналитике
Выгрузила в ноушн мысли по составлению дерева метрик.
В основном - для продуктовых аналитиков Додо, чтобы валидировать их понимание иерархической реальности.
Но в целом, если вы только начали думать в сторону иерархии метрик в своём продукте, то вам тоже зайдёт.
В основном - для продуктовых аналитиков Додо, чтобы валидировать их понимание иерархической реальности.
Но в целом, если вы только начали думать в сторону иерархии метрик в своём продукте, то вам тоже зайдёт.
Конспект лекции "Что должен знать о финансах каждый product-менеджер и аналитик?" с открытого трека Матемаркетинга:
https://messy-caption-8ff.notion.site/product-4a641832018240558a7ceab4a9a5e97b
https://messy-caption-8ff.notion.site/product-4a641832018240558a7ceab4a9a5e97b
messy-caption-8ff on Notion
Что должен знать о финансах каждый product-менеджер и аналитик? | Notion
Юнит экономика и P&L
Forwarded from Борис опять
# Серия постов: Минимальные знания Software Engineering для Data Scientist
Минимальный список необходимых тем по инженерии для DS. Со ссылками и упражнениями для закрепления. Расчитан на месяц очень неспешного изучения.
0. Введение и зачем это может быть нужно
1. Часть 1
2. Часть 2
3. Часть 3
Минимальный список необходимых тем по инженерии для DS. Со ссылками и упражнениями для закрепления. Расчитан на месяц очень неспешного изучения.
0. Введение и зачем это может быть нужно
1. Часть 1
2. Часть 2
3. Часть 3
Forwarded from Chief Philosophy Officer
Забавно, но становление функции исследований в отдельно взятой компании проходит те же этапы, что проходила наука на протяжении последних столетий:
Догматизм средневековья - отцы-основатели компании все знают, они нас и ведут в светлое будущее
Ранний позитивизм Конта - Соберем побольше всяких разных данных в одну большую базу и сразу как все поймем и про рынок, и про пользователей.
Фальсификационизм Поппера - просто собирать все подряд данные в мешок мало, нужно еще проверять. Все покроем АБ-тестами!
Постпозитивизм Куна - А почему мы именно так формулируем свои гипотезы. А именно так формулируя, например, кто наша ЦА, мы случайно не предопределяем факты о ней, которые можем найти?
Релятивизм Блура - кстати, а что такое "факт", нам нужны именно такие "факты"?
Догматизм средневековья - отцы-основатели компании все знают, они нас и ведут в светлое будущее
Ранний позитивизм Конта - Соберем побольше всяких разных данных в одну большую базу и сразу как все поймем и про рынок, и про пользователей.
Фальсификационизм Поппера - просто собирать все подряд данные в мешок мало, нужно еще проверять. Все покроем АБ-тестами!
Постпозитивизм Куна - А почему мы именно так формулируем свои гипотезы. А именно так формулируя, например, кто наша ЦА, мы случайно не предопределяем факты о ней, которые можем найти?
Релятивизм Блура - кстати, а что такое "факт", нам нужны именно такие "факты"?
Forwarded from Не AБы какие тесты
Не пропускаем понедельник, товарищи-статистики!
Хотел продолжить серию про секвентальное тестирование, но уже довольно свежий (!) и интересный алгоритм показался мне прям сильно сложнее для объяснения, чем тот, что был ранее, поэтому сегодня поговорим про оценку кумулятивного эффекта - то, как несколько изменений, по которым были тесты, повлияли совместо.
Классическая и очень простая история это выделить глобальную контрольную группу, - holdout, - на которую какое-то время не будет распространяться никаких улучшений.
Но что если такую группу выделить по каким-то причинам невозможно, а оценить нужно?
Причины могут быть от технических допрое "забыли".
В начале года столкнулся с тем, что нужно было продумать, как оценить кумулятив при сценарии невозможности выделения holdout'a. И на методологию от Airbnb, которая мне очень пришлась по душе (так как математически выведена оценка!), меня навел Влад. Статья ниже написана в том числе благодаря его материалам, большое ему спасибо!
Статья начинается со слов "Winner's Curse", Проклятье победителя: смысл в том, что в рамках аукциона, где продается неких товар, победитель аукциона (а это часто наибольшая ставка) скорее всего заплатит больше, чем фактическая стоимость товара. Так и в рамках наивного суммирования эффектов от прошедших тестов - скорее всего оценка будет завышенной.
Разберем Winner's Curse: Bias Estimation for Total Effects of Features in Online Controlled Experiments
Хотел продолжить серию про секвентальное тестирование, но уже довольно свежий (!) и интересный алгоритм показался мне прям сильно сложнее для объяснения, чем тот, что был ранее, поэтому сегодня поговорим про оценку кумулятивного эффекта - то, как несколько изменений, по которым были тесты, повлияли совместо.
Классическая и очень простая история это выделить глобальную контрольную группу, - holdout, - на которую какое-то время не будет распространяться никаких улучшений.
Но что если такую группу выделить по каким-то причинам невозможно, а оценить нужно?
Причины могут быть от технических до
В начале года столкнулся с тем, что нужно было продумать, как оценить кумулятив при сценарии невозможности выделения holdout'a. И на методологию от Airbnb, которая мне очень пришлась по душе (так как математически выведена оценка!), меня навел Влад. Статья ниже написана в том числе благодаря его материалам, большое ему спасибо!
Статья начинается со слов "Winner's Curse", Проклятье победителя: смысл в том, что в рамках аукциона, где продается неких товар, победитель аукциона (а это часто наибольшая ставка) скорее всего заплатит больше, чем фактическая стоимость товара. Так и в рамках наивного суммирования эффектов от прошедших тестов - скорее всего оценка будет завышенной.
Разберем Winner's Curse: Bias Estimation for Total Effects of Features in Online Controlled Experiments
Telegraph
Оценка кумулятивного эффекта
Объяснение будет следовать согласно докладам как Влада, так и ребят из Airb'n'b. Пускай у нас есть ряд экспериментов, в которых мы получили следущее: Observed - это та дельта, что мы наблюдаем, а True - это истинная дельта, "что есть на самом деле". Как видно…
Forwarded from m2_tech
Доклад Евы на Aha! Conf 2025 🐇
Совсем недавно знакомили вас с Евой Панкратовой, а сегодня анонсируем её выступление на Aha! Conf для data-аналитиков, ML-разработчиков и product-менеджеров.
В докладе Ева расскажет:
— как выбрать и внедрить платформу АБ-тестирования в небольшой компании;
— каковы были наши критерии выбора: требования аналитики и разработки;
— как шёл процесс внедрения платформы;
— как подготовить всех пользователей и не прийти к неверному использованию тестов.
Доклад будет полезен тем компаниям, у которых не огромный штат аналитиков, а А/Б – ещё не пройденный этап развития. Мы прошли этот путь, набили шишки и можем поделиться опытом, который поможет другим коллгегам внедрить платформу с меньшими потерями.🚀
Совсем недавно знакомили вас с Евой Панкратовой, а сегодня анонсируем её выступление на Aha! Conf для data-аналитиков, ML-разработчиков и product-менеджеров.
В докладе Ева расскажет:
— как выбрать и внедрить платформу АБ-тестирования в небольшой компании;
— каковы были наши критерии выбора: требования аналитики и разработки;
— как шёл процесс внедрения платформы;
— как подготовить всех пользователей и не прийти к неверному использованию тестов.
Доклад будет полезен тем компаниям, у которых не огромный штат аналитиков, а А/Б – ещё не пройденный этап развития. Мы прошли этот путь, набили шишки и можем поделиться опытом, который поможет другим коллгегам внедрить платформу с меньшими потерями.
Please open Telegram to view this post
VIEW IN TELEGRAM
m2_tech
Доклад Евы на Aha! Conf 2025 🐇 Совсем недавно знакомили вас с Евой Панкратовой, а сегодня анонсируем её выступление на Aha! Conf для data-аналитиков, ML-разработчиков и product-менеджеров. В докладе Ева расскажет: — как выбрать и внедрить платформу АБ…
Скорость написания постов в этом канале: мы с редактором успели написать и выпустить статью по мотивам выступления, прежде чем я дописала пост с мыслями по поводу конференции
Хабр
Как мы запускали A/B-тестирование в М2: опыт внедрения open source-платформы
Привет! Я, Ева, руководитель продуктовой аналитики в М2, отвечаю за внедрение экспериментов и A/B-тестирования в компании. М2 — это онлайн-платформа для решения вопросов с недвижимостью. Сервисами М2...
❤1