Введение в A/B тесты, часть 2

Для начала важно напомнить: если у нас есть продукт, то мы можем отслеживать его состояние по различным метрикам (например, количество пользователей продукта в день, средний чек в приложении и тд.) 📈

- Так как же нам корректно оценить, стоит ли нам менять дизайн нашей странички? 🥸
- Давай подумаем, как бы мы хотели решать эту задачу в идеальном случае. Для начала мы бы определили, за какой метрикой мы бы хотели наблюдать, чтобы заметить изменение в продукте. Например, в случае изменения дизайна сайта оплаты мы бы, вероятно, хотели увеличить метрику конверсии в покупку. В идеале мы бы хотели «клонировать» каждого пользователя и поместить его в две ситуации: в одном случае мы бы показывали ему старый дизайн, а в другом - новый. И тогда бы мы могли точно отследить, в каком из этих случаях при прочих равных условиях увеличивается конверсия в покупку.

Иными словами, мы бы хотели проверить наше изменение в двух совершенно одинаковых условиях, чтобы замерить эффект только от нашего изменения. Если условия будут различными, то мы не можем считать, что изменения в продукте были вызваны именно нашей новой фичей (возможно конверсия увеличилась не из-за нашего нового дизайна, а из-за новогодних праздников, которые выпали на период запуска нового дизайна ☃️)

Увы, но в нашем мире мы почти никогда не можем обеспечить абсолютно одинаковые условия для нашего теста, и вот тут вступает в дело та самая теория вероятностей и математическая статистика, которая поможет нам даже при наличии погрешностей оценить, насколько значительно наше изменение повлияло на целевую метрику 📚

Я не хотел углубляться в детали, но вкратце математически это можно описать так: после теста у нас получаются две выборки. В первой выборке находятся значения целевой метрики для первой группы пользователей со старым дизайном (эту группу назовём А), а во второй выборке - метрики пользователей с новым дизайном (назовём её группой В), при этом сами эти группы пользователей в идеале должны быть одинаковые по поведению и параметрам, чтобы обеспечить как можно более идентичные условия за исключением нашего исследуемого изменения. Затем мы делаем предположение, что две эти выборки на самом деле были получены из одного и того же распределения. Исходя из этого предположения мы рассчитываем, какая была вероятность получить именно такое различие в выборках. Если же получить такое изменение выборки было практически невозможно, то мы отклоняем наше предположение о том, что выборки были получени из одного распределения -> это буквально значит, что наше изменение действительно статистически значимо повлияло на целевую метрику (ааа сложнааа)

Итак, совсем кратко про A/B тест:
- определяем целевую метрику, по которой будем судить об изменениях в продукте 📏
- разделяем пользователей на равнозначные по параметрам и поведению группы (объёмы групп и длительность теста также можно корректно определить) 🙎‍♂️🙍‍♀️
- одной из групп показываем изменение, другим - не показываем. Замеряем целевую метрику 📊
- проверяем, что изменение метрики не было "случайностью" (тут под капотом скрывается теорвер и матстат) 🎰
- если изменение метрики нас устроило и оно является статистически значимым (т.е. не вызвано случайностью), то новое изменение можно катить абсолютно на всех пользователей 🥳

В посте ниже скину пример задачки на АБ тест, которую мне дали на собеседовании на аналитика (я её не решил 😢)

А вот и необычная задачка на АБ тест с собеседования, которую я однажды не решил и, следовательно, завалил собес 😢

У вас есть одинаковые с виду бочка с кока-колой и бочка с пепси (вы знаете, что в какой бочке находится) 🥤
Также у вас есть группа людей, которых можно использовать для испытания. Мы хотим понять, умеют ли люди отличать кока-колу от пепси на вкус. Как нам это сделать при помощи АБ теста?

Ответы можно писать в комментарии, а за самый правильный ответ подарим подписку тг-преимум на 3 месяца 🎁

Победителя определим 31-го декабря в 21:00 по Москве ☃️🎄☃️

В ответе необязательно глубоко погружаться в мат.статистику (про критерии и уровень значимости писать будет избыточно, но в целом никто не будет против). Можно, например, в общих словах описать алгоритм такого теста и указать, на основе какой метрики будем принимать решение 📊

Ребята из Changellenge выложили топовый пост про то, как начать путь аналитиком в Яндексе, где я поделился гениальным способом хакнуть систему выиграть желаемый курс в розыгрыше 😂

А вообще в их канале можно найти анонсы стажировок, кейс-чемпионатов и много другого образовательного контента. Настоятельно рекомендую подписаться тем, кто только начинает свой карьерный путь 📈

Новость первая:
ровно год назад я начал свой путь в ❤️ в качестве стажёра. Для меня это, вероятно, одно из самых больших событий в жизни, поэтому если ты давно задумываешься о стажировке, то сейчас самое время начать, а я помогу с рекомендацией 🥰

Новость вторая: тебе в помощь вместе с Яндекс.Практикумом подготовили небольшой подарочек :)
Сохраняй в закладочки и делись с друзьями моей подборкой полезных материалов по Data Science для начинающих на Хабре

Новость третья: в комментариях или мне в лс (@rafaeldks) прошу тебя написать, какие темы стоит подробнее раскрыть в следующих постах или на канале в целом 💛

Стажировки в Яндексе - это конечно ❤️, но я не могу не отметить, что есть много других классных мест, где можно начать карьеру.

И сейчас очень кстати будет упомянуть об открытом наборе на оплачиваемую стажировку в банке ВТБ по аналитике и по другим направлениям 📊

Чуть подробнее о главных преимуществах, которые я вижу:
- возможность на практике заниматься анализом больших данных, подготовкой дашбордов и отчётностей на Python, SQL и Power BI в интересующем тебя направлении
- сможешь получить ценный опыт участия в бизнес-процессах и их автоматизации
- наличие ДМС со стоматологией с первого месяца работы и другие корпоративные бенефиты (к слову, на первом курсе я мечтал работать хотя бы за ДМС)
- есть наставник, который поделится опытом и поддержит на протяжении стажировки (одна из топовых фичей, которая быстрее помогает влиться в команду)
- наличие гибридного формата, чтобы можно было совмещать стажировку с учёбой

В общем, выполняются все требования классной стажировки, так что погнали 💨 строить карьеру по ссылке 🤙

🔥 Weekend оффер в топовые команды аналитики Лавки и Еды 🍫🍔

На этой неделе появляется очень крутая возможность податься в аналитику Яндекса, а именно в команды фудтеха (Яндекс.Лавка и Яндекс.Еда) - за топовость команд я ручаюсь!

Буквально до завтра можно решить тестовое (базовый тервер+python), а в выходные - пройти секции и уже получить заветный оффер. А вот здесь мой коллега-лид из Лавки рассказал про секции и про то, как к ним готовиться.

Зарегистрироваться можно тут

Короче, меня чуть задолбало писать про аналитику, поэтому буду вводить посты, связанные с эффективностью и прочими чудесными делами, заряжающих меня энергией (в жизни полно классных вещей помимо всякого дата-саенса, да-да)

Вообще я давно отвык от всяких душных книг по саморазвитию и тд., так как успел начитаться подобного еще в школе, после чего они все стали для меня какими-то однообразными (но при этом в начале пути прочитать какой-то фундамент из такой литературы никому не помешает) 🤢

Но вот недавно я узнал от одного относительно медийного человека о книге про тайм-менеджмент, которую я на одном дыхании прочитал за пару вечеров (на удивление она оказалось вообще недушная, в виде повествования и с отличным юмором). И вот, как следствие, я уже 7 дней подряд бегаю по утрам, залетаю в холодный душ и <вставить сюда что-нибудь крутое> 😈, и всё это глобально повышает ощущение вкуса жизни

Если прочитав всё это у тебя появилась хоть малейшее предположение о том, что же это за книга, то бегом в комменты писать название)) Если угадаешь - кайф, а если нет - у любимых подписчиков появится что почитать на ближайшее время ❤️

И обязательно нужно закинуть на пост огней 🔥, чтобы я поскорее отложил все дела и пошёл писать пост про эту книжку 📕

Рассказываю про книгу про тайм-менеджмент

Читается она очень просто: всё выстроено в виде художественного повествования, где наблюдая за главным героем можно во многом узнать себя и найти примеры решения ранзых проблем. При этом все советы кажутся максимально прикладными, а классный юмор не даёт заскучать 😝

А вот и сама книга: "Экстремальный тайм-менеджмент", Николай Мрочковский и Алексей Толкачев

Кстати интересно, насколько такая книга заходит и вдохновляет женскую аудиторию, так как всё-таки написана она изначально под мужскую)
Может есть тут те, кто читал и готов поделиться мнением?

Ну а если нравится такой формат, то обязательно надо поставить сердечко ❤️