👇 Что делать, если не хватает данных для аналитики👇

Две недели назад упала задача на простой подсчет метрик (кол-во пользователей, конверсии, средние чеки и все это с разбивкой на контрольную и рабочую группу). На первый взгляд все ок, можно управиться за пару часов.

В целом, так оно и вышло (почти)
Результаты получены, а вот применить статистические тесты для сравнения и получения достоверные данных невозможно, так как за период теста не набрано достаточного количества наблюдений.

✖️ Вариант с продлением теста не подходит (часто продукт-менеджеры не хотят тратить дополнительное время на ожидание результатов)

✖️ Корректировка условий отбора - приведет к пересечению с другими тестами

✔️ Использование бутстрэпа - оптимальный вариант в данной ситуации

Bootstrap - статистический метод, который искусственно увеличивает генеральную совокупность путем многократного выбора значений. Это позволяет оценить точность статистических результатов даже при ограниченном количестве данных.

С бутстрэпом можно получить достаточно данных для применения остальных статистических тестов 🙂

Метод хорош, но надо помнить, что он лишь имитирует уже существующие данные, а не генерирует новые. Соответственно 100 % репрезентативности никто не обещает (плюс каждый новый результат бутстрапа не будет идентичен предыдущему)

Ставь ⚡️ , если хочешь видеть посты о рабочих задачах чаще и 🔥 - если больше инетереснен разбор статистических методов

#о_работе

Кажется я попала под АБ-тест от инстаграма 🆗

На прошлой неделе захожу в инсту ▶️ чекаю ленту сториз на домашней странице ▶️ вижу пару кружочков от незнакомых мне людей. Сначала я впала в ступор и начала вспоминать, когда вообще успела на них подписаться (ответ - никогда)

Довольно быстро поняла, что инстаграм всего-лишь рекомендует мне посмотреть эти сториз, а самой подписки на эти аккаунты у меня нет 🙃

На следующий день незнакомцы у меня в сториз больше не появлялись. Видимо, так приложение тестирует свои новые функции на активную аудиторию.

С учетом того, что в инсте огромное число людей - не удивлюсь, если на тест они потратили пару дней, а не 2+ недели.

Если тоже попали под эту волну в инсте или мельком увидели какое-то изменение в любом другом приложении - поздравляю, вы попали в РГ - рабочую группу теста (те, кому показывают изменения) 👯‍♂️
На основании ваших действий и действий остальных пользователей будет принято решение о внедрении новой фичи на всю аудиторию приложения.
У тех, кто попал в КГ (контрольную группу) - никаких изменений не будет, но их действия также будут отслеживать, чтобы в конце сравнить метрики по двум группам.

Думаю, что если бы я сама не была в теме АБ-тестов, я бы даже не задумалась о том, что вообще происходит с инстой 🥲

#аналитика_всего

👆Выбираем статистические тесты 👆

В начале года склеила для себя таблицу по статистическим методам.
Никаких новых велосипедов - ориентир был на простой и понятный внешний визуал.

В последние 2 месяца все чаще к ней возвращаюсь при решении несложных АБ-тестов.
Буду рада, если кому-то еще пригодится ☕️

#статистика

⚡️ Бесплатная онлайн-конференция от Т-банка ⚡️

На следующей неделе Т-банк проводит конфу в том числе и для аналитиков!
Кажется, что оффлайн билеты уже все разобрали, зато можно залететь на онлайн часть 🙂

Всем советую зарегаться и посмотреть интересные для себя темы.
Для меня такие конференции выступают отличным стимулом для развития и возможностью подхватить новые идеи.
Поэтому в следующий четверг уже забила себе время для просмотра трансляции 🤤

➡️ Ссылка для просмотра программы и регистрации на онлайн часть

🤩🤩🤩 Стажировки по аналитике

Нашла несколько интересных оплачиваемых стажировок/ junior- позиций, которые подойдут начинающим аналитикам:

1️⃣ Стажер-аналитик в ВТБ

2️⃣ Аналитик данных (junior) в Kokoc group

3️⃣ Стажер-аналитик в figura it

Требования к хард-скиллам минимальные, так что пробовать стоит❗️

#стажировки

🌟 Не бойся, что допустить ошибку, потому что остальные уже ее сделали за тебя 🌟

Пост о недавней ситуации на работе, но для начала немного теории 👇

Все компании в своей базе присваивают каждому пользователю/клиенту id-номер. Это могут быть числа/ числа+буквы.
Делается это для возможности проведении аналитики в целом.
Можем и Retention rate посчитать и доход за месяц узнать по определенной когорте и т.п.
Наличие id-шников также помогает в проведении AB-тестов ➡️ например, пользователи, у которых номер id начинается с 'A' - попадут в контроль, а те, ку кого первая буква 'B' - в тестовую группу.
После разбиения пользователей на группы тест уходит в 🌟production🌟, где все должно пройти гладко и без проблем (спойлер - не всегда).

Возвращаясь к ситуации:

Упала очередная задачка на подсчет метрик по АБ -тесту. Я уже знаю, каким образом пользователи поделены на тест и контроль 🔜 не вижу никаких проблем с тем, чтобы посчитать метрики и оценить статистическую значимость.

Результаты ничем себя не выдают, так как очень большое количество АБ-тестов не показывают супер успешных различий в данных.
Поэтому все результаты я уже внесла в файл и была готова закрыть задачу, но меня остановило только то, что надо было увеличить дату теста на один день.

Решила еще раз чекнуть, что сырые данные в порядке и все ок 🔜 обнаружила, что не все ок, так как не все пользователи находятся в своих группах 😕

В итоге, после долгих разборок выясняется, что на этапе перенесения АБ-теста на прод, упустили разбивку пользователей, поэтому практически все пользователи видели тестовый баннер 🙂

Тесту п***ец, да и лишнего времени потрачено слишком много, зато может появится привычка проверять достоверность сырых данных и не доверять хитрым продакт-менеджерам, что все работает хорошо 🤪

#о_работе

*️⃣Выбираем САМОЕ среднее*️⃣

В начале карьеры аналитика я часто допускала одну и ту же ошибку - когда нужно было посчитать среднее по чему-нибудь 🔜 я просто считала среднее 🙃

Такой подход может существенно повлиять на результат и вот почему:

В реальности получение нормального распределения - это прям удача ❤️‍🩹
Лично в моей практике практически все данные, с которыми я работала были распределены НЕ нормально (это чеки, посещения приложения/магазинов, количество действий ...)

В таких случаях использование среднего - ошибка. Из-за того, что у распределения длинные хвосты - метрика будет страдать.

При ненормальном распределении медиана куда лучше отражает среднее значение по выборке. Поэтому лучше применять ее ❤️

Хороший разбор мер центральной тенденции можно посмотреть в этой статье

#статистика

Готовимся к окончанию года с пользой 💻

Уже завтра можно присутствовать на бесплатной онлайн встрече от Авито для продуктовых аналитиков ❗️

Обещают раскрыть следующие темы:
🔵 RFM-сегментация клиентов
🔵 Процесс discovery в продуктовой команде
🔵 Внедрение ML Autotasking для автоматизации

Все подробности можно посмотреть 🔜 тут
Трансляция на YouTube будет 🔜 тут

#конференции #развитие

Как я выбрала направление аналитики ❓

Предысторию можно начать с того, что в конце 2021 года я решила перебраться в Москву и устроилась специалистом по тендерам (так за за плечами у меня уже было около 4-х лет опыта в этом государственном кипише).

Сами тендеры мне уже знатно поднадоели и такая мера была вынужденная, ибо денюжки заканчивались, а кушать что-то надо 🥲

Поэтому я решила, что поработаю годик и параллельно с этим начну изучать новую профессию (конечно же в IT, ведь все айтишники "миллионеры с макбуками и на удаленке") 🔜 так начался небольшой отбор между IT-профессиями, у которых будет не высокая проходная планка и которые придутся по душе ❤️

В список вошли:
🔘 Тестировка
🔘 Бизнес - анализ
🔘 Продуктовая аналитика

Выбор был не велик, так как я ориентировалась на интерес к специальности в первую очередь.
Про тестировщиков я узнавала в интернете, а вот с аналитикой повезло больше, так как среди знакомых друзей затесался один БА, который подробно рассказал, что нужно делать конкретному аналитику, чтобы заработать себе на хлеб 😊

После советов от 🌟real analyst🌟 и недолгого гугления я остановилась на продуктовой аналитике, чему сейчас несомненно рада.

Мне кажется, что выбор был обусловлен еще и тем, что я оценила средние зарплаты в аналитике и их рост при повышении грейдов (смотрела, конечно по МСК). Если делать ставку на то, что профессия тебе реально нравится и ты планируешь в ней развиваться, то потенциальная заплата через 1-2 года после старта - отличный стимул для развития.

Ставь ⚡️ - расскажу о том, как выбирала курс и проходила обучение по аналитике.

#обо_мне

Где писать код ❓

Добавляю новую серию постов про то, какие программы используют аналитики в работе и зачем вообще такое разнообразие 👇

Начну с простого варианта, для которого вам нужен только хоть как-то работающий комп и интернет 🔜 это Google Colab

Он позволяет писать в Jupiter notebook на Python прямо через браузер. Есть бесплатный доступ (но, конечно же, есть и ограничения).

Плюсы:
🟢 Хорошие вычислительные ресурсы
🟢 Никаких установок
🟢 Работает с любого устройства/ все онлайн
🟢 Облачное хранение данных
🟢 Есть интеграция с GitHub

Минусы:
🟣Скрипты могут работать не более 12 часов
🟣 При бездействии пользователя более 30 минут сессия будет закрыта

Чаще всего Google Colab применяют во время обучения на аналитических курсах и для личного использования.

Colab будет полезен для понимания как работает Jupiter Notebook, для работы со своими pet-проектами и при необходимости использовать дополнительные вычислительные мощности🔥

#стек

Накрутишь опыт - уволят ... ну мб 🥲

Наткнулась на статью от Хабр-карьеры про накрутку опыта в IT, причем средние значения по всем направлениям довольно схожи и аналитики накручивать тоже не брезгуют, так что мотаем на ус 😂

Сразу буду спойлерить - шанс, что вас уволят после того, как поймали на недостоверном опыте - всего 1 к 100 ✨

А 88% респондентов - успешно прошли испытательный и припеваючи работают (не факт, но кто знает)

Я сама не считаю, что накрутка - это панацея от безработицы (так как использовала другие способы для получения опыта работы аналитиком). Кажется, что такая хитрость может сильно навредить при реальных задачах, ведь разбираться придется на месте и не факт, что успешно.

Статью однозначно рекомендую к прочтению ➡️ поможет вникнуть в текущий рынок занятости ❗️

#аналитика_всего

Мне не хватило одного курса по аналитике ☹️

В 2022 году на выбор было около 5 популярных курсов по аналитике (сейчас их уже стало больше) 🔜 на мой взгляд их программы было довольно похожи, но, разумеется, у всех есть свои фишки.

Я выбрала Karpov courses по рекомендации + там была а-ля "пробная бесплатная неделя", чем я, собственно, и воспользовалась до покупки 🔜 мне зашло.

Курс был рассчитан на 5 месяцев и, в целом, если тратить на учебу по 2-3 часа 5 дней в неделю, то завершить его - не проблема. Думаю, что и с остальными курсами по аналитике будет примерно такая же ситуация - не откладывай на потом - и все будет 👍

Собственно, после завершения курса я радостно пошла выкладывать свое резюме на hh.
И тогда и сейчас многие курсы включают в себя карьерные консультации после завершения ➡️ помогают с составлением резюме, сопроводительным и т.п. 🔜 я пользовалась этой помощью как можно чаще, так как сама на тот момент не понимала, как лучше оформлять CV.

Казалось бы - курс пройден, резюме готово, все супер, сейчас найду себе джуновскую вакансию и все будет ✨ найс ✨

Только че-то спустя пару месяцев я смотрю свою статистику - приглашений на собесы кот наплакал, чаще всего на мои отклики просто ничего не отвечают 🥲
А на самих собесах спрашивают какую-то дичь (кроме обычных вопросов).

На тот момент мне приходит самая простая и очевидная мысль - я все еще не до конца понимаю, что от меня хотят на рынке и кажется, что я просто не дотягиваю до необходимого минимума.

Мне не очень хотелось снова безрезультатно биться за вакансию джуна 🔜 приняла решение качнуть навыки больше, чтобы увеличить свои шансы.

Так я вписалась на еще 2 месяца в симулятор с продвинутой практикой (искренне считаю, что мне он помог разобраться в более сложных задачах по аналитике + мне стало проще на собесах) К моему счастью, это было последнее платное обучение, которое я проходила 🙃

Ставь ⚡️ - расскажу о том, какие ошибки допускала во время обучения
Ставь 🔥 - расскажу про собес, который сыграл ключевую роль в поиске работы

#обо_мне

Мои эмоции, когда продакт-менеджер принимает решение завершить АБ-тест раньше времени (недотянув до минимально объема выборки) и просит оценить результаты 😤

👇Что бы я изменила в своем обучении аналитике 👇

Легко рассуждать об ошибках, особенно, когда ты уже их прошел и были они давно 🤪
Поэтому сегодня поговорю о том, как я могла повлиять на эффективность своего обучения.

На что мне стоило больше обращать внимание:

🔘 Почему-то у меня были проблемы с оконными функциями и мне следовало бы их подтянуть еще в время первого обучения. Про них очень любят спрашивать на собесах и мне они попадались чуть ли не каждый раз и каждый раз я пролетала мимо, пока их не освоила ☹️
🔘 Поверхностное изучение некоторых тем. Что-то ты схватываешь сразу, а какие-то темы остаются не в приоритете из-за разных причин. Так у меня получилось с питоновскими функциями. На финальном проекте из-за этого пришлось пострадать. Полноценно применять я их стала только к концу первого года работы, а раньше они даже не пригождались. На тестовых заданиях к джуновским позициям я их тоже не встречала.
🔘 Мало рабочих примеров. Мне гораздо проще вникнуть в тему на примерах (чем больше, тем лучше). С одной стороны на курсе их было достаточно и они были вполне релевантные, никаких претензий. Но, кажется, чтобы мне было бы проще, если бы я начала вникать в реальные рабочие задачи как можно раньше.

Что стоит делать во время обучения:

🟡 Больше докапываться до кураторов, если что-то не понятно
🟡 Добавить больше практики и отработки материала - искать реальные задачи и разбирать их
🟡 Если нет работы - можно почти сразу искать подработку/ стажировку/ работу без опыта. Это поможет сильно сэкономить время❗️

Если есть вопросы по обучению - пиши их в комментах 👇

#обо_мне

⚡️ Примеры пошаговых python-проектов ⚡️

Нашла несколько работ на Kaggle, которые могут послужить примером для создания своего пет-проекта.
Так что, если нет идей с чего начать - обрати на них внимание 👇

🔘Анализ продаж по данным от Amazon

🔘Визуализация данных по данным от Netflix

🔘Анализ приложений в Google Play Store

🔘 Сегментация банковских клиентов

🔘 Анализ таймингов по доставке еды

#аналитика_всего #пет_проект