Привет! Я Женя, acting Team Lead в монетизации, и сегодня поделюсь кейсами «что пошло не так в A/B-тесте», которые собирала для пар по тестированиям в Вышке.
Кажется, АБ-тесты супер просты: на две группы поделили, результат сравнили, выбрали опцию, где больше основная метрика. Так почему столько аналитиков тратят столько времени на A/B-тесты?
Ловите кейсы из практики. Рекомендую сначала поразгонять, а потом открывать спойлер🤓
1️⃣ Проводили обратный A/B-тест (откатили существующую фичу) с задачей — не увидеть прокрасы выручки. Подготовили мониторинги, запустили тест, прокрасов не обнаружили. Через месяц тест перезапустили. Что могло случиться?
Ответ: не увидели прокрасов, потому что тест не запустили из-за баги 🫠
2️⃣ Запустили A/B-тест, на третий день заметили, что выручка в тестовой группе падает в 2 раза. Куда копать?
Ответ: Старт теста сломал разметку сегмента, на котором он запускался, и часть тестовой аудитории оказалась в другом сегменте, вне мониторинга. На самом деле выручка не пострадала. В продукте сложно придумать продуктовое изменение, которое так сильно скажется на выручке, даже если очень стараться :) Раз падение настолько большое — 95% шанса, что это баг или другая техническая особенность, но не продуктовая.
3️⃣ Тестировали новую фичу. Чтобы увидеть изменения, нужно обновить версию приложения на iOS. Мы предложили это пользователям и отнесли в тестовую группу тех, кто обновился, потому что только они увидели изменения. В контроле была вся аудитория, которую сплиттер определил в контроль. Что мы делали не так?
Ответ: На обновление соглашались более лояльные пользователи, открытые к нашим новинкам, а не общая совокупность. Так, результаты в тесте были сильно завышены.
❤️ — кейсов много, лайк для второй части!
#ЖеняМур
Кажется, АБ-тесты супер просты: на две группы поделили, результат сравнили, выбрали опцию, где больше основная метрика. Так почему столько аналитиков тратят столько времени на A/B-тесты?
Ловите кейсы из практики. Рекомендую сначала поразгонять, а потом открывать спойлер
❤️ — кейсов много, лайк для второй части!
#ЖеняМур
Please open Telegram to view this post
VIEW IN TELEGRAM
❤76🔥15🎄5
Привет! С вами Алина Савельева — тимлид команды монетизации. Хочу показать вам свежий выпуск «Диванной аналитики». В нём рассказываю, что делать, если не получается подобрать метод для тестирования гипотез. Если кратко: сравнивать похожих пользователей, но не напрямую. А чтобы узнать детали, посмотрите видео.
Вот, о чём там говорю:
➡️ Почему нельзя всегда использовать A/B-тесты.
➡️ Что такое фреймворк матчинга и как мы его используем.
➡️ Как валидировать любые фреймворк для оценки гипотез.
Смотрите где удобно:
YouTube
RuTube
ВК Видео
Вот, о чём там говорю:
Смотрите где удобно:
YouTube
RuTube
ВК Видео
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥43❤14👎5🎄1
Всем привет!
Я Женя, и неделю назад рассказывала про кейсы, где в A/B-тестах что-то пошло не так. Мы собрали лайки, и я возвращаюсь со второй частью!
Знакомьтесь, новая парочка детективных случаев:
1️⃣ Собрали в 6 вечера костыль, чтобы запустить тест и не откладывать на завтра. В 8 вечера звонит телефон: «Вы сломали сайт!» 😳
Ответ:Костыль не костылил 🤓 Мы никого не предупредили. А ещё есть примета: запускать тесты вечером — к работе ночью.
2️⃣ Во время теста узнаём, что другая команда запустила свой тест на наш контроль, на вариацию не запустила. Могло ли это помешать нам?
Ответ:Да, тест оказался успешным, и контроль был сильно лучше на фоне тестовой категории, поскольку 50% от контроля начало приносить на 20% больше выручки. А мы в это время долго не могли понять, почему у нас тест так сильно проигрывает контролю. 🤔
Поделитесь своими кейсами, как решали странности при анализе или по ходу эксперимента 👩🏼💻
#ЖеняМур
Я Женя, и неделю назад рассказывала про кейсы, где в A/B-тестах что-то пошло не так. Мы собрали лайки, и я возвращаюсь со второй частью!
Знакомьтесь, новая парочка детективных случаев:
Ответ:
Ответ:
Поделитесь своими кейсами, как решали странности при анализе или по ходу эксперимента 👩🏼💻
#ЖеняМур
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥18❤15 4👎2😁2
Намечается крутая онлайн-вечеринка AvitoTechno! 😎
Отдохнём и приятно проведём время в компании классных ребят и отличной музыки! Приглашаем всех желающих на стрим в последнюю пятницу 2025 года!
Что покажем
📢 сеты от разработчиков Dj команды AvitoTech;
📢 крутейшее выступление BÖRIS REDWÄLL и LAVBLAST.
💗 Бонус: если вам повезёт — выиграете лимитированный AvitoTechno-бокс (внутри свитер, снежный шар с нашим котиком Б/У, шапка и обвес).
Пароли и явки
📍 Когда: 26 декабря 2025 года
📍 Во сколько: 16:00 по Мск
📍 Формат: онлайн
Бесплатный билет и ссылку на стрим получайте в Тг-боте. А ещё пересылайте этот пост коллегам. Ведь чем больше народу, тем веселее :)
Ждём всех на AvitoTechno! 🪩
Отдохнём и приятно проведём время в компании классных ребят и отличной музыки! Приглашаем всех желающих на стрим в последнюю пятницу 2025 года!
Что покажем
Пароли и явки
Бесплатный билет и ссылку на стрим получайте в Тг-боте. А ещё пересылайте этот пост коллегам. Ведь чем больше народу, тем веселее :)
Ждём всех на AvitoTechno! 🪩
Please open Telegram to view this post
VIEW IN TELEGRAM
🤨12🔥9❤5👎2
До конца года осталось не так много времени, а список задач продолжает расти? Предлагаю бороться с прокрастинацией при помощи… геймификации 🎮
Представьте себя героем RPG‑вселенной: у вас есть суперсила, миссия и команда поддержки. Выбирайте персонажа‑аналитика, который резонирует с вашим стилем работы, чтобы пройти финальный квест этого года с максимальной эффективностью и без урона здоровью💓
Детектив
📢 Девиз: «Есть три версии произошедшего. Сейчас проверим каждую».
💚 Суперсила: за час находит аномалию, которую другие искали днями.
💓 Любимый напарник: коллега-аналитик из другого отдела (синергия знаний из разных доменов).
Архитектор данных
📢 Девиз: «Давайте не просто посчитаем, а сделаем так, чтобы это считалось само».
💚 Суперсила: за день спроектирует ETL‑процесс, который автоматизирует месячную рутину.
💓 Любимый напарник: дата‑инженер (вместе создают надёжные решения).
Шоумен
📢 Девиз: «Вот эта зелёная линия — наш шанс выйти в лидеры рынка!»
💚 Суперсила: за 5 минут убеждает руководство в необходимости изменений.
💓 Любимый напарник: продакт (дополняет ви́дение данными).
Новатор
📢 Девиз: «А давайте попробуем нейронку? Думаю, она справится лучше».
💚 Суперсила: за неделю обучает модель так, что она начинает экономить команде до 100 часов работы в месяц.
💓 Любимый напарник: DS‑инженер (вместе превращают идеи в работающие алгоритмы).
Хаос‑инженер
📢 Девиз: «Нет времени на идеалы, вот рабочий вариант, тестируем сейчас!»
💚 Суперсила: за день считает объём рынка и потенциал на следующий год.
💓 Любимый напарник: BDM менеджер (ценит скорость и практичность).
Архивариус
📢 Девиз: «В 2019‑м мы уже пробовали подобное, вот что тогда сработало».
💚 Суперсила: за 10 минут объяснит решение, которое приняли 5 лет назад, знает, как работают сервисы на проде.
💓 Любимый напарник: техлид разработки (вместе придумывают решения и фичи).
💞 Образы аналитиков я создавала с помощью бесплатных нейросетей «Гигачат» и «Алиса GPT».
На всё ушло целых 2 часа 🥲. Самое сложное — подобрать точные формулировки промптов, чтобы одновременно сохранить единый стиль и передать суть каждого персонажа. Дополнительный нюанс: совершенно нереальным оказалось сгенерировать персонажа в полный рост🗿
Ну что, нашли себя? Расскажите в комментариях, какими нейросетями пользуетесь вы, а я пойду изучать курс по написанию промптов 😀
#Новик
Представьте себя героем RPG‑вселенной: у вас есть суперсила, миссия и команда поддержки. Выбирайте персонажа‑аналитика, который резонирует с вашим стилем работы, чтобы пройти финальный квест этого года с максимальной эффективностью и без урона здоровью
Детектив
Архитектор данных
Шоумен
Новатор
Хаос‑инженер
Архивариус
Ну что, нашли себя? Расскажите в комментариях, какими нейросетями пользуетесь вы, а я пойду изучать курс по написанию промптов 😀
#Новик
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥28❤10👎7🤪5🤯1🙏1
Всем привет! Решили показать вам новую статью на Хабре о том, как мы перестроили систему роста для аналитиков в Авито.
В статье описываем, как мы детализировали менеджерский трек и ввели семь уровней (M1–M7) с понятными критериями для каждого. Это помогло решить несколько ключевых задач:
📍 Сделать переход между уровнями более плавным и предсказуемым.
📍 Учесть разный масштаб команд при назначении на новый уровень.
📍 Создать более объективную систему оценки и компенсации.
📍 Усилить фокус на вклад в бизнес-метрики на каждом уровне.
Ещё показали новую матрицу компетенций и рассказали, как всё работает на практике. Возможно, вы захотите применить подход и для своих команд💓
📎 Читать статью
В статье описываем, как мы детализировали менеджерский трек и ввели семь уровней (M1–M7) с понятными критериями для каждого. Это помогло решить несколько ключевых задач:
Ещё показали новую матрицу компетенций и рассказали, как всё работает на практике. Возможно, вы захотите применить подход и для своих команд
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥25👎6❤3👍1🤯1😢1
Всем привет, на связи Маша Аничкова и я хочу рассказать про новый процесс сбора фидбэка по дашбордам в Авито: для чего он нужен, как устроен и какие метрики используем. И сегодня мне поможет Таня Быкова — основной драйвер этого проекта 💗
Аналитики делают дашборды если не каждый день, то каждый спринт, при этом проблема качественной обратной связи по отчётам актуальна всегда. Проводить CustDev’ы долго и сложно, а фидбэк в рабочих чатах заканчивается вместе с задачами по доработкам. Получается вакуум: мы делаем дашборды, но не всегда понимаем, насколько это полезно и удобно😬
Именно из-за таких проблем мы решили перейти от точечного сбора ОС к системе, покрывающей фидбэками всю нашу BI-платформу. Главная идея —использовать несколько каналов, чтобы повысить охват и получить полную картинку по удовлетворённости аудитории. А что у нас получилось — читайте в карточках 😉
А вы собираете ОС по своим дашбордам? Если да, то делитесь в комментариях вашими методами💻
❤️ — конечно, собираю
💔 — я пока никак не собираю ОС, буду исправляться
#МашаАн #ТаняБ
Аналитики делают дашборды если не каждый день, то каждый спринт, при этом проблема качественной обратной связи по отчётам актуальна всегда. Проводить CustDev’ы долго и сложно, а фидбэк в рабочих чатах заканчивается вместе с задачами по доработкам. Получается вакуум: мы делаем дашборды, но не всегда понимаем, насколько это полезно и удобно
Именно из-за таких проблем мы решили перейти от точечного сбора ОС к системе, покрывающей фидбэками всю нашу BI-платформу. Главная идея —
А вы собираете ОС по своим дашбордам? Если да, то делитесь в комментариях вашими методами
❤️ — конечно, собираю
💔 — я пока никак не собираю ОС, буду исправляться
#МашаАн #ТаняБ
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤20💔7🔥3😍1
Всем привет! Несём последний выпуск «Диванной аналитики» в этом году. В каждой серии рассказываем об эффективных методиках работы, и в этом видео обсудим математический подход.
Поговорим, как построить фреймворк для более эффективного планирования показов ТВ-рекламы. Обо всём расскажет Андрей Корнеев — аналитик из команды медиамаркетинга.
Посмотрите доклад, чтобы узнать:
💚 Как в Авито измеряют эффективность рекламы на ТВ.
💚 Почему мы пересмотрели старый подход к медиапланированию и что решили изменить.
💚 Как создать фреймворк, который будет рекомендовать оптимальное размещение рекламных роликов.
Смотрите, где вам удобно:
📢 YouTube
📢 RuTube
📢 ВК Видео
Поговорим, как построить фреймворк для более эффективного планирования показов ТВ-рекламы. Обо всём расскажет Андрей Корнеев — аналитик из команды медиамаркетинга.
Посмотрите доклад, чтобы узнать:
Смотрите, где вам удобно:
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥11