Коммуналка аналитиков
3.79K subscribers
233 photos
6 videos
1 file
63 links
Канал аналитиков Авито.
Рассказываем о том, как аналитика помогает — а иногда и мешает — нам жить, делимся победами и фейлами из рабочих будней, перекладываем в тексты идеи и мысли.
Download Telegram
Привет! Меня зовут Миша Пирожков, и я принёс новый выпуск «Диванной аналитики». В нём я рассказываю о региональных тестах: как и зачем мы их используем.

Для наглядности: рассмотрим кейс с новым алгоритмом продвижения объявлений, где нам нужно оценить его эффективность. Проблема здесь в том, что тестовый алгоритм неявно вытесняет старое решение: из-за сетевого эффекта продавцы из контроля перестают пользоваться продвижением.

В докладе я показываю, как этого можно избежать.

На этом и других примерах также разбираю:
📍 Как работают региональные тесты и как устроен текущий инструмент для анализа — RegAB.
📍Почему решили улучшать текущий инструмент и как его усовершенствовали.
📍Как проверяли результаты и какие итоги получили.

Посмотрите, чтобы тоже научиться обходить сетевые эффекты в ваших тестах ⬇️

YouTube
RuTube
ВК Видео
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥25👍84🎄1
Привет! Я Женя, acting Team Lead в монетизации, и сегодня поделюсь кейсами «что пошло не так в A/B-тесте», которые собирала для пар по тестированиям в Вышке.

Кажется, АБ-тесты супер просты: на две группы поделили, результат сравнили, выбрали опцию, где больше основная метрика. Так почему столько аналитиков тратят столько времени на A/B-тесты?

Ловите кейсы из практики. Рекомендую сначала поразгонять, а потом открывать спойлер 🤓

1️⃣Проводили обратный A/B-тест (откатили существующую фичу) с задачей — не увидеть прокрасы выручки. Подготовили мониторинги, запустили тест, прокрасов не обнаружили. Через месяц тест перезапустили. Что могло случиться?

Ответ: не увидели прокрасов, потому что тест не запустили из-за баги 🫠

2️⃣Запустили A/B-тест, на третий день заметили, что выручка в тестовой группе падает в 2 раза. Куда копать?

Ответ: Старт теста сломал разметку сегмента, на котором он запускался, и часть тестовой аудитории оказалась в другом сегменте, вне мониторинга. На самом деле выручка не пострадала. В продукте сложно придумать продуктовое изменение, которое так сильно скажется на выручке, даже если очень стараться :) Раз падение настолько большое — 95% шанса, что это баг или другая техническая особенность, но не продуктовая.

3️⃣ Тестировали новую фичу. Чтобы увидеть изменения, нужно обновить версию приложения на iOS. Мы предложили это пользователям и отнесли в тестовую группу тех, кто обновился, потому что только они увидели изменения. В контроле была вся аудитория, которую сплиттер определил в контроль. Что мы делали не так?

Ответ: На обновление соглашались более лояльные пользователи, открытые к нашим новинкам, а не общая совокупность. Так, результаты в тесте были сильно завышены.

❤️ — кейсов много, лайк для второй части!

#ЖеняМур
Please open Telegram to view this post
VIEW IN TELEGRAM
76🔥15🎄5
Привет! С вами Алина Савельева — тимлид команды монетизации. Хочу показать вам свежий выпуск «Диванной аналитики». В нём рассказываю, что делать, если не получается подобрать метод для тестирования гипотез. Если кратко: сравнивать похожих пользователей, но не напрямую. А чтобы узнать детали, посмотрите видео.

Вот, о чём там говорю:
➡️ Почему нельзя всегда использовать A/B-тесты.
➡️ Что такое фреймворк матчинга и как мы его используем.
➡️ Как валидировать любые фреймворк для оценки гипотез.

Смотрите где удобно:
YouTube
RuTube
ВК Видео
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4314👎5🎄1
Всем привет!
Я Женя, и неделю назад рассказывала про кейсы, где в A/B-тестах что-то пошло не так. Мы собрали лайки, и я возвращаюсь со второй частью!

Знакомьтесь, новая парочка детективных случаев:

1️⃣Собрали в 6 вечера костыль, чтобы запустить тест и не откладывать на завтра. В 8 вечера звонит телефон: «Вы сломали сайт!» 😳

Ответ: Костыль не костылил 🤓 Мы никого не предупредили. А ещё есть примета: запускать тесты вечером — к работе ночью.


2️⃣Во время теста узнаём, что другая команда запустила свой тест на наш контроль, на вариацию не запустила. Могло ли это помешать нам?

Ответ: Да, тест оказался успешным, и контроль был сильно лучше на фоне тестовой категории, поскольку 50% от контроля начало приносить на 20% больше выручки. А мы в это время долго не могли понять, почему у нас тест так сильно проигрывает контролю. 🤔

Поделитесь своими кейсами, как решали странности при анализе или по ходу эксперимента 👩🏼‍💻

#ЖеняМур
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥18154👎2😁2
Намечается крутая онлайн-вечеринка AvitoTechno! 😎

Отдохнём и приятно проведём время в компании классных ребят и отличной музыки! Приглашаем всех желающих на стрим в последнюю пятницу 2025 года!

Что покажем
📢 сеты от разработчиков Dj команды AvitoTech;
📢 крутейшее выступление BÖRIS REDWÄLL и LAVBLAST.

💗 Бонус: если вам повезёт — выиграете лимитированный AvitoTechno-бокс (внутри свитер, снежный шар с нашим котиком Б/У, шапка и обвес).

Пароли и явки
📍Когда: 26 декабря 2025 года
📍Во сколько: 16:00 по Мск
📍Формат: онлайн

Бесплатный билет и ссылку на стрим получайте в Тг-боте. А ещё пересылайте этот пост коллегам. Ведь чем больше народу, тем веселее :)

Ждём всех на AvitoTechno! 🪩
Please open Telegram to view this post
VIEW IN TELEGRAM
🤨12🔥95👎2
До конца года осталось не так много времени, а список задач продолжает расти? Предлагаю бороться с прокрастинацией при помощи… геймификации 🎮

Представьте себя героем RPG‑вселенной: у вас есть суперсила, миссия и команда поддержки. Выбирайте персонажа‑аналитика, который резонирует с вашим стилем работы, чтобы пройти финальный квест этого года с максимальной эффективностью и без урона здоровью 💓

Детектив
📢 Девиз: «Есть три версии произошедшего. Сейчас проверим каждую».
💚 Суперсила: за час находит аномалию, которую другие искали днями.
💓 Любимый напарник: коллега-аналитик из другого отдела (синергия знаний из разных доменов).

Архитектор данных
📢 Девиз: «Давайте не просто посчитаем, а сделаем так, чтобы это считалось само».
💚 Суперсила: за день спроектирует ETL‑процесс, который автоматизирует месячную рутину.
💓 Любимый напарник: дата‑инженер (вместе создают надёжные решения).

Шоумен
📢 Девиз: «Вот эта зелёная линия — наш шанс выйти в лидеры рынка!»
💚Суперсила: за 5 минут убеждает руководство в необходимости изменений.
💓 Любимый напарник: продакт (дополняет ви́дение данными).

Новатор
📢 Девиз: «А давайте попробуем нейронку? Думаю, она справится лучше».
💚Суперсила: за неделю обучает модель так, что она начинает экономить команде до 100 часов работы в месяц.
💓 Любимый напарник: DS‑инженер (вместе превращают идеи в работающие алгоритмы).

Хаос‑инженер
📢Девиз: «Нет времени на идеалы, вот рабочий вариант, тестируем сейчас!»
💚Суперсила: за день считает объём рынка и потенциал на следующий год.
💓 Любимый напарник: BDM менеджер (ценит скорость и практичность).

Архивариус
📢 Девиз: «В 2019‑м мы уже пробовали подобное, вот что тогда сработало».
💚Суперсила: за 10 минут объяснит решение, которое приняли 5 лет назад, знает, как работают сервисы на проде.
💓 Любимый напарник: техлид разработки (вместе придумывают решения и фичи).

💞 Образы аналитиков я создавала с помощью бесплатных нейросетей «Гигачат» и «Алиса GPT».

На всё ушло целых 2 часа 🥲. Самое сложное — подобрать точные формулировки промптов, чтобы одновременно сохранить единый стиль и передать суть каждого персонажа. Дополнительный нюанс: совершенно нереальным оказалось сгенерировать персонажа в полный рост🗿

Ну ч
то, нашли себя? Расскажите в комментариях, какими нейросетями пользуетесь вы, а я пойду изучать курс по написанию промптов 😀
#Новик
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2810👎7🤪5🤯1🙏1
Всем привет! Решили показать вам новую статью на Хабре о том, как мы перестроили систему роста для аналитиков в Авито.

В статье описываем, как мы детализировали менеджерский трек и ввели семь уровней (M1–M7) с понятными критериями для каждого. Это помогло решить несколько ключевых задач:

📍 Сделать переход между уровнями более плавным и предсказуемым.
📍Учесть разный масштаб команд при назначении на новый уровень.
📍Создать более объективную систему оценки и компенсации.
📍Усилить фокус на вклад в бизнес-метрики на каждом уровне.

Ещё показали новую матрицу компетенций и рассказали, как всё работает на практике. Возможно, вы захотите применить подход и для своих команд 💓

📎Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥25👎63👍1🤯1😢1
Всем привет, на связи Маша Аничкова и я хочу рассказать про новый процесс сбора фидбэка по дашбордам в Авито: для чего он нужен, как устроен и какие метрики используем. И сегодня мне поможет Таня Быкова — основной драйвер этого проекта 💗

Аналитики делают дашборды если не каждый день, то каждый спринт, при этом проблема качественной обратной связи по отчётам актуальна всегда. Проводить CustDev’ы долго и сложно, а фидбэк в рабочих чатах заканчивается вместе с задачами по доработкам. Получается вакуум: мы делаем дашборды, но не всегда понимаем, насколько это полезно и удобно 😬

Именно из-за таких проблем мы решили перейти от точечного сбора ОС к системе, покрывающей фидбэками всю нашу BI-платформу. Главная идея — использовать несколько каналов, чтобы повысить охват и получить полную картинку по удовлетворённости аудитории. А что у нас получилось — читайте в карточках 😉


А вы собираете ОС по своим дашбордам? Если да, то делитесь в комментариях вашими методами 💻

❤️ — конечно, собираю
💔 — я пока никак не собираю ОС, буду исправляться

#МашаАн #ТаняБ
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
20💔7🔥3😍1
Всем привет! Несём последний выпуск «Диванной аналитики» в этом году. В каждой серии рассказываем об эффективных методиках работы, и в этом видео обсудим математический подход.

Поговорим, как построить фреймворк для более эффективного планирования показов ТВ-рекламы. Обо всём расскажет Андрей Корнеев — аналитик из команды медиамаркетинга.

Посмотрите доклад, чтобы узнать:
💚Как в Авито измеряют эффективность рекламы на ТВ.

💚Почему мы пересмотрели старый подход к медиапланированию и что решили изменить.

💚Как создать фреймворк, который будет рекомендовать оптимальное размещение рекламных роликов.

Смотрите, где вам удобно:
📢 YouTube
📢 RuTube
📢 ВК Видео
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥15