Неожиданные результаты в ожидаемых A/B-тестах
Дано: названия вкладки с рекомендациями. Вы устраиваете стандартные A/B-тесты. Используете привычные метрики. Получаете необычные результаты. Устраиваете эксперимент про восприятие информации. Проводите обратный A/B-тест.
Вау, что это было?
Рассказывал Женя Чумаченко в докладе на Avito Analytics Meetup #5: http://bit.ly/3qxXMKu
А всем фанатам Дани Казанцева рекомендуем плейлист с трансляции: https://bit.ly/3JacvUA
Дано: названия вкладки с рекомендациями. Вы устраиваете стандартные A/B-тесты. Используете привычные метрики. Получаете необычные результаты. Устраиваете эксперимент про восприятие информации. Проводите обратный A/B-тест.
Вау, что это было?
Рассказывал Женя Чумаченко в докладе на Avito Analytics Meetup #5: http://bit.ly/3qxXMKu
А всем фанатам Дани Казанцева рекомендуем плейлист с трансляции: https://bit.ly/3JacvUA
YouTube
Неожиданные результаты в ожидаемых A/B-тестах | Евгений Чумаченко, Авито
Как мы получили неожиданный результат в довольно стандартном A/B-тесте с названием вкладки с рекомендациями, и как это породило серию других тестов.
00:00 — Представление спикера и план доклада
00:40 — Рекомендации в Авито
03:20 — Метрики: что и как считаем…
00:00 — Представление спикера и план доклада
00:40 — Рекомендации в Авито
03:20 — Метрики: что и как считаем…
Всем привет!
Это — последний пост от команды AvitoTech в 2021 году.
Наши соцсети, почта и блоги на Habr и Medium будут отдыхать с завтрашнего дня до 9 января 2022 года включительно.
По срочным вопросам рекомендуем обращаться в поддержку Авито. Это можно сделать как внутри приложения, так и на сайте: https://support.avito.ru/. Или написать в личные сообщения любой нашей официальной соцсети (оставим ссылки в комментариях).
Поддержка в социальных сетях работает 31.12 — с 07:00 до 22:00, 01.01 — с 08:00 до 23:00. Затем в штатном режиме — с 07:00 до 23:00.
Письменная поддержка 31.12 — до 22:00, а 01.01 начнёт работу с 08:00 и продолжит функционировать в режиме 24/7.
Голосовая поддержка 31.12 — до 18:00, далее в следующем режиме:
01-02.01 — выходные дни.
03-07.01 — поддержка Pro с 08:00 до 18:00, частная поддержка с 08:00 до 20:00.
08-09.01 — выходные дни.
Желаем каждому читателю этого поста в 2022 году найти work-life balance!
До встречи. :)
Это — последний пост от команды AvitoTech в 2021 году.
Наши соцсети, почта и блоги на Habr и Medium будут отдыхать с завтрашнего дня до 9 января 2022 года включительно.
По срочным вопросам рекомендуем обращаться в поддержку Авито. Это можно сделать как внутри приложения, так и на сайте: https://support.avito.ru/. Или написать в личные сообщения любой нашей официальной соцсети (оставим ссылки в комментариях).
Поддержка в социальных сетях работает 31.12 — с 07:00 до 22:00, 01.01 — с 08:00 до 23:00. Затем в штатном режиме — с 07:00 до 23:00.
Письменная поддержка 31.12 — до 22:00, а 01.01 начнёт работу с 08:00 и продолжит функционировать в режиме 24/7.
Голосовая поддержка 31.12 — до 18:00, далее в следующем режиме:
01-02.01 — выходные дни.
03-07.01 — поддержка Pro с 08:00 до 18:00, частная поддержка с 08:00 до 20:00.
08-09.01 — выходные дни.
Желаем каждому читателю этого поста в 2022 году найти work-life balance!
До встречи. :)
👍1
Запрыгиваем в рабочие будни прямо из санок. Если вы тоже ищете рабочий настрой и встряску, вот вам дайджест — вспомним, что было в декабре.
🚀 Статьи
• Строим эффективный сетевой обмен в PHP-микросервисах
Техлид команды Авито SLA об оптимизации сетевых вызовов, CURL-запросов, деградации сервисов и FAIL-FAST-подходах.
• Пуши Авито. Как сделать самый навязчивый формат не таким раздражающим
О мобильных пушах: какого тона мы придерживаемся, как работаем с техническими ограничениями и о чём думаем, чтобы текст звучал складно.
• Go после Python. Как я учу новый язык
Как наш бэкендер выбрал Авито, Codewars и Golang.
• Как напечатать float
Если нужно вдвое и больше ускорить выгрузку данных для ML обучения за полдня работы и 50 строк кода, то существует довольно неожиданный способ из этой статьи.
• Обзор докладов с конференции Hydra 2021
На ютубе опубликовали записи с конференции Hydra 2021, а в статье вас ждут краткие содержания самых полезных и интересных докладов.
• Детектирование и оценка сбоев
Поговорим про инциденты и инцидент-менеджмент.
• ML-критерии для A/B-тестов
Как ещё сильнее увеличить мощность критериев для A/B-тестирования, используя машинное обучение.
• Воспарить на воздусех
Как собрать примитивный акустический левитатор на коленке…
• Механическое что-то-такое-видение
…или механический телевизор из бумаги и лампочки.
🚀 Трансляции
• Avito Analytics meetup #5
Доклады — о неожиданных результатах в A/B-тестах, устройстве аналитики продуктов автоматизации обслуживания, антифроде на рынке такси и аналитике перформанса.
🚀 Где были в декабре
На этом моменте можно пойти за чаем, вернуться, развернуть на втором экране плейлист Digest / December и наслаждаться.
Внутри плейлиста:
• iOS CI из конфет и мечей. Влад Алексеев на митапе СберМаркета.
• Рулетка кейсов о будущем мобильной разработки. Сергей Боиштян на YaTalks.
• Опыт внедрения mTLS с использованием spiffe/spire в service mesh в Авито. Алексей Егоров на VK Kubernetes Conference.
• Как организована работа с дизайн-системой в Авито. Инна Летина и Денис Сбитний на Podlodka Design Crew.
• Avito Android CI: Шо? Зачем? Почему? Сергей Боиштян на Android Academy #9.
А этого нет в плейлисте, но посмотреть можно, если есть подписка:
• К чему приводит срочность и дизайн без вводных данных. Лера Мартыненко на Epic Fail meetup.
🚀 Где будем в январе
• В основном будем на любимых рабочих местах: кто в офисе на Лесной, кто дома. А если сходим проведать кого-нибудь, сообщим вам в режиме реального времени. Не переключайтесь!
🚀 Ещё
• В январе пройдёт наш внутренний антихакатон Avito Ninja 2021.
Для участия ребята не делают проекты с нуля: достаточно выбрать подходящую номинацию для уже проделанной работы за год и подать заявку.
Так что, дорогие коллеги, если вы не зарегистрированы — время есть, следите за слак!
🚀 Статьи
• Строим эффективный сетевой обмен в PHP-микросервисах
Техлид команды Авито SLA об оптимизации сетевых вызовов, CURL-запросов, деградации сервисов и FAIL-FAST-подходах.
• Пуши Авито. Как сделать самый навязчивый формат не таким раздражающим
О мобильных пушах: какого тона мы придерживаемся, как работаем с техническими ограничениями и о чём думаем, чтобы текст звучал складно.
• Go после Python. Как я учу новый язык
Как наш бэкендер выбрал Авито, Codewars и Golang.
• Как напечатать float
Если нужно вдвое и больше ускорить выгрузку данных для ML обучения за полдня работы и 50 строк кода, то существует довольно неожиданный способ из этой статьи.
• Обзор докладов с конференции Hydra 2021
На ютубе опубликовали записи с конференции Hydra 2021, а в статье вас ждут краткие содержания самых полезных и интересных докладов.
• Детектирование и оценка сбоев
Поговорим про инциденты и инцидент-менеджмент.
• ML-критерии для A/B-тестов
Как ещё сильнее увеличить мощность критериев для A/B-тестирования, используя машинное обучение.
• Воспарить на воздусех
Как собрать примитивный акустический левитатор на коленке…
• Механическое что-то-такое-видение
…или механический телевизор из бумаги и лампочки.
🚀 Трансляции
• Avito Analytics meetup #5
Доклады — о неожиданных результатах в A/B-тестах, устройстве аналитики продуктов автоматизации обслуживания, антифроде на рынке такси и аналитике перформанса.
🚀 Где были в декабре
На этом моменте можно пойти за чаем, вернуться, развернуть на втором экране плейлист Digest / December и наслаждаться.
Внутри плейлиста:
• iOS CI из конфет и мечей. Влад Алексеев на митапе СберМаркета.
• Рулетка кейсов о будущем мобильной разработки. Сергей Боиштян на YaTalks.
• Опыт внедрения mTLS с использованием spiffe/spire в service mesh в Авито. Алексей Егоров на VK Kubernetes Conference.
• Как организована работа с дизайн-системой в Авито. Инна Летина и Денис Сбитний на Podlodka Design Crew.
• Avito Android CI: Шо? Зачем? Почему? Сергей Боиштян на Android Academy #9.
А этого нет в плейлисте, но посмотреть можно, если есть подписка:
• К чему приводит срочность и дизайн без вводных данных. Лера Мартыненко на Epic Fail meetup.
🚀 Где будем в январе
• В основном будем на любимых рабочих местах: кто в офисе на Лесной, кто дома. А если сходим проведать кого-нибудь, сообщим вам в режиме реального времени. Не переключайтесь!
🚀 Ещё
• В январе пройдёт наш внутренний антихакатон Avito Ninja 2021.
Для участия ребята не делают проекты с нуля: достаточно выбрать подходящую номинацию для уже проделанной работы за год и подать заявку.
Так что, дорогие коллеги, если вы не зарегистрированы — время есть, следите за слак!
👍2
Детектирование и оценка сбоев
Поговорим об инцидент-менеджменте. Что он для инженеров? Это, например, простой набор действий.
При возникновении инцидента запускается автоматизированная цепочка действий: «Устраняй → Описывай → Обсуждай». Это цикл, где каждый раз, когда возникает инцидент, мы должны его устранить. Такой подход также подразумевает пропагандирование культуры, в которой наша цель — не закрыть все баги, а быть готовыми к инциденту, чтобы уменьшить его влияние на работу компании.
Но это не всё. Загляните в статью Димы Химиона, где он делится своим опытом и процессами в Авито: http://bit.ly/3Gq8qKe
Поговорим об инцидент-менеджменте. Что он для инженеров? Это, например, простой набор действий.
При возникновении инцидента запускается автоматизированная цепочка действий: «Устраняй → Описывай → Обсуждай». Это цикл, где каждый раз, когда возникает инцидент, мы должны его устранить. Такой подход также подразумевает пропагандирование культуры, в которой наша цель — не закрыть все баги, а быть готовыми к инциденту, чтобы уменьшить его влияние на работу компании.
Но это не всё. Загляните в статью Димы Химиона, где он делится своим опытом и процессами в Авито: http://bit.ly/3Gq8qKe
Хабр
Детектирование и оценка сбоев
Поговорим про инциденты и инцидент-менеджмент. Буквально погрузимся в них, разберём основные черты и характер. Рассмотрим типовые ситуации из моего опыта, как этот процесс работает в Авито, как мы...
👍10❤1
Продуктовые процессы в Авито
Костя Шадрин — наш бывший ведущий продакт-менеджер, который отвечал за юнит опыта работодателей.
В этой статье он раскрывает обязанности продактов в Авито, разницу Discovery и Delivery потоков, Team health check и фреймворк Working Backwards, который пришёл к нам из Амазона. Вкратце, философия наших продуктовых процессов — это конкретный эффект от фичей, а не их количество и масштабы.
Читать: https://bit.ly/3Kb2yXp
Костя, ты — супер! Удачи тебе и новых свершений.
Костя Шадрин — наш бывший ведущий продакт-менеджер, который отвечал за юнит опыта работодателей.
В этой статье он раскрывает обязанности продактов в Авито, разницу Discovery и Delivery потоков, Team health check и фреймворк Working Backwards, который пришёл к нам из Амазона. Вкратце, философия наших продуктовых процессов — это конкретный эффект от фичей, а не их количество и масштабы.
Читать: https://bit.ly/3Kb2yXp
Костя, ты — супер! Удачи тебе и новых свершений.
👍14❤1
ML-критерии для A/B-тестов
CUPAC!
Мы сможем всё: ты и я, я знаю, ты судьба Авито,
CUNOPAC!
О, мой лучший друг, нас узнают все вокруг.
CUMPED!
Мы сможем всё, спринт зовёт, не бойся, иди вперёд.
Смело в путь, друзья с тобой,
CU-PED-метод!
А теперь серьёзно: рассказываем, как ещё сильнее увеличить мощность критериев для для A/B-тестирования, используя машинное обучение: http://bit.ly/3fw71G9
CUPAC!
Мы сможем всё: ты и я, я знаю, ты судьба Авито,
CUNOPAC!
О, мой лучший друг, нас узнают все вокруг.
CUMPED!
Мы сможем всё, спринт зовёт, не бойся, иди вперёд.
Смело в путь, друзья с тобой,
CU-PED-метод!
А теперь серьёзно: рассказываем, как ещё сильнее увеличить мощность критериев для для A/B-тестирования, используя машинное обучение: http://bit.ly/3fw71G9
🔥4👍3❤1
Ваня Бондарь — руководитель разработки кластера Seller Experience / эксперт Авито на GetMentor
Ваня пришёл в Авито как iOS-разработчик, но развернул свой путь так, что сейчас возглавляет группу юнитов, которая отвечает за опыт продавцов в Авито.
Спросить Ваню можно про:
✔️ управление командами;
✔️ сбор команды с нуля и её развитие;
✔️ реорганизацию существующих команд;
✔️ карьерное развитие из разработчика в руководителя;
✔️ развитие менеджеров.
Оставить заявку на менторство: https://bit.ly/3rCkzFJ
#avitoteam #avito_getmentor
Ваня пришёл в Авито как iOS-разработчик, но развернул свой путь так, что сейчас возглавляет группу юнитов, которая отвечает за опыт продавцов в Авито.
Спросить Ваню можно про:
✔️ управление командами;
✔️ сбор команды с нуля и её развитие;
✔️ реорганизацию существующих команд;
✔️ карьерное развитие из разработчика в руководителя;
✔️ развитие менеджеров.
Оставить заявку на менторство: https://bit.ly/3rCkzFJ
#avitoteam #avito_getmentor
❤7👍3
FPS не падай, девайс не грейся
«Это невозможно», — сказала Причина,
«Это безрассудно», — ответил Рассудок,
«Это бесполезно», — отрезала Гордость,
«Попробую», — шепнул Лёша, наш iOS-разработчик, и пофиксил просадки FPS.
Как? Да вот так: http://bit.ly/3rH0VZb
#iOS_avitotech #статья_avitotech #habr_avitotech
«Это невозможно», — сказала Причина,
«Это безрассудно», — ответил Рассудок,
«Это бесполезно», — отрезала Гордость,
«Попробую», — шепнул Лёша, наш iOS-разработчик, и пофиксил просадки FPS.
Как? Да вот так: http://bit.ly/3rH0VZb
#iOS_avitotech #статья_avitotech #habr_avitotech
🔥8❤7👍2🎉1
Weekend Offer для Go-разработчиков
19-20 февраля ждём backend-разработчиков со знанием Go на нашем Weekend Offer.
Заявки — до 15 февраля включительно: http://bit.ly/3u2OPwi
После регистрации пришлём тест из трёх заданий на 180 минут. Будем смотреть ваше знание Go, SQL и алгоритмов. На результаты дадим обратную связь и, при успешном прохождении, пригласим на собеседования.
AvitoTech — это сильная команда, внутреннее Go-сообщество, десятки тысяч RPS к бэкенду, микросервисная архитектура, а ещё белая зарплата, ДМС, офис на м. Белорусская, возможность полной удалёнки и… Всё крутое о нас в один пост не поместится.
А может, вы не Go-разработчик, но знаете такого? Тогда на десерт — реферальная программа: http://bit.ly/3AHqrSc
#avitoweekendoffer
19-20 февраля ждём backend-разработчиков со знанием Go на нашем Weekend Offer.
Заявки — до 15 февраля включительно: http://bit.ly/3u2OPwi
После регистрации пришлём тест из трёх заданий на 180 минут. Будем смотреть ваше знание Go, SQL и алгоритмов. На результаты дадим обратную связь и, при успешном прохождении, пригласим на собеседования.
AvitoTech — это сильная команда, внутреннее Go-сообщество, десятки тысяч RPS к бэкенду, микросервисная архитектура, а ещё белая зарплата, ДМС, офис на м. Белорусская, возможность полной удалёнки и… Всё крутое о нас в один пост не поместится.
А может, вы не Go-разработчик, но знаете такого? Тогда на десерт — реферальная программа: http://bit.ly/3AHqrSc
#avitoweekendoffer
🔥7
Андрей Тихонов — тимлид платформенной команды в юните System&Infrastructure / эксперт Авито на GetMentor
Спросить Андрея можно про:
✔️ работу с высоконагруженными проектами;
✔️ задачи масштабирования и отказоустойчивости;
✔️ проектирование архитектуры сервисов;
✔️ DevOps;
✔️ Linux, Debian, nginx, Puppet, etc.
Оставить заявку на менторство: https://bit.ly/3KNxSMl
#avitoteam #avito_getmentor
Спросить Андрея можно про:
✔️ работу с высоконагруженными проектами;
✔️ задачи масштабирования и отказоустойчивости;
✔️ проектирование архитектуры сервисов;
✔️ DevOps;
✔️ Linux, Debian, nginx, Puppet, etc.
Оставить заявку на менторство: https://bit.ly/3KNxSMl
#avitoteam #avito_getmentor
👍2🔥1