“История одного обмана” или “Требования к распределению в t-тесте”. О том, как работает t-критерий (критерий Стьюдента).
via @ABtesting
via @ABtesting
Forwarded from BigQuery Insights
Как сделать причинно-следственный вывод по методу Массачусетского технологического института.
via @ABtesting
via @ABtesting
Книга по байесовской оптимизации от Roman Garnett. Это драфт от автора, официально книга выйдет в 2022 году.
via @ABtesting
via @ABtesting
10 ошибок в A/B-тестировании мобильных приложений
Подробный разбор самых частых ошибок при проведении экспериментов — с примерами и рекомендациями по устранению. Полезно изучить перед запуском A/B-тестов в продукте.
Бонусом в статье делятся новым сервисом для проведения A/B-тестов именно в мобильных приложениях: proba.ai.
via @ABtesting
Подробный разбор самых частых ошибок при проведении экспериментов — с примерами и рекомендациями по устранению. Полезно изучить перед запуском A/B-тестов в продукте.
Бонусом в статье делятся новым сервисом для проведения A/B-тестов именно в мобильных приложениях: proba.ai.
via @ABtesting
vc.ru
10 ошибок в A/B-тестировании мобильных приложений — Маркетинг на vc.ru
Что влияет на монетизацию продукта? Дизайн продукта, спецпредложения, игровые механики, тарифные планы и прочее. Но для всего этого не существует универсальной формулы, которая бы позволила бесконечно извлекать прибыль, а принимать решения необходимо. В этом…
Приглашаем на митап по аналитике от EXPF x Delivery Club
Программа:
— «Что делать, если возникли сомнения, подходит ли твой критерий для твоего теста (а они должны возникать!)», Тимур Исмагилов, Avito
— «Платформа switchback-экспериментов в Ситимобил», Артём Солоухин, Cитимобил
— «Как мы ищем точки роста в продукте: пошаговая инструкция», Владимир Абазов, Delivery Club
— «Скрытая угроза ранговых критериев», Егор Семин, EXPF
Когда: 25 ноября 2021, 18:00—20:00
Где: online
Регистрация и детали: https://u.to/57bCGw
Программа:
— «Что делать, если возникли сомнения, подходит ли твой критерий для твоего теста (а они должны возникать!)», Тимур Исмагилов, Avito
— «Платформа switchback-экспериментов в Ситимобил», Артём Солоухин, Cитимобил
— «Как мы ищем точки роста в продукте: пошаговая инструкция», Владимир Абазов, Delivery Club
— «Скрытая угроза ранговых критериев», Егор Семин, EXPF
Когда: 25 ноября 2021, 18:00—20:00
Где: online
Регистрация и детали: https://u.to/57bCGw
Как в Airbnb проводят эксперименты и как фреймворк Experiment Guardrails помогает им предотвратить негативное влияние на ключевые метрики при масштабных экспериментах.
via @ABtesting
via @ABtesting
🆎 Proba — новый сервис для проверки продуктовых гипотез в мобильных приложениях.
Развитие мобильного приложения невозможно без постоянной проверки новых гипотез. Это конвейер — протестировали, измерили, приняли/отклонили. Любому product-менеджеру, разработчику, аналитику, маркетологу хочется ускорить этот процесс. На проверку каждой гипотезы уходит несколько дней (часто и недель), плюс нужно позаботиться о статзначимости результата.
Мы запускаем сервис, который помогает мобильным продуктам автоматизировать этот процесс и проводить A/B-тесты быстрее и дешевле. Для этого мы реализовали алгоритмы автоматического распределения пользователей и оптимизации под выбранную целевую метрику. Помимо простой конверсии алгоритм может оптимизироваться на ARPU и количество совершённых событий. Уже в ходе эксперимента побеждающий вариант будет получать больше пользователей. Автоматическое распределение трафика работает на основе байесовской статистики.
🚀 Мы приглашаем вас попробовать наш сервис бесплатно и будем рады любой обратной связи — регистрируйтесь на proba.ai
📆 Также приглашаем на бесплатный вебинар «А/B-тесты в мобайле: как проверять гипотезы быстро и дёшево», который пройдёт 1 декабря в 16:00 МСК. Регистрация доступна здесь.
По всем вопросам: @annatch66
Развитие мобильного приложения невозможно без постоянной проверки новых гипотез. Это конвейер — протестировали, измерили, приняли/отклонили. Любому product-менеджеру, разработчику, аналитику, маркетологу хочется ускорить этот процесс. На проверку каждой гипотезы уходит несколько дней (часто и недель), плюс нужно позаботиться о статзначимости результата.
Мы запускаем сервис, который помогает мобильным продуктам автоматизировать этот процесс и проводить A/B-тесты быстрее и дешевле. Для этого мы реализовали алгоритмы автоматического распределения пользователей и оптимизации под выбранную целевую метрику. Помимо простой конверсии алгоритм может оптимизироваться на ARPU и количество совершённых событий. Уже в ходе эксперимента побеждающий вариант будет получать больше пользователей. Автоматическое распределение трафика работает на основе байесовской статистики.
🚀 Мы приглашаем вас попробовать наш сервис бесплатно и будем рады любой обратной связи — регистрируйтесь на proba.ai
📆 Также приглашаем на бесплатный вебинар «А/B-тесты в мобайле: как проверять гипотезы быстро и дёшево», который пройдёт 1 декабря в 16:00 МСК. Регистрация доступна здесь.
По всем вопросам: @annatch66
Ритейловский кубик рубик и как его собирать: X5 Group запускает платформу АБ-тестирования.
На финишной полосе этого года одна из крупнейших компаний страны X5 Group объявила о запуске первой в ритейле платформы АБ-тестирования. Анализ экспериментов будет проводиться на основе данных хранилища X5 и ежедневной работы 18656 магазинов, что суммарно означает обучение на десятках миллионов записей ежедневно. «Сырые» данные станут настоящим сокровищем в 1000 планируемых ежегодных экспериментов ритейлера. В планах X5 продолжить драйвить рост бизнеса за счет новых подтвержденных гипотез и уменьшить время внедрения успешных пилотов с минимизацией человеческого фактора в процессы.
Получается простая арифметика – чем больше задаешь вопросов, тем больше получаешь ответов. Каждый правильный ответ равен кратному эффекту для бизнеса и развития отрасли в целом.
Куда приведут такие примеры покажет время, но то, что этот шаг уникален и немного отдает ароматом «судьбоносного» можно заявить с уверенностью.
На финишной полосе этого года одна из крупнейших компаний страны X5 Group объявила о запуске первой в ритейле платформы АБ-тестирования. Анализ экспериментов будет проводиться на основе данных хранилища X5 и ежедневной работы 18656 магазинов, что суммарно означает обучение на десятках миллионов записей ежедневно. «Сырые» данные станут настоящим сокровищем в 1000 планируемых ежегодных экспериментов ритейлера. В планах X5 продолжить драйвить рост бизнеса за счет новых подтвержденных гипотез и уменьшить время внедрения успешных пилотов с минимизацией человеческого фактора в процессы.
Получается простая арифметика – чем больше задаешь вопросов, тем больше получаешь ответов. Каждый правильный ответ равен кратному эффекту для бизнеса и развития отрасли в целом.
Куда приведут такие примеры покажет время, но то, что этот шаг уникален и немного отдает ароматом «судьбоносного» можно заявить с уверенностью.
Как увеличить мощность критериев для A/B-тестирования, используя машинное обучение? Дима Лунин, аналитик AvitoTech, подробно рассказал в своей статье, а ещё:
🔹 что такое CUPED-метод и как улучшить CUPED-алгоритм;
🔹 как использовать Uplift-модель в качестве статистического критерия;
🔹 методы и критерии, разработанные и придуманные командой AvitoTech.
🔹 что такое CUPED-метод и как улучшить CUPED-алгоритм;
🔹 как использовать Uplift-модель в качестве статистического критерия;
🔹 методы и критерии, разработанные и придуманные командой AvitoTech.
Хабр
ML-критерии для A/B-тестов
Всем привет! Меня зовут Дима Лунин, и я аналитик в Авито. Как и в большинстве компаний, наш основной инструмент для принятия решений — это A/B-тесты. Мы уделяем им большое внимание: проверяем на...
Появился еще один пакет в Python для оценки A/B-тестирования с использованием байесовского подхода: статья | пакет | github
via @ABtesting
via @ABtesting
Segment analytics with Firebase AB testing
https://medium.com/firebase-developers/segment-analytics-with-firebase-ab-testing-36bfa6589ea4
via @ABtesting
https://medium.com/firebase-developers/segment-analytics-with-firebase-ab-testing-36bfa6589ea4
via @ABtesting
