Две фундаментальные проблемы с A/B тестированием в продукте: https://mobiledevmemo.com/two-fundamental-problems-with-product-a-b-testing/
via @ABtesting
via @ABtesting
Mobile Dev Memo by Eric Seufert
Two fundamental pitfalls with product A/B testing | Mobile Dev Memo by Eric Seufert
Two fundamental pitfalls with product A/B testing. Mobile marketing and advertising, freemium monetization strategy, and marketing science. Mobile Dev Memo.
Forwarded from Product Analytics
Очень хороший и практичный материал о развитии продуктов. О том как планировать A/B тесты и соблюдать баланс между оптимизационными и иновационными изменениями.
via @ProductAnalytics
via @ProductAnalytics
Medium
A Balanced Approach to Growth
How startups can optimize and innovate their way to more growth
Сегодня в Киеве Jonas Alves (был у истоков experimentation platform в легендарном booking.com) сделает небольшой доклад: "Tracking mistakes in A/B testing and what we did to fix them".
https://www.facebook.com/paul.levchuk.1/posts/3203203959751678
via @ABtesting
https://www.facebook.com/paul.levchuk.1/posts/3203203959751678
via @ABtesting
Отличный канал Сергея Гудкова об экспериментах с конверсией и прибылью. Масса полезных практических советов.
@conversion_and_analytics
via @ABtesting
@conversion_and_analytics
via @ABtesting
A/B test калькулятор в Google Sheets:
https://docs.google.com/spreadsheets/d/18w387uonW8zF1_6NtAuBKnQgDNp0qKSlCYu2IAdQ5Ks/edit#gid=1997184298
И как им пользоваться:
https://medium.com/@aleksandrosiyuk/автоматизация-результатов-a-b-тестирования-cf3b1f99a218
via @ABtesting
https://docs.google.com/spreadsheets/d/18w387uonW8zF1_6NtAuBKnQgDNp0qKSlCYu2IAdQ5Ks/edit#gid=1997184298
И как им пользоваться:
https://medium.com/@aleksandrosiyuk/автоматизация-результатов-a-b-тестирования-cf3b1f99a218
via @ABtesting
Отдельная секция по А/Б-тестированию: 6 докладов от ребят из Яндекса, Авито, AIC, X5 Retail Group. Темы затрагивают весь цикл проведения сплит-тестов. От теории планирования эксперимента и управления чувствительностью метрик, до построения аналитической инфраструктуры.
+ лекции и мастер-классы Адриана Грегори из Amplitude, от Максима Годзи из Retentoneering и актуальные кейсы от Ильи Красинского.
Подробная программа: http://bit.ly/33SYfe0 (на второй вкладке - детальное описание всех тем)
Купить билет: https://matemarketing.timepad.ru/event/992934/
via @ABtesting
+ лекции и мастер-классы Адриана Грегори из Amplitude, от Максима Годзи из Retentoneering и актуальные кейсы от Ильи Красинского.
Подробная программа: http://bit.ly/33SYfe0 (на второй вкладке - детальное описание всех тем)
Купить билет: https://matemarketing.timepad.ru/event/992934/
via @ABtesting
Google Docs
Программа Матемаркетинга
Forwarded from WebAnalytics (Осиюк Дмитрий)
В Google Data Studio (пока что) нет встроенных статистических функций, например, которые позволяют убедиться, что анализируемые данные получены не случайно. Нашел статью, где с помощью Community visualizations эту проблему решили и выложили в открытый доступ визуализацию с расчетом статистической значимости метрик по методу хи-квадрат. Как этим пользоваться и как добавить в свой дашборд такое решение — по ссылке: http://bit.ly/2MJzNW4.
via @WebAnalyst
via @WebAnalyst
Краткий видео-курс по байесовскому тестированию:
https://www.youtube.com/playlist?list=PLAKBwakacHbRRw278HMXpCsOOIIcLYGX5
via @ABtesting
https://www.youtube.com/playlist?list=PLAKBwakacHbRRw278HMXpCsOOIIcLYGX5
via @ABtesting
YouTube
Bayesian A/B campaign testing (and design) - YouTube
Как растили retention и искали retention-драйвер в продукте iFunny, какие A/B-тесты делали и какие результаты получали, Михаил Табунов
https://www.youtube.com/watch?v=UJkXIqSzlAo
via @ABtesting
https://www.youtube.com/watch?v=UJkXIqSzlAo
via @ABtesting
Методы автоматизации А/B-тестов и какие тесты автоматизировать нельзя (видео митапа):
https://www.youtube.com/watch?v=r1OXJ4qWXg4
via @ABtesting
https://www.youtube.com/watch?v=r1OXJ4qWXg4
via @ABtesting
YouTube
Прямая трансляция пользователя MFMeetUp
Множественные эксперименты: теория и практика: https://habr.com/ru/company/yandex/blog/476826/
via @ABtesting
via @ABtesting
Хабр
Множественные эксперименты: теория и практика
В современном мире сложно представить развитие продукта без A/B-тестирования. Чтобы успешно запустить продукт или новую функциональность — надо грамотно спроектировать A/B, рассчитать и...
Forwarded from Product Analytics
Как устроено A/B-тестирование в разных компаниях:
• Stackoverflow - https://stackoverflow.blog/2017/10/17/power-calculations-p-values-ab-testing-stack-overflow/
• Netflix - https://medium.com/netflix-techblog
• Airbnb - https://medium.com/airbnb-engineering/https-medium-com-jonathan-parks-scaling-erf-23fd17c91166
• Uber - https://eng.uber.com/xp/
• Microsoft - https://exp-platform.com/experiments-at-microsoft/
• Avito - https://habr.com/ru/company/avito/blog/454164/
• Yandex - https://habr.com/company/yandex/blog/342704/
via @ProductAnalytics
• Stackoverflow - https://stackoverflow.blog/2017/10/17/power-calculations-p-values-ab-testing-stack-overflow/
• Netflix - https://medium.com/netflix-techblog
• Airbnb - https://medium.com/airbnb-engineering/https-medium-com-jonathan-parks-scaling-erf-23fd17c91166
• Uber - https://eng.uber.com/xp/
• Microsoft - https://exp-platform.com/experiments-at-microsoft/
• Avito - https://habr.com/ru/company/avito/blog/454164/
• Yandex - https://habr.com/company/yandex/blog/342704/
via @ProductAnalytics
Stack Overflow Blog
From Power Calculations to P-Values: A/B Testing at Stack Overflow
If you hang out on Meta Stack Overflow, you may have noticed news from time to time about A/B tests of various features here at Stack Overflow. We use A/B testing to compare a new version to a baseline for a design, a machine learning model, or practically…
Forwarded from WebAnalytics (Осиюк Дмитрий)
Wix в очередной раз делает в Киеве бесплатный митап для аналитиков. 12 декабря Инна из Wix поделится кейсами неожиданных результатов A/B тестов, а Саша из MacPaw расскажет про проведение A/B тестов в стартапах. Кстати, у Саши есть свой канал про аналитику на базе Google BigQuery, подписывайтесь: @BigQuery.
Регистрируйтесь, ждите подтверждения вашего участия и приходите на ивент: http://bit.ly/37XhhlF
via @WebAnalyst
Регистрируйтесь, ждите подтверждения вашего участия и приходите на ивент: http://bit.ly/37XhhlF
via @WebAnalyst
Forwarded from BigQuery Insights
«A/B-тестирование в стартапах или Как делать тесты быстрее»
Сжатое содержание моего доклада с митапа для аналитиков от Wix.
via @BigQuery
Сжатое содержание моего доклада с митапа для аналитиков от Wix.
via @BigQuery
Сравнение частотного и байесовского подхода к A/B-тестированию:
https://mobiledevmemo.com/its-time-to-abandon-a-b-testing/
via @ABtesting
https://mobiledevmemo.com/its-time-to-abandon-a-b-testing/
via @ABtesting
Mobile Dev Memo by Eric Seufert
It's time to re-think A/B testing | Mobile Dev Memo by Eric Seufert
It's time to re-think A/B testing. Mobile marketing and advertising, freemium monetization strategy, and marketing science. Mobile Dev Memo.
Bayesian vs Frequentist A/B Testing – What’s the Difference?
https://cxl.com/blog/bayesian-frequentist-ab-testing/
via @ABtesting
https://cxl.com/blog/bayesian-frequentist-ab-testing/
via @ABtesting
CXL
Bayesian vs. Frequentist A/B Testing: What's the Difference?
It's a debate that dates back a few centuries, though modernized for the world of optimization: Bayesian vs Frequentist a/b testing. Does it matter?
How to Make More Money With Bayesian A/B Test Evaluation:
https://cxl.com/blog/bayesian-ab-test-evaluation/
via @ABtesting
https://cxl.com/blog/bayesian-ab-test-evaluation/
via @ABtesting
CXL
Bayesian vs. Frequentist A/B Testing: What's the Difference?
It's a debate that dates back a few centuries, though modernized for the world of optimization: Bayesian vs Frequentist a/b testing. Does it matter?