Краткий видео-курс по байесовскому тестированию:
https://www.youtube.com/playlist?list=PLAKBwakacHbRRw278HMXpCsOOIIcLYGX5
via @ABtesting
https://www.youtube.com/playlist?list=PLAKBwakacHbRRw278HMXpCsOOIIcLYGX5
via @ABtesting
YouTube
Bayesian A/B campaign testing (and design) - YouTube
Как растили retention и искали retention-драйвер в продукте iFunny, какие A/B-тесты делали и какие результаты получали, Михаил Табунов
https://www.youtube.com/watch?v=UJkXIqSzlAo
via @ABtesting
https://www.youtube.com/watch?v=UJkXIqSzlAo
via @ABtesting
Методы автоматизации А/B-тестов и какие тесты автоматизировать нельзя (видео митапа):
https://www.youtube.com/watch?v=r1OXJ4qWXg4
via @ABtesting
https://www.youtube.com/watch?v=r1OXJ4qWXg4
via @ABtesting
YouTube
Прямая трансляция пользователя MFMeetUp
Множественные эксперименты: теория и практика: https://habr.com/ru/company/yandex/blog/476826/
via @ABtesting
via @ABtesting
Хабр
Множественные эксперименты: теория и практика
В современном мире сложно представить развитие продукта без A/B-тестирования. Чтобы успешно запустить продукт или новую функциональность — надо грамотно спроектировать A/B, рассчитать и...
Forwarded from Product Analytics
Как устроено A/B-тестирование в разных компаниях:
• Stackoverflow - https://stackoverflow.blog/2017/10/17/power-calculations-p-values-ab-testing-stack-overflow/
• Netflix - https://medium.com/netflix-techblog
• Airbnb - https://medium.com/airbnb-engineering/https-medium-com-jonathan-parks-scaling-erf-23fd17c91166
• Uber - https://eng.uber.com/xp/
• Microsoft - https://exp-platform.com/experiments-at-microsoft/
• Avito - https://habr.com/ru/company/avito/blog/454164/
• Yandex - https://habr.com/company/yandex/blog/342704/
via @ProductAnalytics
• Stackoverflow - https://stackoverflow.blog/2017/10/17/power-calculations-p-values-ab-testing-stack-overflow/
• Netflix - https://medium.com/netflix-techblog
• Airbnb - https://medium.com/airbnb-engineering/https-medium-com-jonathan-parks-scaling-erf-23fd17c91166
• Uber - https://eng.uber.com/xp/
• Microsoft - https://exp-platform.com/experiments-at-microsoft/
• Avito - https://habr.com/ru/company/avito/blog/454164/
• Yandex - https://habr.com/company/yandex/blog/342704/
via @ProductAnalytics
Stack Overflow Blog
From Power Calculations to P-Values: A/B Testing at Stack Overflow
If you hang out on Meta Stack Overflow, you may have noticed news from time to time about A/B tests of various features here at Stack Overflow. We use A/B testing to compare a new version to a baseline for a design, a machine learning model, or practically…
Forwarded from WebAnalytics (Осиюк Дмитрий)
Wix в очередной раз делает в Киеве бесплатный митап для аналитиков. 12 декабря Инна из Wix поделится кейсами неожиданных результатов A/B тестов, а Саша из MacPaw расскажет про проведение A/B тестов в стартапах. Кстати, у Саши есть свой канал про аналитику на базе Google BigQuery, подписывайтесь: @BigQuery.
Регистрируйтесь, ждите подтверждения вашего участия и приходите на ивент: http://bit.ly/37XhhlF
via @WebAnalyst
Регистрируйтесь, ждите подтверждения вашего участия и приходите на ивент: http://bit.ly/37XhhlF
via @WebAnalyst
Forwarded from BigQuery Insights
«A/B-тестирование в стартапах или Как делать тесты быстрее»
Сжатое содержание моего доклада с митапа для аналитиков от Wix.
via @BigQuery
Сжатое содержание моего доклада с митапа для аналитиков от Wix.
via @BigQuery
Сравнение частотного и байесовского подхода к A/B-тестированию:
https://mobiledevmemo.com/its-time-to-abandon-a-b-testing/
via @ABtesting
https://mobiledevmemo.com/its-time-to-abandon-a-b-testing/
via @ABtesting
Mobile Dev Memo by Eric Seufert
It's time to re-think A/B testing | Mobile Dev Memo by Eric Seufert
It's time to re-think A/B testing. Mobile marketing and advertising, freemium monetization strategy, and marketing science. Mobile Dev Memo.
Bayesian vs Frequentist A/B Testing – What’s the Difference?
https://cxl.com/blog/bayesian-frequentist-ab-testing/
via @ABtesting
https://cxl.com/blog/bayesian-frequentist-ab-testing/
via @ABtesting
CXL
Bayesian vs. Frequentist A/B Testing: What's the Difference?
It's a debate that dates back a few centuries, though modernized for the world of optimization: Bayesian vs Frequentist a/b testing. Does it matter?
How to Make More Money With Bayesian A/B Test Evaluation:
https://cxl.com/blog/bayesian-ab-test-evaluation/
via @ABtesting
https://cxl.com/blog/bayesian-ab-test-evaluation/
via @ABtesting
CXL
Bayesian vs. Frequentist A/B Testing: What's the Difference?
It's a debate that dates back a few centuries, though modernized for the world of optimization: Bayesian vs Frequentist a/b testing. Does it matter?
Rapid A/B-testing with Sequential Analysis:
https://www.auduno.com/2014/12/25/rapid-a-b-testing-with-sequential-analysis/
via @ABtesting
https://www.auduno.com/2014/12/25/rapid-a-b-testing-with-sequential-analysis/
via @ABtesting
Audun M Øygard
Rapid A/B-testing with Sequential Analysis
A common issue with classical A/B-tests, especially when you want to be able to detect small differences, is that the sample size needed can be prohibitively large. In many cases it can take several w
Forwarded from Product Analytics
Статистика для A/B-тестирования, простое руководство для понимания:
https://cxl.com/blog/ab-testing-statistics/
via @ProductAnalytics
https://cxl.com/blog/ab-testing-statistics/
via @ProductAnalytics
CXL
A/B Testing Statistics: An Easy-to-Understand Guide
A/B testing statistics are easier to master than you think. Rely on the expertise of the best-known practitioners to run tests right.
Данила Леньков из Avito о том, как проходит АБ-тестирование в Avito:
https://www.youtube.com/watch?v=9UGyCOvQ7Z4
via @ABtesting
https://www.youtube.com/watch?v=9UGyCOvQ7Z4
via @ABtesting
YouTube
A/B Experementation Platform. Данила Леньков, Avito
В этом докладе Данила Леньков рассказывает как устроено A/B тестирование в Avito:
— Зачем нужна платформа A/B
— Об экспериментах в Avito: полный цикл эксперимента, управление экспериментом, сплит трафика, админка, сбор метрик, виды метрик, витрина наблюдений…
— Зачем нужна платформа A/B
— Об экспериментах в Avito: полный цикл эксперимента, управление экспериментом, сплит трафика, админка, сбор метрик, виды метрик, витрина наблюдений…
Статья, в которой автор Fareed Mosavat (ex. Dir of Product в Slack) рассказывает о разнице между хорошими и плохими тестами:
https://www.reforge.com/blog/good-experiment-bad-experiment
via @ABtesting
https://www.reforge.com/blog/good-experiment-bad-experiment
via @ABtesting
Reforge
The Importance of Product Trial: Good vs Bad Experiments — Reforge
Fareed Mosavat outlines the 12 lessons he has learned about what sets Good Experiments apart from Bad Experiments.
Forwarded from Product Analytics
Новая книга Нассима Талеба доступна для чтения в оригинале (EN):
"Статистические последствия тяжелых хвостов: преасимптотика, эпистемология и приложения."
https://arxiv.org/abs/2001.10488
via @ProductAnalytics
"Статистические последствия тяжелых хвостов: преасимптотика, эпистемология и приложения."
https://arxiv.org/abs/2001.10488
via @ProductAnalytics
Forwarded from BigQuery Insights
Шаблон SQL-запроса для подсчета основных метрик A/B-теста в Firebase по данным в BigQuery.
Конверсии по каждому из вариантов:
• в покупку,
• во второй запуск,
• в целевое действие.
via @BigQuery
Конверсии по каждому из вариантов:
• в покупку,
• во второй запуск,
• в целевое действие.
via @BigQuery
Advanced A/B Testing Panel with Top Experts [Video]
https://cxl.com/blog/advanced-testing-panel-with-top-experts-video/
via @ABtesting
https://cxl.com/blog/advanced-testing-panel-with-top-experts-video/
via @ABtesting
CXL
Advanced A/B Testing Panel with Top Experts [Video]
At CXL Live 2015 we had an amazing a/b split testing panel featuring statistics and testing gurus Lukas Vermeer from Booking.com, Matt Gershoff from
10 статистических ловушек в А/Б тестировании:
https://cxl.com/blog/testing-statistics-mistakes/
via @ABtesting
https://cxl.com/blog/testing-statistics-mistakes/
via @ABtesting
CXL
10 Statistics Mistakes and Traps in A/B Testing: The Guide for Optimizers
Learn the 10 most important statistical traps to avoid when doing A/B testing if you want to have statistically significant results.