A/B-тестирование: стоимости правильных и ошибочных решений

https://ecommerce-in-ukraine.blogspot.com/2019/07/ab-testing-strategy-bad-good-decisions-costs.html

Доверяй, но проверяй: почему нужно проводить А/B-тестирование (статья-обзор доклада Валерия Бабушкина с прошлогоднего Матемаркетинга @matemarketing_official)

https://www.thinkwithgoogle.com/intl/ru-ru/insights-trends/tools/ab-tests/

via @ABtesting

Статистическая значимость для небиномиальных показателей - доход для пользователя и пр.:

http://blog.analytics-toolkit.com/2017/statistical-significance-non-binomial-metrics-revenue-time-site-pages-session-aov-rpu/

T-Test калькулятор: https://www.evanmiller.org/ab-testing/t-test.html

via @ABtesting

Применение Bayesian подхода в A/B тестах:

https://telegra.ph/Primenenie-Bayesian-podhoda-v-AB-testah-03-02

Калькулятор Bayesian A/B test for conversion:
https://vidogreg.shinyapps.io/bayes-conversion-test/

via @ABtesting

Firebase Tutorial: iOS A/B Testing:
https://www.raywenderlich.com/215-firebase-tutorial-ios-a-b-testing

via @ABtesting

Bayesian подход в A/B тестах на примере бейсбольной статистики с примерами кода на R:

http://varianceexplained.org/r/bayesian_ab_baseball/

via @ABtesting

​​В Google Optimize появилась возможность через визуальный редактор вносить изменения для эксперимента сразу на нескольких группах страниц. Это полезно, когда в рамках одного теста нужно сделать разные изменения на странице товара и на странице оформления заказа. Пока что фича доступна в beta режиме. Более подробная информация в справке: http://bit.ly/2zdLRYg.

via @WebAnalyst

Бутстрап, или прикладная статистика почти без формул:

https://habr.com/ru/post/192000/

via @ABtesting

Что такое p-hacking?
https://ecommerce-in-ukraine.blogspot.com/2019/08/ab-testingp-hacking.html

via @ABtesting

В продолжение темы A/B-тестирования.

На Матемаркетинге будет огромная секция посвященная сплит-тестам.

Когда мы собирали программу, я настаивал на том, чтобы мы начали с теории планирования эксперимента, а закончили физическим смыслом метрик и управлением их чувствительностью.
В начале лета я «засыпался» на А/Б-тестах в интервью с руководителем одного из самых крутых R&D на рынке, поэтому секция А/Б-тестирования на Матемаркетинге, можно сказать, выстрадана

Так вот. Что разбираем:
Начинаем с Анатолия Карпова (это именно тот человек, по чьему курсу на Stepic вы учили матстат). Он расскажет о том, как сделать так, чтобы А/Б-тестирование заработало. Это простой доклад.

Далее:
- Как создать инфраструктуру для обеспечения централизации обработки и автоматизации A/B-тестирования. На примере Авито. Будет полезно тем, кто работает в крупных компаниях.
- Практические кейсы построения аналитической инфраструктуры в небольшой интернет-компании. Для тех, у кого мало данных, времени и денег.
- Как ускорить сотни А/Б-тестов в десятки раз. Это сложный доклад с глубокой математической базой.
Далее, снова два сложных доклада о том, как валидировать и развивать метрики и увеличивать их чувствительность.

На какие вопросы получим ответ:

- Подходы к процессам централизации и автоматизации А/В-тестирования.
- Как устроена инфраструктура в Авито с погружением в детали:
-обеспечение безопасного сплита трафика в А/Б-тестах,
-различные типы метрик,
оптимизация тестирования,
-визуализация данных
- Как с помощью линеаризации, перевзвешивания, машинного обучения и баесовского вывода можно ускорить а/б тестирование в десятки раз
- Как обеспечить грамотную формулировка требований к аналитической инфраструктуре в компании
- Какие подводные камни ожидают аналитиков при проведении экспериментов и как научиться их избегать.
- Как проведить ухудшающие А/Б-тесты, проводить проверку согласованности с более высокоуровневыми метриками и измерять чувствительность метрик и проверять корректность своей системы расчёта статистической значимости
- Кейсы про неверный выбор или интерпретацию метрик.
- Как работает метод стратификации и другие подходы к сокращению дисперсии для увеличения чувствительности метрик в экспериментах.
- Как, выбирая ключевую метрику для эксперимента, понимать область её применимости, чувствительность, уровень в иерархии.

Лекции читают Данила Леньков из Avito, Игорь Яшков из Яндекс, Валерий Бабушкин из Х5 Retail Group, Даша Чиркина из Яндекс, Виталий Черемисинов и Искандер Мирмахмадов из AIC, Анатолий Карпов из (ex)VK / Stepik / Quesful.

Еще подробнее все описано в программе: http://bit.ly/33SYfe0
+ у нас есть один свободный слот в этой секции. Подать заявку на участие с докладом в этой секции можно здесь: https://matemarketing.typeform.com/to/DmniEj

Перешлите этот пост вашим продактам и продуктовым аналитикам. А также тем, кто руководит R&D.

Кроме лекций будут дискуссионные форматы, на которых можно будет вместе подумать над конкретно вашей задачей.

Ждем вас на Матемаркетинге.
https://matemarketing.ru/

Когда деньги — это основная метрика в А/Б-тесте:
https://www.thinkwithgoogle.com/intl/ru-ru/products-tools/analytical-tools/money-and-ab-tests/

via @ABtesting

AB Testing In Real Life:
https://towardsdatascience.com/ab-testing-in-real-life-9b490b3c50d1

via @ABtesting

7 классных докладов с прошлогоднего Матемаркетинга.

В этом году - темы еще круче и их больше

@matemarketing_official

Share, please!

Интересно и наглядно о permutation testing:
https://www.jwilber.me/permutationtest/

via @ABtesting

Дельные советы. О самых частых ошибках в A/B тестировании: https://medium.com/manomano-tech/a-b-testing-10-common-mistakes-we-all-make-97a5030f1d44

via @ABtesting

Отличная статья от ребят из X5. Всем ребятам с рынка рекомендую ознакомиться, дабы расширить свой кругозор и иметь представление, как могут проводиться АБ-тесты в оффлайн ритейле.

https://habr.com/ru/company/X5RetailGroup/blog/466349/

A/B тесты в Яндекс, сокращаем дисперсию:
https://youtu.be/inGuisuMjpw?t=89

via @ABtesting

Обучение статистике с помощью интерактивных визуализаций от Daniel Kunin

https://seeing-theory.brown.edu

via @ABtesting

О степенях свободы в статистике:
https://habr.com/ru/company/stepic/blog/311354/

via @ABtesting

Как провести A/B-тест и не наделать ошибок. Влад Прищепов и Леонид Енов:
https://www.youtube.com/watch?v=sVKzq0xQ5vU

via @ABtesting