A/B testing
@abtesting
6.68K subscribers
3 photos
201 links
Кращі матеріали по A/B-тестуванню

Автор: @osiyuk Product Analyst в MacPaw.com
Download Telegram
About
Blog
Apps
Platform
Join
A/B testing
6.68K subscribers
A/B testing
Rapid A/B-testing with Sequential Analysis:
https://www.auduno.com/2014/12/25/rapid-a-b-testing-with-sequential-analysis/

via @ABtesting
Audun M Øygard
Rapid A/B-testing with Sequential Analysis
A common issue with classical A/B-tests, especially when you want to be able to detect small differences, is that the sample size needed can be prohibitively large. In many cases it can take several w
4.2K views
A/B testing
Forwarded from Product Analytics
Статистика для A/B-тестирования, простое руководство для понимания:
https://cxl.com/blog/ab-testing-statistics/

via @ProductAnalytics
CXL
A/B Testing Statistics: An Easy-to-Understand Guide
A/B testing statistics are easier to master than you think. Rely on the expertise of the best-known practitioners to run tests right.
974 views
A/B testing
Данила Леньков из Avito о том, как проходит АБ-тестирование в Avito:

https://www.youtube.com/watch?v=9UGyCOvQ7Z4

via @ABtesting
YouTube
A/B Experementation Platform. Данила Леньков, Avito
В этом докладе Данила Леньков рассказывает как устроено A/B тестирование в Avito:
— Зачем нужна платформа A/B
— Об экспериментах в Avito: полный цикл эксперимента, управление экспериментом, сплит трафика, админка, сбор метрик, виды метрик, витрина наблюдений…
4.4K views
A/B testing
Подборка материалов по AB-тестированию:
https://cxl.com/blog/ab-testing-guide/

via @ABtesting
CXL
What is A/B Testing? The Complete Guide: From Beginner to Pro
A/B testing is a powerful technique for increasing conversions and revenue. Learn how to run A/b tests in this start-to-finish tutorial.
5.0K views
A/B testing
Статья, в которой автор Fareed Mosavat (ex. Dir of Product в Slack) рассказывает о разнице между хорошими и плохими тестами:

https://www.reforge.com/blog/good-experiment-bad-experiment

via @ABtesting
Reforge
The Importance of Product Trial: Good vs Bad Experiments — Reforge
Fareed Mosavat outlines the 12 lessons he has learned about what sets Good Experiments apart from Bad Experiments.
5.0K views
A/B testing
Forwarded from Product Analytics
Новая книга Нассима Талеба доступна для чтения в оригинале (EN):
"Статистические последствия тяжелых хвостов: преасимптотика, эпистемология и приложения."

https://arxiv.org/abs/2001.10488

via @ProductAnalytics
1.1K views
A/B testing
Forwarded from BigQuery Insights
​​Шаблон SQL-запроса для подсчета основных метрик A/B-теста в Firebase по данным в BigQuery.

Конверсии по каждому из вариантов:
• в покупку,
• во второй запуск,
• в целевое действие.

via @BigQuery
1.2K views
A/B testing
Advanced A/B Testing Panel with Top Experts [Video]
https://cxl.com/blog/advanced-testing-panel-with-top-experts-video/

via @ABtesting
CXL
Advanced A/B Testing Panel with Top Experts [Video]
At CXL Live 2015 we had an amazing a/b split testing panel featuring statistics and testing gurus Lukas Vermeer from Booking.com, Matt Gershoff from
5.0K views
A/B testing
10 статистических ловушек в А/Б тестировании:

https://cxl.com/blog/testing-statistics-mistakes/

via @ABtesting
CXL
10 Statistics Mistakes and Traps in A/B Testing: The Guide for Optimizers
Learn the 10 most important statistical traps to avoid when doing A/B testing if you want to have statistically significant results.
4.9K views
A/B testing
Появились видеозаписи с Experiment Fest x Яндекс.Практикум:

https://www.youtube.com/watch?v=KvIJ8FCJzr4&list=PL6Wui14DvQPz-s7nng8Sedzj1Q5xLOs69&index=1

via @ABtesting
YouTube
001. Методы сокращения дисперсии, и зачем это нужно — Анатолий Карпов
Доклад с совместного митапа Expfest x Яндекс.Практикум. Про эксперименты
5.7K views
A/B testing
Оценка A/B тестов в Letyshops:

https://www.youtube.com/watch?v=2CN8IHy1OwU

via @ABtesting
6.0K views
A/B testing
Анализ ratio метрик в A/B-тестах от Ebay:

https://arxiv.org/abs/1911.03553

via @ABtesting
5.1K views
A/B testing
Хороший гайд по Байесовскому А/В-тестированию:

https://towardsdatascience.com/bayesian-a-b-testing-with-python-the-easy-guide-d638f89e0b8a

via @ABtesting
Medium
Bayesian A/B Testing with Python: the easy guide
If you landed on this page, you already know what an A/B test is, but maybe you have some doubt on how to analyse the results within a…
10.0K views
A/B testing
Доступно и просто о статистике A/B-тестов.
Несколько примеров:

https://medium.com/@rezwan.islam99

via @ABtesting
4.3K views
A/B testing
Прямо сейчас выступление Анатолия Карпова на Матемаркетинге-2019 на тему анализа А/В-тестов (Ссылка).

Анатолий Карпов рассказывает какие подводные камни ожидают аналитиков при проведении экспериментов и как научиться их избегать. Вы глубже поймете статистику и разберетесь в том, каких ошибок можно избежать при проведении A/B тестов.

По окончании трансляции в закрытом чате появится ссылка на Zoom-конференцию, где в течение 20 минут Анатолий ответит на заданные вопросы. В чате, во время лекции можно будет задать вопросы спикеру, а также сразу получить презентацию и расшифровку доклада.

Ссылка на telegram-чат (будет удален по окончании лекции)

via @ABtesting
YouTube
Анатолий Карпов - A/B-тестирование: как сделать так, чтобы оно заработало
Совсем скоро Матемаркетинг-22, 17-18 ноября
Подробности: https://matemarketing.ru/
Программа: https://clck.ru/y6jEV
Купить билет: https://matemarketing.ru/

A/B-тесты - главный двигатель развития продукта. В крупных компаниях ежедневно проводятся сотни экспериментов…
4.4K views
A/B testing
Как оценить качество системы A/B-тестирования:

https://habr.com/ru/company/hh/blog/321386/

via @ABtesting
Хабр
Как оценить качество системы A/B-тестирования
Вот уже более полугода в компании используется единая система для проведения A/B-экспериментов. Одной из самых важных частей этой системы является процедура проверки качества, которая помогает нам...
4.4K views
A/B testing
Forwarded from BigQuery Insights
@AnalyzeCore - новый канал про аналитику, данные и их визуализацию от Сережи Брыля, автора блога analyzecore.com.

@BigQuery
1.8K views
A/B testing
Forwarded from Product Analytics
Как проводить ухудшающие А/Б-тесты, проводить проверку согласованности с более высокоуровневыми метриками, а также измерять чувствительность метрик и проверять корректность своей системы расчёта статистической значимости: https://www.youtube.com/watch?v=KswPj6MVvD4

via @ProductAnalytics
YouTube
Игорь Яшков, Яндекс.Поиск - Как валидировать и развивать метрики
Совсем скоро Матемаркетинг-22, 17-18 ноября
Подробности: https://matemarketing.ru/
Программа: https://clck.ru/y6jEV
Купить билет: https://matemarketing.ru/

Лекция заставляет задуматься об области применимости метрик, которые используют слушатели. Представлены…
1.9K views
A/B testing
Краткое руководство по реализации A/B тестов на Python:

https://medium.com/@robbiegeoghegan/implementing-a-b-tests-in-python-514e9eb5b3a1

Github Repository: https://github.com/RobbieGeoghegan/AB_Testing

via @ABtesting
Medium
Implementing A/B Tests in Python
A quick guide to experiment design and implementation
13.3K views
A/B testing
Альтеранитива A/B тестам - байесовские многорукие бандиты. Суть в том, что при обычном A/B мы льем много трафика на неоптимальные варианты и теряем в доходе и пользователях во время эксперимента. Многорукий бандит отлично подходит, когда нужно проверить эффективность большой подборки вариантов, которые не имеют серьезного принципиального отличия:

https://habr.com/ru/company/ods/blog/325416/

via @ABtesting
Хабр
Байесовские многорукие бандиты против A/B тестов
Здравствуйте, коллеги. Рассмотрим обычный онлайн-эксперимент в некоторой компании «Усы и когти». У неё есть веб-сайт, на котором есть красная кнопка в форме прямоугольника с закругленными краями. Если...
4.5K views