Небольшой чек-лист, по которому дизайнил тест в контесте, и который будет полезен для большинства ваших тестов

🎯 Гипотеза

Определиться, чего мы хотим достигнуть тестом, на какую метрику повлиять. На этом этапе стоит дополнительно посчитать экономику новой фичи - окупит ли потенциальный аплифт хотя бы разработку и есть ли вообще смысл проводить аб.

👥 Группы

Ответить на вопрос - на каких пользователей мы влияем? Это может быть вся аудитория, или какой-то сегмент.

🔀 Сплитование

- Как проводить сплитование? Если это онлайн эксперимент, то вероятно у вас есть сплитовалка, где используется hash-функция. Но возможно вы проводите офлайн эксперимент и вам нужны более сложные методы типо матчинга, необходимо дополнительно подумать о стратификации и тд.
- Определиться с пропорциями сплитования.
- Возможно стоит использовать постепенную раскатку теста.

📊 Метрики

- Основная метрика - для принятия решения.
- Вспомогательные или proxy метрики - дополнительные метрики, которые могут быть немного более чувствительными, и мы ожидаем, что они тоже вырастут.
- Guardrail метрика - не должна упасть.

⏳ Длительность теста (размер выборки)

Перед расчетом размера выборки необходимо понять:
- Тип, значение и распределение метрики до теста и среднее кол-во пользователей в день.
- Какой стат. тест будете применять.

Это важно, так как, например, классическую формулу для ratio-метрик использовать нельзя (и t-test в чистом виде тоже). А в идеале для каждого стат. теста, метрики и способа расчета размера выборки надо проверить на моделировании на исторических данных корректность.

И уже в зависимости от этого, либо по формулам, либо с помощью моделирования, учитывая alpha, power, MDE, считаем размер выборки. Разделив на среднее кол-во пользователей в день, можем оценить длительность теста.

🌍 Рубрика - интересные истории (фейлы) из путешествий.

Как уже рассказывал раньше, последний год живу цифровым кочевником, проводя не больше месяца в одном городе. Путешествия для меня - это, пожалуй, то, что позволяет не поехать кукухой от хтони, происходящей в мире, но не все в них идеально. Очередной переезд, очередная новая страна - это потенциальные новые проблемы, тревога и напряжение.

Расскажу несколько забавных историй (все с хорошим концом), случившихся за последние года полтора. Сегодня в подборке - Дубайск (и немного Армении), Черногорские авиалинии, клопы и ChatGPT. Начнем-с.

🛫 Первое (и пожалуй мое любимое). Надо было мне улететь из Тивата в Черногории в Турцию. За несколько недель до отправления мне прилетает изменение в рейсе, о том, что улетаю на пару часов позже, в целом мне так даже удобнее. Так я, уверенный в том, что все хорошо, собираюсь, и просто на всякий случай проверяю билет. На часах два часа ночи. Вылет в десять утра. И неожиданно для себя понимаю, что вылетаю я из Подгорицы. Напоминаю, я в другой части страны. Потом у меня пересадка, на которую я бы очень хотел успеть, а билеты невозвратные. Чтож (сильно матерюсь, глубоко дышу и решаю что делать), спасает автобус в пять утра, который приезжает в Подгорицу за час до вылета. В итоге, на самолет я успел, на красивый восход посмотрел, и урок о том, что рейс может быть перенес в другой город и надо тщательно проверять билеты выучил.

🛩️ Второе. Опять про Montenegro (мать их) airlines. Здесь все банально, но опять неожиданно. Мы в Стамбуле, летим в Черногорию. На посадке узнаем, что нас не хотят пускать на рейс без обратных билетов из страны. Опять глубоко подышав, я покупаю билеты на каком-то левом сайте из Черногории в Боснию и Герцеговину, и бесплатный интернет заканчивается через минуту после оплаты. Успех. Это сейчас я понимаю, что интернет можно было спокойно докупить, но на стрессе ситуация не очень. В итоге в Черногорию мы долетели, это теперь одна из любимых стран, а граница между Черногорией и Боснией - лучшая из границ. Но про нее в другой раз.

🫖 Третье. Теперь про Дубайск. Одна из неприятных сторон в путешествиях - на тебе все пытаются заработать. Так вот, я до сих пор не понимаю как так получилось, но я купил на базаре грамм сто чая за две тысячи рублей. Чай был вкусным, но немножко лохом я себя чувствую до сих пор.

🐢 Четвертое. Одно из самых крутых воспоминаний из Дубая - снорклинг и плавать вместе с черепахами. Если вы бледные поганки, то мазать спину и все, что будет под солнцем надо лучше. У жены подгорела пятая точка (буквально, говорит сидеть три часа в самолете было неприятно), а у меня сгорела спина. Проблема в том, что когда мы на следующий день прилетели в Армению, у меня началась сильная аллергическая реакция - безумно стала чесаться спина. Решили вызывать скорую. Прикол начинается в этот момент - мы дозваниваемся до скорой, говорим здравствуйте, и нас сбрасывают. Раз на четвертый становится не смешно. В итоге помог вызов 911, и спина был спасена.

⛵️Пятая и заключительная. Как мы боролись с клопами, поддержкой Airbnb и при чем здесь ChatGPT. Мы заселились в очередную квартиру на Airbnb, в которой ночью жену начали кусать клопы. Причем найти мы их не можем, а у Airbnb странные требования, из разряда сфотографируйте нам пятна крови и только тогда мы вам поверим. Спустя пару ночей мы поняли, что оставаться там нельзя, и, все-таки найдя одного несчастного клопа и продолжая переписку с поддержкой, переехали в новую квартиру. На следующий день мы уезжаем в другой город на парусный яхтинг. И тут начинается веселье. Поддержка соглашается вернуть нам деньги за жилье с клопами, но заявляет, что нам сейчас отменят квартиру и мы должны пожить в отеле, так как жили там, где были клопы. Итак, мы в Фетхие, наши два чемодана со всеми вещами в Анталье в квартире, которую нам хотят отменить. Чтож. И вот здесь помог ChatGPT - мой мат и объяснения ситуации он превращал в прекрасные сообщения на английском, которые в итоге убедили поддержку нас не выселять. Было нервно.

Справедливости ради, клопов мы вряд ли занесли, так как жену перестали кусать. В следующие несколько дней мы попали в небольшой шторм, с фонариками на айфонах пытались в ночи не разбить яхту о камни, но это уже другая история.

Получился длиннопост, но что поделать. Прикладываю фото (в основном) из мест, где происходили описанные события.

Делитесь, а что случалось с вами в путешествиях?

💡 Инсайты из анализа 127000 экспериментов

Недавно прочитал масштабное исследование от Optimizely на основании анализа их тестов, пользовательского опыта и академических исследований. Рассказывают про текущее состояние сферы экспериментов, культуру и как улучшать процессы и извлекать больше пользы от экспериментов. Мало у кого есть возможность проанализировать столько тестов и поделиться результатами с комьюнити, это очень круто. Там много чего интересного, рекомендую всем заинтересованным ознакомиться.

- Вот краткая выжимка от самих Optimizely
- Тут можно почитать исследование целиком

Из интересных инсайтов:

🎯 88% экспериментов не выигрывают. Это число отличается от сферы к сфере и от стадии развития компании, но стоит иметь в виду, что средний Success Rate по больнице - 12%. Но те тесты, которые прокрашиваются, и несут в себе главный импакт, и ради них то и надо экспериментировать.
🔄 Больше тестируемых вариантов - больше импакт. Для экспериментов с 4+ вариантами он в два раза больше по сравнению с классическими А/Б тестами.
🚀 В среднем компании запускают 34 экспериментов в год. Только 3% компаний проводят более 500 экспериментов в год.
🔬 Перфоманс команд по кол-ву запускаемых экспериментов остается примерно одинаковым в течение трех лет. И только направленные усилия на развитие культуры и инвестирования в эксперименты может это поменять в лучшую сторону.
💡 Персонализация важна. В персонализированных экспериментах импакт больше на 41% (ML входит в чат).

Хотя некоторые выводы кажутся несколько очевидными и применимы только к большим компаниям с огромной аудиторией - проводите больше экспериментов, от масштабных изменений можно ожидать больший результат, тестируйте больше вариантов и будет вам счастье. Но для себя все равно в очередной раз вынес то, что в платформу и культуру экспериментов в компании надо инвестировать, потому что это непосредственно влияет на развитие продукта.

Делитесь с коллегами и пишите в комментариях, что думаете о выводах исследования?

🎲 A/B-тесты и Монте-Карло?

И речь идет не о казино (хотя интересно, есть ли там продуктовые аналитики), а про моделирование и то, как оно может помочь вам в проведении экспериментов.

Рокет-саенса в технической стороне использования моделирования нет, скорее интересны кейсы применения. Думаю не для всех они очевидны, хотя зачастую важны, поэтому хочу поделиться. И очень уж мне нравится заниматься моделированием (возможно это просто отголоски боли от обучения на кафедре вычислительной физики, где в одной из лабораторных мне надо было посчитать с помощью Монте-Карло скольки-то-мерный интеграл).

📊 Первое - это проверка корректности применения статистических тестов для ваших метрик. Все мы прекрасно знаем из теории, для каких распределений какие применять стат. тесты, однако на практике все может ломаться. Возможно у ваших данных странное распределение, вы забыли что нельзя обычный t-test применять к ratio-метрикам или в данных есть выбросы. Поэтому для каждой метрики и стат. теста стоит на исторических данных проверить, будет ли заданная вами мощность и уровень ошибки первого рода для рассчитанного размера выборки согласовываться с их значениями на моделировании.

👥 Второе - АА-тесты. Тут скорее проверяется корректность работы АБ-платформы. Сэмплируя исторические данные и применяя к ним ваш метод разбиения, получаем одинаковые АА группы (по крайней мере, они такими должны быть). На них можно проверить вашу систему на уровень ошибки первого рода, а также на то, нет ли для вашего метода сплитования проблемы Sample Ratio Mismatch.

🧮 Третье - дизайн тестов. Не всегда очевидно, как рассчитать размер выборки. Понятно, что есть классическая формула, но на самом деле она применима только к метрикам с распределениями, для которых можно применять t-test (i.i.d. и вот это все). Однако нам хочется дизайнить тесты для ratio-метрик, квантилей и много чего еще. И тут может пригодиться моделирование - берете много исторических данных с вашей метрикой, много раз ее бутстрапите с итеративно увеличивающимся размером, проводите моделирование из первого пункта и ждете, пока размер выборки не будет достаточным, чтобы альфа и мощность были равны заданным вами (для применяемого стат. теста). Очень долго и немного больно, но зато действенно.

💡 И две отличные статьи, где показано на практике, как все это применять:
- Про корректность стат. тестов от X5
- Про расчет размера выборки с помощью моделирования от expf