Новая рубрика в блоге - разбор статей.

Давно хочу начать читать умные научные статьи, но заставить себя это делать достаточно сложно (если у вас есть куча открытых вкладок со статьями, лекциями и курсами, ставьте лайк). Поэтому иногда буду мотивировать себя наличием блога и делиться тут обзорами хороших статей.

Сегодня статья про расчет размера выборки для A/B-тестов - https://arxiv.org/pdf/2305.16459.

Статья понятная, практичная и покрывает почти все, что нужно знать про расчет размера выборки.

Почему это важно? Не все тесты - тесты с конверсией, где можно использовать калькулятор. Так же бывают разные типы метрик, например - ratio-метрики, для которых есть свои нюансы. Попутно возникает много вопросов, например про MDE, в какой пропорции по группам запускать тест и много чего еще. В статье как раз можно найти ответы (готовые формулы), которые потом очень просто реализовать в коде.

Основные разделы:

- Про расчет размера выборки для пользовательских метрик. Тут про многим известную формулу для непрерывных метрик и конверсий, а еще про то, что при разбиении групп 50/50 суммарный размер выборки будет минимальным.
- Про ratio-метрики. Показывают, что из-за появления зависимости в данных растет дисперсия, и в случае ratio-метрик для ее вычисления надо использовать дельта метод.
- Про относительные эффекты. Если вы хотите дизайнить тест для относительного эффекта, то просто так подставлять условные 5% в формулу нельзя. Там появляется деление на исходную метрику, у которой тоже есть своя дисперсия, поэтому нужна коррекция, чтобы мощность и значимость оставались на заданном уровне.
- Про best practices дизайна тестов. Тут про отличия MDE от MOD (было прикольно про это прочитать), можно ли применять t-test к данным с ненормальным распределением (спойлер - можно) и про дизайн теста с разными пропорциями теста и контроля.

В общем, вердикт - определенно must read, особенно про расчет размера выборки для ratio-метрик.

В догонку к посту с прошлой недели про разбор статьи. А какие статьи-то читать?

Делюсь годными подборками:

💪 Список от легендарного Валеры Бабушкина, с большим количеством статей про байесовкое тестирование. Было бы интересно спросить, использует ли он его в BP или предпочитает последовательное тестирование.

📚 GitHub с подборкой статей от топовых компаний в сфере экспериментов, с разбивкой по темам.

💡 Блоги компаний про эксперименты:
- Microsoft
- Airbnb
- Netflix
- Booking
- Spotify
- Eppo

🏔️Как мотивировать себя учиться и покорять новые вершины?

Хочу немного рассказать про то, как я учусь, развиваюсь профессионально и пытаюсь продолжать это делать.

Набирая какой-то профессиональный опыт ты с одной стороны знаешь все больше, а с другой - понимаешь, что ничего не знаешь. И наверное это должно мотивировать учиться дальше, больше и вот это все, но я замечаю за собой, что сил (а иногда и желания) становится все меньше.

Сейчас кажется, что будучи студентом на первых курсах универа (так сказать голодным и злым), мотивировать себя учиться очень просто. Понятно, что это в целом лучшее для образования время, но я немного про другое. Расскажу про свой опыт - для меня это был вопрос закрытия базовых потребностей и попыток выйти из режима выживания. Мотивация заработать денег, съехать с общаги, приправленные любовью учиться и новой интересной областью (вот эти ваши науки о данных и машинное обучение), позволяют поглощать курсы, книги просто тоннами и бежать вперед.

Проходит какое-то время, хорошая работа найдена, базовые потребности закрыты, и вот тут уже сильно сложнее становится мотивировать себя развиваться дальше после годов марафона постоянной учебы для достижения этой цели. В общем сейчас я на этом этапе. Курсы и книги уже не влезают так бодро, а мозг все чаще требует просто посидеть и повтыкать на море без загрузки его информацией.

Вообще, считаю, что для успешная учебы нужно два фактора: целеполагание и самодисциплина (и немного таланта).

Думаю без мотивации и целеполагания вообще сложно жить. На эту тему можно почитать у Франкла в «Скажи жизни да», благо мы не в концлагере, а в сравнительно ванильном IT, но кто знает, до чего все дойдет в ближайшее время. А самодисциплина на дистанции правда берет свое, а если вам повезло и есть талант, то тогда можно двигать горы (фото к посту как раз примерно с 2500 метров, из них набрано высоты всего-то метров 300-400, но было тяжко).

Сейчас переосмысливаю свою мотивацию и в это время чуть больше полагаюсь на самодисциплину, тщательнее выбираю то, что мне действительно нужно изучить. Ну и еще нормально принимать то, что бывают выгорания и надо давать себе время (возможно длительное) просто отдохнуть.

А одна из целей этого блога - продолжать учиться и хоть немного мотивировать это делать других людей. Потому что тот огонь, который загорается в глазах при изучении чего-то нового и интересного, это определенно одна из вещей, ради которых хочется жить. И как учил Фейнман - чтобы в чем-то разобраться, нужно объяснить это другим, чем я и учусь заниматься. Книжная рекомендация номер два - «Вы, конечно, шутите, мистер Фейнман!». Фейнман - гений, который определенно мотивирует на развитие, а книга шикарна.

Получился вот такой пост-рефлексия. Делитесь в комментариях своими историями обучения и профессионального развития, буду рад их прочитать, уверен есть очень много крутых и мотивирующих!