💡 Инсайты из анализа 127000 экспериментов
Недавно прочитал масштабное исследование от Optimizely на основании анализа их тестов, пользовательского опыта и академических исследований. Рассказывают про текущее состояние сферы экспериментов, культуру и как улучшать процессы и извлекать больше пользы от экспериментов. Мало у кого есть возможность проанализировать столько тестов и поделиться результатами с комьюнити, это очень круто. Там много чего интересного, рекомендую всем заинтересованным ознакомиться.
- Вот краткая выжимка от самих Optimizely
- Тут можно почитать исследование целиком
Из интересных инсайтов:
🎯 88% экспериментов не выигрывают. Это число отличается от сферы к сфере и от стадии развития компании, но стоит иметь в виду, что средний Success Rate по больнице - 12%. Но те тесты, которые прокрашиваются, и несут в себе главный импакт, и ради них то и надо экспериментировать.
🔄 Больше тестируемых вариантов - больше импакт. Для экспериментов с 4+ вариантами он в два раза больше по сравнению с классическими А/Б тестами.
🚀 В среднем компании запускают 34 экспериментов в год. Только 3% компаний проводят более 500 экспериментов в год.
🔬 Перфоманс команд по кол-ву запускаемых экспериментов остается примерно одинаковым в течение трех лет. И только направленные усилия на развитие культуры и инвестирования в эксперименты может это поменять в лучшую сторону.
💡 Персонализация важна. В персонализированных экспериментах импакт больше на 41% (ML входит в чат).
Хотя некоторые выводы кажутся несколько очевидными и применимы только к большим компаниям с огромной аудиторией - проводите больше экспериментов, от масштабных изменений можно ожидать больший результат, тестируйте больше вариантов и будет вам счастье. Но для себя все равно в очередной раз вынес то, что в платформу и культуру экспериментов в компании надо инвестировать, потому что это непосредственно влияет на развитие продукта.
Делитесь с коллегами и пишите в комментариях, что думаете о выводах исследования?
Недавно прочитал масштабное исследование от Optimizely на основании анализа их тестов, пользовательского опыта и академических исследований. Рассказывают про текущее состояние сферы экспериментов, культуру и как улучшать процессы и извлекать больше пользы от экспериментов. Мало у кого есть возможность проанализировать столько тестов и поделиться результатами с комьюнити, это очень круто. Там много чего интересного, рекомендую всем заинтересованным ознакомиться.
- Вот краткая выжимка от самих Optimizely
- Тут можно почитать исследование целиком
Из интересных инсайтов:
🎯 88% экспериментов не выигрывают. Это число отличается от сферы к сфере и от стадии развития компании, но стоит иметь в виду, что средний Success Rate по больнице - 12%. Но те тесты, которые прокрашиваются, и несут в себе главный импакт, и ради них то и надо экспериментировать.
🔄 Больше тестируемых вариантов - больше импакт. Для экспериментов с 4+ вариантами он в два раза больше по сравнению с классическими А/Б тестами.
🚀 В среднем компании запускают 34 экспериментов в год. Только 3% компаний проводят более 500 экспериментов в год.
🔬 Перфоманс команд по кол-ву запускаемых экспериментов остается примерно одинаковым в течение трех лет. И только направленные усилия на развитие культуры и инвестирования в эксперименты может это поменять в лучшую сторону.
💡 Персонализация важна. В персонализированных экспериментах импакт больше на 41% (ML входит в чат).
Хотя некоторые выводы кажутся несколько очевидными и применимы только к большим компаниям с огромной аудиторией - проводите больше экспериментов, от масштабных изменений можно ожидать больший результат, тестируйте больше вариантов и будет вам счастье. Но для себя все равно в очередной раз вынес то, что в платформу и культуру экспериментов в компании надо инвестировать, потому что это непосредственно влияет на развитие продукта.
Делитесь с коллегами и пишите в комментариях, что думаете о выводах исследования?
👍5❤1
🎲 A/B-тесты и Монте-Карло?
И речь идет не о казино (хотя интересно, есть ли там продуктовые аналитики), а про моделирование и то, как оно может помочь вам в проведении экспериментов.
Рокет-саенса в технической стороне использования моделирования нет, скорее интересны кейсы применения. Думаю не для всех они очевидны, хотя зачастую важны, поэтому хочу поделиться. И очень уж мне нравится заниматься моделированием (возможно это просто отголоски боли от обучения на кафедре вычислительной физики, где в одной из лабораторных мне надо было посчитать с помощью Монте-Карло скольки-то-мерный интеграл).
📊 Первое - это проверка корректности применения статистических тестов для ваших метрик. Все мы прекрасно знаем из теории, для каких распределений какие применять стат. тесты, однако на практике все может ломаться. Возможно у ваших данных странное распределение, вы забыли что нельзя обычный t-test применять к ratio-метрикам или в данных есть выбросы. Поэтому для каждой метрики и стат. теста стоит на исторических данных проверить, будет ли заданная вами мощность и уровень ошибки первого рода для рассчитанного размера выборки согласовываться с их значениями на моделировании.
👥 Второе - АА-тесты. Тут скорее проверяется корректность работы АБ-платформы. Сэмплируя исторические данные и применяя к ним ваш метод разбиения, получаем одинаковые АА группы (по крайней мере, они такими должны быть). На них можно проверить вашу систему на уровень ошибки первого рода, а также на то, нет ли для вашего метода сплитования проблемы Sample Ratio Mismatch.
🧮 Третье - дизайн тестов. Не всегда очевидно, как рассчитать размер выборки. Понятно, что есть классическая формула, но на самом деле она применима только к метрикам с распределениями, для которых можно применять t-test (i.i.d. и вот это все). Однако нам хочется дизайнить тесты для ratio-метрик, квантилей и много чего еще. И тут может пригодиться моделирование - берете много исторических данных с вашей метрикой, много раз ее бутстрапите с итеративно увеличивающимся размером, проводите моделирование из первого пункта и ждете, пока размер выборки не будет достаточным, чтобы альфа и мощность были равны заданным вами (для применяемого стат. теста). Очень долго и немного больно, но зато действенно.
💡 И две отличные статьи, где показано на практике, как все это применять:
- Про корректность стат. тестов от X5
- Про расчет размера выборки с помощью моделирования от expf
И речь идет не о казино (хотя интересно, есть ли там продуктовые аналитики), а про моделирование и то, как оно может помочь вам в проведении экспериментов.
Рокет-саенса в технической стороне использования моделирования нет, скорее интересны кейсы применения. Думаю не для всех они очевидны, хотя зачастую важны, поэтому хочу поделиться. И очень уж мне нравится заниматься моделированием (возможно это просто отголоски боли от обучения на кафедре вычислительной физики, где в одной из лабораторных мне надо было посчитать с помощью Монте-Карло скольки-то-мерный интеграл).
📊 Первое - это проверка корректности применения статистических тестов для ваших метрик. Все мы прекрасно знаем из теории, для каких распределений какие применять стат. тесты, однако на практике все может ломаться. Возможно у ваших данных странное распределение, вы забыли что нельзя обычный t-test применять к ratio-метрикам или в данных есть выбросы. Поэтому для каждой метрики и стат. теста стоит на исторических данных проверить, будет ли заданная вами мощность и уровень ошибки первого рода для рассчитанного размера выборки согласовываться с их значениями на моделировании.
👥 Второе - АА-тесты. Тут скорее проверяется корректность работы АБ-платформы. Сэмплируя исторические данные и применяя к ним ваш метод разбиения, получаем одинаковые АА группы (по крайней мере, они такими должны быть). На них можно проверить вашу систему на уровень ошибки первого рода, а также на то, нет ли для вашего метода сплитования проблемы Sample Ratio Mismatch.
🧮 Третье - дизайн тестов. Не всегда очевидно, как рассчитать размер выборки. Понятно, что есть классическая формула, но на самом деле она применима только к метрикам с распределениями, для которых можно применять t-test (i.i.d. и вот это все). Однако нам хочется дизайнить тесты для ratio-метрик, квантилей и много чего еще. И тут может пригодиться моделирование - берете много исторических данных с вашей метрикой, много раз ее бутстрапите с итеративно увеличивающимся размером, проводите моделирование из первого пункта и ждете, пока размер выборки не будет достаточным, чтобы альфа и мощность были равны заданным вами (для применяемого стат. теста). Очень долго и немного больно, но зато действенно.
💡 И две отличные статьи, где показано на практике, как все это применять:
- Про корректность стат. тестов от X5
- Про расчет размера выборки с помощью моделирования от expf
❤12👍1
Признаюсь, я не умею нормально отдыхать.
После работы мозг не расслабляется, а продолжает требовать новой информации в виде книг, фильмов, сериалов. Либо включаются тревожные мысли про неопределенность в будущем, что делать со своей жизнью, как развиваться, в какой стране жить, и все в таком духе.
Нашел для себя один способ, который немного скрашивает вечера - втыкать на закат и строить башенки из камней. На фоне все равно обычно играет подкаст или аудиокнига, но монотонное собирание камней, шум волн и лучи закатного солнца делают жизнь немного приятней, да и мозг немного отдыхает.
Есть ли у кого-то такие же проблемы? Расскажите, как отдыхаете и расслабляетесь?
После работы мозг не расслабляется, а продолжает требовать новой информации в виде книг, фильмов, сериалов. Либо включаются тревожные мысли про неопределенность в будущем, что делать со своей жизнью, как развиваться, в какой стране жить, и все в таком духе.
Нашел для себя один способ, который немного скрашивает вечера - втыкать на закат и строить башенки из камней. На фоне все равно обычно играет подкаст или аудиокнига, но монотонное собирание камней, шум волн и лучи закатного солнца делают жизнь немного приятней, да и мозг немного отдыхает.
Есть ли у кого-то такие же проблемы? Расскажите, как отдыхаете и расслабляетесь?
❤18👍2
Как я использую ChatGPT в работе продуктовым аналитиком?
Опытным методом пришел к ряду задач, в которых ChatGPT может отлично помочь. В основном это вещи, связанные с написанием кода и поиском информации на стероидах. Получился вот такой список:
📜 Написание SQL и Python кода. Часто есть задачи, которые относительно простые, но требуют времени. Это могут быть какие-то адхоки, простые sql запросы, и на самом деле все что угодно с понятной логикой. Такой код ChatGPT умеет прекрасно писать и его легко проверить на корректность.
📊 Визуализация. Часто использую именно для построения графиков в питоне. Я лично никак не могу запомнить все параметры функций из plotly и seaborn, а ChatGPT помнит их очень хорошо. Просто описываете свои данные, просите построить нужный вам график и вуаля. Еще один (нечаянно обнаруженный) вариант - передать ваши значения в запросе и попросить нужную визуализацию, ChatGPT в ответе выдаст готовый график.
🐞 Работа с ошибками в коде. Тут все понятно - вместо гугла и stack overflow просто спрашиваете что за ошибка и обычно получаете годный ответ.
📑 Базовый EDA. Можно в некотором роде использовать вместо Jupyter Notebook - загружаете ваш CSV и задаете человеческим языком вопросы про данные. Для базового анализа работает очень даже неплохо.
📝 Суммаризация информации. Полезно для анализа проведенных пользовательских опросов, анализа отзывов, любой другой агрегации разрозненной информации.
💡 Генерация идей. Можно как попросить нагенерить идей для решения вашей задачи, так и использовать его как виртуального коллегу об которого можно почелленджить ваши идеи.
📚 Обучение и изучение новых инструментов. Тут можно изучать как программирование в виде новых библиотек, языков и тп, так и для общего изучения нового. ChatGPT умеет коротко описывать требуемые знания. Из лайфхаков - просил его составить cheat sheet для некоторых разделов (например статистике) при подготовке к собеседованиям, получалось хорошо.
Призываю помнить, что ChatGPT является лишь инструментом, который допускает ошибки, иногда выдает всякий булшит лишь бы ответить, а его идеи и советы часто являются достаточно поверхностными и не всегда приносят пользу.
Делитесь в комментариях, а как вы используете ChatGPT и для каких задач он наиболее эффективен?
Опытным методом пришел к ряду задач, в которых ChatGPT может отлично помочь. В основном это вещи, связанные с написанием кода и поиском информации на стероидах. Получился вот такой список:
📜 Написание SQL и Python кода. Часто есть задачи, которые относительно простые, но требуют времени. Это могут быть какие-то адхоки, простые sql запросы, и на самом деле все что угодно с понятной логикой. Такой код ChatGPT умеет прекрасно писать и его легко проверить на корректность.
📊 Визуализация. Часто использую именно для построения графиков в питоне. Я лично никак не могу запомнить все параметры функций из plotly и seaborn, а ChatGPT помнит их очень хорошо. Просто описываете свои данные, просите построить нужный вам график и вуаля. Еще один (нечаянно обнаруженный) вариант - передать ваши значения в запросе и попросить нужную визуализацию, ChatGPT в ответе выдаст готовый график.
🐞 Работа с ошибками в коде. Тут все понятно - вместо гугла и stack overflow просто спрашиваете что за ошибка и обычно получаете годный ответ.
📑 Базовый EDA. Можно в некотором роде использовать вместо Jupyter Notebook - загружаете ваш CSV и задаете человеческим языком вопросы про данные. Для базового анализа работает очень даже неплохо.
📝 Суммаризация информации. Полезно для анализа проведенных пользовательских опросов, анализа отзывов, любой другой агрегации разрозненной информации.
💡 Генерация идей. Можно как попросить нагенерить идей для решения вашей задачи, так и использовать его как виртуального коллегу об которого можно почелленджить ваши идеи.
📚 Обучение и изучение новых инструментов. Тут можно изучать как программирование в виде новых библиотек, языков и тп, так и для общего изучения нового. ChatGPT умеет коротко описывать требуемые знания. Из лайфхаков - просил его составить cheat sheet для некоторых разделов (например статистике) при подготовке к собеседованиям, получалось хорошо.
Призываю помнить, что ChatGPT является лишь инструментом, который допускает ошибки, иногда выдает всякий булшит лишь бы ответить, а его идеи и советы часто являются достаточно поверхностными и не всегда приносят пользу.
Делитесь в комментариях, а как вы используете ChatGPT и для каких задач он наиболее эффективен?
❤16👍1
Новая рубрика в блоге - разбор статей.
Давно хочу начать читать умные научные статьи, но заставить себя это делать достаточно сложно (если у вас есть куча открытых вкладок со статьями, лекциями и курсами, ставьте лайк). Поэтому иногда буду мотивировать себя наличием блога и делиться тут обзорами хороших статей.
Сегодня статья про расчет размера выборки для A/B-тестов - https://arxiv.org/pdf/2305.16459.
Статья понятная, практичная и покрывает почти все, что нужно знать про расчет размера выборки.
Почему это важно? Не все тесты - тесты с конверсией, где можно использовать калькулятор. Так же бывают разные типы метрик, например - ratio-метрики, для которых есть свои нюансы. Попутно возникает много вопросов, например про MDE, в какой пропорции по группам запускать тест и много чего еще. В статье как раз можно найти ответы (готовые формулы), которые потом очень просто реализовать в коде.
Основные разделы:
- Про расчет размера выборки для пользовательских метрик. Тут про многим известную формулу для непрерывных метрик и конверсий, а еще про то, что при разбиении групп 50/50 суммарный размер выборки будет минимальным.
- Про ratio-метрики. Показывают, что из-за появления зависимости в данных растет дисперсия, и в случае ratio-метрик для ее вычисления надо использовать дельта метод.
- Про относительные эффекты. Если вы хотите дизайнить тест для относительного эффекта, то просто так подставлять условные 5% в формулу нельзя. Там появляется деление на исходную метрику, у которой тоже есть своя дисперсия, поэтому нужна коррекция, чтобы мощность и значимость оставались на заданном уровне.
- Про best practices дизайна тестов. Тут про отличия MDE от MOD (было прикольно про это прочитать), можно ли применять t-test к данным с ненормальным распределением (спойлер - можно) и про дизайн теста с разными пропорциями теста и контроля.
В общем, вердикт - определенно must read, особенно про расчет размера выборки для ratio-метрик.
Давно хочу начать читать умные научные статьи, но заставить себя это делать достаточно сложно (если у вас есть куча открытых вкладок со статьями, лекциями и курсами, ставьте лайк). Поэтому иногда буду мотивировать себя наличием блога и делиться тут обзорами хороших статей.
Сегодня статья про расчет размера выборки для A/B-тестов - https://arxiv.org/pdf/2305.16459.
Статья понятная, практичная и покрывает почти все, что нужно знать про расчет размера выборки.
Почему это важно? Не все тесты - тесты с конверсией, где можно использовать калькулятор. Так же бывают разные типы метрик, например - ratio-метрики, для которых есть свои нюансы. Попутно возникает много вопросов, например про MDE, в какой пропорции по группам запускать тест и много чего еще. В статье как раз можно найти ответы (готовые формулы), которые потом очень просто реализовать в коде.
Основные разделы:
- Про расчет размера выборки для пользовательских метрик. Тут про многим известную формулу для непрерывных метрик и конверсий, а еще про то, что при разбиении групп 50/50 суммарный размер выборки будет минимальным.
- Про ratio-метрики. Показывают, что из-за появления зависимости в данных растет дисперсия, и в случае ratio-метрик для ее вычисления надо использовать дельта метод.
- Про относительные эффекты. Если вы хотите дизайнить тест для относительного эффекта, то просто так подставлять условные 5% в формулу нельзя. Там появляется деление на исходную метрику, у которой тоже есть своя дисперсия, поэтому нужна коррекция, чтобы мощность и значимость оставались на заданном уровне.
- Про best practices дизайна тестов. Тут про отличия MDE от MOD (было прикольно про это прочитать), можно ли применять t-test к данным с ненормальным распределением (спойлер - можно) и про дизайн теста с разными пропорциями теста и контроля.
В общем, вердикт - определенно must read, особенно про расчет размера выборки для ratio-метрик.
👍12❤6
В одном из прошлых постов рассказал про то, что есть такой замечательный город Танжер в Марокко, где я жил целый (диджитал номадский) месяц. Сегодня про то, что есть вокруг него.
🌊 Океан и парк
Откровенно говоря, в Танжере не самый трушный океан, там уже начало Гибралтарского пролива и ближе к средиземному морю. Но вот отъехав чуть дальше, океан можно увидеть во всей красе. Причем можно найти место с табличкой, которая об этом сообщает. Проезжаем ее и начинаем наслаждаться. Еще вокруг Танжера много лесопарков (мы гуляли по парку Пердикарис) и удивительная береговая линия, фото в подтверждение прилагаются.
⛰️Геркулесовы пещеры
Знамениты своим проемом в виде Африканского материка. В целом, красивое. Про нее есть две совершенно замечательных и максимально не похожих друг на друга легенды. Одна гласит, что тут отдыхал Геракл перед тем как похитить яблоки Гесперид. Вторая - что от них идет тоннель в Европу, через который туда перебрались обезьяны маготы (единственная обезьяна, живущая в диком виде на территории Европы, как сообщает Википедия).
💡Маяк Спартель
Просто красивый маяк. Хотя нет, не просто. Легенды гласят, что рядом с мысом затонул остров Спартель, который по этим самым легендам и словам некоторых исследователей (вероятно британских) является Атлантидой. Не вижу причин им не верить. А внутри маяка была найдена фотография первого парусного фрегата «Штандартъ» из балтийского флота Петра I, который должен быть тонущим бразильским кораблем Dona Isabella. Какая-то марокканская магия.
🌊 Океан и парк
Откровенно говоря, в Танжере не самый трушный океан, там уже начало Гибралтарского пролива и ближе к средиземному морю. Но вот отъехав чуть дальше, океан можно увидеть во всей красе. Причем можно найти место с табличкой, которая об этом сообщает. Проезжаем ее и начинаем наслаждаться. Еще вокруг Танжера много лесопарков (мы гуляли по парку Пердикарис) и удивительная береговая линия, фото в подтверждение прилагаются.
⛰️Геркулесовы пещеры
Знамениты своим проемом в виде Африканского материка. В целом, красивое. Про нее есть две совершенно замечательных и максимально не похожих друг на друга легенды. Одна гласит, что тут отдыхал Геракл перед тем как похитить яблоки Гесперид. Вторая - что от них идет тоннель в Европу, через который туда перебрались обезьяны маготы (единственная обезьяна, живущая в диком виде на территории Европы, как сообщает Википедия).
💡Маяк Спартель
Просто красивый маяк. Хотя нет, не просто. Легенды гласят, что рядом с мысом затонул остров Спартель, который по этим самым легендам и словам некоторых исследователей (вероятно британских) является Атлантидой. Не вижу причин им не верить. А внутри маяка была найдена фотография первого парусного фрегата «Штандартъ» из балтийского флота Петра I, который должен быть тонущим бразильским кораблем Dona Isabella. Какая-то марокканская магия.
❤10